Resumo Técnico: Modelos de Linguagem Rastreiam Entidades Através de Mudanças de Estado?

Declaração do Problema

O rastreamento de entidades (RE) é uma habilidade fundamental necessária para raciocínio complexo, envolvendo a capacidade de manter e atualizar os estados de objetos dentro de um contexto à medida que ocorrem operações (por exemplo, mover, adicionar, remover). Embora pesquisas anteriores tenham investigado como modelos de linguagem (MLs) baseados em transformadores lidam com a ligação estática de entidades (associar um objeto a uma localização sem mudanças de estado) ou tenham resolvido problemas de RE usando linguagens sintéticas simplificadas e modelos "de brinquedo", há uma compreensão limitada de como MLs pré-treinados não-de-brinquedo lidam com tarefas de RE realistas expressas em linguagem natural com múltiplas operações de mudança de estado. Especificamente, permanece incerto se esses modelos constroem incrementalmente um estado do mundo à medida que o contexto se desenrola ou se empregam uma estratégia diferente para resolver consultas.

Metodologia

Os autores investigam os mecanismos subjacentes ao RE em modelos não-de-brinquedo (Gemma-2-2B, CodeLlama-13B e Llama-3.1-70B) usando um conjunto de dados derivado do benchmark "caixa" (Kim & Schuster, 2023). O conjunto de dados consiste em uma descrição inicial de objetos em caixas, seguida por uma sequência de operações de mudança de estado (PUT, REMOVE, MOVE) e uma consulta solicitando o conteúdo de uma caixa específica.

O estudo emprega uma abordagem dual combinando análise comportamental e interpretabilidade mecânica:

1. Sondagem Comportamental:

   • Sondas Globais vs. Locais: Sondas lineares são treinadas no fluxo residual do token final para determinar se o modelo codifica um estado global (localização de todos os objetos) ou apenas estados locais (conteúdo da caixa consultada).
   • Sondagem de Estado Anterior: Sondas são treinadas para detectar se estados anteriores (estados antes da operação final) são decodificáveis sequencialmente através das camadas, testando se o modelo processa mudanças de estado incrementalmente ou em paralelo.

2. Análise Mecânica:

   • Rastreamento de Circuitos (Patching de Caminhos): Usado para identificar as cabeças de atenção específicas responsáveis pela operação PUT, comparando-as com o circuito para ligação estática de entidades (DESCRIPTION).
   • Análise de Subespaço: Mascaramento contrafactual baseado em desiderata (DCM) e patching de subespaço são usados para determinar se os circuitos PUT e DESCRIPTION compartilham os mesmos subespaços de comunicação para informações posicionais.
   • Investigação do Mecanismo REMOVE: Devido à dificuldade de analisar a "ausência" de sinais, os autores empregam análise de logits/rank, sondas ternárias (classificando estados como {existe, removido, não existe}) e intervenções causais (nulificando pesos de sondas) para caracterizar como as operações REMOVE são implementadas.

Principais Descobertas

1. Estratégia de Rastreamento Não Incremental

Contrariando a hipótese de que os MLs constroem estados do mundo incrementalmente à medida que processam tokens ou camadas, os resultados suportam uma estratégia não incremental:

• Através de Tokens: Sondas globais falham em decodificar o estado completo do mundo no fluxo residual do token final, enquanto sondas locais (alvejando a caixa consultada) alcançam alta precisão. Isso sugere que os modelos não mantêm um estado global, mas consolidam dinamicamente informações relevantes apenas quando a consulta é apresentada.
• Através de Camadas: A sondagem de estados anteriores revela que os modelos não processam mudanças de estado sequencialmente através das camadas. Em vez disso, estados anteriores são decodificados com precisão similar aos estados finais nas mesmas camadas, indicando processamento paralelo de todas as operações relevantes no token final.

2. Mecanismos de Operações

• Operação PUT: O mecanismo PUT assemelha-se ao circuito de ligação de entidades encontrado em trabalhos anteriores (Prakash et al., 2024). Ele utiliza um mecanismo de "olhar para trás" onde grupos específicos de atenção (A, B, C, D) vinculam novos objetos a IDs de caixa usando informações posicionais (IDs de ordem). Crucialmente, os circuitos PUT e DESCRIPTION compartilham subespaços funcionais para transmitir informações posicionais.
• Operação REMOVE: A operação REMOVE é implementada via uma "etiqueta de supressão global".
  • A análise de logits mostra que, quando um objeto é removido, seu logit é suprimido, mas essa supressão não é estritamente local; ela afeta o objeto globalmente, independentemente do contexto da caixa.
  • Sondas ternárias identificam um sinal de "etiqueta de remoção" localizado principalmente no token do objeto (não no token de ID da caixa).
  • Intervenções causais confirmam que nulificar a etiqueta de remoção no token do objeto impede que o modelo preveja o objeto removido, enquanto intervenções no token de ID da caixa não têm efeito. Isso implica que o modelo usa uma heurística global e frágil para suprimir objetos, em vez de um mecanismo de desvinculação preciso e específico da caixa.

3. Modos de Falha Previstos e Observados

O insight mecânico sobre a "etiqueta de remoção global" prevê modos de falha específicos que não são evidentes em testes comportamentais padrão:

• Remoção de No-op: Remover um objeto de uma caixa que nunca foi mencionada no contexto (ou remover um objeto que não existe) leva à supressão global desse tipo de objeto, causando erros em outras caixas.
• Objetos com Rótulo Compartilhado: Se o mesmo tipo de objeto existir em múltiplas caixas, removê-lo de uma caixa faz com que o modelo o suprima globalmente, levando a previsões incorretas para a outra caixa.
• Reintrodução: Remover um objeto e depois colocá-lo de volta em uma caixa diferente falha porque a etiqueta de supressão global persiste.
  Testes comportamentais nessas situações específicas confirmaram altas taxas de degeneração, validando a hipótese mecânica.

Contribuições

1. Evidência de Rastreamento Não Incremental: O artigo fornece evidências empíricas de que os MLs resolvem tarefas de RE recuperando tokens-alvo em paralelo no passo final da consulta, em vez de através da construção cumulativa do mundo ao longo de tokens ou camadas.
2. Caracterização Mecânica de Operações: O estudo caracteriza PUT como um circuito de ligação semelhante ao rastreamento estático de entidades e identifica REMOVE como um mecanismo de supressão global impulsionado por etiquetas em nível de objeto.
3. Ponte entre Análise Comportamental e Mecânica: O trabalho demonstra um ciclo de feedback onde insights mecânicos (a etiqueta de remoção global) preveem novos modos de falha, que são então validados através de novos testes comportamentais. Inversamente, resultados comportamentais informam a formulação de hipóteses mecânicas.
4. Soluções Intervencionais: Os autores mostram que nulificar a etiqueta de remoção global via intervenção pode corrigir parcialmente esses modos de falha, oferecendo uma prova de conceito para melhorar a robustez do modelo através da compreensão mecânica.

Significado

O artigo destaca uma limitação arquitetônica fundamental nos MLs de transformadores atuais: eles resolvem tarefas fundamentalmente sequenciais (rastrear mudanças de estado ao longo do tempo) usando estratégias não sequenciais e paralelas. Essa dependência da agregação de contexto relevante no último token, em vez de manter um estado do mundo persistente, leva a comportamentos frágeis quando as operações são ambíguas ou quando objetos são compartilhados entre contextos. O trabalho ilustra como combinar avaliação comportamental com interpretabilidade mecânica pode revelar modos de falha ocultos e orientar o desenvolvimento de capacidades de raciocínio mais robustas em modelos de linguagem.