Cell-Based Representation of Relational Binding in Language Models

Título: Representação de Ligação Relacional Baseada em Células em Modelos de Linguagem

1. Problema e Motivação

A compreensão de discurso exige que um sistema rastreie entidades e as relações que se mantêm entre elas à medida que o texto avança. Embora os Grandes Modelos de Linguagem (LLMs) demonstrem bom desempenho em raciocínio relacional, o mecanismo interno pelo qual eles "ligam" (bind) entidades, relações e atributos permanece obscuro.

• Limitações do Estado da Arte: Trabalhos anteriores focaram principalmente em textos muito curtos (poucas entidades) ou em ligações unidimensionais (entidade-atributo). Pouco se sabe sobre como os LLMs lidam com ligações relacionais em nível de discurso, que envolvem múltiplas sentenças, múltiplas entidades e múltiplas relações por entidade simultaneamente.
• Questão Central: Como os LLMs codificam e recuperam informações de ligação complexas (ex: "A mesa foi fabricada na Austrália" vs. "O pincel foi desenhado na França") em um espaço de ativação contínuo?

2. Metodologia

Os autores propõem e validam uma estrutura chamada Representação de Ligação Baseada em Células (CBR - Cell-based Binding Representation).

A. Definição do CBR

O CBR é um subespaço linear de baixa dimensão no espaço de ativação do modelo, onde:

• O espaço é organizado de forma semelhante a uma grade (grid-like).
• Cada "célula" no espaço corresponde a um par único de índices: (índice de Entidade $e_i$, índice de Relação $r_i$).
• Os atributos (ex: "Austrália") são recuperados a partir da célula correspondente ao par $(e_i, r_i)$ durante a inferência.
• O esquema de indexação é deslexicalizado: em vez de usar símbolos de predicados explícitos, o modelo usa índices discretos baseados na ordem de introdução no discurso.

B. Dados e Modelos

• Dataset: Os autores geraram automaticamente discursos controlados de múltiplas sentenças com cinco domínios semânticos (países, cidades, empregos, objetos, relações). Cada atributo é rigidamente ligado a um par (entidade, relação) específico.
• Modelos: A análise foi realizada em duas famílias de modelos: Llama3-8B-Instruct e Qwen3-8B.

C. Técnicas de Análise

1. Regressão PLS (Partial Least Squares): Utilizada para mapear vetores de ativação (de camadas intermediárias, especificamente a camada 15) para os índices de entidade e relação. Isso identifica o subespaço linear onde a informação de ligação é codificada.
2. Intervenção Causal (Activation Patching):
   • Perturbação: Os autores perturbam as ativações ao longo do subespaço CBR e observam a queda drástica na precisão da previsão de atributos, comparado a perturbações em subespaços aleatórios.
   • Steering (Direcionamento): Eles "empurram" as ativações de tokens específicos (ex: o token de um atributo em um exemplo one-shot) para células diferentes no subespaço CBR. Isso altera sistematicamente a resposta do modelo, provando causalidade.
3. Análise de Generalidade: Testes de transferência entre contextos, perturbações de ordem (shuffling) e ablação de conteúdo para verificar a robustez da estrutura.

3. Principais Contribuições e Resultados

A. Descoberta do Subespaço CBR

• Decodificação Linear: Os índices de entidade ($e_i$) e relação ($r_i$) podem ser decodificados linearmente com alta precisão ($R^2 \approx 0.95$) a partir de um subespaço de baixa dimensão (2-5 componentes).
• Geometria em Grade: A visualização das ativações projetadas revela uma estrutura de grade clara. Pontos com o mesmo índice de entidade agrupam-se em uma direção, e pontos com o mesmo índice de relação agrupam-se em outra.
• Causalidade: A manipulação direta deste subespaço altera previsões relacionais. Se a ativação de um atributo é movida para a célula $(e_2, r_2)$, o modelo passa a prever o atributo correto para essa combinação, ignorando o conteúdo original do texto.

B. Mecanismo de Recuperação

O estudo propõe um mecanismo de alto nível onde o modelo:

1. Extrai o índice de relação do exemplo fornecido na consulta (one-shot).
2. Extrai o índice de entidade da entidade alvo na consulta.
3. Combina esses índices para formar um ponto no subespaço CBR.
4. Recupera o atributo associado a essa célula específica do contexto.

C. Generalidade e Robustez

• Semântica vs. Posição: O subespaço CBR não é apenas posicional. Ele captura similaridade semântica: relações semanticamente semelhantes (ex: "trabalha como" e "serve como") ocupam regiões próximas no subespaço.
• Transferência entre Contextos: Embora a posição exata do subespaço varie entre diferentes domínios (ex: países vs. cidades), eles estão relacionados por vetores de tradução no espaço de ativação. Isso permite que a estrutura de ligação seja transferida entre contextos diferentes.
• Estabilidade: A estrutura CBR permanece estável mesmo quando a ordem superficial das menções é embaralhada ou quando atributos são removidos (ablação), indicando que a representação depende da estrutura relacional subjacente e não de dicas superficiais.
• Aplicação em Dados Reais: O sinal CBR foi identificado no dataset real Re-DocRED (extração de relações em documentos), especialmente quando o contexto de teste é semanticamente similar ao de treinamento.

4. Significado e Impacto

• Explicabilidade (Interpretability): O trabalho fornece uma "caixa de ferramentas" para monitorar e entender como os LLMs mantêm o estado do mundo e as relações entre entidades. O CBR atua como um mecanismo de "memória de trabalho" estruturada.
• Validação da Hipótese de Representação Linear: Estende a Hipótese de Representação Linear (LRH) para estruturas de discurso complexas, mostrando que a ligação relacional não é caótica, mas organizada geometricamente.
• Controle e Intervenção: A descoberta de que o subespaço CBR é causalmente relevante permite intervenções precisas. Isso pode ser usado para corrigir erros de raciocínio, mitigar vieses de ligação (ex: evitar associações estereotipadas) ou melhorar tarefas de extração de informações.
• Fundamento para Arquiteturas Futuras: Sugere que a capacidade de raciocínio relacional em LLMs depende de uma organização estrutural específica (células em grade) que pode ser explorada para melhorar o treinamento e a arquitetura de modelos.

Conclusão

O artigo demonstra que os LLMs utilizam um mecanismo sofisticado e estruturado, o CBR, para realizar a ligação relacional em nível de discurso. Este mecanismo é linear, de baixa dimensão, causalmente relevante e robusto, oferecendo uma nova perspectiva sobre como os modelos processam e retêm informações complexas sobre entidades e suas interações.