Do Language Models Encode Semantic Relations? Probing and Sparse Feature Analysis

Título: Modelos de Linguagem Codificam Relações Semânticas? Análise de Sondagem e Recursos Esparsos

Autores: Andor Dier e Ansgar Scherp (Universidade de Ulm, Alemanha)

1. Problema e Motivação

A pesquisa em Inteligência Artificial busca compreender como os Grandes Modelos de Linguagem (LLMs) representam e processam conhecimento estruturado. Embora existam avanços na identificação de conceitos individuais dentro dos LLMs, a investigação sobre como as relações semânticas entre esses conceitos (como sinônimos, antônimos e relações hierárquicas) são codificadas internamente permanece pouco explorada.

O problema central é determinar se os LLMs desenvolvem uma compreensão conceitual estruturada ou se dependem apenas de associações superficiais e memorização léxica. Além disso, há uma lacuna na compreensão de onde (em quais camadas ou componentes) e como (quais mecanismos neurais) essas relações são representadas e se podem ser manipuladas causalmente.

2. Metodologia

Os autores utilizaram uma abordagem híbrida combinando sondagem linear (linear probing) e técnicas de interpretabilidade mecânica (especificamente Autoencoders Esparsos - SAEs e activation patching).

• Modelos Analisados: Três modelos de escalas crescentes para avaliar o efeito de escala:
  • Pythia-70M (6 camadas, 70M parâmetros).
  • GPT-2-124M (12 camadas, 124M parâmetros).
  • Llama 3.1 8B (32 camadas, 8B parâmetros).
• Relações Semânticas Estudadas:
  1. Sinonímia: Significado similar.
  2. Antonímia: Significado oposto.
  3. Hipernímia: Termo mais geral (ex: "animal" para "cachorro").
  4. Hiponímia: Termo mais específico (ex: "beagle" para "cachorro").
• Dataset: Construído a partir do WordNet, contendo pares de palavras para cada relação, além de pares aleatórios como controle. O dataset foi balanceado por classe gramatical (substantivos, verbos, adjetivos).
• Técnicas de Análise:
  • Sondagem Linear: Treinamento de classificadores logísticos multinomiais nas saídas de atenção, MLP e fluxo residual pós-processamento de cada camada para detectar a presença de relações.
  • Autoencoders Esparsos (SAE): Extração de características latentes esparsas e desentrelaçadas para identificar features específicas de cada relação.
  • Activation Patching: Intervenção causal onde features específicas do SAE são ablatadas (zeradas) ou injetadas em entradas neutras para medir necessidade (se a feature é essencial) e suficiência (se a feature é capaz de gerar o sinal sozinha).
  • Métricas Causais: Uso de Semantic Logit Difference (diferença de logit semântica) para quantificar a confiança do modelo na relação alvo versus concorrentes.

3. Principais Contribuições

1. Comparação Sistemática: Uma análise abrangente de como quatro relações semânticas são codificadas em modelos de 70M a 8B de parâmetros.
2. Framework Integrado: Combinação de sondagem linear com análise de features esparsas (SAE) para estabelecer evidências causais de nível de sonda (probe-level causality).
3. Descoberta de Assimetria Hierárquica: Evidência robusta de que a hipernímia e a hiponímia são codificadas de forma assimétrica e com diferentes mecanismos de robustez.
4. Dependência de Capacidade: Demonstração de que a manipulação causal via patching é confiável apenas em modelos de grande escala (Llama 3.1), enquanto modelos menores mostram efeitos instáveis.

4. Resultados Chave

A. Perfil de Sondagem e Localização

• Ordem de Dificuldade Consistente: Em todos os modelos, a ordem de dificuldade para decodificar as relações foi: Antonímia (mais fácil) > Hiponímia > Hipernímia > Sinonímia (mais difícil).
• Distribuição Difusa: Não existem "camadas de relação" únicas. O sinal das relações está distribuído de forma difusa, com picos de acurácia geralmente nas camadas médias do modelo.
• Componentes: O sinal é mais forte no fluxo pós-residual e nos componentes MLP do que na atenção pura. Em modelos menores, a atenção às vezes ajuda na hiponímia, mas essa vantagem desaparece em modelos maiores.

B. Análise Específica das Relações

• Antonímia vs. Sinonímia:
  • A similaridade de cosseno (medida de proximidade vetorial) falha em distinguir antônimos de sinônimos, pois ambos compartilham contextos frequentes.
  • No entanto, sondas lineares conseguem separar antônimos com alta precisão, indicando que a distinção existe em ativações internas específicas, não na similaridade global do embedding.
• Assimetria Hierárquica (Hipernímia vs. Hiponímia):
  • Hipernímia (Geral $\to$ Específico): É codificada de forma redundante. É fácil de fortalecer (alta suficiência) mas difícil de suprimir (baixa necessidade). O sinal é robusto a perturbações.
  • Hiponímia (Específico $\to$ Geral): Depende de features compactas. É altamente sensível à ablação (alta necessidade). Se as features específicas forem removidas, o sinal colapsa.
  • Viés de Direção: Ao inverter a ordem das palavras (ex: "animal para cachorro" vs "cachorro para animal"), a precisão para hiponímia cai drasticamente, enquanto a hipernímia permanece estável.

C. Efeitos Causais (SAE e Patching)

• Dependência de Escala: No Llama 3.1, o patching guiado por SAE induz mudanças causais robustas e confiáveis nas previsões da sonda. Em modelos menores (Pythia, GPT-2), os efeitos são fracos ou instáveis.
• Mecanismo da Assimetria: A hipernímia é robusta porque está espalhada por muitas features (redundância). A hiponímia é frágil porque depende de um conjunto pequeno e específico de features.
• Robustez Contextual: As representações de relações são majoritariamente invariantes ao prompt, embora a calibração de leitura (acurácia média) possa variar com mudanças no formato da entrada.

5. Significado e Conclusão

O estudo conclui que os LLMs codificam relações semânticas como features estruturadas e sensíveis a papéis, e não apenas como similaridades distribucionais.

• Implicações Teóricas: A descoberta de que a hipernímia é redundante e a hiponímia é compacta sugere que a arquitetura do modelo trata a generalização e a especificação de formas mecanicamente distintas. A dificuldade em decodificar sinonímia sugere que a distinção entre "significado similar" e "oposição" é um desafio persistente, mesmo em modelos grandes.
• Implicações Práticas: O framework proposto permite identificar quais features codificam relações específicas. Isso pode guiar intervenções direcionadas para tarefas que dependem de conhecimento relacional, como conclusão de ontologias, inferência textual e recuperação orientada a taxonomia.
• Limitações: As conclusões são limitadas a evidências de nível de sonda (não garantem causalidade no nível de geração de tokens finais) e focam em arquiteturas decoder-only base.

Em suma, o trabalho fornece um framework reprodutível para mapear a causalidade de relações semânticas em LLMs, revelando que, embora o sinal seja difuso, ele possui uma estrutura manipulável e hierarquicamente assimétrica.