Different types of syntactic agreement recruit the same units within large language models

Título: Diferentes tipos de concordância sintática recrutam as mesmas unidades dentro de Grandes Modelos de Linguagem (LLMs)

Autores: Daria Kryvosheieva, Andrea de Varda, Evelina Fedorenko, Greta Tuckute (MIT e Instituto Kempner de Harvard).

---

1. Problema e Motivação

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem capacidade robusta de distinguir sentenças gramaticais de não gramaticais, a natureza interna de como esse conhecimento gramatical é representado e implementado permanece uma questão em aberto.

• Questão Central: Diferentes fenômenos sintáticos (ex: concordância sujeito-verbo, anáfora, estrutura de argumentos) recrutam componentes distintos ou compartilhados dentro da arquitetura do modelo?
• Hipótese: Existe um subconjunto específico de unidades (neurônios/atividades) que realiza computações sintáticas gerais para todos os fenômenos, ou cada regra é instantiada em partes distintas do modelo?
• Contexto: Trabalhos anteriores focaram em representações distribuídas ou em circuitos específicos para poucos fenômenos (geralmente concordância sujeito-verbo), mas faltava uma estrutura unificada de localização funcional para avaliar a organização sintática em larga escala.

2. Metodologia

Os autores adotaram uma abordagem de localização funcional, inspirada na neurociência cognitiva, aplicada a LLMs. O objetivo foi isolar unidades específicas do modelo responsáveis por fenômenos sintáticos particulares.

• Modelos Analisados: Sete LLMs de pesos abertos variados (1.5B a 7.2B parâmetros), incluindo GPT-2-XL, Llama-3.2, Falcon3, Phi-4, Gemma-3, DeepSeek e Mistral.
• Dados Linguísticos:
  • BLiMP (Inglês): 67 fenômenos sintáticos agrupados em 12 categorias teóricas, contendo 1.000 pares mínimos (gramatical vs. não gramatical) por fenômeno.
  • Benchmarks Multilíngues: RuBLiMP (Russo), SLING (Chinês) e MultiBLiMP (57 línguas).
• Procedimento de Localização:
  1. Ativação: Calculou-se a magnitude de ativação das unidades (residual stream) para sentenças gramaticais e suas contrapartes não gramaticais.
  2. Seleção: Identificou-se o top-1% das unidades com a maior diferença estatística (teste t de Welch) entre as condições gramatical e não gramatical para cada fenômeno.
  3. Validação de Consistência: Realizou-se validação cruzada (2-fold e 5-fold) para garantir que as unidades identificadas generalizavam para novos pares de sentenças do mesmo fenômeno.
  4. Validação Causal (Ablação): As unidades localizadas foram "ablatadas" (zeradas ou substituídas pela média) para medir o impacto na precisão do modelo na tarefa de julgamento de gramaticalidade.
  5. Análise de Sobreposição: Calculou-se a interseção dos conjuntos de unidades entre diferentes fenômenos e línguas.

3. Principais Contribuições

1. Identificação de Unidades Responsivas à Sintaxe: Mapeamento de unidades em 7 modelos que respondem consistentemente a 67 fenômenos sintáticos e são causalmente importantes para o desempenho do modelo.
2. Concordância como Categoria Funcional: Demonstração de que diferentes tipos de concordância (sujeito-verbo, anáfora, determinante-substantivo) recrutam conjuntos de unidades sobrepostos, sugerindo que a "concordância" é uma categoria funcional distinta nos LLMs.
3. Generalização Cross-Linguística: Evidência de que unidades sensíveis à concordância compartilham recursos entre línguas (Inglês, Russo, Chinês) e que a sobreposição aumenta com a similaridade sintática entre as línguas.

4. Resultados Chave

A. Consistência e Causalidade (Inglês)

• Consistência: As unidades identificadas para um fenômeno específico são altamente consistentes em diferentes instâncias de sentenças (sobreposição média de 62% a 95% em validação cruzada), superando significativamente controles aleatórios.
• Causalidade: A ablação das unidades top-1% causou quedas de desempenho significativamente maiores (média de 7,61%) do que a ablação de unidades aleatórias (1,68%), provando que essas unidades são causalmente envolvidas no julgamento sintático.

B. Sobreposição entre Fenômenos Sintáticos

• Categorias Teóricas vs. Realidade do Modelo: Ao analisar a sobreposição entre pares de fenômenos, os autores descobriram que a maioria das categorias teóricas do BLiMP não forma grupos coesos no modelo (baixa sobreposição intra-categoria).
• Exceção da Concordância: As três categorias de concordância (sujeito-verbo, anáfora, determinante-substantivo) apresentaram a maior sobreposição intra-categoria e, crucialmente, sobreposição significativa entre si. Isso indica que os LLMs utilizam um substrato funcional compartilhado para todos os tipos de concordância, diferenciando-os de outros fenômenos sintáticos que parecem ser processados por unidades mais idiossincráticas.

C. Análise Cross-Linguística

• Replicação em Russo e Chinês: O padrão de alta sobreposição entre tipos de concordância foi replicado nos benchmarks RuBLiMP e SLING.
• Sobreposição entre Línguas: Unidades de concordância identificadas em Russo e Chinês mostram sobreposição com as unidades de concordância em Inglês.
• Similaridade Sintática: Em uma análise de 57 línguas usando o benchmark MultiBLiMP, descobriu-se uma correlação positiva forte: línguas sintaticamente mais similares compartilham mais unidades de concordância. Por exemplo, a sobreposição entre Inglês e Russo é maior do que entre Inglês e Chinês.

5. Significado e Implicações

• Arquitetura dos LLMs: Os resultados desafiam a ideia de que os LLMs possuem apenas unidades genéricas de processamento sintático ou que cada regra é totalmente isolada. Em vez disso, sugerem uma organização híbrida: fenômenos específicos usam unidades distintas, mas a concordância sintática emerge como uma categoria funcional unificada e compartilhada.
• Organização Multilíngue: A descoberta de que a similaridade sintática prediz a sobreposição de unidades indica que os modelos multilíngues organizam suas representações sintáticas refletindo a estrutura das línguas humanas, compartilhando recursos computacionais para estruturas similares.
• Neurociência Cognitiva: O estudo oferece um "laboratório in silico" para testar hipóteses sobre a organização neural da linguagem. A descoberta de que a concordância forma uma categoria funcional distinta nos LLMs motiva investigações sobre se humanos também exibem maior sobreposição neural para fenômenos de concordância em comparação a outros fenômenos sintáticos.
• Interpretabilidade: Reforça a utilidade da localização funcional para desvendar a "caixa preta" dos modelos, permitindo identificar circuitos causais específicos para tarefas linguísticas complexas.

Conclusão

O artigo demonstra que, embora o conhecimento sintático nos LLMs seja implementado de forma distribuída e específica para muitos fenômenos, a concordância sintática constitui uma categoria funcional robusta e compartilhada. Essas unidades são causalmente necessárias, consistentes entre instâncias e organizadas de maneira a refletir a similaridade estrutural entre línguas, oferecendo uma nova perspectiva sobre como os modelos de IA internalizam a gramática.