Resumo Técnico: A Gramática dos Transformers

Declaração do Problema

Desde a observação de Gulordava et al. (2018) de que modelos de linguagem (MLs) adquirem conhecimento sintático não trivial, apesar de serem treinados exclusivamente na previsão de tokens, um corpo crescente de pesquisas tem buscado caracterizar a natureza e a extensão desse conhecimento. No entanto, o campo carece de uma visão geral, quantitativa, do conhecimento sintático em Modelos de Linguagem baseados em Transformers (MLTs). A literatura existente consiste largamente em revisões narrativas (por exemplo, Limisiewicz e Mareček, 2020; Linzen e Baroni, 2021; Kulmizev e Nivre, 2022) que, embora valiosas, são interpretativas e carecem da síntese transparente e quantitativa necessária para mapear o panorama de descobertas através da escala rapidamente expansiva da pesquisa recente. Além disso, o campo é caracterizado por heterogeneidade metodológica e uma forte concentração no inglês e em arquiteturas de modelo específicas (notadamente BERT), limitando a robustez e a generalizabilidade das conclusões atuais.

Metodologia

Os autores conduziram uma revisão sistemática seguindo as diretrizes PRISMA (Page et al., 2021), uma metodologia não comumente aplicada em Linguística Computacional (LC) e Processamento de Linguagem Natural (PLN). O processo envolveu:

1. Coleta de Dados (Verão de 2025): Uma abordagem de dupla estratégia foi utilizada para identificar candidatos: uma busca por palavras-chave no Google Scholar combinando "estrutura/conhecimento sintático" com "LLMs/MLs/transformer", e uma estratégia de bola de neve aproveitando seis revisões anteriores. Isso resultou em 636 artigos iniciais.
2. Avaliação de Elegibilidade: Os artigos foram filtrados para incluir apenas aqueles focados em arquiteturas Transformer (excluindo RNNs, LSTMs e modelos de tradução automática encoder-decoder), que avaliassem empiricamente o conhecimento sintático e que fossem publicados em veículos revisados por pares ou pré-impresos. Isso resultou em um corpus final de 337 artigos.
3. Anotação: Os autores definiram 33 variáveis de anotação em cinco categorias:
   • Metadados: Detalhes da publicação e motivos de entrada/saída.
   • Relacionados ao Modelo: Nomes do modelo, tipos (bidirecional vs. causal), status de ajuste fino e cobertura linguística.
   • Desenho Experimental: Fenômenos sintáticos (categorizados em 11 rótulos via uma abordagem ascendente), idiomas testados e materiais.
   • Técnicas de Interpretabilidade: Categorizadas como comportamentais, de sondagem (probing) ou mecânicas (seguindo Milli`ere, 2024), com anotação adicional sobre a natureza causal (observacional vs. intervencionista), fase de treinamento e localidade.
   • Descobertas: Resumos em prosa da competência sintática e comparações de modelos.
   • Nota: 28 categorias foram anotadas manualmente; 5 foram semi-automatizadas usando um fluxo de trabalho assistido por IA validado contra um padrão-ouro manual.

Contribuições Principais

1. Uma Síntese Quantitativa: O artigo fornece a primeira revisão sistemática e quantitativa do conhecimento sintático em MLTs, agregando 3.074 pontos de dados individuais através de idiomas, fenômenos e métodos.
2. Recurso Aberto: Os autores contribuem com um banco de dados publicamente disponível, anotado, dos estudos revisados e do código de análise associado, projetado para ser extensível.
3. Taxonomia de Fenômenos: O trabalho estabelece uma tipologia ascendente de 11 rótulos de fenômenos sintáticos reconhecíveis tanto pelas comunidades de linguística quanto de PLN, facilitando a comparação entre estudos.
4. Auditoria Metodológica: A revisão avalia criticamente a distribuição dos métodos de interpretabilidade (comportamentais, de sondagem, mecânicos) e destaca a dependência excessiva do campo em abordagens observacionais em vez de causais.

Resultados Principais

1. Panorama do Campo e Viés

• Tendências Temporais: O interesse no tema aumentou drasticamente após o BERT (2019), atingindo o pico em 2022. Enquanto o trabalho inicial focava em modelos bidirecionais, modelos causais dominaram os anos recentes.
• Viés de Modelo: A literatura está fortemente concentrada no BERT e suas variantes, que representam 58% de todos os pontos de dados. Os quatro modelos mais estudados representam 62%.
• Viés Linguístico: O inglês é esmagadoramente dominante (69% dos artigos são apenas em inglês; 91% incluem inglês). Estudos sobre idiomas não ingleses são escassos, e estudos multilíngues estão sub-representados (20%).
• Viés de Fenômenos: A pesquisa foca pesadamente em fenômenos sintáticos formais (por exemplo, concordância, ordem das palavras, estrutura hierárquica, POS), que são facilmente capturados pelas ferramentas atuais de PLN. Fenômenos na interface sintaxe-semântica (por exemplo, ligação, coreferência, negação, elipse) e aspectos tipológicos recebem significativamente menos atenção.

2. Desempenho Comportamental

• Benchmark BLiMP: No benchmark BLiMP em inglês, os MLTs desempenham notavelmente bem, com os melhores modelos igualando ou superando o desempenho humano em 7 de 11 categorias. No entanto, o desempenho varia significativamente entre os modelos, impulsionado largamente pela capacidade geral do modelo, e não por forças específicas de fenômenos.
• Formal vs. Interface: Os MLTs desempenham consistentemente melhor em relações sintáticas formais (medianas >85% para concordância) do que em fenômenos de interface sintaxe-semântica (medianas <75% para ligação, estrutura argumental, NPIs).
• Fatores Cross-Linguísticos: A análise de regressão de 1.557 pontos de dados não-benchmark através de 113 idiomas revela que modelos causais superam os modelos bidirecionais em ~10%, e o desempenho escala positivamente com o suporte digital do idioma (ganho de 5% por nível de suporte). Idiomas com menos recursos mostram desempenho degradado.

3. Mecanismos Internos (Estudos de Sondagem e Mecânicos)

• Sondagem: 85% dos estudos de sondagem relatam recuperação bem-sucedida de informações sintáticas das representações do modelo. As camadas intermediárias são mais frequentemente identificadas como o locus do conhecimento sintático, apoiando uma visão de representação distribuída.
• Estudos Mecânicos: 79% dos artigos mecânicos encontram evidências claras apoiando a presença de conhecimento sintático. No entanto, esses estudos são esmagadoramente observacionais (81%); apenas 19% empregam métodos intervencionistas para estabelecer ligações causais entre representações internas e comportamento.
• Lacunas Metodológicas: Há uma desconexão entre o sucesso da sondagem (altas taxas de recuperação) e o desempenho comportamental (variável entre fenômenos), sugerindo que a sondagem bem-sucedida não implica necessariamente o uso funcional das representações para previsão.

Significado e Alegações

O artigo alega que a literatura atual apoia robustamente a visão de que MLTs codificam uma quantidade não trivial de conhecimento sintático, particularmente em relação a relações sintáticas formais. No entanto, os autores enfatizam que as conclusões do campo são atualmente limitadas por:

1. Falta de Evidência Causal: A dominância de métodos observacionais impede uma compreensão profunda de como as representações sintáticas são usadas computacionalmente.
2. Generalizabilidade Limitada: O foco pesado no inglês e em modelos semelhantes ao BERT restringe a aplicabilidade das descobertas ao panorama mais amplo de linguagem e arquitetura.
3. Fenômenos Fragmentados: A interface sintaxe-semântica permanece pouco explorada, apesar de os modelos mostrarem desempenho mais fraco nessas áreas.

Os autores concluem que, embora os MLTs possuam capacidades sintáticas notáveis, entender a aquisição, o uso e a universalidade desse conhecimento requer maior harmonização metodológica, compromissos teóricos mais explícitos e um panorama empírico mais amplo que vá além do inglês e de estudos puramente observacionais. Eles posicionam esta revisão como uma fundação para trabalhos futuros, convidando a comunidade a contribuir com o banco de dados aberto e adotar os padrões de anotação propostos.