A Hierarchical and Attentional Analysis of Argument Structure Constructions in BERT Using Naturalistic Corpora

Resumo Técnico: Uma Análise Hierárquica e Atencional das Construções de Estrutura de Argumento em BERT Usando Corpora Naturalísticos

Definição do Problema
A questão central abordada por este estudo é se os grandes modelos de linguagem (LLMs), especificamente o Bidirectional Encoder Representations from Transformers (BERT), desenvolvem representações internas de conhecimento gramatical abstrato que espelham teorias linguísticas humanas, particularmente a Gramática da Construção. Embora pesquisas anteriores tenham demonstrado que modelos como o BERT podem capturar dependências sintáticas, grande parte desse trabalho baseia-se em sentenças geradas sinteticamente ou baseadas em modelos (templates), que podem carecer da variabilidade e validade ecológica da linguagem natural. Além disso, estudos existentes frequentemente agregam dados de diversos gêneros, o que pode confundir o conhecimento construcional com variações estilísticas. Existe uma lacuna específica na compreensão de como o BERT processa quatro construções fundamentais de Estrutura de Argumento (ASCs) — Resultativa, Causação de Movimento (Caused-Motion), Ditransitiva e Way — dentro de um contexto naturalístico controlado, e como essas representações evoluem dinamicamente através das camadas de processamento do modelo.

Metodologia
Para abordar essas limitações, os autores empregaram um arcabouço analítico multidimensional utilizando um conjunto de dados estritamente controlado.

• Construção do Corpus: O estudo extraiu 800 sentenças (200 por tipo de construção) exclusivamente do gênero ficção do British National Corpus (BNC) e do Corpus of Contemporary American English (COCA). Esse controle de gênero visou isolar a sintaxe e a semântica construcional da variação estilística.
• Processamento de Dados: As sentenças foram anotadas para funções sintáticas principais (Sujeito, Verbo, Objeto Direto, Objeto Indireto, Preposição e a palavra-chave "way") usando SpaCy. Essas funções foram mapeadas para os sub-word tokens do BERT, com o primeiro sub-word token servindo como o vetor representativo.
• Análise do Modelo: O modelo pré-treinado bert-base-uncased foi utilizado sem ajuste fino (fine-tuning). O estudo extraiu embeddings contextualizados e matrizes de pesos de atenção de todas as 12 camadas do codificador Transformer.
• Técnicas Analíticas:
  1. Redução de Dimensionalidade: Escalonamento Multidimensional (MDS) e t-Distributed Stochastic Neighbor Embedding (t-SNE) foram aplicados para visualizar o agrupamento geométrico dos tipos de construção.
  2. Métricas de Separação de Agrupamento (Clusters): O Valor de Discriminação Generalizado (GDV) foi calculado para quantificar a separação dos agrupamentos de construção através das camadas.
  3. Probing Linear: Classificadores de Máquina de Vetores de Suporte (SVM) lineares foram treinados nos embeddings dos tokens (CLS, Sujeito, Verbo, Objeto) para testar a acessibilidade linear da informação da categoria da construção.
  4. Análise de Atenção: A Razão de Discriminante de Fisher (FDR) foi computada nos pesos de atenção para identificar quais tokens sintáticos e cabeças de atenção fornecem as informações mais diagnósticas para distinguir entre as construções.

Principais Resultados
A análise revelou um processo hierárquico e dinâmico de representação construcional dentro do BERT:

• Evolução por Camada:
  • Camadas Iniciais (1-2): As representações apareceram como uma "sopa indiferenciada" com extensa sobreposição entre os tipos de construção, dominadas por características lexicais rasas e sintáticas locais.
  • Camadas Intermediárias (3-6): A informação específica da construção emergiu, formando agrupamentos maximamente separáveis. A análise de GDV identificou a Camada 4 como o ponto de separabilidade linear ideal. A construção "Way" formou consistentemente o agrupamento mais compacto e isolado, destacando seu status único como um par forma-sentido altamente esquemático.
  • Camadas Posteriores (7-12): Os agrupamentos permaneceram distintos, mas passaram por um refinamento sutil, sugerindo uma mudança em direção à integração de informações para previsões de tarefas específicas subsequentes.
• Acessibilidade Linear: Pela Camada 2, a informação da categoria da construção tornou-se linearmente decodificável a partir dos embeddings de todos os principais tokens sintáticos (Sujeito, Verbo, Objeto, CLS), com precisão de classificação excedendo 90% e permanecendo estável até as camadas finais.
• Especialização Atencional: Foi observada uma dissociação significativa entre a acessibilidade linear e o foco atencional. Embora a informação da construção estivesse presente em todos os embeddings de tokens, o mecanismo de atenção especializou-se em diagnosticar construções primariamente através da relação Verbo-Objeto (VERBO-OBJ). O token do Objeto exibiu os maiores escores de FDR, seguido pelo Verbo, enquanto os tokens Sujeito e CLS mostraram poder discriminativo mínimo nos padrões de atenção.
• Subestrutura: Visualizações de t-SNE revelaram subestruturas internas dentro dos agrupamentos das construções (por exemplo, dentro da construção Ditransitiva), sugerindo que o modelo captura variações granulares e baseadas no uso além dos esquemas abstratos.

Principais Contribuições

1. Validade Ecológica: O estudo fornece evidências baseadas em um corpus naturalístico de um único gênero, mitigando os confundimentos de dados sintéticos e variações estilísticas entre gêneros.
2. Mapeamento Hierárquico: Ele delineia uma trajetória clara de como os esquemas gramaticais abstratos emergem, atingem o pico de separabilidade e são mantidos dentro da arquitetura Transformer, identificando as camadas intermediárias como o locus da abstração construcional.
3. Insight Mecanístico: A pesquisa revela uma dissociação onde a identidade da construção é globalmente codificada nos embeddings, mas localmente diagnosticada pelo mecanismo de atenção através do núcleo predicado-argumento (Verbo-Objeto).
4. Validação da Gramática da Construção: Os achados oferecem evidência computacional para as teorias da Gramática da Construção, demonstrando que modelos treinados apenas em predição do próximo token organizam espontaneamente representações internas para espelhar categorias de ASC teoricamente definidas, incluindo o status distinto da construção "Way".

Significância
O artigo afirma que suas descobertas estabelecem uma ponte metodológica entre a linguística computacional e a ciência cognitiva. Ao demonstrar que o BERT codifica sistematicamente abstrações construcionais de maneira estruturada e hierárquica, o estudo sugere que esses modelos podem servir como bancos de testes computacionais para conceitos linguísticos teóricos. Os resultados apoiam a "hipótese do pipeline" das representações contextualizadas, onde abstrações sintáticas e semânticas cristalizam-se nas camadas intermediárias antes que os detalhes pragmáticos sejam resolvidos. Além disso, o estudo postula que a capacidade dos LLMs de aprender esses padrões apenas a partir de dados naturais fortalece o argumento para a realidade psicológica das construções como unidades fundamentais da cognição linguística. O trabalho conclui que os LLMs modernos não são meras caixas pretas, mas desenvolvem representações internas que ressoam com teorias de longa data sobre como os humanos armazenam e processam o conhecimento linguístico.