'Layer su Layer': Identifying and Disambiguating the Italian NPN Construction in BERT's family

Título: Layer su Layer: Identificação e Desambiguação da Construção Italiana npn na Família BERT

1. Problema e Contexto

A pesquisa em modelos de linguagem pré-treinados (PLMs) tem demonstrado alto desempenho empírico, mas sua "caixa preta" interna permanece opaca. Existe uma lacuna significativa em entender se esses modelos codificam informações linguísticas estruturadas (como teorias gramaticais sugerem) ou apenas regularidades distribucionais superficiais.

O foco deste estudo é a família de construções italianas npn (substantivo-preposição-substantivo, ex: layer su layer / "camada sobre camada").

• Desafio Teórico: A Construção Gramatical (CxG) vê a linguagem como uma rede de pares forma-significado. A família npn italiana apresenta um caso complexo: múltiplas construções semi-esquemáticas (com preposições como a e su) compartilham o mesmo léxico nominal, mas possuem perfis semânticos distintos (ex: sucessão, justaposição, acumulação).
• Questão Central: Os embeddings contextuais de modelos como o BERT conseguem capturar não apenas a identidade da construção, mas também as nuances semânticas específicas entre construções "irmãs" que competem e se sobrepõem no léxico?

2. Metodologia

Os autores adotaram uma abordagem de probing (sondagem) para investigar as representações internas de modelos da família BERT.

• Dados:

  • Dataset derivado de Masini (2024a), contendo 1.281 instâncias da construção npn italiana e 989 distratores.
  • As construções alvo são as semi-esquemáticas com preposições a ('em/a') e su ('sobre').
  • Distratores: Incluem padrões isomórficos superficiais (ex: N-su-N em nomes próprios) e outras construções sintáticas distintas (ex: pnpn, verbais), criando um cenário mais rigoroso do que estudos anteriores.
  • Divisão: Os dados foram divididos em conjuntos de treino e teste (80/20) com uma estratégia modificada: pares lemma-rótulo nunca se repetem entre treino e teste, permitindo avaliar a generalização além da identidade lexical.

• Modelos Analisados:

  • bert-base-italian-cased (monolinguístico).
  • mBERT (multilíngue).
  • UmBERTo (RoBERTa monolinguístico italiano).
  • XLM-RoBERTa (multilíngue).
  • Baselines: Embeddings estáticos (FastText) e classificadores de controle (rótulos aleatórios).

• Tarefas Experimentais:

  1. Identificação da Construção: Classificação binária (Construção npn vs. Distrator).
  2. Desambiguação Semântica: Classificação multiclasse entre três significados principais:
     • Sucessão/Iteração/Distributividade.
     • Maior Pluralidade/Acumulação.
     • Justaposição/Contato.
  • Análise de Camadas: Extração de embeddings de cada camada do modelo (focando no token da preposição e no token substituto [UNK]) para treinar classificadores logísticos lineares.

• Extensões em Relação a Trabalhos Anteriores:

  • Teste de generalização para preposições não vistas no treino (per e dopo) que compartilham o mesmo significado semântico.
  • Comparação entre representações lexicais (preposição real) e abstratas (token [UNK]).

3. Contribuições Principais

• Expansão para o Italiano: Estende a investigação de construções npn (anteriormente focada no inglês) para uma língua com morfologia rica e uma rede de construções complexa.
• Refinamento Metodológico: Introduz configurações de distratores mais rigorosas (incluindo padrões isomórficos e construções distintas) para evitar que o modelo aprenda apenas pistas sintáticas superficiais.
• Validação da Teoria Construcional: Fornece evidências empíricas de que os PLMs codificam regularidades construcionais abstratas, alinhando-se com a perspectiva da Construção Gramatical.
• Análise de Camadas: Mapeia como a informação construcional emerge através das camadas do modelo, distinguindo entre informação lexical superficial e significado abstrato.

4. Resultados

• Identificação da Construção:

  • Os classificadores de probing alcançaram alta precisão ao distinguir construções npn de distratores, superando significativamente as baselines estáticas (FastText).
  • O desempenho foi robusto tanto para o token da preposição quanto para o [UNK], sugerindo que a distinção não depende apenas do significado lexical da preposição, mas do contexto sentencial e das relações nominais.
  • Sensibilidade ao Design: O desempenho variou dependendo da composição dos distratores. Quando os distratores eram estruturalmente distintos, o modelo aprendeu a distinguir a construção; quando eram isomórficos, a tarefa tornou-se mais difícil, destacando a importância do design experimental.

• Desambiguação Semântica:

  • Camadas Superficiais vs. Abstratas: Camadas iniciais do BERT dependem fortemente de pistas morfológicas superficiais (ex: número do substantivo duplicado para distinguir "acumulação"). Camadas médias e tardias capturam distinções semânticas abstratas que vão além das pistas de superfície.
  • Dificuldade de Justaposição vs. Sucessão: O modelo teve mais dificuldade em distinguir entre "justaposição/contato" e "sucessão/iteração" quando ambas usavam a preposição a, indicando que a fronteira semântica pode ser gradiente e dependente do contexto do evento.
  • Generalização Semântica (Crucial): O modelo conseguiu generalizar com sucesso para preposições não vistas no treino (per e dopo) que expressam o mesmo significado de "sucessão". Isso prova que as camadas tardias codificam uma representação abstrata da construção, e não apenas associações lexicais fixas.

• Monolinguístico vs. Multilíngue:

  • Modelos monolinguísticos (UmBERTo) superaram os multilíngues (mBERT, XLM-R) na tarefa de desambiguação semântica em italiano, sugerindo que a especialização linguística é benéfica para tarefas que exigem nuances construcionais finas.

5. Significado e Conclusão

O estudo conclui que os modelos da família BERT não apenas processam regularidades distribucionais, mas codificam regularidades construcionais abstratas compatíveis com a teoria da Construção Gramatical.

• Abstração Hierárquica: Existe um caminho de abstração nos PLMs: camadas inferiores lidam com forma e léxico, enquanto camadas superiores integram contexto para capturar o significado da construção, permitindo generalização para novas instâncias (novas preposições) com o mesmo valor semântico.
• Implicações Teóricas: Os resultados apoiam a visão de que a família npn italiana é uma rede de construções semi-esquemáticas interconectadas, e que os modelos neurais conseguem mapear essa rede.
• Limitações e Futuro: O estudo é restrito à família npn e a modelos baseados em BERT. Os autores planejam validar essas descobertas através de experimentos comportamentais comparando julgamentos humanos com previsões do modelo para confirmar a plausibilidade cognitiva dessas abstrações.

Em suma, o trabalho demonstra que a "caixa preta" dos LLMs contém representações estruturadas que refletem teorias linguísticas sofisticadas, desde que investigadas com metodologias adequadas e linguagens diversificadas.