Blackbird Language Matrices: A Framework to Investigate the Linguistic Competence of Language Models

Título: Blackbird Language Matrices (BLM): Um Framework para Investigar a Competência Linguística de Modelos de Linguagem

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) atuais demonstram fluência impressionante em tarefas de geração e compreensão, mas frequentemente falham em generalização sistemática e abstração, especialmente em cenários de poucos dados ou linguagens de baixo recurso. Diferentemente dos humanos, que são adeptos a extrair regras e regularidades de dados limitados, os LLMs muitas vezes dependem de memorização estatística ou falham em aplicar regras gramaticais complexas de forma consistente.

O problema central abordado é a dificuldade de diagnosticar o que exatamente os modelos aprendem: eles capturam objetos linguísticos reais (como constituintes e papéis semânticos) e regras sistemáticas, ou apenas exploram pistas superficiais? O artigo critica datasets existentes (como BLiMP, que usa pares mínimos binários) por serem muito simples e não exigirem raciocínio analógico complexo, e datasets visuais (como ARC/RPMs) por não serem nativos da linguagem.

2. Metodologia: Blackbird Language Matrices (BLMs)

Os autores propõem os Blackbird Language Matrices (BLMs), uma nova tarefa linguística inspirada nos Testes de Matrizes Progressivas de Raven (RPMs), usados em testes de QI.

• Estrutura da Tarefa:

  • Um BLM é um problema de múltipla escolha estruturado como uma matriz.
  • Contexto (C): Uma sequência de sentenças que codifica um padrão linguístico gerado por regras subjacentes.
  • Conjunto de Respostas (A): Inclui uma resposta correta ($a_c$) que completa o padrão e várias respostas incorretas (distratores) que violam regras específicas (sintáticas, semânticas ou de progressão).
  • Objetivo: O modelo deve identificar o padrão linguístico no contexto e selecionar a sentença que o estende corretamente.

• Tipos de Fenômenos Linguísticos Investigados:
  Os BLMs cobrem dois grandes grupos de fenômenos:

  1. Alternâncias Verbais: Mapeamento entre semântica e sintaxe (ex: Spray/Load, Causativo/Incoativo, Drop de Objeto). Exigem entender como argumentos (Agente, Tema, Locativo) se movem entre estruturas.
  2. Fenômenos Estrutura-Dependentes de Longa Distância: Concordância (sujeito-verbo), Sequência de Tempos e Misturas de ambos. Exigem ignorar "atrativos" (palavras intermediárias) e focar na estrutura hierárquica.

• Construção e Validação de Dados:

  • Abordagem Híbrida: Os dados são criados através de templates manuais (definidos por linguistas) que geram estruturas lógicas, seguidos de augmentação semi-automática (usando modelos de linguagem como RoBERTa, GPT-4 e BERT para preencher máscaras e criar variações lexicais).
  • Validação Rigorosa: As sentenças geradas passam por validação humana dupla (gramaticalidade e plausibilidade semântica) usando escalas Likert, garantindo que o dataset seja naturalista, mas controlado.
  • Multilinguismo: Os datasets foram desenvolvidos em Inglês, Francês, Italiano, Romeno, Turco e Hebraico, permitindo estudos comparativos.
  • Tipos de Variação Lexical: Os dados são divididos em três níveis de complexidade (Tipo I: vocabulário fixo; Tipo II: variação parcial; Tipo III: variação total), testando a generalização do modelo.

3. Contribuições Principais

1. Novo Framework de Tarefa: Definição formal dos BLMs como uma ponte entre testes de inteligência visual (RPMs) e problemas linguísticos complexos, exigindo indução de objetos, dependência estrutural e sistematicidade composicional.
2. Datasets Curated e Estruturados: Criação de milhares de instâncias de BLMs cobrindo sete paradigmas linguísticos em múltiplos idiomas, com validação humana e controle de variáveis.
3. Análise de Representações Internas: Desenvolvimento de arquiteturas específicas (VAEs - Autoencoders Variacionais) para "provar" se os embeddings de sentenças contêm informações sobre a estrutura de chunks (constituintes) e papéis semânticos.
4. Investigação de Sistematicidade: Demonstração de que a resolução correta depende da detecção de padrões sistemáticos entre sentenças, não apenas de regras locais.

4. Resultados Experimentais

Os autores realizaram experimentos com modelos base (FFNN, CNN) e modelos mais especializados (VAEs de dois níveis) usando embeddings de modelos pré-treinados (Electra, OpenAI-GPT).

• Resolução da Tarefa:

  • Modelos simples conseguem resolver os BLMs com desempenho razoável (F1 > 0.40 em configurações difíceis), provando que a tarefa é solucionável, mas desafiadora.
  • Modelos com VAEs de dois níveis (que comprimem a estrutura da sentença antes de resolver o quebra-cabeça) superaram as baselines, especialmente em dados com alta variação lexical (Tipo III). Isso sugere que a compressão estrutural ajuda a generalizar.

• Análise de Erros:

  • Alternâncias Verbais: Os erros mais comuns envolvem mapeamentos sintático-semânticos incorretos (ex: confundir Agente com Tema) ou violações de regras de progressão, indicando que os modelos às vezes aprendem a sintaxe local, mas falham na lógica do paradigma.
  • Concordância: Em tarefas de concordância, os modelos tendem a errar na contagem de "atrativos" (substantivos intermediários), mostrando dificuldade em ignorar informações irrelevantes para focar na estrutura hierárquica.
  • Viés de Agente: Observou-se uma tendência dos modelos (e humanos) a interpretar o primeiro argumento como Agente, um viés cognitivo documentado.

• Descobertas sobre Representações:

  • A análise via VAE mostrou que os embeddings de sentenças de modelos pré-treinados contêm informações sobre a estrutura de chunks e papéis semânticos (Agente, Tema, etc.), mesmo que o modelo seja treinado apenas em tokens.
  • A compressão latente consegue distinguir padrões de voz (ativa/passiva) e papéis semânticos, validando a hipótese de que a estrutura linguística está codificada nas representações distribuídas.

5. Significância e Conclusão

O artigo conclui que os Blackbird Language Matrices são uma ferramenta poderosa para investigar a inteligência linguística de máquinas.

• Diagnóstico Profundo: Ao contrário de benchmarks de classificação binária, os BLMs permitem investigar por que um modelo falha (erro de regra, erro de raciocínio, erro de generalização).
• Generalização: Os resultados indicam que, embora os LLMs tenham conhecimento formal da linguagem, eles ainda lutam com a generalização sistemática e a aplicação de regras analógicas complexas, especialmente quando confrontados com variações lexicais e estruturais não vistas durante o treino.
• Futuro: O trabalho defende que o desenvolvimento de datasets curados, parcialmente manuais e estruturados (como os BLMs) é essencial para avançar além da simples escala de dados e entender a natureza da "inteligência" nos modelos de linguagem, aproximando-os de capacidades humanas de abstração e raciocínio.

Em suma, os BLMs oferecem um "microscópio" para examinar a competência linguística interna dos modelos, revelando que, embora eles possam imitar a fluência humana, a estrutura lógica e a sistematicidade subjacente ainda representam um desafio significativo.