Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives

Este artigo avalia a composicionalidade em adjetivos e substantivos em modelos de linguagem de grande escala (LLMs) por meio de perspectivas funcionais e representacionais, revelando uma divergência entre a capacidade dos modelos de desenvolver representações composicionais internas e sua inconsistência em traduzir essas capacidades para o sucesso funcional em tarefas.

O essencial

Imagine que você tem um cozinheiro robô (o Modelo de Linguagem ou LLM) muito famoso. Ele é capaz de escrever receitas, contar histórias e responder a perguntas complexas. Mas os cientistas queriam saber uma coisa específica: esse robô realmente entende como as palavras se combinam para criar novos significados, ou ele apenas está "chutando" com base no que já ouviu antes?

A palavra-chave aqui é composicionalidade. É a capacidade de pegar duas partes simples (como "vermelho" e "carro") e entender que juntas elas formam algo novo ("carro vermelho"), sem precisar ter visto exatamente essa combinação antes.

Os autores deste estudo decidiram testar esse robô de duas maneiras muito diferentes, como se estivessem olhando para ele de dois ângulos distintos:

1. O Teste Prático (A "Prova de Fogo")

Imagine que você pede ao robô para resolver um quebra-cabeça.

• A Tarefa: Você diz: "Um 'carro vermelho' é um 'carro', certo?" (Sim). "Então, um 'carro vermelho' é um 'veículo vermelho', certo?" (O robô precisa deduzir isso).
• O Resultado: O robô às vezes acerta, mas muitas vezes erra. E o mais estranho: quando os cientistas tornaram o robô "mais inteligente" (adicionando mais memória ou ensinando-o a seguir instruções), ele não ficou necessariamente melhor nesses testes de lógica. Às vezes, ficou até pior! Foi como se, ao tentar aprender a cozinhar pratos mais complexos, ele esquecesse as regras básicas de como misturar ingredientes.

2. O Raio-X do Cérebro (A "Análise Interna")

Agora, em vez de perguntar ao robô a resposta, os cientistas abriram a "caixa preta" e olharam para dentro do cérebro digital dele enquanto ele pensava. Eles usaram um raio-X para ver como as informações estavam organizadas nas camadas internas da rede neural.

• O Resultado: Surpreendentemente, o raio-X mostrou que o robô tinha sim as regras de combinação guardadas no cérebro! A informação de que "vermelho + carro = carro vermelho" estava lá, bem clara e organizada, pronta para ser usada.

O Grande Mistério: O Que Aconteceu?

Aqui está a parte mais interessante e o ponto central do estudo:

O robô sabia a resposta (no seu "cérebro"), mas falhou em dizer a resposta (na sua "boca").

Existe uma divergência estranha.

• Visualmente (Raio-X): O robô parece um gênio da lógica. Ele tem as peças do quebra-cabeça organizadas perfeitamente.
• Comportamentalmente (Teste Prático): Ele parece confuso e falha em conectar os pontos quando precisa responder.

É como se você tivesse um engenheiro de primeira linha que sabe exatamente como construir uma ponte (ele tem os planos e o conhecimento técnico), mas quando você pede para ele desenhar a ponte no papel, ele desenha algo torto ou esquece de colocar o cimento. O conhecimento está lá, mas ele não consegue "traduzi-lo" para a ação correta.

Por que isso importa?

Os autores dizem que, até hoje, a gente só olhava para o robô de um lado: ou testávamos se ele acertava a resposta (e achávamos que ele era burro quando errava) ou olhávamos para dentro (e achávamos que ele era um gênio).

Este estudo nos ensina que não podemos confiar apenas em uma dessas visões.

• Se olharmos só para a resposta errada, podemos achar que o robô não entende nada.
• Se olharmos só para o cérebro, podemos achar que ele é perfeito.

A verdade está no meio: o robô tem o conhecimento, mas precisa de ajuda para usá-lo corretamente. Para garantir que esses robôs sejam seguros e confiáveis no futuro (para dirigir carros, diagnosticar doenças ou julgar leis), precisamos fazer os dois testes ao mesmo tempo: olhar para o que eles fazem E para como eles pensam.

Resumo em uma frase: O robô tem o "know-how" (sabe como fazer) escondido no seu sistema, mas às vezes falha em "mostrar" esse conhecimento quando o testamos, e precisamos olhar para ambos os lados para entender o que realmente está acontecendo.

Resumo técnico

Título: Avaliação da Composicionalidade Adjetivo-Substantivo em LLMs: Perspectivas Funcionais vs. Representacionais

1. Problema e Motivação

A composicionalidade — a capacidade de gerar significados complexos a partir de partes mais simples — é considerada um pilar fundamental do processamento de linguagem humana. Com o advento de Grandes Modelos de Linguagem (LLMs) altamente performáticos, surge uma questão crítica: os LLMs são verdadeiramente composicionais?

Embora existam estudos anteriores sobre composicionalidade em modelos neurais, muitos utilizam paradigmas desenhados para modelos treinados do zero (como SCAN ou COGS) ou fragmentos sintéticos de inglês, o que não se aplica bem aos LLMs pré-treinados modernos. Além disso, há uma lacuna na literatura: as avaliações baseadas em tarefa funcional (desempenho em prompts) e as análises representacionais (estrutura interna do modelo) raramente são comparadas lado a lado no mesmo conjunto de modelos. O objetivo deste trabalho é investigar se essas duas abordagens fornecem evidências convergentes ou divergentes sobre a composicionalidade em LLMs.

2. Metodologia

Os autores propõem um quadro experimental unificado que contrasta duas abordagens de avaliação para a composicionalidade de frases adjetivo-substantivo (AN):

A. Avaliação Funcional (Desempenho em Tarefa)
Avalia o comportamento externo do modelo através de três tarefas baseadas em inferência, cobrindo diferentes aspectos da composicionalidade:

1. Substitutividade (Dataset: AddOne): Testa se substituir um modificador por um semanticamente compatível preserva a relação de implicação (entailment). Ex: "O corredor estabeleceu um novo recorde" implica "O corredor estabeleceu um recorde".
2. Sistematicidade (Dataset: PLANE): Testa a capacidade de recombinar relações semânticas conhecidas para inferir uma nova. O modelo deve decidir se a implicação se mantém ao combinar um adjetivo com um hiperônimo (ex: "carro vermelho" implica "veículo vermelho", dado que "carro" é um "veículo").
3. Sobre-generalização (Dataset: COMPCOMB - novo dataset introduzido): Testa se o modelo evita inferir que compostos exocêntricos (onde o significado não deriva transparentemente das partes, como "turncoat" = traidor, não "casaco") são subtipos do substantivo base.

B. Avaliação Representacional (Análise Interna)
Investiga se as informações composicionais estão codificadas nos estados internos do modelo:

• Probing Linear: Para AddOne e PLANE, treinam-se classificadores lineares nas representações ocultas (a cada 5ª camada do transformer) para prever rótulos de implicação.
• Similaridade de Cosseno: Para COMPCOMB, calcula-se a similaridade entre embeddings de tokens para verificar se o modelo distingue internamente entre combinações composicionais e não composicionais.

Configuração Experimental:

• Modelos: Quatro famílias de modelos (LLaMA-2, CodeLlama, Qwen2.5-Coder, Gemma2).
• Variantes: Para cada família, testaram-se três variantes: Modelo Base, Modelo Ajustado por Instrução (Instruction-Tuned) e Modelo Escalado (maior número de parâmetros).

3. Resultados Principais

Os resultados revelam uma divergência notável entre o desempenho funcional e os estados internos:

1. Desempenho Funcional Inconsistente:

   • O aumento da escala (número de parâmetros) e o ajuste por instrução não resultaram consistentemente em melhor desempenho nas tarefas composicionais.
   • Em alguns casos (especialmente em AddOne e COMPCOMB), o desempenho decaiu com o ajuste por instrução e o aumento da escala.
   • A tarefa de sistematicidade (PLANE) manteve-se relativamente estável, mas sem a melhoria esperada com a escalabilidade.

2. Estabilidade Representacional:

   • Ao contrário do desempenho funcional, as representações internas mostraram-se consistentemente acima do acaso em todas as camadas e variantes de modelos.
   • As informações composicionais estão robustamente codificadas na estrutura interna dos modelos, com sinais de força frequentemente atingindo o pico nas camadas intermediárias.
   • A qualidade da representação composicional permaneceu estável independentemente de o modelo ser base, ajustado por instrução ou escalado.

3. A Divergência Chave:

   • Os modelos possuem conhecimento composicional codificado em suas representações internas (eles "sabem" a estrutura), mas falham em traduzir esse conhecimento consistentemente em sucesso funcional na tarefa (eles não "usam" essa informação corretamente para responder).

4. Contribuições Principais

• Contraste Direto: É um dos primeiros trabalhos a comparar sistematicamente avaliações funcionais e representacionais na mesma tarefa e conjunto de modelos, revelando uma lacuna crítica na avaliação atual de LLMs.
• Novo Dataset: Introdução do dataset COMPCOMB para avaliar especificamente a robustez contra a sobre-generalização em compostos exocêntricos.
• Evidência de Divergência: Demonstra empiricamente que a melhoria em capacidades gerais (via scaling ou instruction tuning) não se traduz linearmente em melhorias de comportamento composicional, embora a estrutura interna composicional permaneça intacta.

5. Significado e Implicações

• Limitações das Avaliações Atuais: Avaliar modelos apenas pelo desempenho em tarefas (benchmarks) pode levar a conclusões incompletas ou errôneas sobre suas capacidades reais de raciocínio. Um modelo pode ter a estrutura interna correta, mas falhar na execução da tarefa devido a problemas de alinhamento ou viés de prompt.
• Importância da Avaliação Contrastiva: Para uma compreensão completa das capacidades dos modelos, é essencial integrar análises funcionais e representacionais. A divergência observada sugere que os LLMs podem estar "sabendo mais do que mostram" (knowing more than they show).
• Segurança e Robustez: Para aplicações sensíveis à segurança, entender a discrepância entre a estrutura interna e a saída externa é crucial. Se o modelo possui o conhecimento composicional internamente, mas falha externamente, isso pode indicar vulnerabilidades ou comportamentos imprevisíveis em cenários de deploy.

6. Limitações

• O estudo foca exclusivamente na composicionalidade de adjetivos e substantivos, não abrangendo outros níveis linguísticos (subpalavras, frases completas) ou modelos multilíngues.
• A análise de probing revela a presença de informação, mas não estabelece uma relação causal direta entre a estrutura interna e o comportamento de inferência (o que exigiria métodos de intervenção causal).

Conclusão

O artigo conclui que, embora os LLMs desenvolvam representações composicionais confiáveis em seus estados internos, essa capacidade não se manifesta consistentemente no desempenho funcional das tarefas. Isso destaca a necessidade urgente de estratégias de avaliação que combinem perspectivas funcionais e representacionais para obter uma visão mais precisa e matizada das capacidades dos modelos de linguagem.