Resumo Técnico: Revisitando a Sistematicidade na Negação na Era do Aprendizado em Contexto (In-Context Learning)

Problema

Apesar das capacidades dos Grandes Modelos de Linguagem (LLMs), a compreensão da negação permanece um desafio significativo. Embora os modelos frequentemente apresentem bom desempenho em benchmarks específicos, sua capacidade de generalizar sistematicamente — compreendendo um conjunto ilimitado de expressões estruturadas a partir de um conjunto finito de primitivos — é questionável. Avaliações anteriores focaram amplamente na sistematicidade comportamental (desempenho em entradas não vistas), muitas vezes falhando em distinguir entre a compreensão composicional genuína e correlações espúrias ou memorização.

Além disso, embora a sistematicidade representacional (a codificação interna da estrutura composicional) seja teoricamente crucial para a generalização sistemática, ela tem sido subexplorada no contexto do Aprendizado em Contexto (ICL). A maior parte do trabalho anterior sobre análise representacional concentrou-se em modelos pré-treinados como o BERT, deixando a sistematicidade dos LLMs baseados em ICL insuficientemente explorada. Este artigo aborda essa lacuna analisando tanto a sistematicidade comportamental quanto a representacional em relação à compreensão da negação por LLMs.

Metodologia

O estudo emprega uma abordagem de perspectiva dupla:

1. Análise de Sistematicidade Comportamental

Os autores avaliam LLMs sob uma configuração de aprendizado few-shot para determinar se os modelos conseguem reconhecer expressões de negação e seus escopos em sentenças contendo combinações de palavras não vistas nas demonstrações.

• Tarefas:
  • Extração de Marcador de Negação (Negation Cue Extraction): Identificar a expressão de negação (ex: "não").
  • Resolução de Negação (Negation Resolution): Predizer o escopo da negação (a parte da sentença afetada pelo marcador).
  • Baseline: Predição de antônimos (usada para verificar se vetores de função podem ser construídos para tarefas mais simples).
• Formatos de Saída: Para testar a robustez, a tarefa de resolução de negação foi avaliada em quatro formatos distintos:
  • EXTRACT: Saída da sequência de tokens dentro do escopo.
  • BRACKET: Envolver o escopo em colchetes.
  • LAST-WORD: Saída do último token do escopo.
  • NER: Uma tarefa de rotulagem de sequência (0 para fora do escopo, 1 para dentro do escopo).
• Modelos: GPT-J-6B e Qwen3-4B.
• Dataset: Um subconjunto do SFU Review Corpus, filtrado para sentenças com marcadores e escopos de negação, garantindo que os conjuntos de treino, desenvolvimento e teste contenham combinações de palavras distintas.

2. Análise de Sistematicidade Representacional

Os autores investigam se os mecanismos internos dos LLMs codificam a tarefa de compreensão da negação como uma representação vetorial robusta e reutilizável.

• Vetores de Função (Function Vectors): Vetores densos extraídos das ativações ocultas do modelo (especificamente de um subconjunto de cabeças de atenção identificadas via análise de mediação causal) que resumem o mapeamento entrada-saída demonstrado pelos exemplos em contexto.
• Vetores de Tarefa (Task Vectors): Vetores extraídos diretamente das ativações do fluxo residual de uma posição de token representativa da tarefa.
• Intervenção: Esses vetores são injetados no modelo durante a inferência (configurações zero-shot) para ver se podem induzir o comportamento da tarefa alvo sem demonstrações explícitas.
• Avaliação: O estudo mede a acurácia top-1 zero-shot alcançada quando esses vetores são aplicados aos modelos, focando especificamente em exemplos de teste onde os modelos performaram corretamente em uma configuração de 10-shot (para isolar o efeito do vetor da capacidade geral do modelo).

Principais Resultados

Sistematicidade Comportamental

• Extração de Marcador de Negação: Ambos os modelos atingiram acurácia comparável à tarefa de predição de antônimos (aprox. 62–64%), sugerindo que podem aprender parcialmente a identificar marcadores de negação a partir de demonstrações. No entanto, o desempenho não foi perfeito, indicando uma falta de capacidade sistemática completa.
• Resolução de Negação: O desempenho variou significamente conforme o formato de saída. Os modelos tiveram dificuldades notáveis com o formato NER (0% de acurácia para ambos os modelos na configuração de 10-shot) e o formato LAST-WORD. O formato EXTRACT rendeu melhores resultados (até 76% para o Qwen3-4B), mas, no geral, os modelos falharam em atingir desempenho perfeito entre os formatos, sugerindo dificuldade em generalizar o conceito de "escopo" através de diferentes estruturas de saída.

Sistematicidade Representacional

• Extração de Marcador de Negação: Vetores de função (aplicados em camadas médias) e vetores de tarefa (aplicados em camadas tardias) induziram com sucesso o desempenho da tarefa em configurações zero-shot, alcançando alta acurácia (90% para GPT-J-6B, 80% para Qwen3-4B). Isso indica que a tarefa de identificar marcadores de negação pode ser codificada de forma robusta como um vetor de função.
• Resolução de Negação: Em contraste, os vetores de função e de tarefa tiveram um efeito significativamente mais fraco nas tarefas de resolução de negação (0–50% de acurácia). Embora tenha ocorrido um leve efeito de direcionamento (steering) para os formatos EXTRACT e LAST-WORD no GPT-J-6B, os vetores geralmente falharam em induzir a tarefa de forma robusta.
• Comparação de Vetores: Vetores de tarefa pareceram mais eficazes do que vetores de função para tarefas de resolução de negação, particularmente em camadas posteriores.

Significância e Alegações

O artigo alega que, embora os LLMs possam aprender a reconhecer marcadores de negação através de aprendizado em contexto, eles lutam para alcançar a sistematicidade comportamental perfeita, particularmente quando o formato de saída muda. Mais criticamente, a análise representacional revela uma divergência na forma como essas tarefas são codificadas internamente:

1. Extração de Marcador vs. Reconhecimento de Escopo: Os modelos podem formar vetores de função robustos para extrair marcadores de negação, de forma semelhante a tarefas mais simples como a predição de antônimos. No entanto, construir vetores de função para reconhecer o escopo da negação é significativamente mais desafiador.
2. Limitações do ICL: A dificuldade em formar vetores robustos para o reconhecimento de escopo sugere que os LLMs podem não possuir as representações internas estruturadas necessárias para a inferência sistemática em relação ao escopo da negação, mesmo quando podem produzir saídas corretas em contextos específicos de poucos exemplos (few-shot).
3. Contribuição Metodológica: O estudo destaca a necessidade de ir além dos benchmarks comportamentais para análises representacionais (usando vetores de função/tarefa) para realmente avaliar se os LLMs adquiriram os princípios subjacentes da generalização sistemática.

Os autores concluem que, embora os LLMs demonstrem alguma capacidade de comportamento sistemático em tarefas de negação, a incapacidade de construir robustamente vetores de função para o reconhecimento de escopo aponta para uma limitação fundamental em sua sistematicidade representacional para este fenômeno linguístico específico.