LOGICAL-COMMONSENSEQA: A Benchmark for Logical Commonsense Reasoning

1. O Problema

O raciocínio de senso comum (commonsense reasoning) é uma capacidade fundamental da cognição humana, mas os modelos de linguagem atuais (LLMs) frequentemente falham em demonstrar essa competência de forma robusta. O artigo identifica duas limitações críticas nos benchmarks existentes (como CommonsenseQA, SocialIQA, PIQA):

• Redução a Respostas Únicas: A maioria dos benchmarks força o modelo a selecionar uma única resposta "correta" entre distratores. Isso ignora a ambiguidade inerente a muitas situações do mundo real, onde múltiplas interpretações podem ser plausíveis simultaneamente.
• Falta de Composicionalidade Lógica: Os modelos atuais não são testados sobre sua capacidade de avaliar relações lógicas entre afirmações (e.g., se duas afirmações são ambas plausíveis, se pelo menos uma é plausível, ou se nenhuma é plausível). Eles tendem a depender de heurísticas superficiais e correlações estatísticas em vez de um raciocínio lógico genuíno sobre a plausibilidade combinada.

O objetivo é criar um ambiente controlado para avaliar se os modelos podem realizar composição de plausibilidade, integrando múltiplas alternativas através de operadores lógicos.

2. Metodologia

Os autores propõem o LOGICAL-COMMONSENSEQA, um novo benchmark que reformula o raciocínio de senso comum como uma tarefa de composição lógica sobre pares de afirmações atômicas.

Construção do Dataset

O dataset é derivado do CommonsenseQA original, mas passa por um pipeline de três estágios:

1. Geração de Candidatos: Utilizando o GPT-4o-mini, são geradas múltiplas opções de resposta atômicas (plausíveis e implausíveis) para cada pergunta, focando em raciocínio causal e situacional, não apenas em pistas lexicais.
2. Refinamento e Poda: Um segundo passo de filtragem remove inconsistências lógicas, elimina opções triviais e identifica "quase-acertos" (distratores que violam nuances sutis de senso comum).
3. Composição Lógica Determinística: As opções atômicas refinadas são combinadas em pares usando três operadores simbólicos de nível de plausibilidade:
   • AND: Ambas as afirmações são independentemente plausíveis.
   • OR: Pelo menos uma das afirmações é plausível.
   • NEITHER/NOR: Nenhuma das afirmações é plausível.
   • MIXED: Uma configuração onde diferentes operadores aparecem entre as opções de resposta da mesma pergunta.

Validação Humana

Para garantir a validade do senso comum, foi realizada uma validação humana baseada no framework awareness–consensus (consciência e consenso). Anotadores avaliaram se acreditavam na resposta individualmente e se acreditavam que a maioria concordaria. O dataset final contém 19.996 instâncias, divididas igualmente entre os operadores e o cenário misto.

Avaliação de Modelos

O benchmark foi testado em diversas arquiteturas:

• Modelos encoder-only (ex: DeBERTa).
• Modelos encoder-decoder (ex: Flan-T5, Entailer).
• LLMs decoder-only de código aberto (ex: LLaMA-3, Qwen2.5) e proprietários (ex: Gemini).
• Configurações de Zero-shot, Few-shot (1-3 exemplos) e Chain-of-Thought (CoT), além de Fine-tuning supervisionado.

3. Principais Contribuições

1. Novo Paradigma de Avaliação: Introduz a avaliação de raciocínio de senso comum não como seleção de uma única verdade, mas como julgamento de relações de plausibilidade compostas (conjunção, disjunção e negação).
2. Dataset Controlado e Diverso: Um conjunto de dados de alta qualidade com validação humana rigorosa, projetado para evitar colapso de diversidade e focar em inferências de múltiplos passos.
3. Diagnóstico de Limitações: O benchmark expõe falhas específicas que benchmarks tradicionais não revelam, particularmente a incapacidade dos modelos de lidar com a negação em contextos de senso comum.

4. Resultados Chave

Os experimentos revelaram padrões consistentes e preocupantes:

• Desempenho em AND e OR: Os modelos (especialmente os maiores e fine-tuned) performam razoavelmente bem em raciocínio conjuntivo (AND) e moderadamente em disjuntivo (OR).
• Colapso em NEITHER/NOR: Há uma degradação drástica no desempenho em questões baseadas em negação.
  • Modelos Zero-shot e Few-shot atingem pontuações extremamente baixas em NEITHER/NOR (ex: LLaMA-3.1-8B obtém apenas 13,9% de precisão, comparado a 72,2% no CommonsenseQA original).
  • Mesmo modelos proprietários de ponta (Gemini) e grandes (LLaMA-70B) falham severamente neste tipo de composição.
• Efeito do Fine-tuning: Modelos supervisionados (fine-tuned) alcançam alta precisão (>89%) em todos os operadores, indicando que a tarefa é aprendível, mas que as falhas em Zero-shot refletem limitações de inferência e não apenas falta de dados.
• Análise de Decomposição: A dificuldade não reside apenas na estimativa de plausibilidade de uma única frase (que os modelos fazem bem), mas na interação entre:
  1. Estimativa de plausibilidade atômica.
  2. Ancoragem do operador lógico.
  3. Competição entre distratores compostos.
     A introdução de distratores compostos causa uma queda significativa, especialmente no operador de negação.

5. Significado e Conclusão

O LOGICAL-COMMONSENSEQA demonstra que os benchmarks atuais de senso comum superestimam a capacidade de raciocínio dos LLMs ao ignorar a complexidade da composição lógica e a ambiguidade natural.

• Limitação Fundamental: A incapacidade de lidar com a negação (NEITHER/NOR) sugere que os modelos têm dificuldade em inverter a plausibilidade ou entender que duas afirmações plausíveis individualmente podem ser conjuntamente implausíveis em um contexto específico.
• Direção Futura: O trabalho aponta para a necessidade de modelos que não apenas prevejam tokens, mas que realizem inferências relacionais e composicionais robustas, essenciais para tarefas mais complexas como planejamento, diálogo e resolução de problemas do mundo real.

Em suma, o benchmark serve como um "teste de estresse" que revela que, embora os modelos pareçam inteligentes em tarefas de escolha única, eles ainda carecem de uma compreensão lógica profunda das relações entre ideias no senso comum.