Resumo Técnico: Não Julgue um Livro pela Capa: Testando a Robustez de LLMs sob Obscurecimento Lógico

Declaração do Problema

Apesar das impressionantes capacidades dos Grandes Modelos de Linguagem (LLMs) em tarefas de raciocínio padrão — como resolver equações aritméticas, avaliar tabelas de verdade e completar silogismos — esses modelos exibem uma fragilidade significativa quando confrontados com problemas logicamente equivalentes apresentados em formatos obscurecidos. Embora os benchmarks atuais (ex: MMLU, BIG-Bench Hard) frequentemente pontuem apenas a resposta final, permitindo que os modelos tenham sucesso por meio de correspondência de padrões superficiais ou memorização, eles falham em distinguir entre o raciocínio lógico genuíno e a recuperação de padrões de dados de treinamento.

O problema central abordado é a incapacidade dos LLMs de última geração em manter a consistência do raciocínio quando a forma superficial de um problema é alterada, enquanto sua estrutura lógica subjacente permanece invariante. Como observado por críticos e pesquisadores (ex: Smolinski, 2024; Vafa et al., 2024), os modelos podem produzir saídas impressionantes sem recuperar o modelo de mundo subjacente, colapsando quando desvios simples ou reformulações são introduzidos. Este artigo investiga se os LLMs realmente raciocinam ou se apenas exploram padrões memorizados, testando sistematicamente sua robustez contra o obscurecimento lógico.

Metodologia

O Framework Logifus

Para estudar essa vulnerabilidade, os autores introduzem o Logifus, um framework de obscurecimento lógico que preserva a estrutura. O Logifus funciona como um mapeamento $f: Q \to Q'$, onde $Q$ é um conjunto de perguntas originais e $Q'$ é um conjunto de contrapartes logicamente equivalentes, mas sintaticamente diversas (obscurecidas). O princípio central é que, embora a representação linguística ou estrutural de nível superficial seja alterada, a solução correta permanece invariante. Isso força os modelos a engajarem em um raciocínio mais profundo em vez de depender da recuperação superficial.

O framework gera variantes obscurecidas através de estratégias de transformação específicas adaptadas para diferentes domínios de raciocínio:

1. Equivalências Lógicas: Aplicando regras como as leis de De Morgan ou eliminação de dupla negação para premissas de Lógica de Primeira Ordem (FOL).
2. Cadeias Relacionais: Reescrevendo afirmações diretas de parentesco em descrições indiretas de múltiplos passos (ex: transformando "A é o irmão de B" para "A é o marido da cunhada de B").
3. Substituições Simbólicas: Substituindo valores numéricos em sequências por tokens determinísticos, porém opacos, como nomes de planetas, somas ASCII desses nomes ou hashes MD5.
4. Desvios Espaciais: Inserindo pares de vetores autocompensadores (ex: caminhar para o Norte e depois para o Sul) em caminhos de navegação para aumentar a complexidade sem alterar o deslocamento líquido.

O Benchmark LogiQAte

Aproveitando o Logifus, os autores apresentam o LogiQAte, um benchmark diagnóstico composto por 1.108 perguntas em quatro tarefas de raciocínio distintas:

1. Obfus FOL: 272 perguntas avaliando a implicação de lógica de primeira ordem sob reescritas que preservam a equivalência.
2. Obfus Blood Relation: 300 perguntas testando o raciocínio de grafos de parentesco sob cadeias relacionais indiretas (Complexidade Nível 1 e Nível 2).
3. Obfus Number Series: 284 perguntas exigindo detecção de padrões indutivos sob substituições simbólicas (tipos de Nome de Planeta, Soma ASCII e Hash MD5).
4. Obfus Direction Sense: 252 perguntas avaliando o raciocínio de navegação sob alteração de direções e referenciais.

Validação: Para garantir a integridade, cada pergunta base e sua versão obscurecida passaram por um rigoroso processo de validação envolvendo dois anotadores humanos e, para as tarefas de FOL, o provador de teoremas automatizado Prover9. Isso garantiu uma concordância quase perfeita (Coeficiente $\kappa$ de Cohen $> 0,88$) sobre a equivalência lógica e a preservação da conclusão.

Configuração de Avaliação

O benchmark foi avaliado em nove modelos de última geração (tanto de código aberto quanto fechados), incluindo modelos de propósito geral (GPT-4o, Claude 3.7 Sonnet) e modelos focados em raciocínio (GPT-5, o4-mini, Qwen QwQ-32B, Gemini 2.5 Pro). As avaliações foram conduzidas sob configurações de prompting zero-shot, few-shot e Chain-of-Thought (CoT) com uma temperatura de 0.0. O desempenho foi medido usando a Precisão de Correspondência Exata (EM Accuracy).

Principais Resultados

Degradação de Desempenho

Em todas as tarefas e modelos, o obscurecimento lógico degrada severamente o desempenho zero-shot.

• Queda Média: A queda média de desempenho em todas as tarefas e configurações foi de 28,8%.
• Especificidades dos Modelos:
  • GPT-4o: Caiu 47% em média.
  • GPT-5: Caiu 27% em média.
  • o4-mini: Caiu 22% em média.
  • Modelos de Raciocínio: Mesmo modelos especificamente otimizados para raciocínio (ex: GPT-5) viram declínios significativos, como cair de 98% para 56% em Obfus FOL (zero-shot).
  • Modelos de Propósito Geral: Experimentaram quedas mais drásticas, com alguns modelos mostrando declínios de até 87% (ex: GPT-4o em Obfus Number Series).

Vulnerabilidades por Tarefa

• Obfus Blood Relation: Mostrou um declínio constante conforme a complexidade aumentava do Nível 1 para o Nível 2. Por exemplo, o Claude 3.7 (CoT) caiu de 59% nas perguntas base para 24% na obscurecimento de Nível 2.
• Obfus Number Series: Provou-se particularmente punitivo para modelos de propósito geral, que tiveram dificuldade em identificar padrões quando os números foram substituídos por nomes de planetas ou hashes MD5.
• Obfus Direction Sense: Destacou fraquezas no rastreamento de estado, com modelos falhando ao filtrar desvios autocompensadores.

Estratégias de Prompting

Estratégias de prompting avançadas como Few-shot e Chain-of-Thought (CoT) forneceram apenas um alívio parcial, não robustez. Embora o CoT tenha reduzido a degradação do GPT-5 de 27% para 18,7%, o efeito permaneceu inconsistente entre os modelos. Notavelmente, modelos menores (ex: GPT-4o-mini, Llama-4-Maverick) exibiram ainda maior fragilidade, com a precisão colapsando significativamente sob obscurecimento.

Análise Mecanística

Para entender os modos de falha, os autores realizaram análções intrínsecas no LLaMA 3.1 8B:

1. Sensibilidade à Memorização: Usando inferência de membros Min-K%++, o estudo descobriu que as perguntas obscurecidas desencadearam uma maior dependência de padrões memorizados. Os escores de AUROC de predição aumentaram de 12–15% para Obfus FOL e 20–25% para Obfus Blood Relation, indicando que os modelos dependem mais fortemente de padrões de dados de treinamento quando as formas superficiais são obscurecidas.
2. Confiança por Camada: A análise das probabilidades de log do próximo token revelou um colapso de 50–80% na confiança nas camadas tardias (28–31) do transformer ao processar perguntas obscurecidas em comparação com as perguntas base. Isso sugere que o obscurecimento interrompe a consolidação semântica profunda necessária para o raciocínio genuíno.

Significância e Contribuições

O artigo apresenta três contribuições principais:

1. Logifus: Um algoritmo inovador de preservação de estrutura para gerar perguntas logicamente obscurecidas que mantêm a equivalência lógica enquanto alteram a sintaxe superficial.
2. LogiQAte: O primeiro benchmark diagnóstico de sua espécie, composto por 1.108 perguntas em quatro tarefas de raciocínio, projetado para avaliar rigorosamente a robustez de LLMs contra o obscurecimento lógico.
3. Evidência Empírica: Uma análise abrangente demonstrando que os LLMs atuais, incluindo modelos de raciocínio de última geração, processam perguntas sem compreensão profunda. Os achados destacam uma lacuna crítica entre a correspondência de padrões e o raciocínio robusto, mostrando que os modelos falham quando a "capa" do problema é alterada, mesmo que o "conteúdo" (lógica) permaneça o mesmo.

Os autores concluem que a degradação observada ressalta a urgência de construir modelos que realmente compreendam e preservem o significado além da forma superficial, em vez de simplesmente memorizar e corresponder a padrões aprendidos de dados de treinamento.

Limitações

Os autores observam que o LogiQAte está atualmente limitado ao inglês. Trabalhos futuros visam expandir o dataset para incluir dados multilíngues (particularmente línguas de baixos recursos) e estender o framework para outras categorias de raciocínio, como arranjos de assentos e inferência de senso comum.