The Model Says Walk: How Surface Heuristics Override Implicit Constraints in LLM Reasoning

Título: O Modelo Diz "Caminhe": Como Heurísticas de Superfície Sobrepõem Restrições Implícitas no Raciocínio de LLMs

1. O Problema

O artigo identifica uma falha sistemática em Grandes Modelos de Linguagem (LLMs): quando uma pista de superfície saliente (um heurístico estatístico) entra em conflito com uma restrição de viabilidade não declarada (um pré-requisito lógico ou físico), os modelos tendem a ignorar a restrição e seguir o heurístico.

• Exemplo Central (O Problema da Lavagem de Carros): A pergunta viral "Quero lavar meu carro. A lava-jato está a 50 metros. Devo ir a pé ou de carro?" tem a resposta correta "De carro" (pois o carro precisa estar fisicamente presente na lava-jato). No entanto, a maioria dos LLMs recomenda "A pé", porque a distância curta (50m) ativa um heurístico de proximidade ("perto = a pé"), ignorando a restrição implícita de que o objeto (o carro) deve estar no local de destino para ser lavado.
• Natureza do Erro: Diferente de alucinações factuais, estes são erros de raciocínio onde o modelo extrai uma conclusão incorreta a partir de premissas corretamente percebidas. O erro é difícil de detectar porque a resposta soa plausível e internamente consistente.
• Hipótese: Os modelos não estão faltando conhecimento (sabem que carros precisam estar no local), mas falham em ativar esse conhecimento quando ele compete com um padrão estatístico dominante.

2. Metodologia

Os autores propõem um arcabouço de Diagnóstico–Medição–Ponte–Tratamento para investigar o fenômeno:

A. Análise Diagnóstica (Estudo 1)

• Cenário: O problema da lavagem de carros analisado em 6 modelos (famílias Qwen3, Qwen3.5, GPT-OSS).
• Técnicas:
  • Oclusão Causal: Perturbação de componentes da entrada (objetivo, pista heurística, opções) para medir a mudança na pontuação de decisão.
  • Curvas de Monotonicidade: Variação da distância (de 10m a 100km) para observar se a decisão segue uma função sigmoide baseada apenas na distância (heurística) ou se é modulada pelo objetivo (raciocínio).
  • Atribuição em Nível de Token: Análise de quais tokens específicos influenciam a decisão.

B. Benchmark HOB (Heuristic Override Benchmark) – Estudo 2

• Escala: Um novo benchmark com 500 instâncias cobrindo 14 modelos (incluindo GPT-5, Claude, Gemini, Llama, etc.).
• Taxonomia: Organizado em uma matriz de 4 Famílias de Heurísticas (Proximidade, Eficiência, Custo, Semântica) × 5 Famílias de Restrições (Presença, Capacidade, Validade, Escopo, Procedural).
• Design Controlado:
  • Pares Mínimos: Versões onde a restrição é removida para isolar o raciocínio de restrição da compreensão superficial.
  • Gradientes: Variação na força do heurístico (fraco/médio/forte) e na explicitação da restrição (implícito/dica/explicito).
• Critério Rigoroso: Uma instância é considerada correta apenas se o modelo acertar em 10/10 tentativas, medindo consistência e não apenas acerto aleatório.

C. Probes Paramétricos e Mitigação

• Probes: Varredura paramétrica para ver se o padrão sigmoide se generaliza para custos, eficiência e similaridade semântica.
• Mitigação: Teste de um prompt de decomposição de objetivo ("Liste as condições necessárias antes de responder") para forçar a enumeração de pré-condições.

3. Resultados Principais

A. Diagnóstico do Comportamento

• Dominância Heurística: A pista de distância exerce 8,7 a 38 vezes mais influência na decisão do que o objetivo da tarefa.
• Padrão Sigmoide: Todos os modelos exibem curvas de decisão sigmóides quase independentes do contexto. A distância mapeia diretamente para a decisão (ex: "perto" $\rightarrow$ "caminhar"), independentemente de ser viável ou não.
• Atribuição de Tokens: O raciocínio não é composicional. Tokens como "carro" e "veículo" dentro do objetivo favorecem erroneamente "caminhar", cancelando tokens de ação como "lavar". O efeito é mais consistente com associações de palavras-chave do que com inferência lógica.

B. Desempenho no Benchmark HOB

• Falha Generalizada: Nenhum dos 14 modelos ultrapassou 75% de precisão estrita (10/10 corretos). A média foi de 62,6%.
• Restrição de Presença (C-pres): É a categoria mais difícil (média de 44,4%), validando o padrão do problema da lavagem de carros em escala.
• Viés Conservador: 12 de 14 modelos performaram pior quando a restrição foi removida (ex: cair de 69% para 51%). Isso indica que, na ausência de um conflito claro, os modelos tendem a escolher a opção "mais difícil" ou conservadora em vez de raciocinar logicamente sobre a viabilidade.
• Gradiente de Explicitação: Adicionar uma "dica" sutil (ex: enfatizar o objeto) recupera +15,3 pontos percentuais de precisão. Isso sugere que o conhecimento existe, mas o mecanismo de inferência não o ativa autonomamente.

C. Generalização e Mitigação

• Generalização: O padrão sigmoide de falha se repete em heurísticas de eficiência e similaridade semântica, mas é menos pronunciado em restrições de capacidade física concreta (ex: peso).
• Mitigação: O prompt de decomposição de objetivo (forçar a enumeração de pré-condições) recuperou +6 a +9 pontos percentuais, especialmente em modelos mais fracos. Isso confirma que o gargalo é a ordem de inferência (o modelo precisa listar as condições antes de aplicar o heurístico).

4. Contribuições Chave

1. Identificação de uma Vulnerabilidade Sistemática: Demonstra que LLMs aplicam mapeamentos heurísticos aproximadamente independentes do contexto que sobrepõem restrições de viabilidade implícitas.
2. HOB (Heuristic Override Benchmark): Um novo padrão-ouro de 500 instâncias com pares mínimos e gradientes controlados para medir a robustez do raciocínio de restrição, superando métricas de precisão binária simples.
3. Análise Causal e Comportamental: Evidência empírica de que a falha não é falta de conhecimento (o modelo sabe que carros precisam estar na lava-jato), mas sim uma falha na ativação do caminho de raciocínio de restrição quando confrontado com um sinal estatístico dominante.
4. Distinção do "Shortcut Learning": Diferencia-se do aprendizado de atalho tradicional. Remover o heurístico (o sinal de distração) piora o desempenho do modelo, indicando que o problema não é filtrar ruído, mas sim enumerar quais condições não declaradas são relevantes (o "Problema do Quadro" clássico).

5. Significado e Implicações

• Risco em Aplicações Reais: Em domínios críticos como triagem médica, aconselhamento jurídico ou planejamento financeiro, onde restrições não declaradas competem com padrões superficiais (ex: "sintoma leve $\rightarrow$ esperar"), os modelos podem gerar recomendações fluentes, confiantes e sistematicamente incorretas.
• Limitações das Avaliações Atuais: Métricas de precisão padrão são cegas a esse tipo de erro, pois o modelo produz respostas que parecem lógicas à primeira vista.
• Direção para Soluções: A eficácia da decomposição de objetivo sugere que intervenções no prompting que forçam a explicitação de pré-condições podem mitigar o problema, embora soluções arquitetônicas ou de treinamento sejam necessárias para uma correção robusta.

Em resumo, o artigo argumenta que a falha fundamental não é a falta de "inteligência" ou conhecimento de mundo, mas uma arquitetura de inferência que prioriza padrões estatísticos superficiais em detrimento da lógica de viabilidade implícita, exigindo novos benchmarks e métodos de avaliação para medir o progresso real no raciocínio de LLMs.