Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations

1. Problema e Motivação

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem alto desempenho em benchmarks de raciocínio matemático (como o GSM8K), o artigo identifica uma fragilidade crítica: a sensibilidade a perturbações de superfície que preservam o significado. Modificações triviais, como substituir nomes de personagens ou reescrever formatos numéricos (ex: "$5" para "5 dólares"), causam uma taxa significativa de "virada de resposta" (answer-flip), onde o modelo responde corretamente ao problema original, mas falha na variante perturbada.

O trabalho questiona se o alto desempenho reflete uma compreensão matemática genuína ou apenas correspondência de padrões superficiais. O objetivo é ir além da avaliação comportamental (medir apenas a queda de acurácia) e investigar onde e como essas falhas surgem mecanicamente dentro da arquitetura do modelo.

2. Metodologia

Os autores propõem um framework de diagnóstico chamado MPD (Mechanistic Perturbation Diagnostics), que combina técnicas de interpretabilidade mecânica em três etapas:

• Construção do Dataset: Foram criados 677 pares de problemas a partir do GSM8K, cada um consistindo em um problema original e uma variante semanticamente equivalente gerada por:
  • Substituição de nomes (341 pares).
  • Paráfrase de formato numérico (336 pares).
• Avaliação de Robustez: Os modelos foram testados com greedy decoding (temperatura 0) para identificar amostras que sofreram "virada" (flips).
• Análise Mecanística (em 60 amostras de falha por modelo):
  1. Logit Lens: Projeta os estados ocultos em cada camada para identificar a primeira camada de divergência entre as previsões do problema original e o perturbado.
  2. Patching de Ativação: Substitui os estados ocultos das camadas perturbadas pelos estados originais (corretos) para testar se a falha pode ser recuperada localmente.
  3. Ablação de Componentes: Zera a saída de subcamadas de Atenção ou MLP para determinar qual componente causa causalmente a falha.
  4. Índice de Amplificação em Cascata (CAI): Uma nova métrica que quantifica se a divergência entre as previsões aumenta ou diminui à medida que passa pelas camadas subsequentes.

3. Principais Contribuições

1. Taxonomia de Falhas Mecanísticas: Propõe uma classificação formal baseada na localizabilidade da falha:
   • Localizada: Falhas recuperáveis ao corrigir camadas específicas.
   • Distribuída: Falhas espalhadas por múltiplas camadas/componentes, difíceis de isolar.
   • Enredada (Entangled): Falhas onde a sensibilidade está misturada entre componentes (ex: MLP vs. Atenção) de forma não trivial.
2. Introdução do CAI: Apresenta o Cascading Amplification Index como um preditor de falha superior à simples identificação da primeira camada de divergência para arquiteturas com falhas distribuídas.
3. Validação de Reparo: Demonstra que a taxonomia prevê a dificuldade de reparo, validando-a através de intervenções direcionadas (vetores de direção e ajuste fino de camadas).
4. Pipeline Reutilizável: O framework MPD é projetado para ser aplicável a qualquer modelo baseado em transformer.

4. Resultados Chave

O estudo avaliou três modelos de pesos abertos: Mistral-7B, Llama-3-8B e Qwen2.5-7B.

• Taxas de Virada (Flip Rates): Todos os modelos foram sensíveis, com taxas entre 28,8% e 45,1%. A paráfrase numérica foi consistentemente mais disruptiva que a substituição de nomes.
• Divergência Temporal: Amostras que falharam divergiram em camadas significativamente mais cedo do que amostras estáveis (p < 0.05).
• Diferenças Arquitetônicas (A Taxonomia em Ação):
  • Llama-3-8B (Falhas Localizadas): Apresentou uma taxa de recuperação de patch de 71,7%. As falhas são canalizadas por um caminho computacional estreito, permitindo reparo fácil.
  • Mistral-7B (Falhas Distribuídas): Alta taxa de virada (45,1%) e recuperação de patch quase nula (5,0%). A falha é codificada de forma redundante em várias camadas de atenção.
  • Qwen2.5-7B (Falhas Enredadas): Recuperação de patch de 0%. Diferente dos outros, as subcamadas MLP são os componentes causais dominantes, e a sensibilidade está distribuída de forma complexa.
• Desempenho do CAI: O CAI superou a "primeira camada de divergência" como preditor de falha para Mistral (AUC 0,679) e Llama-3 (AUC 0,593).

5. Validação de Reparo e Significância

Os autores testaram intervenções direcionadas baseadas na taxonomia:

• Reparos Bem-Sucedidos: Para o Llama-3 (falhas localizadas), o ajuste fino de camadas e vetores de direção recuperaram ~12,2% das falhas.
• Reparos Limitados: Para Mistral e Qwen, as taxas de recuperação foram baixas (5,2% e 7,2%, respectivamente), confirmando que falhas distribuídas e enredadas são mecanicamente mais difíceis de corrigir.
• Falha de Reparo Localizado: A edição ROME (aplicada ao Qwen) resultou em recuperação negativa (-1,1%), indicando que intervenções locais podem piorar o desempenho em arquiteturas com falhas enredadas.

Significância:
Este trabalho demonstra que a fragilidade do raciocínio não é um fenômeno monolítico, mas varia drasticamente entre arquiteturas com tamanhos e paradigmas de treinamento semelhantes. A taxonomia proposta oferece um guia prático para diagnosticar a "raiz" da falha e escolher estratégias de mitigação adequadas (ex: saber que um modelo específico requer correção global em vez de ajustes locais). Além disso, o estudo reforça a necessidade de ir além dos benchmarks de precisão, focando na robustez e na interpretabilidade mecânica para garantir a confiabilidade do raciocínio em LLMs.