TEMPER: Testing Emotional Perturbation in Quantitative Reasoning

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são treinados e avaliados predominantemente em tarefas de raciocínio quantitativo (como matemática) utilizando linguagem limpa e emocionalmente neutra (ex: conjuntos de dados GSM8K, MultiArith). No entanto, no mundo real, os usuários frequentemente formulam consultas envoltas em frustração, urgência, entusiasmo ou raiva.

O artigo investiga uma lacuna crítica: a simples mudança no enquadramento emocional de um problema, mantendo todo o conteúdo numérico e as relações lógicas intactas, degrada a capacidade de raciocínio do modelo? A hipótese é que os benchmarks atuais superestimam a robustez dos modelos, pois não testam a interferência de sinais emocionais humanos em tarefas de raciocínio lógico.

2. Metodologia

Para isolar a variável "emoção" sem corromper o conteúdo matemático, os autores desenvolveram uma abordagem controlada:

• Framework de Tradução Emocional (Teacher-Student):

  • Foi criado um tradutor baseado em fine-tuning (usando LoRA em modelos como Llama 3.1-8B) que reescreve problemas matemáticos neutros em variantes emocionais.
  • Arquitetura: Um modelo "estudante" gera o texto, enquanto um classificador de emoções "professor" (DistilRoBERTa congelado, treinado em dados matemáticos emocionais) fornece supervisão auxiliar.
  • Objetivo de Treinamento: Combina a perda de entropia cruzada (para fluidez) com uma perda auxiliar que alinha as representações internas do estudante com o espaço latente de emoção do professor. Isso permite controlar a intensidade da emoção via um hiperparâmetro ($\lambda$).
  • Controle de Fidelidade: O sistema garante que todos os números, quantificadores e relações matemáticas sejam preservados estritamente.

• Construção do Benchmark TEMPER-5400:

  • O framework foi aplicado a três benchmarks existentes: GSM8K (aritmética multi-etapa), MultiArith (aritmética básica) e ARC-Challenge (raciocínio científico).
  • Foram gerados 5.400 pares de problemas (900 problemas originais $\times$ 6 emoções de Ekman: raiva, nojo, medo, alegria, tristeza, surpresa).
  • Um processo rigoroso de filtragem semântica (usando LLMs como juízes e verificação automatizada de valores matemáticos) garantiu que apenas traduções que preservavam a lógica matemática fossem incluídas.
  • Inclui também um processo de neutralização (reverter o texto emocional de volta ao neutro) para testar a recuperação do desempenho.

• Controles Experimentais:

  • Paráfrases Não-Emocionais: Geração de versões reescritas com a mesma complexidade e comprimento, mas sem conteúdo emocional, para descartar que a degradação seja causada apenas por reescrita ou aumento de comprimento.
  • Avaliação Multi-Arquitetura: Testado em 18 modelos (de 1B a modelos de ponta como GPT-5 e o3), sob prompts base e Chain-of-Thought (CoT).

3. Principais Contribuições

1. Framework de Tradução Controlada: Uma nova metodologia para transferir estilo emocional mantendo a fidelidade do conteúdo quantitativo, utilizando distilação de espaço latente emocional.
2. Benchmark TEMPER-5400: Um conjunto de dados público e verificado semanticamente contendo 5.400 pares de problemas (neutro vs. emocional) para avaliação de robustez.
3. Evidência de Degradação Específica: Demonstração de que o enquadramento emocional reduz a precisão de 2% a 10% em modelos de todos os tamanhos, enquanto paráfrases neutras não causam tal efeito.
4. Mecanismo de Mitigação (Neutralização): Evidência de que "neutralizar" o texto emocional antes da inferência recupera a maior parte do desempenho perdido, sugerindo uma defesa leve em tempo de inferência.
5. Análise Representacional: Evidência de que textos emocionais deslocam os estados ocultos (hidden states) dos modelos 3 a 4 vezes mais longe da representação original (em distância cosseno) do que textos neutros ou paráfrases, indicando interferência representacional estrutural.

4. Resultados Chave

• Degradação de Precisão:

  • O enquadramento emocional causou quedas de precisão de 2% a 10% em todos os 18 modelos avaliados.
  • A queda foi mais pronunciada em prompts base (sem CoT) do que em prompts com CoT, mas persistiu em ambos.
  • Modelos maiores (frontier) são mais robustos, mas ainda sofrem perdas de 1-4%.
  • Emoções mais disruptivas: Nojo (Disgust) e Medo (Fear) causaram as maiores quedas de desempenho (até 10% no ARC-Challenge). Alegria e Surpresa causaram o menor impacto.

• Recuperação via Neutralização:

  • A neutralização do texto emocional recuperou cerca de 70% dos problemas que falharam devido à emoção.
  • Isso confirma que a degradação está ligada ao estilo emocional e não a corrupção de conteúdo ou reescrita genérica.

• Padrões de Falha:

  • A análise das cadeias de raciocínio (CoT) revelou três mecanismos principais de falha:
    1. Degradação de Restrições (49%): A linguagem emocional suaviza ou reinterpreta restrições matemáticas (ex: ignorar "cada" ou "por").
    2. Competição de Atenção (30%): A linguagem emocional distrai o modelo de elementos numéricos chave.
    3. Conclusão Prematura (8.6%): O enquadramento emocional destaca a quantidade alvo, fazendo o modelo parar o raciocínio antes de calcular tudo.

• Análise Representacional:

  • A distância cosseno entre o estado oculto do texto original e o emocional foi 3-4 vezes maior do que entre o original e paráfrases neutras.
  • Um classificador linear conseguiu separar perfeitamente (F1 $\approx$ 1.0) os estados emocionais dos neutros, indicando que a emoção cria uma região distinta e potencialmente disruptiva no espaço de representação do modelo.

5. Significado e Implicações

O trabalho TEMPER estabelece que a robustez de raciocínio dos LLMs é frágil frente a perturbações estilísticas emocionais, mesmo quando a lógica matemática permanece inalterada.

• Reavaliação de Benchmarks: Sugere que os benchmarks atuais, baseados em linguagem neutra, superestimam a capacidade real dos modelos em cenários de uso prático onde os usuários expressam emoções.
• Direção para Mitigação: A descoberta de que a neutralização recupera o desempenho oferece uma estratégia prática e leve para melhorar a confiabilidade de modelos em interfaces de usuário reais (ex: pré-processar consultas de usuários frustrados antes de enviá-las ao modelo de raciocínio).
• Generalização: O framework de tradução controlada pode ser estendido para outras variáveis estilísticas (formalidade, sarcasmo, jargão), oferecendo uma nova via para avaliar a robustez de modelos de IA além de perturbações de conteúdo.

Em resumo, o artigo demonstra que a "emoção" não é apenas ruído superficial, mas um fator que altera estruturalmente a representação interna do modelo, levando a erros de raciocínio lógico que podem ser mitigados através de técnicas de neutralização de estilo.