💬 NLP

TEMPER: Testing Emotional Perturbation in Quantitative Reasoning

Le papier TEMPER démontre que le cadrage émotionnel des problèmes de raisonnement quantique réduit la précision des grands modèles de langage de 2 à 10 points, même lorsque le contenu numérique est préservé, mais que cette dégradation peut être atténuée par une neutralisation du texte.

Auteurs originaux : Atahan Dokme, Benjamin Reichman, Larry Heck

Publié 2026-04-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Atahan Dokme, Benjamin Reichman, Larry Heck

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Titre : TEMPER

"Testez l'Émotion dans le Raisonnement"

Imaginez que vous demandez à un super-calculateur (une intelligence artificielle) de résoudre un problème de mathématiques.

Scénario A (Standard) : Vous lui dites : "J'ai 5 pommes, j'en donne 2. Combien m'en reste-t-il ?"
Scénario B (Réaliste) : Vous lui criez, frustré : "Oh là là, c'est n'importe quoi ! J'avais 5 pommes, j'en ai donné 2 à ce type, et maintenant j'en ai plus rien ! Combien il me reste, bande de nul ?"

Le problème mathématique est exactement le même (5 - 2). Mais le ton est différent. La question est : Est-ce que la colère ou la frustration de la phrase va embrouiller le cerveau de l'IA ?

🎭 L'Analogie du "Costume de Théâtre"

Les chercheurs ont découvert que les IA sont comme des acteurs très sérieux mais un peu rigides. Elles sont entraînées sur des textes "propres", comme des manuels scolaires.

Dans cette étude, les chercheurs ont créé un magicien du langage (un traducteur spécial) capable de prendre un problème de maths ennuyeux et de lui enfiler un "costume" émotionnel :

Un costume triste (pleurnichard).
Un costume en colère (agressif).
Un costume dégoûté (répugnant).
Un costume joyeux (exubérant).

Le plus important ? Le magicien ne change jamais les chiffres. Il ne change que les mots autour. C'est comme si on changeait la musique de fond d'un film sans changer l'intrigue.

📉 Ce qu'ils ont découvert (Les Résultats)

Ils ont testé cela sur 18 modèles d'IA différents (des petits aux plus puissants du monde, comme GPT-4 ou DeepSeek) avec 5 400 problèmes.

1. L'émotion fait trébucher l'IA
Même si les chiffres sont identiques, quand le problème est écrit avec de la colère ou du dégoût, l'IA se trompe beaucoup plus souvent.

L'analogie : C'est comme si vous essayiez de faire un puzzle complexe alors que quelqu'un vous crie dessus ou vous raconte une histoire effrayante à côté. Votre concentration baisse.
Le chiffre clé : L'IA perd entre 2 % et 10 % de sa précision. Ce n'est pas énorme, mais pour une machine censée être parfaite, c'est énorme !
Le champion du chaos : L'émotion qui perturbe le plus ? Le dégoût (ex: "Quelle horreur de devoir calculer ça..."). La joie perturbe le moins.

2. Ce n'est pas la longueur du texte, c'est l'émotion
Les chercheurs se sont demandé : "Est-ce que l'IA se trompe parce que la phrase est plus longue ?"
Ils ont créé des versions "neutres" mais longues (juste avec des mots ennuyeux en plus). Résultat : L'IA ne se trompe pas.
C'est donc bien l'émotion (la "vibe" de la phrase) qui casse le raisonnement, pas la complexité des mots.

3. Le remède miracle : Le "Détecteur de Calme"
C'est la partie la plus cool ! Les chercheurs ont pris les problèmes énervés et ils les ont fait passer par un "détecteur de calme" (un traducteur inverse) pour les remettre en mode neutre.

Résultat : L'IA retrouve 70 % de sa capacité à résoudre le problème !
L'analogie : C'est comme si l'IA avait bu un café trop fort (l'émotion) et qu'on lui donnait un verre d'eau (la neutralisation). Elle se calme et retrouve ses esprits.

🧪 Pourquoi est-ce important ?

Aujourd'hui, on teste les IA avec des questions de livres scolaires, très propres. Mais dans la vraie vie, les humains parlent avec leurs émotions.

Un client en colère sur un chatbot.
Un étudiant stressé qui pose une question.
Un médecin fatigué qui demande un diagnostic.

Cette étude nous dit : Attention, nos IA sont fragiles face aux émotions humaines. Elles sont comme des enfants très intelligents qui paniquent si on leur parle sur un ton agressif, même si la question est simple.

💡 En résumé

Le problème : Les IA sont entraînées sur des textes "froids".
Le test : On leur a donné des problèmes de maths "chauds" (colère, dégoût, peur).
La chute : Elles se trompent plus souvent, même si les maths sont les mêmes.
La solution : Si on "calme" le texte avant de le donner à l'IA, elle redevient intelligente.

La leçon pour demain : Pour que nos robots soient vraiment utiles, ils devront apprendre à gérer non seulement nos chiffres, mais aussi nos humeurs.

1. Problématique

Les grands modèles de langage (LLM) sont actuellement entraînés et évalués sur des tâches de raisonnement quantitatif (mathématiques) utilisant un langage propre et neutre émotionnellement. Cependant, dans la réalité, les requêtes des utilisateurs sont souvent teintées de frustration, d'urgence ou d'enthousiasme.

L'article pose la question suivante : Le simple cadrage émotionnel d'un problème, sans altérer son contenu numérique, dégrade-t-il les capacités de raisonnement des LLM ? Les auteurs soupçonnent que cette mismatch (décalage) entre les benchmarks neutres et les entrées réelles émotionnelles est une source de fragilité sous-estimée, car les signaux émotionnels sont encodés dans les couches des modèles et pourraient interférer avec les tâches de raisonnement en aval.

2. Méthodologie

Pour isoler l'émotion comme variable unique, les auteurs ont développé un cadre contrôlé et rigoureux :

A. Architecture de Traduction Émotionnelle (Teacher-Student)

Approche : Utilisation d'un cadre "enseignant-élève" pour entraîner des traducteurs capables de réécrire des problèmes mathématiques neutres en variantes émotionnelles tout en préservant strictement les nombres et les relations logiques.
Élève (Student) : Un modèle Llama 3.1-8B-Instruct adapté via LoRA (Low-Rank Adaptation).
Enseignant (Teacher) : Un classificateur de émotions (DistilRoBERTa) pré-entraîné sur GoEmotions (7 classes : colère, dégoût, peur, joie, neutre, tristesse, surprise), dont les poids sont gelés.
Fonctionnement : Le classificateur fournit une supervision auxiliaire en alignant les représentations internes de l'élève avec l'espace latent émotionnel de l'enseignant.
Contrôle de l'intensité : Une perte auxiliaire pondérée par un hyperparamètre $\lambda$ $λ$ permet de contrôler l'intensité émotionnelle. Deux variantes sont utilisées :
- EMO7 : Alignement sur la distribution de probabilité des 7 classes.
- EMO100 : Alignement sur une représentation latente intermédiaire de 100 dimensions (plus riche en nuances d'intensité et de style).

B. Construction du Benchmark TEMPER-5400

Données : 5 400 paires vérifiées sémantiquement (900 problèmes $\times$ 6 émotions).
Sources : GSM8K, MultiArith et ARC-Challenge.
Processus de filtrage :
1. Génération par un ensemble de 5 variantes de traducteurs.
2. Vérification automatique de la préservation des valeurs mathématiques (MVP).
3. Filtrage par un juge LLM (Claude Haiku) et validation humaine (Amazon Mechanical Turk) pour s'assurer que le contenu mathématique n'a pas été corrompu.
Contrôles : Création de paraphrases non-émotionnelles de même longueur pour distinguer l'effet de l'émotion de celui du simple changement de formulation ou de la longueur du texte.

C. Évaluation

Modèles testés : 18 modèles de raisonnement, allant de 1B à des modèles de pointe (Frontier) comme GPT-4o, GPT-5, et DeepSeek-V3.
Conditions : Évaluation sur les versions Originales (O), Émotionnelles (E) et Neutralisées (N).
Stratégies de prompt : Base (réponse directe) et Chain-of-Thought (CoT) zéro-shot.

3. Résultats Clés

A. Dégradation du Raisonnement par l'Émotion

Impact significatif : Le cadrage émotionnel réduit la précision de 2 % à 10 % par rapport aux versions neutres, même lorsque tout le contenu numérique est préservé.
Universalité : La dégradation est observée sur les 18 modèles et les 3 benchmarks. Elle est plus prononcée sans CoT (moyenne de -6,1 % sur GSM8K en mode base contre -3,9 % avec CoT).
Hiérarchie des émotions :
- Le dégoût est l'émotion la plus perturbatrice (moyenne de -5,9 %, jusqu'à -10 % sur ARC).
- La peur arrive en deuxième position (-4,3 %).
- La joie et la surprise causent le moins de dommages.
Corrélation intensité-erreur : Les traductions avec une intensité émotionnelle plus élevée (mesurée par la confiance du classificateur) entraînent des taux d'échec plus importants.

B. Récupération par Neutralisation

Efficacité : La neutralisation des textes émotionnels (retraduction en ton neutre) permet de récupérer environ 70 % des performances perdues.
Implication : Cela prouve que la dégradation est liée au style émotionnel et non à une corruption du contenu mathématique. Cela suggère également que la neutralisation peut servir de mécanisme de mitigation léger au moment de l'inférence.

C. Preuves Représentationnelles (Analyse des états cachés)

Distance Cosinus : Les représentations des textes émotionnels dans la dernière couche des modèles se déplacent de 3 à 4 fois plus loin de la représentation originale que les paraphrases non-émotionnelles ou les textes neutralisés.
Séparabilité Linéaire : Un probe linéaire peut classer les états cachés émotionnels avec une précision de ~100 %, indiquant que l'émotion crée des régions structurellement distinctes dans l'espace latent qui interfèrent avec le raisonnement.

D. Modèles d'Échec

L'analyse des chaînes de raisonnement (CoT) révèle trois modes d'échec spécifiques aux perturbations émotionnelles :

Dégradation des contraintes (49 %) : L'élaboration émotionnelle adoucit ou réinterprète les contraintes mathématiques (ex: ignorer une condition initiale).
Compétition de l'attention (30 %) : Le langage émotionnel distrait le modèle des éléments numériques clés (ex: calculer un trajet aller au lieu d'un aller-retour).
Accomplissement prématuré (8,6 %) : Le cadrage émotionnel met en avant la quantité cible, incitant le modèle à arrêter le raisonnement trop tôt.

4. Contributions Principales

Framework de traduction : Une méthode novatrice combinant distillation d'espace latent émotionnel et pertes auxiliaires pour un contrôle précis de l'intensité émotionnelle.
Benchmark TEMPER-5400 : Une ressource publique de 5 400 paires émotion-neutre vérifiées, couvrant trois domaines de raisonnement.
Preuve empirique : La démonstration que l'émotion dégrade le raisonnement mathématique de 2 à 10 %, indépendamment de la taille du modèle ou de la complexité de la tâche.
Mécanisme de mitigation : La validation que la neutralisation agit comme un "débruitage" efficace, récupérant la majorité des performances perdues.
Analyse représentationnelle : La preuve que l'émotion déplace les états cachés de manière structurellement différente du simple paraphrasage, confirmant une interférence représentative.

5. Signification et Implications

Robustesse des LLM : Les benchmarks actuels surestiment la robustesse des modèles de raisonnement car ils ignorent la dimension émotionnelle omniprésente dans les interactions humaines réelles.
Nouvel axe de fragilité : L'émotion constitue un axe de fragilité distinct des perturbations de formatage ou de contexte non pertinent.
Déploiement réel : Pour les applications en production (éducation, service client), les modèles doivent être évalués et potentiellement protégés contre les entrées chargées émotionnellement, car même les modèles les plus avancés (Frontier) y sont vulnérables.
Généralisation : La méthodologie proposée peut être étendue à d'autres variables stylistiques (formalité, sarcasme, jargon) pour évaluer la robustesse des modèles au-delà du domaine mathématique.

En conclusion, l'article démontre que l'émotion n'est pas un simple bruit de surface, mais une perturbation structurelle qui altère les représentations internes des LLM et dégrade leurs capacités de raisonnement logique, même lorsque la logique mathématique sous-jacente reste inchangée.