💬 NLP

TEMPER: Testing Emotional Perturbation in Quantitative Reasoning

Die Studie „TEMPER" zeigt, dass emotionale Formulierungen in quantitativen Reasoning-Aufgaben die Genauigkeit von Sprachmodellen trotz unveränderter numerischer Inhalte um 2–10 Prozentpunkte senken, während eine Neutralisierung dieser emotionalen Elemente die Leistung wiederherstellt.

Ursprüngliche Autoren: Atahan Dokme, Benjamin Reichman, Larry Heck

Veröffentlicht 2026-04-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Atahan Dokme, Benjamin Reichman, Larry Heck

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🧠 Das große Experiment: Wenn Mathe-Übungen wütend werden

Stell dir vor, du sitzt in einem ruhigen Klassenzimmer und löst eine Matheaufgabe. Die Aufgabe lautet: „Hans hat 5 Äpfel, Maria gibt ihm 3 dazu. Wie viele hat er?" Das ist einfach, oder?

Jetzt stell dir vor, dieselbe Aufgabe kommt zu dir, aber sie wird dir von einem wütenden, genervten Lehrer gestellt, der schreit: „Ugh! Hans hat diese verdammten 5 Äpfel! Und diese Maria, die gibt ihm noch 3 weitere! Wie viele hat er jetzt, verdammt noch mal?!"

Die Zahlen sind exakt dieselben. Die Logik ist identisch. Aber der Tonfall ist komplett anders.

Die Forscher von der Georgia Tech haben sich gefragt: Macht es einen Unterschied für eine künstliche Intelligenz (KI), wenn die Aufgabe emotional aufgeladen ist?

🎭 Die Methode: Ein digitaler Übersetzer

Um das herauszufinden, haben die Forscher einen speziellen „Übersetzer" gebaut (eine Art KI-Tool). Dieses Tool nimmt ganz normale, trockene Matheaufgaben und schreibt sie in verschiedene emotionale Stile um:

Wütend
Traurig
Ekelhaft
Angsterfüllt
Fröhlich
Überrascht

Das Wichtigste dabei: Alle Zahlen bleiben zu 100 % gleich. Nur die Wörter drumherum ändern sich. Sie haben 5.400 solcher Paare erstellt (eine normale Aufgabe und ihre emotionale Version).

📉 Das Ergebnis: Die KI wird verwirrt

Das Ergebnis war überraschend und etwas beunruhigend für die KI-Entwicklung:

Die KI stolpert über Gefühle: Wenn die Aufgabe emotional formuliert war, machten die KI-Modelle (von kleinen bis zu den allerstärksten) deutlich mehr Fehler. Die Genauigkeit sank um 2 % bis 10 %.
- Die Analogie: Stell dir vor, du versuchst, einen Satz zu lesen, während jemand laut Musik spielt und schreit. Du kannst die Worte noch verstehen, aber dein Gehirn braucht mehr Energie, um den Inhalt zu filtern. Die KI macht genau das: Sie wird von den Emotionen abgelenkt und vergisst die Mathematik.
Besonders Ekel und Angst: Die Gefühle, die die KI am meisten durcheinanderbrachten, waren Ekel (z. B. „ekelhaft", „widerlich") und Angst. Fröhlichkeit störte sie am wenigsten.
Es liegt nicht am Text, sondern am Gefühl: Um sicherzugehen, dass es nicht einfach nur am längeren Text lag, haben sie die Aufgaben auch in eine „langweilige, aber lange" Version umgeschrieben. Das störte die KI nicht. Also liegt das Problem wirklich an den Emotionen, nicht an der Länge des Satzes.

🛠️ Die Lösung: Der „Emotions-Lösch"-Knopf

Das Spannendste kam danach: Die Forscher nahmen die verwirrte, emotionale Version der Aufgabe und ließen eine andere KI sie wieder in eine neutrale, ruhige Sprache zurückübersetzen.

Das Ergebnis: Sobald die Emotionen entfernt waren, konnte die KI die Aufgabe fast genauso gut lösen wie am Anfang!
Die Analogie: Es ist, als würde man jemandem eine verschmutzte Brille aufsetzen (die Emotionen). Die Welt sieht verschwommen aus. Wenn man die Brille wieder abnimmt (Neutralisierung), ist die Welt wieder klar. Die KI braucht nur einen Moment, um die „emotionale Brille" abzunehmen.

💡 Was bedeutet das für uns?

Diese Studie zeigt uns zwei wichtige Dinge:

KI ist noch nicht so robust wie wir denken: Wir testen KIs oft mit sehr sauberen, perfekten Texten. Aber im echten Leben fragen Menschen Dinge oft genervt, frustriert oder aufgeregt. Wenn eine KI bei einer wütenden Frage die Matheaufgabe nicht mehr lösen kann, ist sie im echten Alltag noch nicht perfekt.
Wir können helfen: Man kann die KI schützen, indem man ihre Eingaben zuerst „entschärft" (neutralisiert), bevor sie die eigentliche Aufgabe löst. Das ist wie ein Filter, der den emotionalen Lärm herausfiltert, damit die KI sich auf die Fakten konzentrieren kann.

Zusammengefasst: Emotionen sind für Menschen toll, aber für eine KI, die gerade Mathe rechnen soll, sind sie wie ein lautes Feuerwerk im Hintergrund – sie lenken ab und lassen die KI Fehler machen.

1. Problemstellung

Große Sprachmodelle (LLMs) werden typischerweise mit quantitativen Reasoning-Aufgaben trainiert und evaluiert, die in sauberer, emotional neutraler Sprache formuliert sind (z. B. GSM8K, MultiArith). In der realen Welt sind Benutzeranfragen jedoch oft von Emotionen wie Frustration, Dringlichkeit oder Begeisterung geprägt. Die zentrale Forschungsfrage lautet: Verschlechtert die emotionale Rahmung allein die reasoning-Fähigkeit eines Modells, auch wenn alle numerischen Inhalte und logischen Beziehungen vollständig erhalten bleiben?

Bisherige Studien haben oft Ton und Inhalt gleichzeitig verändert oder sich auf Toxizität konzentriert, ohne den spezifischen Einfluss von Emotionen auf mathematische Reasoning-Aufgaben isoliert zu untersuchen. Es besteht die Vermutung, dass emotionale Signale, die in den Modellschichten kodiert sind, mit nachgelagerten Aufgaben interferieren könnten.

2. Methodik

Die Autoren entwickelten einen kontrollierten Rahmen zur Emotionstranslation, um mathematische Probleme in emotionale Varianten umzuwandeln, ohne die mathematische Struktur zu verändern.

Teacher-Student-Framework:
- Student: Ein Llama 3.1-8B-Instruct-Modell, das mit LoRA (Low-Rank Adaptation) feinabgestimmt wird, um neutrale Texte in emotionale Varianten zu übersetzen.
- Teacher: Ein eingefrorener (frozen) Emotionsklassifikator (DistilRoBERTa), der auf dem GoEmotions-Datensatz vortrainiert wurde. Dieser dient als Lehrer für eine zusätzliche Überwachung (Auxiliary Supervision).
- Ziel: Der Student lernt nicht nur aus dem Generierungsverlust (Cross-Entropy), sondern auch aus der Ausrichtung seiner internen Repräsentationen auf den Emotionsraum des Lehrers. Dies ermöglicht eine kontrollierte Intensität der Emotionen über einen Hyperparameter $\lambda$ .
Verlustfunktion:
Die Gesamtverlustfunktion kombiniert den Generierungsverlust ( $L_{CE}$ ) mit einem Hilfsverlust ( $L_{aux}$ ), der die Repräsentationen des Schülers an die des Lehrers anpasst:
$L = L_{CE} + \lambda \cdot L_{aux}$
Dabei wird zwischen zwei Varianten unterschieden:
- EMO7: Anpassung an die 7-klassige Wahrscheinlichkeitsverteilung (Kategorien).
- EMO100: Anpassung an einen 100-dimensionalen latenten Raum, der feinere Intensitäts- und Stilinformationen kodiert.
Datengenerierung und Filterung:
Es wurden 5.400 semantisch verifizierte Paare (900 Probleme $\times$ 6 Emotionen: Wut, Ekel, Angst, Freude, Neutral, Trauer, Überraschung) aus den Benchmarks GSM8K, MultiArith und ARC-Challenge erstellt. Ein mehrstufiger Filterprozess (automatische Prüfung, LLM-as-a-Judge, menschliche Bewertung) stellte sicher, dass alle Zahlen, Quantoren und mathematischen Beziehungen erhalten bleiben.

3. Wichtige Beiträge

Framework zur kontrollierten Emotionstranslation: Ein neuartiger Teacher-Student-Ansatz, der Emotionen als Variable isoliert und die Intensität über einen Hyperparameter steuert, während der Inhalt erhalten bleibt.
TEMPER-5400 Benchmark: Ein Datensatz mit 5.400 verifizierten Emotions-Neutral-Paaren, der als Standard für die Robustheitsbewertung unter emotionaler Perturbation dient.
Umfassende Evaluation: Tests an 18 verschiedenen Modellen (von 1B bis Frontier-Größe, einschließlich Open-Source und proprietärer Modelle wie GPT-4o/5).
Kausale Analyse: Durch den Vergleich mit emotionalen Varianten und nicht-emotionalen Paraphrasen wird nachgewiesen, dass der Leistungsabfall spezifisch auf den emotionalen Inhalt zurückzuführen ist und nicht auf bloße Umformulierungen.
Repräsentationsanalyse: Untersuchung der versteckten Zustände (Hidden States), um zu zeigen, wie emotionale Texte die interne Darstellung des Modells verändern.

4. Ergebnisse

Die Studie liefert zwei Kernergebnisse:

Leistungsabfall durch emotionale Rahmung:
Die emotionale Formulierung mathematisch identischer Probleme führt zu einem signifikanten Rückgang der Genauigkeit um 2–10 Prozentpunkte, abhängig vom Modell und dem Datensatz.
- Dieser Effekt tritt auch bei Modellen mit Chain-of-Thought (CoT) auf, ist aber bei direkter Beantwortung (Base Prompting) stärker ausgeprägt.
- Selbst Frontier-Modelle (z. B. GPT-5, o3) zeigen einen Abfall von 1–3 %.
- Emotionale Hierarchie: „Ekel" (Disgust) und „Angst" (Fear) sind die am stärksten störenden Emotionen, während „Freude" (Joy) und „Überraschung" (Surprise) den geringsten negativen Einfluss haben.
Wiederherstellung durch Neutralisierung:
Wenn emotionale Varianten zurück in einen neutralen Ton übersetzt werden, wird ca. 70 % des verlorenen Leistungsvermögens wiederhergestellt.
- Dies beweist, dass der Abfall auf dem emotionalen Stil und nicht auf einer Korruption des Inhalts beruht.
- Nicht-emotionale Paraphrasen (gleiche Länge, keine Emotionen) verursachen keinen signifikanten Leistungsabfall, was bestätigt, dass die Emotion selbst der Auslöser ist.
Repräsentationale Verschiebungen:
Die Analyse der Hidden States zeigt, dass emotionale Texte die finalen Repräsentationen 3–4 Mal weiter vom Original entfernt verschieben (gemessen an der Kosinus-Distanz) als neutrale Paraphrasen. Emotionale Texte bilden klar getrennte Cluster im Repräsentationsraum, was auf eine strukturelle Interferenz hindeutet.

5. Fehlermuster

Die Analyse der Fehler (mittels CoT-Reasoning-Chains) identifizierte drei Hauptmechanismen, wie Emotionen das Reasoning stören:

Verschlechterung von Constraints (49 %): Emotionale Ausschmückungen verwässern mathematische Constraints (z. B. Missinterpretation von „jeweils" oder „pro").
Aufmerksamkeitskonkurrenz (30 %): Emotionale Sprache lenkt das Modell von den Schlüsselelementen ab (z. B. Berechnung einer Einwegfahrt statt einer Hin- und Rückfahrt).
Vorzeitige Fertigstellung (8,6 %): Die emotionale Fokussierung auf das Ziel führt dazu, dass das Modell zu früh aufhört zu reasoning.

6. Bedeutung und Fazit

Das Paper zeigt, dass aktuelle Benchmarks die Robustheit von LLMs im quantitativen Reasoning überschätzen, da sie emotionale Eingaben ignorieren.

Praktische Implikation: Eine leichte Neutralisierung (Denoising) von Eingaben vor der Inferenz kann als effektive, kostengünstige Abwehrmaßnahme gegen emotionale Störungen dienen.
Methodischer Fortschritt: Das vorgestellte Framework bietet eine allgemeine Methode, um stilistische Variablen (nicht nur Emotionen, sondern auch Formalität, Sarkasmus etc.) von Inhalten zu isolieren und deren Einfluss auf KI-Systeme zu messen.
Zukunft: Die Ergebnisse deuten darauf hin, dass zukünftige Modelle trainiert werden müssen, um emotionalen Kontext zu ignorieren oder zu verarbeiten, ohne die logische Deduktion zu beeinträchtigen.

Zusammenfassend beweist TEMPER, dass Emotion ein eigenständiger Faktor der Fragilität in großen Sprachmodellen ist, der selbst bei perfekten mathematischen Inhalten zu signifikanten Fehlern führt.