💬 NLP

GSM-SEM: Benchmark and Framework for Generating Semantically Variant Augmentations

Dieser Beitrag stellt GSM-SEM vor, ein stochastisches Framework, das semantisch vielfältige und faktisch veränderte Benchmark-Varianten erzeugt, um den Memorization-Bias bei der Evaluierung von LLMs zu mindern und dabei signifikante Leistungseinbußen bei state-of-the-art-Modellen aufdeckt, wenn diese auf diesen dynamisch regenerierten Datensätzen getestet werden.

Ursprüngliche Autoren: Jyotika Singh, Fang Tu, Aziza Mirzadova, Amit Agarwal, Hitesh Laxmichand Patel, Sandip Ghoshal, Miguel Ballesteros, Yassine Benajiba, Weiyi Sun, Graham Horwood, Sujith Ravi, Dan Roth

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jyotika Singh, Fang Tu, Aziza Mirzadova, Amit Agarwal, Hitesh Laxmichand Patel, Sandip Ghoshal, Miguel Ballesteros, Yassine Benajiba, Weiyi Sun, Graham Horwood, Sujith Ravi, Dan Roth

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten testen, wie gut ein Schüler in Mathematik ist. Sie geben ihm einen Standardtest, wie den berühmten GSM8K (eine Sammlung von Matheaufgaben aus dem Grundschulalter in Textform). Wenn er eine perfekte Punktzahl erzielt, denken Sie vielleicht: „Wow, dieser Schüler ist ein Mathetalent!"

Aber was, wenn der Schüler tatsächlich keine Mathematik gelernt hat? Was, wenn er sich nur die Antworten auf diesen spezifischen Test gemerkt hat, weil er ihn schon tausendmal gesehen hat? Er mag die Antwort richtig haben, aber wenn Sie die Geschichte leicht ändern – sagen wir, indem Sie „Äpfel" durch „Orangen" ersetzen oder die Zahlen ändern – könnte er verwirrt sein und durchfallen.

Dies ist das Problem, das die Arbeit GSM-SEM zu lösen versucht.

Das Problem: Der „Spickzettel"-Effekt

Aktuelle KI-Modelle (wie die, die Chatbots antreiben) werden unglaublich gut in Benchmarks. Doch die Autoren vermuten, dass viele dieser hohen Punktzahlen eine Täuschung sind. Die Modelle reasoningen nicht unbedingt besser; sie merken sich einfach die spezifischen Fragen und Antworten aus den Testdatensätzen, mit denen sie trainiert wurden.

Bestehende Wege, dies zu beheben, beinhalten „Perturbationen" (Verzerrungen), die wie kleine Änderungen am Test aussehen:

Paraphrasieren: Den Satz in anderen Worten umschreiben.
Umbenennen: „John" durch „Jane" ersetzen.
Zahlen austauschen: Die 5 durch eine 6 ersetzen.

Die Arbeit argumentiert, dass diese Änderungen zu oberflächlich sind. Sie sind wie das Ändern der Schriftart auf einem Spickzettel; der Schüler kann immer noch schummeln, weil die zugrunde liegenden Fakten und die Logik exakt gleich bleiben.

Die Lösung: GSM-SEM (Der „Geschichten-Umschreiber")

Die Autoren stellen GSM-SEM vor, ein neues Framework, das wie ein kreativer Schreibcoach für Matheaufgaben fungiert. Anstatt nur Wörter auszutauschen, schreibt es die gesamte Geschichte um, während die mathematische Antwort exakt gleich bleibt.

Hier ist die kreative Analogie:
Stellen Sie sich vor, eine Matheaufgabe ist ein Rezept für einen Kuchen, der 10 Stücke ergibt.

Alte Methode (Paraphrasieren): Sie ändern den Rezepttitel von „Schokokuchen" in „Dunkler Kakaokuchen" und tauschen „Mehl" gegen „Weizenmehl" aus. Das Rezept funktioniert immer noch genauso, und das Modell erkennt einfach das Muster.
GSM-SEM-Methode: Sie ändern die Geschichte komplett. Anstatt einen Kuchen zu backen, geht es in der Aufgabe nun um das Mischen von Farbe oder das Berechnen von Treibstoff für eine Rakete. Die Geschichte ist völlig anders, die Objekte sind anders, und der Kontext ist neu. Allerdings bleibt die Mathematik, die zur Lösung erforderlich ist (die Zahlen und die Endantwort), identisch.

Das Modell kann sich nicht mehr darauf verlassen, das „Kuchenrezept" auswendig zu lernen. Es muss tatsächlich die Logik der neuen Geschichte verstehen, um die Antwort richtig zu bekommen.

Wie sie es entwickelt haben

Das Team baute ein System, das:

Eine Matheaufgabe und ihre korrekte Antwort nimmt.
KI-Modelle auffordert, eine neue Geschichte zu erfinden, die zu derselben Antwort führt. (z. B. „Wenn die Antwort 15 ist, schreiben Sie eine Geschichte über einen Bäcker, ein Raumschiff oder ein Videospiel, die zu 15 führt.")
Die Ergebnisse filtert, um sicherzustellen, dass die neue Geschichte tatsächlich anders ist als die ursprüngliche (nicht nur eine leichte Umformulierung), aber dennoch lösbar bleibt.
Die neuen Aufgaben durch menschliche Prüfer validiert, um sicherzustellen, dass sie Sinn ergeben.

Sie wandten dies auf drei verschiedene Benchmark-Sets an und schufen neue Versionen namens GSM8K-SEM, GSM-Symbolic-SEM und GSM-Plus-SEM.

Was sie herausfanden

Sie testeten 14 der intelligentesten verfügbaren KI-Modelle (darunter Modelle von OpenAI, Google und Meta) auf diesen neu „geschichtenumschriebenen" Tests.

Die Ergebnisse:

Die „Genie"-Modelle strauchelten: Als die Modelle mit diesen neuen, semantisch unterschiedlichen Geschichten konfrontiert wurden, sank ihre Leistung erheblich. Im Durchschnitt bekamen sie etwa 28 % weniger Fragen richtig, wenn die semantischen Änderungen mit anderen schwierigen Variationen kombiniert wurden.
Auswendiglernen entlarvt: Die Tatsache, dass die Modelle bei den neuen Geschichten so schlecht abschnitten, bewies, dass ihre vorherigen hohen Punktzahlen weitgehend auf Auswendiglernen und nicht auf echtes Reasoning beruhten.
Der „Doppelte Ärger"-Effekt: Die Modelle hatten am meisten Schwierigkeiten, wenn die Geschichte geändert wurde und andere Elemente (wie Zahlen oder logische Strukturen) ebenfalls angepasst wurden. Dies deutet darauf hin, dass aktuelle KI sehr spröde ist; sie kann eine Art von Änderung bewältigen, aber nicht eine Kombination davon.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass GSM-SEM ein besserer Weg ist, um zu testen, ob eine KI tatsächlich „denkt" oder nur „rezitiert". Indem sie ständig frische, einzigartige Geschichten generiert, die dieselbe Mathematik erfordern, verhindert sie, dass Modelle durch Auswendiglernen schummeln.

Die Autoren zeigten zudem, dass dies bei anderen Arten von Logikrätseln funktioniert (nicht nur bei Mathematik), was beweist, dass dieser „Geschichten-Umschreibungs"-Ansatz ein mächtiges Werkzeug ist, um zu sehen, ob eine KI wirklich robust ist oder nur gut im Mustererkennen.

Kurz gesagt: Wenn Sie wissen wollen, ob eine KI intelligent ist, stellen Sie ihr nicht dieselben Fragen, die es schon gehört hat. Bitten Sie sie, Ihnen eine neue Geschichte zu erzählen, die zur gleichen Antwort führt. Wenn sie das nicht kann, reasoniert sie nicht; sie erinnert sich nur.

Technische Zusammenfassung: GSM-SEM

Problemstellung

Aktuelle Benchmarks zur Evaluierung mathematischen Denkens in Large Language Models (LLMs), wie GSM8K, weisen erhebliche Einschränkungen hinsichtlich Robustheit und Generalisierung auf. Hohe Leaderboard-Scores spiegeln häufig das Auswendiglernen statischer Testsets oder die Ausnutzung datensatzspezifischer Artefakte wider, anstatt echte reasoning-Fähigkeiten zu demonstrieren. Bestehende Robustheitsvarianten (z. B. Umformulierung, Umbenennung von Entitäten, numerische Substitutionen) wenden primär oberflächliche Perturbationen an, die den zugrunde liegenden faktischen Kern und die relationale Struktur der Probleme bewahren. Folglich testen diese Varianten oft eher die Invarianz gegenüber der Oberflächenform als die Anpassungsfähigkeit an semantisch wesentlich unterschiedliche Bedingungen. Darüber hinaus werden statische Benchmark-Releases im Laufe der Zeit zu Zielen für Auswendiglernen, und die Generierung frischer, vergleichbarer Perturbationen erfordert häufig eine kostspielige Neuannotation der Ground-Truth-Antworten.

Methodik: Das GSM-SEM-Framework

Die Autoren stellen GSM-SEM vor, ein wiederverwendbares, stochastisches Framework, das darauf ausgelegt ist, semantisch vielfältige Benchmark-Varianten zu generieren, während die ursprüngliche Ground-Truth-Antwort und die Berechnungslogik erhalten bleiben. Das Framework arbeitet durch eine duale Kuratierungs- und Validierungspipeline:

Generierung semantischer Varianten: Das Framework nutzt zwei komplementäre Augmentierungsstrategien, um aus einem ursprünglichen Sample $(q, a)$ neue Fragenvarianten ( $\tilde{q}$ ) zu generieren:
- Antwort-konditionierte Generierung: LLMs werden aufgefordert, eine neue Frage zu rekonstruieren, die die durch die Antwort $a$ implizierte numerische Berechnung bewahrt, aber die Oberflächenform und kontextuellen Fakten erheblich verändert (z. B. Änderung von „Bakterien infizieren" zu „Viren verbreiten").
- Fragen-konditionierte Generierung: LLMs werden aufgefordert, alle numerischen Werte festzuhalten, während das Szenario oder das Thema geändert wird (z. B. Änderung von „Pest infiziert" zu „Gerücht verbreitet"), wodurch die semantische Vielfalt erhöht wird, ohne die erforderliche Arithmetik zu verändern.
- Ein regelbasierter Verifizierer stellt sicher, dass alle numerischen Werte in der generierten Frage mit dem Original übereinstimmen.
Automatisierte Qualitätsvalidierung: Ein Judge-LLM, das durch menschliche Überprüfung von 70 Stichprobenvarianten feinabgestimmt wurde, bewertet die logische Kohärenz und Qualität.
Ähnlichkeitsbasierte Redundanzbereinigung: Varianten werden mittels Kosinusähnlichkeit basierend auf Termfrequenzvektoren gefiltert. Kandidaten mit einer Ähnlichkeit $s(x, \tilde{x}) > 0,85$ zum Basissample oder zu bereits retaineden Varianten werden verworfen, um semantische Divergenz sicherzustellen.
Strenge-Filterung: Um die Schwierigkeit zu steuern und triviale Varianten zu vermeiden, bewertet ein Strenge-Filter Kandidaten unter Verwendung eines zurückgehaltenen Referenzmodellsatzes ( $M_{hold}$ ). Varianten, bei denen Modelle eine einstimmige Korrektheit aufweisen, werden als potenziell zu einfach oder unzureichend perturbiert behandelt. Diese werden weiter basierend auf einem semantischen Ähnlichkeits-Akzeptanzfenster $[\alpha, \beta]$ bereinigt. Dies ermöglicht die Erstellung von Teilmengen mit unterschiedlichen Schwierigkeitsgraden (z. B. filtert der „max"-Strengefilter alle einstimmig korrekten Samples heraus).
Menschliche Validierung: Die finalen Datensätze durchlaufen einen rigorosen zweistufigen menschlichen Überprüfungsprozess, um logische Kohärenz und Antwortübereinstimmung sicherzustellen, was zu vollständig menschlich validierten Datensätzen führt.

Hauptbeiträge

GSM-SEM-Framework: Eine stochastische, wiederverwendbare Pipeline zur Generierung semantisch vielfältiger Benchmark-Varianten, die ursprüngliche Berechnungen und Antworten beibehalten und eine wiederholbare Evaluierung ohne Neuannotation ermöglichen.
Menschlich validierte Datensätze: Öffentliche Veröffentlichung von drei vollständig validierten Datensätzen: GSM8K-SEM, GSM-Symbolic-SEM und GSM-Plus-SEM. Diese Datensätze weisen eine höhere semantische Varianz auf als frühere Ansätze (GSM-Symbolic, GSM-Plus und umformulierte Versionen).
Umfassende Evaluierung: Evaluierung von 14 State-of-the-Art (SOTA) LLMs über Modellfamilien hinweg, die eine konsistente Leistungsverschlechterung in SEM-Varianten im Vergleich zu ursprünglichen Benchmarks aufzeigt.
Anwendbarkeit über Domänen hinweg: Demonstration der Nützlichkeit des Frameworks für nicht-GSM-Datensätze, einschließlich BigBench-Hard, LogicBench und NLR-BIRD.

Ergebnisse

Leistungsverschlechterung: Über 14 SOTA-Modelle hinweg schneiden GSM-SEM-Varianten im Vergleich zu ihren Baseline-Benchmarks konsistent schlechter ab. In der „med"-Strenge-Konfiguration betrug die durchschnittliche Leistungsabfallrate (PDR) für GSM-Plus-SEM, die anspruchsvollste Konfiguration, etwa 28 %.
Kumulierte Perturbationen: Die Kombination semantischer Perturbationen (GSM-SEM) mit bestehenden symbolischen oder „Plus"-Variationen (GSM-Symbolic-SEM, GSM-Plus-SEM) verstärkt Leistungsabfälle. Beispielsweise zeigte GSM-Plus-SEM einen durchschnittlichen Genauigkeitsabfall von 13,53 % über die Modelle hinweg, was signifikant höher ist als bei GSM-Plus allein.
Semantische Sensitivität: Die Analyse zeigt, dass die Modellgenauigkeit im Allgemeinen mit einer höheren semantischen Ähnlichkeit zum ursprünglichen Datensatz zunimmt. Selbst wenn Berechnungen unverändert bleiben, führen erhebliche semantische Verschiebungen zu größeren Leistungsabfällen, was darauf hindeutet, dass aktuelle Modelle empfindlich auf semantischen Kontext reagieren und nicht nur auf symbolische Manipulation.
Fehlermodi: Eine manuelle Analyse identifizierte Schlüssel-Fehlermodi in SEM-Varianten, darunter:
- Erhöhte kognitive Belastung durch hinzugefügte Indirektion.
- Einheiten-/Währungshinweise, die Skalierungsfehler auslösen (z. B. falsches Interpretieren von Cent vs. Dollar).
- Destabilisiertes Zustands-Tracking bei Referenz-artigen Umschreibungen.
- Fehlabruf von Vorlagen bei geringfügigen semantischen Verschiebungen.
Out-of-Domain-Transfer: Das Framework generierte erfolgreich Varianten für nicht-mathematische Datensätze. Leistungsabfälle wurden bei älteren Datensätzen (BigBench-Hard, 2022) beobachtet, wahrscheinlich aufgrund von Auswendiglernen, während neuere Datensätze (NLR-BIRD, 2025) minimale Abfälle zeigten, was darauf hindeutet, dass das Framework reasoning-Fähigkeiten effektiv vom Auswendiglernen isoliert.

Bedeutung und Behauptungen

Die Arbeit geht davon aus, dass GSM-SEM die kritische Lücke zwischen oberflächlicher Robustheitstestung und echter semantischer Anpassungsfähigkeit schließt. Durch die Generierung frischer, semantisch vielfältiger Varianten bei jedem Lauf unter Beibehaltung der Ground-Truth-Antworten reduziert das Framework die Abhängigkeit von statischen öffentlichen Benchmarks und verringert die durch Auswendiglernen verursachte Evaluierungsverzerrung.

Die Autoren behaupten, dass aktuelle SOTA-Modelle trotz ihrer fortgeschrittenen reasoning-Fähigkeiten anfällig für semantische Verschiebungen bleiben, die den narrativen Kontext eines Problems verändern, selbst wenn die zugrunde liegende Mathematik identisch ist. Dies legt nahe, dass hohe Benchmark-Scores die robuste Generalisierung möglicherweise nicht vollständig erfassen. Das Framework bietet einen Mechanismus für eine rigorosere, wiederholbare Evaluierung, die über GSM-artige mathematische Probleme hinaus auf verschiedene Datensätze angepasst werden kann und einen Weg zu einer zuverlässigeren Bewertung von LLM-reasoning eröffnet.