💬 NLP

MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

Dieses Paper führt MERGE ein, einen Test, der Masked Language Models nutzt, um automatisch minimale Ausdrucksersatzvarianten bestehender Datensätze für natürliche Sprachinferenz zu generieren, wodurch aufgezeigt wird, dass aktuelle State-of-the-Art-Reasoning-Modelle Schwierigkeiten haben, robust auf diese nicht-adversariellen Varianten zu generalisieren.

Ursprüngliche Autoren: Mădălina Zgreabăn, Tejaswini Deoskar, Lasha Abzianidze

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mădălina Zgreabăn, Tejaswini Deoskar, Lasha Abzianidze

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Schüler auf eine Fahrprüfung. Sie zeigen ihm ein rotes Auto, und er sagt korrekt: „Das ist ein Auto.“ Sie zeigen ihm ein blaues Auto, und er sagt: „Das ist ein Auto.“ Er besteht die Prüfung mit Bravour.

Doch dann stellen Sie ihm eine Fangfrage: „Wenn ich das Wort ‚Auto‘ in deiner Antwort durch ‚LKW‘ ersetze, ergibt das dann noch Sinn?“ Oder: „Wenn ich die Farbe in der Beschreibung von ‚rot‘ zu ‚blau‘ ändere, bleibt die Logik dann bestehen?“

Genau darum geht es in dem Paper MERGE (Minimal Expression-Replacement Generalization). Es ist eine neue Art zu testen, ob KI-Modelle wirklich „intelligent“ beim Schlussfolgern sind oder ob sie lediglich Muster auswendig lernen, wie ein Schüler, der nur die exakten Übungsfragen auswendig gelernt hat, die er zuvor bearbeitet hat.

Hier ist die Aufschlüsselung des Papers unter Verwendung einfacher Analogien:

1. Das Problem: Der „Auswendiglernende“ vs. der „Denker“

Aktuelle KI-Modelle sind sehr gut in der Natural Language Inference (NLI). Dies ist eine Aufgabe, bei der man zwei Sätze hat:

Prämisse: „Ein Mädchen trägt ein kleines Mädchen.“
Hypothese: „Da ist ein kleines Mädchen.“
Aufgabe: Beweist der erste Satz den zweiten? (Ja).

Die Modelle erreichen bei Standardtests fast 100 %. Aber die Autoren vermuten, dass diese Modelle wie Schüler sind, die die exakten Wörter des Tests auswendig gelernt haben. Sie verstehen nicht wirklich die Logik; sie erkennen lediglich, dass das Wort „Mädchen“ in beiden Sätzen vorkommt.

2. Die Lösung: Der „Minimaler Austausch“-Test (MERE)

Die Autoren haben einen neuen Test namens MERGE entwickelt. Anstatt der KI ein völlig neues, verwirrendes Problem zu geben, nehmen sie ein Problem, das die KI bereits kennt, und nehmen winzige, minimale Änderungen vor.

Denken Sie an es wie ein Spiel „Such die Unterschiede“, aber mit einem Twist:

Original: „Ein Mädchen trägt ein kleines Mädchen.“
Der Austausch: Die KI soll folgendes bearbeiten: „Ein Junge trägt einen kleinen Jungen.“ oder „Ein Mädchen trägt ein glückliches Mädchen.“

Die Regeln des Spiels (genannt MERE-Generierung) sind streng:

Behalte die Logik: Wenn das Originalsatz „Ja“ bedeutete, muss auch der neue Satz „Ja“ bedeuten.
Behalte die Struktur: Ändere nicht die Grammatik oder die Länge des Satzes.
Behalte die Überlappung: Die Wörter, die im Original geteilt wurden, müssen auch im neuen Satz geteilt werden.

Sie verwenden ein Werkzeug namens „Masked Language Model“ (denken Sie an eine sehr intelligente Wortvorschlags-Engine, wie die in Ihrem Handy-Keyboard), um diese Austauschvorgänge automatisch vorzuschlagen.

3. Das neue Bewertungssystem: Der „Konsistenz-Check“

In einem normalen Test, wenn man 90 % richtig hat, besteht man. Aber im MERGE-Test ist die Bewertung strenger.

Stellen Sie sich vor, Sie haben eine ursprüngliche Frage (den Seed) und 20 leicht unterschiedliche Versionen davon (die Varianten).

Alter Weg: Wenn die KI 18 von 20 richtig beantwortet, erhält sie eine hohe Punktzahl.
MERGE-Weg: Die KI muss alle (oder fast alle) 20 Varianten richtig beantworten, damit die ursprüngliche Frage als „gelöst“ gilt.

Wenn die KI die Originalfrage richtig beantwortet, aber bei der „Junge“-Version scheitert, bedeutet das, dass die KI nur das Wort „Mädchen“ auswendig gelernt hat, nicht aber das Konzept von „jemandem, der jemanden trägt“.

4. Die Ergebnisse: Die KI bricht zusammen

Die Autoren haben dies an vielen verschiedenen KI-Modellen getestet, von kleineren bis hin zu massiven „Large Language Models“ (LLMs), wie denen, mit denen Sie heute vielleicht chatten.

Die Erkenntnisse waren überraschend:

Die „Auswendiglernenden“ scheiterten: Als die KI diese winzigen Änderungen handhaben musste, sank ihre Leistung signifikant. Sie konnte die Originalfragen bewältigen, aber sobald sich die Wörter leicht änderten, wurde sie verwirrt.
Die „Konsistenz“-Lücke: Selbst die besten Modelle konnten nur etwa 50 % der Varianten konsistent handhaben. Wenn der Test verlangte, dass sie bei 60 % oder mehr der Änderungen konsistent waren, brachen ihre Punktzahlen ein.
Die schwierigsten Wörter: Die Studie fand heraus, dass das Ändern von Verben (Aktionen) am schwierigsten für die KI war, gefolgt von Nomen (Dingen) und dann Adjektiven (Beschreibungen). Es scheint, dass die KI am meisten Schwierigkeiten hat, wenn sich die Aktion ändert.
Keine „magische“ Quelle: Sie fragten sich, ob die KI besser abschneidet, wenn die Wortvorschläge von derselben Art von KI stammen, die den Test macht. Sie fanden keinen Unterschied. Es spielte keine Rolle, woher die neuen Wörter kamen; die KI hatte immer noch Schwierigkeiten zu generalisieren.

5. Das Fazit

Das Paper kommt zu dem Schluss, dass aktuelle KI-Modelle spröde sind. Sie sind exzellent darin, die spezifischen Probleme zu lösen, auf die sie trainiert wurden, aber ihnen fehlt wahre „Generalisierung“. Sie haben nicht die tiefen Regeln der Logik gelernt, sondern nur gelernt, spezifische Muster zu erkennen.

Wenn man das Muster nur ein klein wenig verändert (wie das Austauschen von „Mädchen“ durch „Junge“), brechen das Vertrauen und die Genauigkeit der KI zusammen. Die Autoren nennen dies den MERGE-Test, und er zeigt, dass wir noch einen weiten Weg vor uns haben, bevor KI wirklich so „schlussfolgern“ kann wie ein Mensch, anstatt nur wie ein Papagei „Muster abzugleichen“.

Kurz gesagt: Die KI ist großartig darin, das Skript aufzusagen, aber wenn man sie bittet, mit einer einzigen Wortänderung zu improvisieren, erstarrt sie.

Technisches Resümee: MERGE – Minimal Expression-Replacement GEneralization

Problemstellung
Aktuelle Modelle für natürliche Sprachinferenz (NLI) erzielen oft eine hohe Leistung auf Standard-Testsets, indem sie Heuristiken aus den Trainingsdaten ausnutzen, wie etwa Wortüberlappungen oder Hypothesen-spezifische Artefakte, anstatt echte Argumentationsfähigkeiten zu nutzen. Während Out-of-Distribution (OOD)-Datensätze dazu verwendet wurden, diese Schwächen aufzuzeigen, verlassen sich bestehende Ansätze oft auf adversarielle Beispiele, die gezielt gängige Heuristiken brechen oder nicht-syntaxerhaltende Modifikationen verwenden, die Unplausibilität einführen. Zudem ist die manuelle Konstruktion hochwertiger Reasoning-Datensätze kostspielig und schwer skalierbar, während automatisierte Erzeugungsmethoden historisch gesehen unter Bias oder der Erstellung ungrammatischer Varianten gelitten haben. Es besteht ein Bedarf an einer robusten, automatisierten Methode, um die Generalisierungsfähigkeit von Modellen gegenüber nicht-adversariellen, minimalen Änderungen zu evaluieren, welche die zugrunde liegende logische Argumentation und die syntaktische Struktur der ursprünglichen Probleme bewahren.

Methodik: MERE und MERGE
Die Autoren schlagen MERGE (Minimal Expression-Replacement GEneralization) vor, ein Framework zur Evaluierung der Modellrobustheit, das auf MERE (Minimal Expression REplacement) basiert, einer automatisierten Erzeugungstechnik.

MERE-Erzeugungsprozess:
- Seed-Selektion: Der Prozess beginnt mit einem ursprünglichen NLI-"Seed"-Problem, bestehend aus einer Prämisse ( $p$ ) und einer Hypothese ( $h$ ) mit einem Label $l$ .
- Zielidentifikation: Das System identifiziert Open-Class-Wörter (Nomen, Verben, Adjektive, Adverbien), die zwischen $p$ und $h$ geteilt werden.
- Ersetzung via MLMs: Masked Language Models (MLMs) werden verwendet, um kontextuell wahrscheinliche Ersetzungen für diese gemeinsamen Wörter vorzuschlagen.
- Constraints: Um die Validität zu gewährleisten, müssen die Ersetzungen ( $r$ $r$ ) drei Bedingungen erfüllen:
  1. $r$ hat eine höhere Wahrscheinlichkeit als das ursprüngliche Wort ( $o$ ) im maskierten Kontext unter dem MLM.
  2. $r$ kommt im Satz nicht bereits vor.
  3. $r$ gehört zur gleichen Wortklasse (Part-of-Speech) wie $o$ .
- Kreuzvalidierung: Die Ersetzungen werden über sowohl $p$ als auch $h$ hinweg validiert, um sicherzustellen, dass sie durch dasselbe Modell für mehrere Vorkommen innerhalb eines Satzes vorgeschlagen werden und über das Paar hinweg konsistent sind.
- Qualitätsfilterung: Ein mehrstufiger Filterprozess entfernt Subwords, Interpunktion und Kandidaten mit geringer Wahrscheinlichkeit. Manuelle Validierung bestätigt die Flüssigkeit und die Bewahrung der ursprünglichen Inferenzrelation.
- Datensatzkonstruktion: Für jeden Seed werden durch Ersetzung gemeinsamer Wörter mehrere Varianten generiert. Der finale Datensatz (Var) wird durch zufälliges Sampling von Varianten konstruiert, um eine Überrepräsentation hochproduktiver Seeds zu vermeiden.
MERGE-Evaluationsmetrik:
- Im Gegensatz zur Standard-Stichproben-Genauigkeit führt MERGE die Seed-Variant (SV) Genauigkeit ein.
- Ein Seed-Problem gilt nur dann als korrekt klassifiziert, wenn ein Mindestmaß an Korrektheitsschwelle (Correctness Threshold, CT) seiner generierten Varianten ebenfalls korrekt klassifiziert wurde.
- Die Matching Correctness (MC) Schwelle ist definiert als die CT, bei der der SV-Score eines Modells der Standard-Seed-Genauigkeit am nächsten kommt. Ein niedrigerer MC-Wert deutet auf eine schlechtere Generalisierung hin.

Wesentliche Beiträge

Automatisierte Methodik: Eine vollständig automatisierte Pipeline (MERE) zur Erstellung "freundlicher" Generalisierungs-Testsets, welche Argumentation, Syntax und Wortüberlappung bewahren und gleichzeitig minimale lexikalische Diversität einführen.
Empirische Erkenntnisse zur Generalisierung: Belege dafür, dass sowohl feinabgestimmte NLI-Modelle als auch Large Language Models (LLMs) schlecht auf minimale Varianten generalisieren. Modelle haben Schwierigkeiten, die Konsistenz beizubehalten, wenn Varianten sich nur geringfügig in der Form unterscheiden.
Linguistische Analyse: Identifikation, dass Verben im Allgemeinen die am schwierigsten zu generalisierende Wortklasse sind, gefolgt von Nomen und Adjektiven.
Quellenunabhängigkeit: Erkenntnisse, dass die spezifische Quelle des MLM zur Generierung der Varianten die Performance der evaluierten NLI-Modelle nicht signifikant verzerrt.

Ergebnisse

Generalisierungslücke: Während Modelle bei einzelnen Varianten gut abschneiden (Standardgenauigkeit), sinkt ihre Leistung signifikant, wenn sie auf der Konsistenz der Varianten pro Seed evaluiert werden (SV-Genauigkeit). Die meisten Modelle halten ihre ursprüngliche Leistung nur aufrecht, wenn die Korrektheitsschwelle bei etwa 50 % oder niedriger angesetzt wird. Jenseits dieser Schwelle sinkt die Leistung drastisch, insbesondere bei LLMs.
Datensatzvergleich: Modelle zeigten eine etwas bessere Generalisierung auf MNLI-Varianten im Vergleich zu SNLI-Varianten.
Wortklassen-Sensitivität:
- Verben: Konsistent die am schwersten zu generalisierende Klasse, insbesondere bei höheren Korrektheitsschwellen.
- Nomen: Allgemein schwieriger als Adjektive, aber einfacher als Verben in MNLI; schwieriger als Verben in SNLI bei hohen Schwellen.
- Adjektive: Allgemein die am leichtesten zu generalisierende Klasse.
MLM-Quellen-Einfluss: Der Ursprung der Ersetzungswörter (z. B. die Verwendung von BERT zur Generierung von Varianten für ein BERT-basiertes NLI-Modell) führte nicht zu systematisch höheren oder niedrigeren Scores, was darauf hindeutet, dass die Erzeugungsmethode die Evaluierung nicht inhärent in Richtung spezifischer Modellarchitekturen verzerrt.
Seed-Schwierigkeit: Modelle schnitten signifikant schlechter bei Seed-Problemen ab, die sie ursprünglich falsch klassifiziert hatten, wobei nur ~80 % ihrer Varianten korrekt waren, verglichen mit ~97 % für korrekt klassifizierte Seeds.

Bedeutung und Ansprüche
Das Paper behauptet, dass MERGE einen rigorosen, nicht-adversariellen Test für die Generalisierung bietet, der Schwächen aktueller State-of-the-Art-Modelle aufdeckt, die Standardmetriken verschleiern. Durch die Erzwingung von Konsistenz über minimale, label-erhaltende Varianten hinweg zeigt die Studie, dass Modelle stark auf spezifische lexikalische Hinweise angewiesen sind statt auf robuste Argumentation. Die Autoren positionieren MERGE als Werkzeug, um "neue Arten von Schwächen" in Reasoning-Modellen aufzuzeigen, ohne den Aufwand für die manuelle Konstruktion von Datensätzen oder die Einführung von adversariellem Rauschen zu benötigen. Obwohl derzeit auf NLI angewendet, merken die Autoren an, dass die Methodik auf andere Reasoning-Aufgaben übertragbar ist.

Einschränkungen
Die Autoren räumen folgende Einschränkungen ein:

Die Methode ersetzt keine Wörter, die in Subwords tokenisiert wurden, um Artefakte durch Aggregation von Wahrscheinlichkeiten zu vermeiden.
Wenn ein Wort mehrfach vorkommt, wird jeweils nur eine Instanz maskiert, was Bias einführen könnte (obwohl solche Fälle in den Seed-Datensätzen selten sind).
Morphologische Ableitungen werden nicht ersetzt, um Fehler in Nominalkomposita zu vermeiden, was gelegentlich zu Varianten mit geringerer Flüssigkeit führen kann.
Die Analyse umfasste keine größeren LLMs über die getesteten hinaus.