💬 NLP

Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy

Diese Arbeit zeigt auf, dass große Sprachmodelle oft eine signifikante Instabilität in ihren Antworten aufweisen, wenn sie mit bedeutungserhaltenden Paraphrasen konfrontiert werden, was verdeutlicht, dass Standard-Genauigkeitsmetriken Zuverlässigkeitsprobleme maskieren können und dass Selbst-Paraphrasierungsstrategien effektiv latentes Wissen wiederherstellen können, um die Leistung zu verbessern.

Ursprüngliche Autoren: Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

Veröffentlicht 2026-07-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Illusion des perfekten Roboters

Stellen Sie sich vor, Sie unterhalten sich mit einem sehr klugen Roboterfreund, der fast jedes Buch in der Bibliothek gelesen hat. Sie stellen ihm eine einfache Frage, und er gibt Ihnen eine brillante, korrekte Antwort. Sie fühlen sich sicher, richtig? Aber was wäre, wenn Sie genau dieselbe Frage noch einmal stellen würden, nur mit leicht anderen Worten? Würde er immer noch dieselbe Antwort geben? Dies ist die große Frage hinter einer neuen Studie von Informatikern der University of Maryland. Sie untersuchen „Large Language Models“ (LLMs), welche die superintelligenten KI-Gehirne hinter Werkzeugen wie Chatbots sind. Diese Modelle sind berühmt dafür, in Tests genau zu sein, aber diese Studie stellt eine knifflige Frage: Sind sie tatsächlich zuverlässig oder sind sie nur gut darin, basierend auf der Formulierung einer Frage zu raten? Denken Sie an einen Schüler, der sich den exakten Wortlaut einer Übungsprüfung auswendig merkt. Wenn man die Frage nur ein wenig verändert, weiß der Schüler dann immer noch die Antwort oder ist er verwirrt? Die Forscher wollten herausfinden, ob diese KI-Modelle die Welt wirklich verstehen oder ob sie nur ein Spiel namens „Wortabgleich“ spielen.

Dieselbe Frage, die falsche Antwort

Die Forscher beschlossen, ein Spiel mit 13 verschiedenen KI-Modellen zu spielen, die von kleineren Open-Source-Modellen bis hin zu den massiven, leistungsstarken Modellen großer Technologieunternehmen reichen. Sie nahmen Fragen zu realweltlichen Fakten (wie „Wie viele Schachpartien hat Anderssen im Jahr 1864 verloren?“) und mathematische Probleme und stellten den Modellen dann exakt dieselben Fragen, jedoch in dutzenden verschiedenen Arten umformuliert. Sie stellten sicher, dass die neuen Fragen exakt dasselbe bedeuteten, so ähnlich wie „Wie geht es dir?“ gegenüber „Was geht ab?“ oder „Wie läuft’s?“.

Hier war die überraschende Wendung, die sie fanden: Die KI-Modelle waren oft inkonsistent. Obwohl die Fragen dasselbe bedeuteten, beantworteten die Modelle eine Frage beim ersten Mal korrekt und gaben beim Umformulieren der Frage eine falsche Antwort. Tatsächlich wechselten die Modelle bei vielen Fragen, je nach Formulierung, zwischen richtig und falsch. Die Studie fand heraus, dass die Fehlerraten – also Fälle, in denen das Modell eine andere Antwort auf dieselbe Frage gibt – über 23 % steigen konnten. Das bedeutet, wenn man einem Modell 100 Mal dieselbe Frage auf verschiedene Arten stellt, könnte es fast ein Viertel der Zeit eine andere (und falsche) Antwort geben, obwohl es die richtige Antwort eigentlich kannte!

Die Lücke des „verborgenen Wissens“

Der faszinierendste Teil der Geschichte ist, was dies über das aussagt, was die KI tatsächlich „weiß“. Die Forscher entdeckten, dass die Modelle die richtige Antwort oft bereits in sich verborgen hatten. Wenn man dieselbe Frage auf genügend verschiedene Arten stellte, würde das Modell sie schließlich mindestens einmal richtig beantworten. Dies deutet darauf hin, dass das Wissen vorhanden ist, das Modell aber unzuverlässig beim Abruf ist.

Um dies zu visualisieren, stellen Sie sich einen Schüler vor, der eine Prüfung ablegt:

Standardmäßige Genauigkeit: Der Schüler beantwortet 80 % beim ersten Versuch richtig.
Zuverlässige Leistungsfähigkeit: Der Schüler beantwortet 80 % jedes Mal richtig, wenn man ihn fragt, ganz egal wie man die Frage formuliert.
Latente Leistungsfähigkeit: Der Schüler beantwortet die Frage mindestens einmal richtig, wenn man ihn auf 10 verschiedene Arten fragt.

Die Studie fand eine riesige Lücke zwischen „Zuverlässiger Leistungsfähigkeit“ und „Latenter Leistungsfähigkeit“. Die Modelle wussten die Antwort oft (Latent), scheiterten aber daran, sie konsistent zu zeigen (Reliabel). In einigen Fällen konnten die Modelle zusätzliche 30 % der Fragen korrekt beantworten, wenn man sie nur auf eine andere Weise fragte, aber sie taten dies beim Standardtest nicht. Das bedeutet, dass die üblichen „Genauigkeits-Scores“, die wir auf Bestenlisten sehen, viel Instabilität verbergen können. Die Modelle sind nicht unbedingt dumm; sie sind nur zerbrechlich. Sie verlassen sich auf spezifische Wortmuster statt auf ein tiefes, felsenfestes Verständnis.

Das „Umspringen“ und das „Beheben“

Die Forscher untersuchten auch etwas, das als „Flip-Rate“ bezeichnet wird. Dies ist der Fall, wenn ein Modell eine Frage beim ersten Mal richtig beantwortet, dann aber falsch antwortet, wenn man sie umformuliert. Oder, noch verwirrender: Es beantwortet eine Frage beim ersten Mal falsch, aber richtig, wenn man sie umformuliert. Dieses „Hin-und-her-Springen“ zeigt, dass das Gehirn des Modells wackelig ist. Es ist wie ein Kompass, der nach Norden zeigt, wenn man ihn auf eine bestimmte Weise hält, aber nach Osten zeigt, wenn man ihn leicht neigt.

Es gab jedoch einen Hoffnungsschimmer. Die Forscher probierten einen einfachen Trick namens Selbst-Paraphrasierung aus. Anstatt dem Modell nur eine Frage zu stellen, baten sie es, die Frage zuerst in eigenen Worten neu zu formulieren und dann basierend auf diesen neuen Versionen zu antworten. Es ist, als würde man einen Schüler bitten: „Lies die Frage erst einmal in deinem Kopf noch einmal mit deinen eigenen Worten durch, bevor du antwortest.“ Dieser einfache Schritt half den Modellen, die Lücke zu schließen, indem er ihnen half, ihr verborgenes, latentes Wissen abzurufen.

Was dies für die Zukunft bedeutet

Die wichtigste Erkenntnis dieses Papers ist, dass standardmäßige Genauigkeitswerte irreführend sein können. Nur weil ein Modell eine hohe Punktzahl in einem Test erreicht, bedeutet das nicht, dass es in der realen Welt wirklich zuverlässig ist. Im echten Leben werden Fragen auf allerlei seltsame Arten gestellt, und wenn eine KI damit nicht umgehen kann, ist sie nicht bereit für den Einsatz. Die Studie legt nahe, dass wir aufhören müssen, nur zu fragen: „Wie viele Fragen hat es richtig beantwortet?“, und stattdessen fragen müssen: „Wie konsistent ist es?“

Die Autoren schlagen vor, dass eine KI, um wirklich vertrauenswürdig zu sein, an ihrer Fähigkeit getestet werden muss, über verschiedene Formulierungen hinweg konsistent zu bleiben. Bis dahin könnten wir ihre Intelligenz überschätzen. Sie mögen brillant darin sein, das Skript auswendig zu lernen, aber sie müssen noch lernen, wie man improvisiert, ohne den Faden zu verlieren.

Technisches Resümee: Gleiche Frage, unterschiedliche Antworten: Evaluierung der LLM-Zuverlässigkeit jenseits der Genauigkeit

Problemstellung

Obwohl Large Language Models (LLMs) in Standard-Benchmarks eine hohe Genauigkeit aufweisen, bleibt ihre Zuverlässigkeit unklar, wenn dieselbe Frage auf unterschiedliche, aber semantisch äquivalente Weise präsentiert wird. Die aktuelle Evaluierungspraxis stützt sich häufig auf die Genauigkeit eines Einzel-Prompts, was signifikante Instabilität maskieren kann. Bestehende Studien zur Robustheit von LLMs konzentrieren sich häufig auf oberflächliche Perturbationen (z. B. Formatänderungen, adversarieller Lärm) oder Multiple-Choice-Aufgaben, welche die Variabilität der Ausgaben einschränken. Zudem verdecken aggregierte Genauigkeitsmetriken oft Schwankungen auf Instanzebene, und frühere Paraphrasierungsstudien leiden mitunter unter „Bedeutungsdrift“ in den generierten Variationen. Diese Arbeit adressiert die Lücke im Verständnis darüber, wie sich LLMs unter strenger, bede preserved (bedeutungserhaltender) Paraphrasierung in Aufgaben der offenen Generierung verhalten, spezifisch für faktisches Beantworten von Fragen und mathematische Argumentation.

Methodik

Die Autoren führen ein kontrolliertes Framework ein, um die Konsistenz von LLMs unter Verwendung streng validierter, semantisch äquivalenter Eingaben zu evaluieren.

1. Konstruktion semantisch äquivalenter Testsets

Um den Effekt der Oberflächenform zu isolieren, generiert die Studie Sets von Paraphrasen für jede ursprüngliche Abfrage ( $Q_0$ ) mittels einer dreistufigen Validationspipeline:

Kontrollierte Generierung: Ein hochfähiges Modell (GPT-4.1-mini) generiert Paraphrasen, die durch leichte Cues konditioniert sind, um strukturelle oder stilistische Variationen (z. B. Tonfall, Syntax) zu induzieren, während Intention und Einschränkungen gewahrt bleiben.
Lexikalische Überlappungsfilterung: Kandidaten mit hoher lexikalischer Überlappung (>0,8) mit dem Original werden verworfen, um echte Umformulierung statt oberflächlicher Edits sicherzustellen.
Zweistufige semantische Verifizierung:
- Ein LLM-Judge verifiziert, dass die Paraphrase exakt dieselbe Information abfragt.
- Ein NLI-basierter Filter (facebook/bart-large-mnli) prüft auf bidirektionale Entailment (Implikation) zwischen dem Original und der Paraphrase.
Human-Validierung: Eine Teilmenge der Paraphrasen-Paare (~1250) wurde von Menschen annotiert, wobei eine Übereinstimmung von 92–98 % hinsichtlich der semantischen Äquivalenz erreicht wurde, was die Strenge der Pipeline bestätigt.

2. Evaluierungsprotokoll

Modelle: 13 Modelle wurden evaluiert, darunter Open-Weight-Modelle (Llama-3, Qwen-2.5/3 Familien mit einer Spanne von 0,6B bis 32B Parametern) sowie proprietäre Modelle (GPT-3.5, GPT-4o, GPT-4.1 Varianten).
Datensätze: Vier Benchmarks, die faktisches QA (SIMPLEQA, TRUTHFULQA) und mathematische Argumentation (GSM8K, MATH-500) abdecken.
Dekodierung: Es wurde deterministische Dekodierung verwendet, um die Variabilität auf den internen Zustand des Modells zurückzuführen und nicht auf stochastisches Sampling-Rauschen.
Metriken: Die Studie geht über die Standard-Genauigkeit hinaus und definiert:
- Varianten der Genauigkeit: Original-Genauigkeit ( $A_{orig}$ ), Durchschnittliche Paraphrasen-Genauigkeit ( $A_{dist}$ ) und Mehrheitsentscheidungs-Genauigkeit ( $A_{MV}$ ).
- Instanz-Level-Stabilität: Mismatch-Rate (Diskrepanz zwischen Original und Mehrheitsentscheidung), Prediction Flip Rates (direktionale Instabilität) und Nicht-Determinismus (ND) Rate (Anteil der Sets mit unterschiedlichen Labels).
- Kapazitätsgrenzen:
  - Maximale Kapazität ( $A_{any}$ ): Der Anteil der Instanzen, bei denen das Modell auf mindestens einer Paraphrase korrekt ist (latentes Wissen).
  - Zuverlässige Kapazität ( $A_{strict}$ ): Der Anteil der Instanzen, bei denen das Modell auf allen Paraphrasen korrekt ist (zuverlässiges Wissen).

Kernergebnisse

1. Die Illusion der Stabilität

Aggregierte Genauigkeitsmetriken zeigen nur moderate Schwankungen (typischerweise 0–5 %) über Paraphrasen hinweg. Eine Analyse auf Instanzebene offenbart jedoch erhebliche verborgene Instabilität:

Hohe Mismatch-Raten: Bis zu 23 % der Fragen erhalten unterschiedliche Korrektheits-Labels, wenn sie paraphrasiert werden, selbst wenn die aggregierte Genauigkeitsdifferenz nahe Null liegt.
Nicht-Determinismus: Bis zu 47 % der Paraphrasen-Sets enthalten widersprüchliche Vorhersagen (das Modell gibt unterschiedliche Labels für semantisch identische Eingaben aus).
Flip Rates: Modelle antworten häufig korrekt auf die Originalfrage, scheitern aber an Paraphrasen und umgekehrt: Sie scheitern am Original, sind aber erfolgreich bei Paraphrasen. Dies deutet darauf hin, dass die Standard-Genauigkeit oft ein statistisches Nebenprodukt aus sich aufhebender Fehler ist und nicht auf echte Zuverlässigkeit hindeutet.

2. Die Zuverlässigkeitslücke (Reliability Gap)

Es besteht eine signifikante Diskrepanz zwischen dem latenten Wissen eines Modells und seiner konsistenten Performance:

Latent vs. Zuverlässig: $A_{any}$ (Best-Case) ist konsistent höher als $A_{strict}$ (Worst-Case). Beispielsweise besitzen Modelle bei TRUTHFULQA oft die interne Fähigkeit, zusätzliche 30 % der Fragen korrekt zu beantworten, können dieses Wissen aber über verschiedene Formulierungen hinweg nicht konsistent abrufen.
Skalierungstrends: Während größere Modelle im Allgemeinen eine bessere Stabilität und eine höhere $A_{strict}$ aufweisen, bleibt eine Lücke bestehen, selbst bei Hochleistungsmodellen. Chain-of-Thought (CoT) Reasoning verbessert sowohl die Genauigkeit als auch die Konsistenz, eliminiert die Instabilität jedoch nicht vollständig.

3. Schließung der Lücke durch Self-Paraphrasing

Die Studie zeigt, dass die „Zuverlässigkeitslücke“ zur Inferenzzeit teilweise geschlossen werden kann. Durch den Einsatz einer Self-Paraphrasing-Strategie – bei der das Modell seine eigenen Paraphrasen generiert, um einen reicheren Kontext vor der Beantwortung zu erstellen – verbesserte sich die Performance bei 6 von 7 getesteten Modellen. Dies deutet darauf hin, dass das latente Wissen vorhanden ist, aber aufgrund der Sensitivität gegenüber Oberflächenstrukturen inkonsistent abgerufen wird.

Bedeutung und Thesen

Das Paper argumentiert, dass Standard-Genauigkeitsmetriken eine unvollständige und oft zu optimistische Sicht auf die Zuverlässigkeit von LLMs bieten. Die primären Beiträge sind:

Aufdeckung der Instabilität auf Instanzebene: Die Studie zeigt, dass unter bedeutungserhaltenden Eingaben eine erhebliche Instabilität existiert, die durch aggregierte Genauigkeitswerte maskiert wird.
Definition der Zuverlässigkeitslücke: Sie formalisiert die Unterscheidung zwischen latenter Kapazität ( $A_{any}$ ) und zuverlässiger Kapazität ( $A_{strict}$ ) und zeigt, dass Modelle oft über Wissen verfügen, auf das sie nicht zuverlässig zugreifen können.
Vorschlag eines neuen Evaluierungsparadigmas: Die Autoren plädieren für eine konsistenzbewusste Evaluierung über paraphrasierte Eingaben hinweg, um reale Einsatzszenarien besser widerzuspiegeln, in denen die Phrasierung durch Nutzer variiert.
Praktische Abschwächung (Mitigation): Die Ergebnisse legen nahe, dass einfache Test-Time-Strategien wie Self-Paraphrasing als „Denoising“-Mechanismus fungieren können, um latentes Wissen zu reaktivieren und Robustheit ohne Retraining zu verbessern.

Die Autoren kommen zu dem Schluss, dass die Evaluierung von LLMs über die Single-Prompt-Genauigkeit hinausgehen muss und hin zu feingranularen, konsistenzbewussten Benchmarks führen muss, um wahre Zuverlässigkeit und Kapazität präzise zu bewerten.