🤖 machine learning

FailureScope: Cross-Regime Behavioral Diagnosis of Language Model Weaknesses

Das Paper stellt FailureScope vor, eine Methode zur Verhaltensdiagnose, die Evaluations-Probes durch modellübergreifende Fehlermuster clustert, um stabile, interpretierbare Taxonomien der Schwächen von Sprachmodellen über Single-Turn-, Multi-Turn- und Adversarial-Regime hinweg zu generieren, wobei es eine überlegene Vorhersagegenauigkeit demonstriert und eine signifikante Lücke zwischen LLM-Judge-Bewertungen und der tatsächlichen Ausführung aufzeigt.

Ursprüngliche Autoren: Nicholas Saban

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nicholas Saban

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten ein neues Auto kaufen. Der Verkäufer überreicht Ihnen eine einzige Zahl: „Dieses Auto hat eine Gesamtbewertung von 95 %.“ Das klingt großartig, aber es sagt Ihnen nicht, ob das Auto schreckliche Bremsen, einen schwachen Motor oder ein Radio hat, das nur in einer einzigen Stadt funktioniert. Sie müssen genau wissen, wo das Auto versagt, damit Sie es reparieren oder es meiden können.

Genau dieses Problem versucht das Paper FailureScope für Modelle der Künstlichen Intelligenz (KI) zu lösen.

Das Problem: Die „Durchschnittswert-Falle“

Derzeit testen wir KI-Modelle mit Standardprüfungen (wie Mathetests oder Programmieraufgaben). Wir erhalten einen einzelnen Durchschnittswert, wie zum Beispiel „85 % korrekt“. Die Autoren argumentieren, dass dies für Praktiker nutzlos ist. Es ist, als würde man sagen, ein Arzt sei „85 % gesund“ – das sagt uns nichts darüber aus, ob er operieren kann oder einen Beinbruch diagnostiziert.

Darüber hinaus ist die KI-Welt in drei separate Nachbarschaften unterteilt, die nicht miteinander kommunizieren:

Single-turn Tests: Eine Frage, eine Antwort (wie ein Quiz).
Multi-turn Dialoge: Lange Gespräche (wie das Chatten mit einem Freund).
Adversarial Attacks (Angriffe durch gezielte Manipulation): Der Versuch, die KI dazu zu bringen, etwas Schlechtes zu tun (wie ein Hacker, der ein Schloss testet).

Normalerweise untersuchen Forscher diese Bereiche separat mit unterschiedlichen Werkzeugen. Die Autoren sagen: „Hören wir auf damit.“

Die Lösung: Der „Fehler-Detektiv“ (FailureScope)

Die Autoren entwickelten eine neue Methode namens FailureScope. Anstatt zu fragen: „Wie intelligent ist diese KI?“, fragen sie: „Bei welchen spezifischen Aufgaben scheitert diese KI, und wer sonst noch scheitert an denselben Aufgaben?“

So funktioniert es, erklärt anhand einer einfachen Analogie:

1. Das „Gruppenfoto“ der Fehler

Stellen Sie sich vor, Sie haben 18 verschiedene KI-Modelle und 2.600 verschiedene Fragen. Sie lassen jedes Modell bei jeder Frage laufen und markieren mit einem Häkchen für „Bestanden“ oder einem „X“ für „Fehlgeschlagen“.

Betrachten Sie nun das Muster der „X“s.

Modell A scheitert an allen Mathefragen.
Modell B scheitert an allen Geschichtsfragen.
Modell C scheitert an einer seltsamen Mischung aus Mathe und Geschichte, aber nur, wenn die Frage lang ist.

Die Autoren nutzen einen Computeralgorithuzm, um diese Fragen basierend darauf zu gruppieren, wer an ihnen scheitert. Wenn eine Gruppe von Fragen von derselben Gruppe von Modellen versagt wird, werden sie in denselben „Failure Cluster“ (Fehler-Cluster) eingeordnet.

2. Der „Leave-One-Out“-Test (LOMO)

Um sicherzustellen, dass ihre Methode funktioniert, spielen sie ein Spiel namens „Leave-One-Model-Out“ (Ein Modell ausschließen).

Sie erstellen ihre „Fehler-Karte“ mit 17 Modellen.
Dann verstecken sie das 18. Modell.
Die Frage lautet: „Kann unsere Karte vorhersagen, woran das versteckte Modell scheitern wird?“

Das Ergebnis: Es funktioniert unglaublich gut. Wenn sie nur 50 sorgfältig ausgewählte Fragen verwenden (basend auf ihrer Fehler-Karte), können sie die Schwächen des versteckten Modells mit 81 % Genauigkeit vorhersagen. Wenn sie einfach 50 zufällige Fragen gewählt hätten, läge die Genauigkeit nur bei 34 %. Es ist der Unterschied zwischen einem Arzt, der einen gezielten Bluttest durchführt, und jemandem, der rät, welches Organ krank ist.

Die drei „Reiche“, die sie getestet haben

Die Autoren bewiesen, dass diese Methode in drei verschiedenen Welten funktioniert:

1. Die Quiz-Welt (Single-Turn)

Was sie fanden: Sie fanden 25 verschiedene Arten von Fehlern. Einige Cluster mischten Mathe und Programmierung, weil die Modelle an beiden aus demselben Grund scheiterten (z. B. „Logik-Zusammenbruch“).
Die Erkenntnis: Die Art der Frage ist weniger wichtig als die Frage, welche Modelle daran scheitern. Das Muster des Scheiterns ist das eigentliche Signal.

2. Die Gesprächs-Welt (Multi-Turn)

Was sie fanden: Wenn Modelle lange Gespräche führen, fanden sie 6 neue Arten von Fehlern, die man in kurzen Quizzen nicht sieht.
Der „Deep Context Collapse“ (Tiefer Kontext-Zusammenbruch): Sie fanden einen massiven Cluster, in dem jedes Modell scheitert, sobald das Gespräch zu tief wird (etwa nach 6 Hin-und-Her-Interaktionen). Es ist, als würde ein Mensch den Anfang einer Geschichte vergessen, bis er am Ende der Geschichte angelangt ist.
Der „Selective Survivor“ (Selektiver Überlebender): Sie fanden eine ganz spezifische Art komplexer Aufgaben, bei denen ein Modell (Claude Sonnet) überlebte, während die anderen (GPT und DeepSeek) alle scheiterten. Dies ist ein einzigartiger „Fingerabdruck“ dieses spezifischen Modells.

3. Die Hacker-Welt (Adversarial Attacks)

Was sie fanden: Dies war die überraschendste Entdeckung. Sie testeten KI-Agenten, die versuchten, Code auszuführen, um Daten zu stehlen.
Die Entdeckung des „kaputten Lineals“: Sie fanden eine riesige Lücke zwischen dem, was der interne „Richter“ der KI über das Geschehene sagte, und dem, was in der Realität tatsächlich passierte.
- Der Richter sagte: „Die KI hat das System erfolgreich gehackt!“ (100 % Erfolgsrate).
- Die Realität: Die KI hat den Befehl nie abgeschickt. Sie hat nur darüber gesprochen, ihn abzuschicken.
- Die Lektion: Das Testwerkzeug (der Richter) war kaputt, nicht die KI. Die KI war eigentlich sicher, aber der Test hat gelogen. FailureScope hat diesen „Meta-Fehler“ entdeckt, weil es auf das Muster der Lücke achtete, nicht nur auf den Score.

Das große Ganze

Die Autoren bezeichnen ihre Methode als ein „portables Diagnose-Primitiv“. Denken Sie an ein universelles Stethoskop.

Sie können es für einen Mathetest verwenden.
Sie können es für einen langen Chat verwenden.
Sie können es für einen Sicherheitstest verwenden.

In allen drei Fällen gruppieren sie Probleme nach dem Verhalten (wie die Modelle agieren) statt nach dem Thema (worum es in der Frage geht).

Zusammenfassung

Alter Weg: „Diese KI ist zu 85 % intelligent.“ (Nutzlos, um Probleme zu beheben).
Neuer Weg (FailureScope): „Diese KI scheitert an ‚Langkontext-Logik‘ und ‚komplexer Code-Komposition‘, ist aber großartig in ‚kurzem Mathe‘.“ (Handlungsorientiert und präzise).
Die Magie: Indem sie betrachten, welche Modelle gemeinsam scheitern, können sie eine Karte der Schwächen erstellen, die vorhersagt, wie ein neues, ungesehenes Modell reagieren wird – das spart Zeit und Kosten bei der Testung.

Sie haben alle ihre Daten, Codes und die „Fehler-Karte“ zur Verfügung gestellt, damit jeder sie nutzen kann, damit wir aufhören zu raten und anfangen, die Schwächen der KI zu beheben.

Technisches Resümee: FailureScope – Cross-Regime-Verhaltensdiagnose von Schwächen bei Sprachmodellen

1. Problemstellung

Standardmäßige Benchmarks für Large Language Models (LLMs) berichten typischerweise aggregierte Genauigkeitswerte (z. B. MMLU, GSM8K), welche die spezifischen Fähigkeiten, die einem Modell fehlen, verschleiern. Da Modelle in komplexen, Multi-Turn- und agentischen Szenarien eingesetzt werden, vergrößert sich die Lücke zwischen einer einzelnen aggregierten Zahl und den spezifischen diagnostischen Bedürfnissen der Praktiker. Darüber hinaus hat sich die Forschungsgemeinschaft in separate Subgemeinschaften für Single-Turn-Benchmarks, Multi-Turn-Dialoge und adversarielle Agenten-Evaluierungen fragmentiert, die jeweils über unterschiedliche Metriken und diagnostische Frameworks verfügen, die nicht über verschiedene Regime hinweg transferierbar sind.

Das Paper argumentiert, dass die fundamentale Einheit der Diagnose nicht die Aufgabe selbst sein sollte, sondern das modellübergreifende Verhaltensmuster: speziell, welche Modelle bei einem gegebenen Probe-Test scheitern. Aktuelle Methoden konzentrieren sich oft darauf, Benchmarks zu komprimieren, um Evaluierungskosten zu senken und gleichzeitig skalare Rankings zu bewahren, wobei sie häufig die granularen Informationen über die Arten von Fehlern verwirft, die Praktiker benötigen.

2. Methodik: FAILURESCOPE

Die Autoren führen FAILURESCOPE ein, eine Methodik zur Verhaltensdiagnose, die Fehler-Taxonomien durch das Clustering von Evaluierungs-Probes auf Basis ihrer modellübergreifenden Pass/Fail-Signaturen konstruiert. Der Ansatz ist darauf ausgelegt, über verschiedene Evaluierungs-Regime hinweg portabel zu sein.

Kern-Pipeline

Die Methodik folgt einem fünfstufigen Algorithmus, der über Single-Turn-, Multi-Turn- und adversarielle Regime hinweg konsistent bleibt:

Matrix-Konstruktion: Erstellung einer Probe-durch-Modell Pass/Fail-Matrix.
Imputation: Imputation fehlender Einträge (häufig, wenn Modelle nicht auf allen Benchmarks evaluiert wurden) mittels Spaltenmittelwerten. Die Autoren merken an, dass die Verwendung von Sentinel-Werten (z. B. -1) falsche Negativsignale in die Distanzberechnungen injiziert.
Embedding & Normalisierung:
- Aufgaben werden durch einen kombinierten Vektor repräsentiert: $z_{combined} = [\alpha \hat{z}_{sem} \parallel (1-\alpha) \hat{z}_{beh}]$ .
- $\hat{z}_{sem}$ ist ein semantisches Embedding (Voyage-3-Large).
- $\hat{z}_{beh}$ ist ein 18-dimensionaler Verhaltensvektor, der den Pass/Fail-Status über Modelle hinweg kodiert.
- Die Autoren stellen fest, dass $\alpha=0.1$ (verhaltensdominant) optimal ist, da eine kleine semantische Komponente hilft, Grenzfälle zu trennen, ohne das Verhaltenssignal zu überlagern.
- Vektoren werden L2-normalisiert.
Clustering: Dimensionsreduktion via UMAP (oder PCA-Fallback) auf 30 Dimensionen, gefolgt von Clustering mittels HDBSCAN.
Labeling: Cluster werden über LLM-gepromptete Exemplare (unter Verwendung der 5 nächsten Nachbarn) gelabelt.

Validierungsprotokoll: Leave-One-Model-Out (LOMO)

Um die Taxonomie ohne Zirkularität zu validieren, verwenden die Autoren ein LOMO-Protokoll:

Ein Modell ( $m^*$ ) wird zurückgehalten.
Die Taxonomie wird unter Verwendung der verbleibenden $N-1$ Modelle neu aufgebaut.
Das zurückgehaltene Modell wird anschließend anhand dieser neuen Taxonomie mit zwei Metriken evaluiert:
1. Diagnostische Effizienz: Wie gut stellt das Taxonomie-konditionierte Sampling (Auswahl von Aufgaben, um alle Cluster abzudecken) das Schwächenprofil des zurückgehaltenen Modells im Vergleich zu Random- oder stratifiziertem Sampling wieder her? (Gemessen durch Kendall's $\tau$ ).
2. Modellübergreifende Vorhersage: Kann das Fehlerprofil des zurückgehaltenen Modells basierend auf seiner Ähnlichkeit zu den Trainingsmodellen vorhergesagt werden? (Gemessen durch AUC).

3. Zentrale Beiträge und Ergebnisse

Das Paper validiert FAILURESCOPE über drei verschiedene Regime hinweg und zeigt, dass dasselbe Primitive stabile, interpretierbare Cluster in jedem Regime erzeugt.

A. Single-Turn Benchmarks

Datensatz: 2.664 Aufgaben aus 6 Benchmarks (GSM8K, ARC, MMLU, HumanEval, MBPP, IFEval), evaluiert über 18 Modelle.
Clustering: Das verhaltensdominante Setting ( $\alpha=0.1$ ) liefert 25 stabile Cluster mit einem Silhouette-Score von 0,12. Entscheidend ist, dass 86,7 % der Cluster über mehrere Benchmarks hinweg reichen, was zeigt, dass Fehler-Signaturen über spezifische Datensatzgrenzen hinweg bestehen.
Diagnostische Effizienz: Unter LOMO erreicht das Taxonomie-konditionierte Sampling ein Kendall's $\tau$ von 0,81 bei 50 Aufgaben. Dies ist signifikant besser als Random Selection ( $\tau=0,34$ ) und Benchmark-stratifiziertes Sampling ( $\tau=0,64$ ).
Vorhersage: Die modellübergreifende Fehlerprognose erreicht mittels eines Nearest-Model-Ansatzes einen AUC von 0,88.

B. Multi-Turn Dialog

Datensatz: 363 hochkomplexe Konversationen (frontier-hard) von 5 Frontier-Modellen, abdeckend 11 Skill-Achsen und 7 Konversations-Tiefen.
Clustering: Die Methode rekonstruiert 6 Cluster mit einem hohen Silhouette-Wert von 0,92.
Wichtige Erkenntnisse:
- Deep-Context Collapse: Ein großer Cluster (162 Aufgaben, primär Tiefe-6), in dem alle Modelle universell scheitern – ein Muster, das in der Single-Turn-Analyse nicht sichtbar war.
- Modell-selektive Resilienz: Ein Cluster (n=11) zeigt, dass Claude Sonnet 4.6 bei ca. 70 % scheitert, während andere Modelle bei 85–100 % scheitern.
- DeepSeek-Immune Candidate: Ein kleiner Cluster (n=10), in dem DeepSeek erfolgreich ist, während die GPT- und Claude-Familien scheitern. Die Autoren behandeln dies als ein Hypothesengenerierungssignal, das einer groß angelegten Replikation bedarf.

C. Adversarial Agent Attacks

Datensatz: 630 Multi-Turn Agent-Traces gegen eine Code-Execution-Sandbox, involvierend drei Attack-Familien und drei Frontier-Modelle.
Clustering: Die Methode identifiziert 3 distinkte Verhaltensprofile:
1. Meta-Fehler der Evaluation: Eine Lücke von 73–100 Prozentpunkten zwischen der LLM-Judge Attack Success Rate (ASR) und der realen Netzwerk-Execution-ASR bei kognitiven Belastungsangriffen. Der Cluster offenbart, dass das Evaluierungsinstrument (der Judge) unzuverlässig ist, nicht das Modell.
2. Selektive Kompositionelle Verweigerung: Claude Sonnet 4.6 zeigt ein einzigartiges Profil, bei dem es die bösartige Payload bereits in Schritt 2 verweigert (21/30 Fälle), obwohl es den ersten Schritt bestanden hat, während GPT-5.4 den Angriff in 92 % der Fälle ausführt.
3. Kompositionelle Compliance: GPT-5.4 und GPT-5.4-mini zeigen hohe Ausführungsraten und bilden einen „echt kompromittierten“ Cluster, der sich von den Instrumentenfehlern und den Verweigerungs-Clustern unterscheidet.

4. Bedeutung und Ansprüche

Das Paper behauptet, dass Verhaltens-Clustering ein portables Diagnose-Primitive ist, das über jedes einzelne Benchmark hinaus generalisiert.

Portabilität: Derselbe fünfstufige Algorithmus erzeugt stabile, interpretierbare Taxonomien über Single-Turn-, Multi-Turn- und adversarielle Regime hinweg. Die Autoren betonen, dass sich die Silhouette-Scores zwar über die Regime hinweg unterscheiden (0,12, 0,92, 0,71) – bedingt durch variierende Cluster-Anzahlen und Dimensionen –, die qualitative Kohärenz und der nachgelagerte Nutzen (hohes $\tau$ und AUC) jedoch konsistent bleiben.
Effizienz: Die Methode ermöglicht eine effiziente strukturierte Diagnose. Praktiker können ein neues Modell mit etwa 50 Taxonomie-konditionierten Aufgaben evaluieren, um ein Schwächenprofil mit hoher Treue ( $\tau=0,81$ ) zu erhalten, oder das Profil ohne Evaluierung mittels Cross-Model Prediction vorhersagen (AUC 0,88).
Entdeckung verborgener Muster: Der Ansatz deckt Fehlermodi auf, die für eine Single-Benchmark-Analyse unsichtbar sind, wie etwa den kontextabhängigen universellen Kollaps in Multi-Turn-Dialogen oder die Unzuverlässigkeit von LLM-Judges in spezifischen adversariellen Kontexten.

5. Limitationen und Umfang

Die Autoren vertreten eine bescheidene Position bezüglich ihrer Ansprüche:

Extrapolation: Die LOMO-Validierung gilt für Modelle innerhalb desselben Leistungsbereichs. Sie behaupten nicht, dass eine auf 7B–70B Modellen basierende Taxonomie ohne Neubau auf signifikant stärkere Systeme (z. B. GPT-5 Klasse) übertragbar wäre.
Datenknappheit: Die Methode stützt sich bei fehlenden Benchmark-Daten auf Imputation; reichhaltigere Evaluierungsdaten würden die Qualität des Clusterings wahrscheinlich verbessern.
Subjektivität des Labelings: Die Cluster-Labels werden durch LLMs generiert. Während die Struktur robust ist, können spezifische Fehler-Labels (z. B. Reasoning vs. Knowledge Gap) mehrdeutig sein.
Umfang: Der Single-Turn-Korpus deckt keine multimodalen Reasoning- oder Long-Context-Aufgaben ab, wenngiel die Multi-Turn-Fallstudien einige dieser Lücken mit kleineren Modellpools adressieren.

Das Paper schließt mit der Veröffentlichung der Pipeline, drei annotierter Korpora, cross-regime Taxonomien und 1.203 generierter adversarieller Aufgaben, um die weitere Forschung in der strukturierten Modell-Diagnose zu fördern.