💬 NLP

LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

Die Studie zeigt, dass lineare Proben auf den Aktivierungen von Large Language Models vor der Generierung deren Erfolgswahrscheinlichkeit präziser vorhersagen können als oberflächliche Merkmale, was eine kosteneffiziente Routing-Strategie ermöglicht, die die Leistung des besten einzelnen Modells übertrifft.

Ursprüngliche Autoren: William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

Veröffentlicht 2026-03-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen riesigen Haufen von Mathe- und Programmier-Aufgaben vor dir. Manche sind leicht wie „2+2", andere sind so schwer, dass sie selbst Genies zum Schwitzen bringen.

Normalerweise nutzt man große KI-Modelle (LLMs), um diese Aufgaben zu lösen. Das Problem: Um sicherzugehen, dass die KI die schwere Aufgabe wirklich schafft, muss man sie oft mehrmals rechnen lassen oder sie sehr lange nachdenken lassen. Das kostet aber extrem viel Zeit und Geld (Rechenleistung).

Die Frage ist: Können wir schon bevor die KI mit dem Antworten beginnt, erraten, ob sie scheitern wird?

Diese neue Studie aus dem Jahr 2026 sagt: Ja, das können wir! Und zwar auf eine ziemlich clevere Art.

Die Idee: Der „Gedanken-Check" vor dem Sprechen

Stell dir die KI wie einen Schüler vor, der gerade eine Prüfung macht. Bevor er die Antwort aufschreibt, hat er einen kurzen Moment des Denkens. In diesem Moment fließen elektrische Signale durch sein Gehirn (in der KI nennt man das „Aktivierungen").

Die Forscher haben entdeckt: In diesen winzigen Signalen vor dem eigentlichen Schreiben steckt bereits eine Vorhersage. Die KI „weiß" quasi unbewusst, ob sie die Aufgabe schaffen wird oder nicht.

Sie haben einen einfachen „Detektor" (einen linearen Proben-Algorithmus) gebaut, der diese Signale abhört. Es ist, als würde man einem Schüler auf die Schulter klopfen und sagen: „Hey, bevor du schreibst: Glaubst du, du hast eine Chance?" Die KI gibt daraufhin ein sehr genaues Signal ab.

Die große Entdeckung: Was ist „schwierig"?

Hier wird es spannend. Die Forscher haben zwei Arten von „Schwierigkeit" verglichen:

Menschliche Schwierigkeit: Wie schwer finden wir Menschen die Aufgabe? (Basierend auf Tests mit tausenden Schülern).
KI-Schwierigkeit: Wie schwer findet die KI die Aufgabe?

Das Überraschende: Diese beiden Dinge sind nicht dasselbe!

Früher: Wenn die KI eine Aufgabe als schwer empfand, war sie es oft auch für Menschen.
Heute (bei modernen, „nachdenkenden" KIs): Die KI hat ihre eigene Art, Schwierigkeit zu messen. Wenn eine Aufgabe für Menschen extrem schwer ist, aber die KI sie durch viel Nachdenken (Extended Reasoning) trotzdem löst, ändert sich ihr internes Gefühl.
Die Metapher: Stell dir vor, ein Profi-Clown (die KI) muss einen schweren Seiltanz machen. Für das Publikum (die Menschen) sieht das tödlich gefährlich aus (hohe Schwierigkeit). Der Clown weiß aber genau: „Ich kann das, ich habe das 1000-mal geübt." Für den Clown ist es also nicht schwierig, auch wenn es für uns so aussieht.
Die Studie zeigt: Je mehr die KI nachdenkt, desto mehr verliert sie den Bezug zu unserer menschlichen Einschätzung. Sie entwickelt ihre eigene „Schwierigkeits-Skala".

Der praktische Nutzen: Der intelligente Türsteher

Warum ist das wichtig? Weil wir damit Geld sparen können.

Stell dir vor, du hast ein Team von KI-Modellen:

Der Kleine: Schnell, billig, aber nicht sehr schlau.
Der Große: Sehr schlau, aber langsam und teuer.

Normalerweise würdest du alle Aufgaben dem Großen geben, um sicherzugehen. Das ist aber verschwenderisch.

Mit dem neuen „Gedanken-Check" (dem Proben-Algorithmus) kannst du einen intelligenten Türsteher bauen:

Die Aufgabe kommt rein.
Der Türsteier hört kurz zu, was die KI vor dem Antworten denkt.
Szenario A: Die KI denkt „Das ist easy". -> Der Türsteher schickt die Aufgabe zum kleinen, billigen Modell.
Szenario B: Die KI denkt „Oh, das wird knifflig". -> Der Türsteher schickt sie sofort zum großen, starken Modell.

Das Ergebnis:

Die Gesamtgenauigkeit bleibt fast gleich (oder wird sogar besser!).
Aber die Kosten sinken um bis zu 70 %, weil die teuren, starken Modelle nur noch die wirklich schweren Aufgaben lösen müssen.

Zusammenfassung in einem Satz

Die Forscher haben entdeckt, dass KIs schon bevor sie antworten, in ihren eigenen Gedanken verraten, ob sie eine Aufgabe schaffen werden; und wenn wir diesem „Flüstern" lauschen, können wir viel Geld sparen, indem wir die Aufgaben intelligent auf die richtigen KI-Modelle verteilen – auch wenn die KI dabei manchmal ganz anders empfindet als wir Menschen.

Kurz gesagt: Die KI verrät uns ihr Geheimnis, bevor sie es ausspricht, und wir nutzen das, um effizienter zu werden.

Titel: LLMs kodieren ihre Fehler: Vorhersage des Erfolgs aus Aktivierungen vor der Generierung

Veröffentlicht: Latent & Implicit Thinking Workshop @ ICLR 2026
Autoren: William Lugoloobi, Thomas Foster, William Bankes, Chris Russell (Universität Oxford, UCL)

1. Problemstellung

Das Ausführen von Large Language Models (LLMs) mit erweiterter Reasoning-Fähigkeit (z. B. Chain-of-Thought) auf jedes Problem ist rechenintensiv und teuer. Ein zentrales Hindernis für effiziente Inferenzsysteme ist die Schwierigkeit, vorherzusagen, welche Eingaben tatsächlich zusätzlichen Rechenaufwand benötigen.

Herausforderung: Um die Erfolgswahrscheinlichkeit eines Modells für eine bestimmte Frage zu schätzen, sind derzeit oft mehrere teure Rollouts (Generierungen) notwendig, was den Vorteil einer schnellen Vorhersage zunichtemacht.
Fragestellung: Kann die Erfolgswahrscheinlichkeit eines Modells bereits vor der Generierung der Antwort aus seinen internen Repräsentationen (Aktivierungen) vorhergesagt werden?

2. Methodik

Die Autoren untersuchen, ob lineare Proben (Linear Probes), die auf Aktivierungen im residualen Stream vor Beginn der Generierung trainiert werden, in der Lage sind, den Erfolg des Modells vorherzusagen.

Datenbasis & Aufgaben:
- Mathematik: MATH, GSM8K, AIME, E2H-AMC.
- Programmierung: LiveCodeBench.
- E2H-AMC (Schlüsseldatensatz): Dieser Datensatz bietet sowohl menschliche Schwierigkeitslabels (basierend auf Item Response Theory, IRT) als auch die Möglichkeit, die Modellleistung durch Rollouts auf denselben Fragen zu schätzen. Dies ermöglicht einen direkten Vergleich zwischen menschlicher und modellinterner Schwierigkeit.
Proben-Training:
- Es werden lineare Klassifikatoren/Regressoren auf den Aktivierungen der letzten Tokens vor der Generierung (post-instruction) trainiert.
- Zielvariablen:
  1. Menschliche Schwierigkeit: Regression der IRT-Schwierigkeit $b(q)$ .
  2. Erwartete Erfolgsrate: Regression der Wahrscheinlichkeit des Erfolgs über $K$ stochastische Rollouts ( $\hat{s}_{MC}$ ).
  3. Binärer Erfolg: Klassifikation des Erfolgs unter festen Decoding-Richtlinien (z. B. Greedy oder Majority Voting Maj@K).
Routing-Strategien:
- Die trainierten Proben werden genutzt, um Anfragen in einem Pool von Modellen mit unterschiedlichen Fähigkeiten und Kosten zu routen.
- Cascade Routing: Eine einfache Schwellenwert-Logik, bei der unsichere Anfragen an ein stärkeres (teureres) Modell weitergeleitet werden.
- Utility-Based Routing: Eine Optimierung, die die geschätzte Erfolgswahrscheinlichkeit gegen die Kosten abwägt, um den besten Kompromiss (Pareto-Frontier) zu finden.

3. Wichtige Beiträge

Unterscheidung zwischen menschlicher und modellinterner Schwierigkeit:
- Die Studie zeigt, dass LLMs beide Arten von Schwierigkeiten kodieren, aber als unterschiedliche Signale.
- Menschliche Schwierigkeit (IRT) ist linear besser vorhersagbar ( $\rho \approx 0.83–0.87$ ) als die modellinterne Erfolgsrate ( $\rho \approx 0.40–0.64$ ).
- Wichtig: Die modellinterne Schwierigkeit ist ein besserer Prädiktor für die tatsächliche Modellleistung als menschliche Labels. Mit zunehmender Reasoning-Fähigkeit (extended reasoning) divergieren die internen Repräsentationen des Modells stärker von menschlichen Schwierigkeitsurteilen.
Robustheit und Grenzen der Proben:
- Proben können den Erfolg unter verschiedenen Decoding-Policies (Greedy, Maj@K) zuverlässig vorhersagen (AUROC > 0.7 für viele Modelle).
- Kritischer Befund: Die Zuverlässigkeit der Proben nimmt mit steigendem Rechenaufwand während des Inferenzzeitraums (extended reasoning) ab. Obwohl die Genauigkeit des Modells durch längere Reasoning-Ketten steigt, werden die Erfolgssignale in den vorherigen Aktivierungen weniger linear zugänglich (AUROC sinkt von 0.78 auf 0.64 bei höherem Reasoning-Budget).
Praktische Effizienzsteigerung durch Routing:
- Durch den Einsatz von Proben-gesteuertem Routing können Kosten um bis zu 70% gesenkt werden, während die Genauigkeit des besten einzelnen Modells erreicht oder sogar übertroffen wird.
- Das System lernt, einfache Aufgaben kostengünstigen Modellen und schwierige Aufgaben leistungsstärkeren Modellen zuzuweisen, ohne dass zusätzliche Generierungen für die Entscheidungsfindung nötig sind.

4. Ergebnisse

Vorhersageleistung:
- Lineare Proben übertreffen Oberflächenmerkmale wie Fragelänge oder TF-IDF deutlich.
- Auf dem E2H-AMC-Datensatz zeigen die Proben, dass Modelle eine „modell-spezifische" Schwierigkeit kodieren, die sich von menschlicher Schwierigkeit unterscheidet.
- Bei Modellen mit erweitertem Reasoning (z. B. GPT-OSS-20B) korreliert die Länge der Chain-of-Thought zunehmend mit der menschlichen Schwierigkeit, nicht mehr mit der Unsicherheit des Modells. Das Modell verbringt also mehr Zeit an Problemen, die Menschen schwer finden, auch wenn das Modell diese Probleme eigentlich leicht lösen könnte. Dies erklärt, warum die Vorhersage des Erfolgs vor der Generierung bei starkem Reasoning schwieriger wird.
Routing-Ergebnisse:
- MATH-Datensatz: Ein Utility-basiertes Routing über einen Pool von fünf Modellen erreicht die Genauigkeit des besten Modells (GPT-OSS-20B-high) bei 70% geringeren Kosten.
- AIME & GSM8K: Ähnliche Effizienzgewinne wurden beobachtet. Auf gesättigten Benchmarks (GSM8K), wo viele Modelle hohe Genauigkeit erreichen, wählt der Router kosteneffiziente Modelle aus, während er auf schwierigeren Benchmarks (AIME) stärkere Modelle bevorzugt.
- Die Leistung des Routers ist direkt an die Zuverlässigkeit der Proben gekoppelt; wo die Proben schwächer werden (bei komplexem Reasoning), nähert sich die Leistung dem „Oracle" (perfekte Vorhersage) weniger stark an.

5. Bedeutung und Fazit

Diese Arbeit demonstriert, dass LLMs interne Signale enthalten, die ihren eigenen Erfolg vorhersagen, und dass diese Signale für effiziente Inferenzsysteme genutzt werden können.

Paradigmenwechsel: Die Studie widerlegt die Annahme, dass menschliche Schwierigkeitsurteile direkt auf die Leistung von LLMs übertragbar sind. Modelle entwickeln eine eigene, von der menschlichen Intuition abweichende Vorstellung von Schwierigkeit, die sich mit zunehmender Reasoning-Kapazität weiter von menschlichen Labels entfernt.
Praktische Implikation: Es ist möglich, Inferenzkosten drastisch zu senken, indem man interne Repräsentationen nutzt, um den Rechenaufwand dynamisch zu steuern.
Limitationen & Ausblick: Die Zuverlässigkeit der Proben nimmt bei sehr langen Reasoning-Ketten ab. Zukünftige Arbeiten sollten untersuchen, ob nicht-lineare Proben oder Proben an anderen Positionen im Generierungsprozess diese Signale besser extrahieren können. Dennoch zeigt die Arbeit, dass die Verbesserung der Zuverlässigkeit von Schwierigkeitsschätzungen der entscheidende Engpass für adaptive Inferenzsysteme ist.

Zusammenfassend: LLMs „wissen" bereits vor der Generierung, ob sie eine Aufgabe lösen können. Diese Information ist jedoch bei komplexen Reasoning-Aufgaben anders kodiert als menschliche Schwierigkeit und erfordert sorgfältige Extraktion, um maximale Kosteneffizienz zu erzielen.