🤖 AI

Measuring AI Reasoning: A Guide for Researchers

Dieser Beitrag argumentiert, dass die Bewertung von KI-Argumentation von einer ausschließlichen Konzentration auf die Richtigkeit der Endantwort zu einem prozessbasierten Ansatz übergehen sollte, der die Glaubwürdigkeit und Validität von Zwischenschritten der Argumentation bewertet, da adaptive, mehrstufige Suchen strukturell von einzelnen Vorwärtsdurchläufen abweichen und für die Diagnose des Modellverhaltens unerlässlich sind.

Ursprüngliche Autoren: Munachiso Samuel Nwadike, Zangir Iklassov, Kareem Ali, Rifo Genadi, Kentaro Inui

Veröffentlicht 2026-05-06

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Munachiso Samuel Nwadike, Zangir Iklassov, Kareem Ali, Rifo Genadi, Kentaro Inui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Bewerten Sie nicht nur die Antwort

Stellen Sie sich einen Schüler vor, der einen Mathe-Test schreibt. Seit Jahren schauen Lehrer nur auf die letzte Zahl, die in das Feld geschrieben wurde, um zu entscheiden, ob der Schüler intelligent ist. Wenn die Antwort „42" lautet, bekommt der Schüler eine Eins. Wenn es „43" ist, bekommt er eine Sechs.

Dieses Papier argumentiert, dass dies eine schreckliche Methode ist, um „Schlussfolgern" zu messen.

Warum? Weil ein Schüler aus drei sehr unterschiedlichen Gründen auf „42" kommen könnte:

Auswendiglernen: Sie haben dieses exakte Problem letzte Woche auf einem Übungsblatt gesehen und sich einfach die Antwort gemerkt.
Raten/Mustererkennung: Sie haben bemerkt, dass die Antwort bei Fragen mit dem Wort „Apfel" meist „42" lautet, und haben daher geratet.
Tatsächliches Schlussfolgern: Sie haben die Mathematik tatsächlich Schritt für Schritt durchgerechnet, um darauf zu kommen.

Wenn Sie nur die Endantwort betrachten, können Sie den Unterschied zwischen einem Genie, das die Arbeit geleistet hat, und einem Betrüger, der den Schlüssel auswendig gelernt hat, nicht erkennen. Die Autoren sagen, wir müssen aufhören, nur das letzte Feld zu bewerten, und anfangen, die Arbeiten auf dem Kladde zu bewerten.

Die drei Ebenen von „Intelligenz"

Das Papier unterteilt, wie KI (und Menschen) Probleme lösen, in drei verschiedene Ebenen. Stellen Sie sich diese wie verschiedene Wege vor, um an ein Ziel zu gelangen:

1. Auswendiglernen (Die „Lernkarten"-Methode)

Was es ist: Die KI sieht eine Frage, die sie schon einmal gesehen hat, und spuckt die Antwort aus, die sie in ihrem Gedächtnis gespeichert hat.
Die Analogie: Es ist wie ein Papagei, der einen Satz wiederholt, den er im Fernsehen gehört hat. Er versteht die Bedeutung nicht; er weiß nur, dass er, wenn man „Was ist die Hauptstadt von Frankreich?" sagt, „Paris" sagen sollte.
Das Problem: Wenn Sie dem Papagei die Frage rückwärts stellen („Paris ist die Hauptstadt welches Landes?"), könnte er verwirrt sein. Er denkt nicht nach; er ruft nur eine Datei ab.

2. Verständnis (Die „Bauchgefühl"-Methode)

Was es ist: Die KI verbindet Punkte basierend auf Mustern, die sie Millionen Male gesehen hat. Sie führt keine schrittweise Berechnung durch, sondern nutzt „gesunde Menschenverstand"-Assoziationen, um die richtige Antwort zu erhalten.
Die Analogie: Stellen Sie sich vor, Sie riechen Rauch und denken sofort an „Feuer". Sie haben keine wissenschaftliche Analyse der Verbrennung durchgeführt; Ihr Gehirn hat einfach ein Muster erkannt. Die KI macht dies mit Wörtern. Sie sieht „Menschen" und „überfüllt" und weiß, dass sie zusammengehören.
Das Problem: Dies funktioniert bei einfachen Fragen, scheitert aber, wenn das Problem eine lange, komplexe Logikkette erfordert, die die KI noch nie gesehen hat.

3. Schlussfolgern (Die „Detektiv"-Methode)

Was es ist: Dies ist das, was das Papier sagt, dass wir tatsächlich messen wollen. Es ist ein Suchprozess. Die KI muss einen Schritt machen, prüfen, ob er richtig ist, einen weiteren Schritt machen, vielleicht zurückgehen und weitermachen, bis sie die Lösung findet.
Die Analogie: Dies ist wie ein Detektiv, der ein Mysterium löst. Er kann den Mörder nicht einfach raten. Er muss sich das Alibi ansehen, die Waffe prüfen, den Zeugen befragen und feststellen, dass ein Hinweis nicht passt, also zurückgehen und einen anderen Weg versuchen. Der Weg, den sie gehen, hängt von den Hinweisen ab, die sie unterwegs finden.
Der Schlüssel: Das Papier argumentiert, dass echtes Schlussfolgern adaptiv ist. Sie wissen nicht, wie viele Schritte es dauern wird, bis Sie beginnen. Manche Rätsel benötigen 3 Schritte; andere 30.

Das Problem der „Schwarzen Kiste"

Die Autoren weisen auf ein großes technisches Hindernis hin. Moderne KI-Modelle sind wie schwarze Kisten, die versuchen, ein Problem in einem einzigen großen Sprung zu lösen (ein „einzelner Vorwärtsdurchlauf").

Die Einschränkung: Stellen Sie sich vor, Sie versuchen, ein Labyrinth zu lösen, indem Sie vom Start zum Ziel in einem einzigen riesigen Sprung springen. Das können Sie nicht, wenn sich das Labyrinth verändert, während Sie gehen.
Die Realität: Aktuelle KI-Architekturen sind darauf ausgelegt, schnell und parallel zu sein (viele Dinge gleichzeitig zu tun). Sie haben Schwierigkeiten, die „Anhalten und Nachdenken"-Arbeit zu leisten, die für komplexes Schlussfolgern erforderlich ist, weil sie nicht leicht entscheiden können, wann sie aufhören sollen oder welchen Schritt sie als Nächstes tun sollen, ohne vorauszu schauen.

Die Lösung: Externalisierte Spuren
Um dies zu beheben, schlägt das Papier vor, die KI zu zwingen, laut zu sprechen, während sie denkt. Dies wird als „Externalisierung der Schlussfolgerungsspur" bezeichnet (oft als „Chain of Thought" bezeichnet).

Die Analogie: Anstatt dass die KI dem Lehrer nur die Antwort zuflüstert, geben wir ihr eine Tafel. Sie muss jeden Schritt aufschreiben: „Zuerst mache ich das... oh warte, das ist falsch, versuchen wir das..."
Warum es hilft: Jetzt können die Forscher auf die Tafel schauen. Sie können sehen, ob die KI tatsächlich die Detektivarbeit geleistet hat oder ob sie nur eine falsche Geschichte aufgeschrieben hat, um intelligent zu wirken.

Zwei neue Regeln für die Bewertung

Das Papier schlägt vor, dass wir, wenn wir auf die „Tafel" (die Schlussfolgerungsspur) schauen, diese an zwei spezifischen Dingen bewerten müssen, nicht nur daran, ob die Endantwort richtig ist.

1. Treue (Erzählt sie die Wahrheit?)

Das Problem: Manchmal schreibt eine KI eine schöne, logische Geschichte auf die Tafel, hat aber tatsächlich zuerst die Antwort geraten und die Geschichte nur erfunden, um dazu zu passen.
Der Test: Wenn Sie einen Schritt in der Geschichte ändern (z. B. „Was wäre, wenn die Zahl 5 statt 3 wäre?"), ändert sich dann die Endantwort? Wenn die Antwort gleich bleibt, war die Geschichte gefälscht. Das Schlussfolgern war der Antwort nicht „treu".
Das Ziel: Wir wollen, dass die Geschichte die Antwort tatsächlich verursacht, nicht nur dekoriert.

2. Gültigkeit (Ist die Logik stichhaltig?)

Das Problem: Die KI könnte ehrlich sein (sie hat die Schritte wirklich verwendet, um zur Antwort zu gelangen), aber die Schritte könnten falsch sein.
Der Test: Hat die Mathematik gepasst? Hat die Logik standgehalten?
Das Ziel: Wir wollen, dass die Schritte faktisch und logisch korrekt sind, nicht nur plausibel klingend.

Die „Kontaminations"-Falle

Das Papier warnt vor Datenkontamination. Dies geschieht, wenn die KI versehentlich „gecheatet" hat, indem sie die Testfragen während ihres Trainings auswendig gelernt hat.

Die Analogie: Stellen Sie sich einen Schüler vor, der versehentlich den Antwortenschlüssel vor der Prüfung gesehen hat. Er bekommt 100 %. Hat er den Stoff gelernt? Nein.
Der Punkt des Papiers: Viele berühmte KI-Benchmarks sind „kontaminiert". Die KI schließt nicht; sie ruft nur den Antwortenschlüssel ab. Dies lässt die KI schlauer erscheinen, als sie ist. Der einzige Weg, dies zu erkennen, besteht darin, die Schlussfolgerungsspur zu betrachten. Wenn die Spur kurz und repetitiv ist, ist es wahrscheinlich Auswendiglernen. Wenn es eine lange, adaptive Suche ist, ist es wahrscheinlich echtes Schlussfolgern.

Zusammenfassung

Das Papier ist ein Leitfaden für Forscher mit der Aussage: „Hören Sie auf, nur zu zählen, wie viele Antworten richtig sind. Fangen Sie an zu schauen, wie die KI dorthin gelangt ist."

Schauen Sie nicht nur auf die Endpunktzahl (Genauigkeit).
Schauen Sie auf die Kladde (Schlussfolgerungsspuren).
Prüfen Sie, ob die Kladde ehrlich ist (Treue).
Prüfen Sie, ob die Kladde korrekt ist (Gültigkeit).

Indem wir dies tun, können wir den Unterschied zwischen einer KI, die wirklich „denkt", und einer, die nur ein sehr guter Nachahmer ist, erkennen.

Technische Zusammenfassung: Messung von KI-Argumentation: Ein Leitfaden für Forscher

Problemstellung

Die aktuellen Evaluierungen von Large Language Models (LLMs) stützen sich zunehmend auf „Argumentations"-Benchmarks (z. B. MMLU, GSM8K, AIME, ARC-AGI), bei denen der Fortschritt primär anhand der Genauigkeit der Endantwort gemessen wird (z. B. pass@1, exakte Übereinstimmung). Die Autoren argumentieren, dass diese Metrik ein unzureichender und unterbestimmter Proxy für Argumentation ist. Hohe Genauigkeit kann durch Mechanismen erreicht werden, die keine echte Argumentation beinhalten, wie zum Beispiel:

Auswendiglernen: Token-exakte Abrufung zuvor gesehener Fakten oder Definitionen.
Verständnis: Token-level Assoziationen und Mustererkennung ohne explizite deduktive Suche.
Datenkontamination: Wenn Benchmark-Elemente in den Vorab-Trainingsdaten vorkommen, können Modelle in „Muskelgedächtnis" oder Interpolation kollabieren, anstatt adaptive Berechnungen durchzuführen.

Darüber hinaus versagt die Genauigkeit der Endantwort darin zu diagnostizieren, wie ein Modell zu einer Lösung gelangt, was es schwierig macht, zwischen echter mehrstufiger Argumentation und der Ausnutzung von Abkürzungen zu unterscheiden. Zudem sind standardmäßige skalierbare Architekturen (wie Transformer) strukturell begrenzt in der Durchführung von variablen Tiefen und input-abhängigen Berechnungen innerhalb eines einzigen Vorwärtsdurchlaufs, doch verschleiern aktuelle Evaluierungsmethoden diese Einschränkung oft, indem sie sich ausschließlich auf Ergebnisse konzentrieren.

Methodik und theoretischer Rahmen

Der Artikel schlägt einen Wechsel von einer ergebnisbasierten zu einer prozessbasierten Evaluierung vor, die auf einer spezifischen Definition von Argumentation und einer formalen Analyse der Rechengrenzen basiert.

1. Definition von Argumentation als adaptive Suche

Die Autoren definieren Argumentation nicht als statische Eingabe-Ausgabe-Mapping, sondern als Suchprozess.

Formalisierung: Argumentation wird als Folge von Zustandsübergängen modelliert: $s_1 = f_1(x), s_2 = f_2(s_1), \dots, s_k = f_k(s_{k-1})$ .
Hauptmerkmal: Sowohl die Wahl der nächsten Übergangsfunktion als auch die Stoppzeit $k$ müssen input-abhängig sein. Die Tiefe der Berechnung muss sich an die Schwierigkeit der spezifischen Instanz anpassen.
Unterscheidung von Verständnis/Auswendiglernen:
- Auswendiglernen: Exakter Abruf von Token-Sequenzen.
- Verständnis: Lokale Assoziationen und Mustererkennung (z. B. „Menschen" $\to$ „besiedelte Gebiete") ohne eine variable Länge an deduktiven Ketten.
- Argumentation: Erfordert Zwischenschritte, die sequenziell basierend auf vorherigen Zuständen ausgewählt werden, bis eine Stoppbedingung erfüllt ist.

2. Strukturelle Grenzen von Architekturen mit fester Tiefe

Der Artikel argumentiert, dass standardmäßige skalierbare Architekturen (Transformer, Mamba-ähnliche SSMs), die in einem einzigen Vorwärtsdurchlauf operieren, auf Schaltkreise mit fester Tiefe beschränkt sind (die außerhalb der $TC^0$ -Komplexitätsklasse für unbeschränkte Tiefe liegen). Sie können input-abhängiges Halten oder variable Tiefensuche ohne externe Mechanismen nicht nativ implementieren. Folglich ist „interne" Argumentation (latente Zustände) oft unzugänglich oder durch Parallelitätskompromisse strukturell eingeschränkt, was sie zu einer schlechten Schnittstelle für die Evaluierung macht.

3. Die Notwendigkeit externalisierter Spuren

Um architektonische Grenzen zu überwinden und eine Evaluierung zu ermöglichen, befürworten die Autoren externalisierte Argumentationsspuren.

Definition: Explizite Zwischenschritte (Text, Symbole, Werkzeug-Logs), die vom Modell erzeugt werden und beobachtbar sowie überprüfbar sind.
Begründung: Externalisierung ermöglicht die Verifizierung des Suchprozesses und erlaubt Forschern zu beurteilen, ob das Modell tatsächlich die erforderliche adaptive Berechnung durchführt, anstatt zu raten oder abzurufen.

Hauptbeiträge

Der Artikel bietet fünf primäre Beiträge zum Feld der KI-Evaluierung:

Evaluierungsorientierte Definition von Argumentation: Er formalisiert Argumentation als adaptive, mehrstufige Berechnung (Suche), bei der Tiefe und Struktur vom Input abhängen. Dies begründet die Notwendigkeit von Prozessnachweisen im Benchmarking.
Befürwortung externalisierter Spuren: Er argumentiert, dass externalisierte Spuren (einschließlich, aber nicht beschränkt auf natürliche Sprache Chain-of-Thought) die überlegene Schnittstelle für prozessbasierte Evaluierung sind, da sie Zwischenschritte offenlegen, die überprüft, verglichen und verifiziert werden können.
Neue Evaluierungsziele (Treue und Validität): Er schlägt zwei primäre Metriken für die Argumentationsevaluierung vor:
- Treue (Faithfulness): Ob die Spur die tatsächlichen Zwischensinformationen widerspiegelt, auf die sich das Modell zur Erreichung der Antwort verlassen hat (kausale Kopplung).
- Validität: Ob die Zwischenschritte logisch korrekt und konsistent mit den Regeln des Problemdomäns sind.
Vergleichende Analyse: Er kontrastiert die prozessbasierte Evaluierung mit alternativen Ansichten, wie der Messung von Argumentation über latente interne Zustände (für Black-Box-Modelle als undurchführbar erachtet), der Ablehnung externer Spuren aufgrund von Untreue (widerlegt durch den Nachweis, dass Treue ein Forschungsziel und keine Voraussetzung ist) und der Forderung nach Weltmodellen (widerlegt für geschlossene Domänen wie Mathematik und Logik).
Taxonomie der Fähigkeiten: Er bietet eine organisierende Linse, die Auswendiglernen, Verständnis und Argumentation unterscheidet und insbesondere hervorhebt, wie Datenkontamination zu einem „Kollaps" führen kann, bei dem beabsichtigte Argumentationsaufgaben durch schwächere Regime (Verständnis oder Auswendiglernen) gelöst werden.

Ergebnisse und Erkenntnisse

Der Artikel präsentiert keine neuen experimentellen Ergebnisse an spezifischen Modellen, sondern synthetisiert bestehende Literatur, um seine theoretischen Argumente zu untermauern:

Benchmark-Lotterie und Sensitivität: Die Genauigkeit variiert stark zwischen verwandten Aufgaben, und aggregierte Scores verschleiern Heterogenität.
Ausnutzung von Abkürzungen: Studien zeigen, dass Modelle hohe Genauigkeit durch Datenkontamination oder benchmarkspezifische Abkürzungen ohne tiefes Verständnis erreichen können.
Architektonische Grenzen: Theoretische Arbeiten (z. B. Merrill & Sabharwal) bestätigen, dass Schaltkreise mit fester Tiefe nicht auf unbeschränkte, input-abhängige Suchschritte generalisieren können, was eine Zwischen-Decodierung (Spuren) zur Simulation Turing-vollständiger Berechnung notwendig macht.
Treue-Probleme: Obwohl Spuren untreu sein können (post-hoc Rationalisierung), zeigen neuere Arbeiten, dass Treue durch spezifische Trainingsziele und interventionsbasierte Tests verbessert werden kann, anstatt ein inhärenter Fehler der Methode zu sein.

Bedeutung und Behauptungen

Der Artikel positioniert sich als Leitfaden für Forscher, um grundlegend zu ändern, wie Argumentation gemessen wird. Seine Bedeutung liegt in:

Diagnostische Kraft: Über die „Black-Box"-Genauigkeit hinauszugehen, um das Debuggen spezifischer Argumentationsfehler und -erfolge zu ermöglichen.
Neudefinition von Fortschritt: Die Behauptung, dass wahrer Argumentationsfortschritt nicht nur darin besteht, die richtige Antwort zu erhalten, sondern dies durch einen treuen, validen und adaptiven Suchprozess zu tun.
Standardisierung: Vorschlag eines konkreten Evidenz-Tier-Systems für die Berichterstattung:
- Level 0: Nur Ergebnis (schwache Evidenz).
- Level 1: Spur vorhanden, aber unverifiziert.
- Level 2: Spur verifiziert (Messung von Validität und Treue).
Praktisches Protokoll: Bereitstellung eines Rahmens für Benchmark-Ersteller, um Instanzgeneratoren, Verifizierer und strukturierte Artefaktformate freizugeben, um prozessbasierte Evaluierung zum Standard statt zur Ausnahme zu machen.

Die Autoren schließen, dass die Behandlung der Treue und Validität von Argumentationsspuren als zentrale Kriterien, anstatt als auxiliary Interpretierbarkeitsbedenken, entscheidend ist, um die Argumentationsfähigkeiten von KI-Systemen an der Frontier genau zu messen.