🤖 machine learning

Likelihood scoring for continuations of mathematical text: a self-supervised benchmark with tests for shortcut vulnerabilities

Dieser Beitrag stellt ein selbstüberwachtes Benchmark-Verfahren vor, das bewertet, ob von Modellen generierte Vorhersagen für mathematische Textfortsetzungen im Vergleich zu rein kontextbasierten Kontrollen die Likelihood-Werte verbessern, wodurch Modellfähigkeiten und推理aufwand effektiv unterschieden und potenzielle Shortcut-Anfälligkeiten in Bewertungsmechanismen identifiziert werden.

Ursprüngliche Autoren: Daniel Ranard

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Daniel Ranard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das Ende einer sehr komplexen, technischen Geschichte zu erraten, die von einem brillanten Mathematiker geschrieben wurde. Die Geschichte ist voller seltsamer Symbole und Gleichungen. Sie können den Anfang der Geschichte sehen, aber die letzten paar Sätze sind hinter einem Vorhang verborgen.

Dieser Beitrag stellt eine neue Methode vor, um zu testen, ob ein Computer tatsächlich über die Geschichte „nachdenkt" oder nur zufällig rät. Dies geschieht, ohne dass ein menschlicher Lehrer die Antworten bewerten muss.

So funktioniert der Test, aufgeteilt in einfache Teile:

1. Das Setup: Das „Vorhang"-Spiel

Die Forscher nehmen eine echte wissenschaftliche Arbeit und schneiden das Ende einer mathematischen Gleichung ab.

Der Kontext (X): Der Computer sieht alles, was vor dem Schnitt steht.
Das verborgene Ende (Y): Dies ist der Teil, den wir vorhersagen wollen. Es ist der „Lösungsschlüssel".
Die Prognose (Z): Der zu testende Computer wird aufgefordert, einen „Hinweis" oder eine „Prognose" darüber zu verfassen, was als Nächstes kommt. Es ist, als würde der Computer flüstern: „Ich denke, der nächste Teil wird so aussehen..."

2. Der Richter: Das „Wahrscheinlichkeits-Messgerät"

Anstatt dass ein Mensch die Prognose liest und sagt „Gut gemacht" oder „Schlecht gemacht", verwenden die Forscher ein anderes Computerprogramm als Richter.

Der Richter betrachtet das verborgene Ende (Y) und fragt: „Wie wahrscheinlich ist es, dass dies das echte Ende ist?"
Der Richter tut dies zweimal:
1. Ohne den Hinweis: Nur unter Betrachtung der bisherigen Geschichte.
2. Mit dem Hinweis: Unter Betrachtung der Geschichte plus der Prognose des Computers (Z).

Wenn die Prognose des Computers schlau ist und dem Richter tatsächlich hilft, das verborgene Ende zu verstehen, wird der Richter sagen: „Ah, dieses Ende ergibt jetzt viel mehr Sinn!" Die Punktzahl steigt. Dieser Anstieg der Punktzahl wird als „Likelihood Lift" (Wahrscheinlichkeits-Hebung) bezeichnet.

3. Die Falle: Der „Kontext-Stuffer"

Die Forscher waren besorgt über einen Trick. Was, wenn der Computer die Zukunft nicht wirklich vorhersagt, sondern einfach die letzten paar Sätze der Geschichte in das „Hinweis"-Feld kopiert und einfügt?

Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Anstatt das Problem zu lösen, kopiert er einfach die Frage auf den Antwortbogen zurück.
Um dies aufzudecken, erstellten die Forscher eine Kontrollgruppe. Sie zwangen den Computer, seinen „Hinweis"-Raum zu nutzen, um die jüngste Geschichte der Erzählung einzufügen, anstatt eine Vorhersage zu treffen.
Der Test: Wenn die echte Vorhersage des Computers eine höhere Punktzahl erzielt als die eingefügte Geschichte, bedeutet dies, dass der Computer tatsächlich etwas an Logik anwendet und nicht nur kopiert.

4. Die Ergebnisse: Wer bestanden?

Die Forscher testeten mehrere verschiedene KI-Modelle (wie GPT-5.5, Opus 4.7 und eine kleinere „Nano"-Version).

Die großen Gewinner: Die intelligenteren, leistungsfähigeren Modelle (wie GPT-5.5) konnten Prognosen verfassen, die dem Richter deutlich mehr halfen als das bloße Einfügen der Geschichte. Selbst wenn die Forscher den Richter sehr streng machten (indem sie ihn darauf trainierten, eingefügte Geschichte zu lieben), gewannen die intelligenten Modelle immer noch.
Die Verlierer: Die kleineren, schwächeren Modelle (wie GPT-5.4 Nano) konnten den Trick des „eingefügten Geschichte" nicht schlagen. Ihre Prognosen halfen dem Richter nicht, das verborgene Ende besser zu verstehen, als wenn er den jüngsten Text einfach erneut gelesen hätte.
Der „Logik"-Faktor: Sie testeten auch, ob es half, der KI zu sagen, sie solle „schärfer nachdenken" (mehr Rechenleistung verwenden). Sie stellten fest, dass die KI besser wurde, Mathematik vorherzusagen, wenn ihr gesagt wurde, mehr Logik anzuwenden – genau wie ein menschlicher Schüler, der sich mehr Zeit nimmt, um ein Problem zu lösen, eine bessere Note erhält.

5. Warum dies wichtig ist (laut dem Beitrag)

Der Beitrag behauptet, dies sei eine neue, automatische Methode zum Testen der KI-Logik in Mathematik und Wissenschaft.

Keine menschlichen Lehrer erforderlich: Sie benötigen keinen Professor, der jedes einzelne mathematische Problem bewertet. Das „Wahrscheinlichkeits-Messgerät" bewertet automatisch.
Betrüger aufspüren: Es hilft Forschern zu erkennen, ob eine KI das Problem tatsächlich löst oder nur einen „Abkürzungsweg" (wie das Kopieren der Frage) findet, um eine hohe Punktzahl zu erzielen.
Ein neuer Benchmark: Es schafft einen Standardtest unter Verwendung echter, aktueller wissenschaftlicher Arbeiten, um zu sehen, welche KI-Modelle bei technischen Aufgaben tatsächlich intelligenter werden.

Kurz gesagt: Der Beitrag entwickelte ein Spiel, bei dem KI-Modelle versuchen, den nächsten Teil einer mathematischen Gleichung zu erraten. Wenn ihre Vermutung einem Computer-Richter hilft, die Antwort besser zu verstehen als das bloße Lesen des jüngsten Textes, besteht die KI den Test. Die intelligentesten Modelle bestanden; die schwächeren scheiterten, was beweist, dass dieser Test den Unterschied zwischen einem intelligenten Denker und einem Kopierer erkennen kann.

Technische Zusammenfassung: Likelihood-Bewertung für Fortsetzungen mathematischer Texte

Problemstellung
Die Bewertung von Sprachmodellen im Bereich des technischen Denkens ist herausfordernd, da technische Fortsetzungen (z. B. Herleitungen, Beweise, Gleichungen) oft mehrere grob äquivalente gültige Formen aufweisen, was eine Einzelbewertung verrauscht. Umgekehrt belohnt die Standard-Vorhersage des nächsten Tokens im Rohtext eher oberflächliche Modellierung (Syntax, Notation) als tiefgreifendes Denken. Es besteht ein Bedarf an einem automatisch generierten Benchmark, der zwischen diesen Polen liegt: ausreichend reichhaltig, um erneuerbar zu sein, und gleichzeitig sensibel genug, um Denkfähigkeiten zu erkennen, ohne auf menschliche Labels oder brüchige überprüfbare Antworten (wie bei Wettbewerbsmathematik) angewiesen zu sein. Darüber hinaus besteht die Sorge, dass Belohnungssignale, die für Reinforcement Learning mit überprüfbaren Belohnungen (RLVR) verwendet werden, von Modellen „gehackt" werden können, die Abkürzungen (z. B. Context Stuffing) ausnutzen, anstatt echte Vorhersagen zu generieren.

Methodik
Die Arbeit stellt einen statischen Benchmark auf Basis der Vorhersage von Gleichungs-Suffixen vor.

Aufgabensetup: Ein Prädiktor-Modell erhält einen sichtbaren Kontext $X$ (vorgelagerter Text der Arbeit) und ein Präfix einer angezeigten Gleichung. Es muss eine Hilfszeichenkette $Z$ (eine Vorhersage) generieren, um die Gleichung zu vervollständigen.
Bewertungsmechanismus: Ein separates, festes autoregressives Sprachmodell (der „Bewerter", $J$ $J$ ) weist dem wahren versteckten Fortsatz $Y$ $Y$ eine Next-Token-Likelihood zu. Die Kernmetrik ist der Likelihood-Anstieg ( $\Delta_J$ $Δ_{J}$ ), definiert als die Zunahme der durchschnittlichen Log-Likelihood von $Y$ $Y$ , wenn der Bewerter auf $Z$ $Z$ konditioniert, im Vergleich dazu, wenn er nur auf $X$ $X$ (oder eine Kontrollzeichenkette) konditioniert.
- Formel: $\Delta_J(X, Z, Y) = \frac{1}{T} \log p_J(Y | X, Z) - \frac{1}{T} \log p_J(Y | X)$ .
Abgemilderte Metrik: Um zu verhindern, dass seltene, katastrophale Token-Mismatches (häufig in LaTeX/TeX) die Bewertung dominieren, verwenden die Autoren clipLL2. Dies schneidet die pro-Token-Log-Likelihoods von unten bei $-2$ ab, bevor gemittelt wird, wodurch sichergestellt wird, dass eine Vorhersage nützlich bleibt, selbst wenn sie einige lokale Fehler macht, sofern sie dem Bewerter hilft, sich später zu erholen.
Kontrollen und Belastungstests:
- Same-Budget-Kontext-Kontrolle ( $C_B$ ): Ersetzt die Vorhersage $Z$ durch rohen Quelltext, der unmittelbar vor der Gleichung steht, unter Verwendung desselben Zeichenbudgets. Dies testet, ob das Signal aus der Vorhersage stammt oder lediglich aus der Bereitstellung von mehr Kontext.
- Kontext-only SFT-Kontrolle: Der Bewerter wird (via LoRA) auf eine „Kontext-only"-Route (ohne Vorhersagen) feinabgestimmt und anschließend an zurückgehaltenen Arbeiten evaluiert. Dies testet, ob ein Prädiktor die Gewichte des Bewerter-Modells durch Scaffold-Priming ausnutzen kann, anstatt Informationen über $Y$ zu übertragen.
- True-Suffix-Obergrenze: Eine theoretische Obergrenze, bei der $Z$ das versteckte Suffix $Y$ buchstäblich enthält.

Hauptbeiträge

Automatisierter Benchmark: Ein Datensatz mit 1.363 Gleichungs-Suffix-Schnitten aus 138 aktuellen arXiv-Papieren (quant-ph, hep-th, math-ph), die automatisch generiert wurden, ohne dass Menschen „günstige" Gleichungen auswählten.
Modellübergreifende Evaluation: Zeigt, dass der Benchmark Modellfamilien (GPT-5.5, Opus 4.7, GPT-5.4 nano) und Einstellungen für den Denk-Aufwand (hoch, mittel, niedrig, keiner) unterscheiden kann, unter Verwendung fester Bewerter (Qwen3-8B und Kimi K2.6) und ohne menschliche Labels.
Audit der Abkürzungsanfälligkeit: Bietet einen strengen Rahmen zum Testen, ob likelihood-basierte Belohnungen anfällig für Nicht-Vorhersage-Strategien sind. Die Arbeit zeigt, dass starke Modelle (GPT-5.5) eine feinabgestimmte Kontext-only-Kontrolle bestehen, schwächere Modelle (GPT-5.4 nano) jedoch nicht, was darauf hindeutet, dass das Signal für erstere echt ist, für letztere jedoch potenziell ausnutzbar oder nicht existent sein könnte.
Metrik-Analyse: Validiert die Verwendung abgemilderter Bewertungsregeln (clipLL2) gegenüber der rohen Log-Likelihood und zeigt, dass rohe Metriken von katastrophalen Token-Fehlern dominiert werden, die den Nutzen ansonsten korrekten Denkens verschleiern.

Ergebnisse

Modell-Differenzierung: Auf dem Gleichungs-Suffix-Benchmark erzielen Vorhersagen von GPT-5.5 (hoher Denk-Aufwand) konsistent den höchsten Likelihood-Anstieg, gefolgt von Opus 4.7 und dann GPT-5.4 nano. Diese Reihenfolge gilt für beide Bewerter (Qwen und Kimi).
Denk-Aufwand: Innerhalb von Modellfamilien führen höhere Einstellungen für den Denk-Aufwand (z. B. GPT-5.5 hoch > mittel > niedrig > keiner) im Allgemeinen zu einem höheren Anstieg und zeigen einen monotonen Gradienten. Allerdings sind benachbarte Kontraste (z. B. hoch vs. mittel) manchmal verrauscht und auf Einzelbasis nicht immer statistisch signifikant, was die Notwendigkeit einer statistischen Aggregation über viele Beispiele unterstreicht.
Kontroll-Leistung:
- Alle Prädiktor-Einstellungen schlagen die Same-Budget-Kontext-Kontrolle.
- GPT-5.5-Vorhersagen behalten einen positiven Anstieg gegenüber der Kontext-only SFT-Kontrolle (die stärkste statische Kontrolle) bei, was darauf hindeutet, dass sie genuine Informationen über das versteckte Suffix übertragen.
- GPT-5.4 nano-Vorhersagen schlagen die Kontext-only SFT-Kontrolle nicht, was darauf hindeutet, dass ihr Signal unter diesem Belastungstest von Abkürzungen durch Context Stuffing nicht zu unterscheiden sein könnte.
Längere Fortsetzungen: In einem härteren Regime mit längeren gemischten Prosa/TeX-Fortsetzungen bleibt der Anstieg positiv, ist jedoch verrauschter und empfindlicher gegenüber dem Design des Bewerter-Modells und der Länge des Ziels. Der Gradient des Denk-Aufwands ist hier weniger robust als bei Gleichungs-Suffixen.

Bedeutung und Behauptungen
Die Arbeit positioniert diese Forschung als statischen Benchmark und diagnostisches Werkzeug, nicht als Demonstration erfolgreichen RL-Trainings. Ihre primäre Bedeutung liegt in:

Durchführbarkeit von Likelihood-Belohnungen: Sie stützt die Hypothese, dass der Likelihood-Anstieg bei technischen Fortsetzungen als dichter, referenzfundierter Belohnungssignal dienen kann, der mit Modellfähigkeit und Denk-Aufwand korreliert.
Sicherheit und Robustheit: Sie unterstreicht die Notwendigkeit, Belohnungssignale vor dem Einsatz in RLVR-Schleifen gegen starke statische Kontrollen (wie SFT-basierte Kontext-Abkürzungen) zu auditieren. Die Tatsache, dass GPT-5.5 diese Kontrollen besteht, GPT-5.4 nano jedoch nicht, deutet darauf hin, dass nicht jeder „Likelihood-Anstieg" gleich ist; einige mögen Artefakte modellspezifischer Eigenheiten oder Abkürzungen sein.
Methodischer Mittelweg: Sie bietet einen Mittelweg zwischen brüchigen „LLM-as-a-judge"-Rubriken (anfällig für Stil-Bias) und einfacher String-Ähnlichkeit (für technischen Text zu starr) und nutzt die probabilistische Natur autoregressiver Modelle, um die Nützlichkeit einer Vorhersage anstelle ihrer wörtlichen Richtigkeit zu bewerten.

Die Autoren stellen ausdrücklich fest, dass sie hier kein Reinforcement Learning durchführen; das Ziel ist es, die Eigenschaften des Signals zu validieren und potenzielle Schwachstellen (Ausnutzung von Abkürzungen) zu identifizieren, die behoben werden müssten, bevor ein solches Signal für die Optimierung nach dem Training verwendet werden könnte.