🤖 machine learning

Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision

Das Papier stellt „Compute as Teacher" (CaT) vor, ein Framework, das parallele Rollouts zur Inferenzzeit durch Pseudo-Referenzaggregation und selbst vorgeschlagene Bewertungskriterien in referenzfreie Überwachung umwandelt und es Modellen ermöglicht, in sowohl überprüfbaren als auch nicht überprüfbaren Bereichen erhebliche Leistungssteigerungen zu erzielen, ohne auf menschliche Labels angewiesen zu sein.

Ursprüngliche Autoren: Dulhan Jayalath, Shashwat Goel, Thomas Foster, Parag Jain, Suchin Gururangan, Cheng Zhang, Anirudh Goyal, Alan Schelten

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dulhan Jayalath, Shashwat Goel, Thomas Foster, Parag Jain, Suchin Gururangan, Cheng Zhang, Anirudh Goyal, Alan Schelten

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen Schüler (eine KI) darin zu unterrichten, einen perfekten medizinischen Ratschlagsbrief zu verfassen oder ein kniffliges mathematisches Problem zu lösen. Normalerweise benötigen Sie einen Lehrer mit dem „korrekten Lösungsschlüssel", um ihn zu benoten. Doch was ist, wenn Sie sich in einer Situation befinden, in der niemand die richtige Antwort kennt? Vielleicht handelt es sich um einen komplexen medizinischen Fall, bei dem selbst echte Ärzte uneinig sind, oder um eine Aufgabe im kreativen Schreiben, bei der es kein einziges „richtiges" Ende gibt.

Dieser Artikel stellt eine neue Methode namens Compute as Teacher (CaT) vor. Es ist eine clevere Möglichkeit, die KI sich selbst unterrichten zu lassen, ohne dass ein menschlicher Lehrer oder ein Lösungsschlüssel benötigt wird.

So funktioniert es, unter Verwendung einer einfachen Analogie:

Das Problem: Das „stumme Klassenzimmer"

Normalerweise benötigt ein Schüler Feedback, um sich zu verbessern.

In Mathematik/Code: Der Lehrer kann ein Programm ausführen, um zu prüfen, ob die Antwort richtig oder falsch ist. Das ist einfach.
Im Gesundheitswesen/kreatives Schreiben: Es gibt kein Programm, um die Antwort zu prüfen. Wenn Sie eine KI fragen: „Wie sollte ich dieses seltene Symptom behandeln?", gibt es möglicherweise fünf verschiedene gültige Antwortmöglichkeiten. Wie wissen Sie, welche die beste ist? Normalerweise bräuchten Sie einen menschlichen Experten, um sie zu benoten, doch das ist langsam und teuer.

Die Lösung: Die „Lerngruppe"

Die Autoren erkannten, dass, wenn Sie die KI dieselbe Frage acht Mal stellen (was acht verschiedene „Rollouts" oder Versuche erzeugt), die KI an unterschiedlichen Stellen ins Stolpern gerät.

Versuch #1 könnte die richtige Diagnose haben, aber die falsche Dosierung.
Versuch #2 könnte die richtige Dosierung haben, aber eine Warnung bezüglich Allergien übersehen.
Versuch #3 könnte im Tonfall perfekt sein, aber ein Schlüsselsymptom übersehen.

Einzel betrachtet sind sie fehlerhaft. Aber zusammen enthalten sie alle Teile des Puzzles.

Der Zwei-Schritte-Zaubertrick

Das CaT-Rahmenwerk verwandelt diese Lerngruppe mit zwei Schritten in einen Lehrplan:

1. Die „Synthese" (Der intelligente Redakteur)

Anstatt einfach den „besten" der acht Versuche auszuwählen (der immer noch fehlerhaft sein könnte), agiert die KI als intelligenter Redakteur. Sie betrachtet alle acht Versuche und schreibt eine neue, perfekte „Pseudo-Referenz"-Antwort.

Analogie: Stellen Sie sich eine Gruppe von acht Schülern vor, die Aufsätze schreiben. Ein überaus intelligenter Redakteur liest alle acht, nimmt den besten Absatz von einem, die besten Daten von einem anderen und die beste Schlussfolgerung von einem dritten und fügt sie zu einem „Meisteraufsatz" zusammen.
Dieser „Meisteraufsatz" wird zum Ziel, von dem die KI lernen soll.

2. Die „Bewertungsmatrix" (Die Checkliste)

Wie bewerten wir nun die ursprünglichen acht Versuche gegen diesen neuen „Meisteraufsatz"?

Für Mathematik: Es ist einfach. Stimmen die Zahlen überein? Ja/Nein.
Für das Gesundheitswesen (Der schwierige Teil): Man kann nicht einfach „Ja/Nein" zu einem ganzen Aufsatz sagen. Daher generiert die KI eine Checkliste (Bewertungsmatrix) basierend auf dem Meisteraufsatz.
- Beispiel: Anstatt zu fragen „Ist dieser Rat gut?", erstellt die KI eine Checkliste: „1. Wurde erwähnt, einen Arzt aufzusuchen? 2. Wurden Ernährungsumstellungen vorgeschlagen? 3. Wurde vermieden, eine spezifische Diagnose zu stellen?"
- Eine unabhängige KI als „Richter" prüft dann jeden der acht ursprünglichen Versuche gegen diese Checkliste. Wenn ein Versuch 4 von 5 Checklistenpunkten richtig hat, erhält er eine Punktzahl von 0,8.

Das Ergebnis: Lernen ohne Lehrer

Die KI nutzt diese Punktzahlen, um ihr eigenes „Gehirn" zu aktualisieren (Reinforcement Learning). Sie lernt: „Ah, beim nächsten Mal sollte ich sicherstellen, dass ich die Checklistenpunkte einfüge, die ich verpasst habe."

Warum ist das eine große Sache?

Kein Mensch erforderlich: Es funktioniert in Bereichen wie dem Gesundheitswesen, wo es keinen „Lösungsschlüssel" gibt und menschliche Experten zu beschäftigt sind, um jede Antwort zu benoten.
Langfristig günstiger: Normalerweise müssen Sie, um eine gute Antwort zu erhalten, die KI 8 Mal ausführen und jedes Mal, wenn Sie eine Frage stellen, die beste auswählen. Das ist langsam und teuer.
- Mit CaT lernt die KI aus den 8 Versuchen einmal während des Trainings.
- Nach dem Training ist die KI so gut, dass sie eine großartige Antwort in nur einem Versuch geben kann.
- Die Behauptung des Artikels: Sie stellten fest, dass die trainierte KI genauso gut abschnitt wie die Methode mit „8 Versuchen", aber 9 Mal weniger Rechenleistung benötigte, wenn sie tatsächlich Fragen beantwortete.

Zusammenfassung

Compute as Teacher ist wie das Nehmen einer Gruppe verwirrter Schüler, sie diskutieren und debattieren zu lassen, einen intelligenten Redakteur einen „perfekten" Zusammenfassung aus ihren Argumenten erstellen zu lassen und dann die Schüler basierend darauf zu benoten, wie gut sie mit dieser Zusammenfassung übereinstimmten. Die Schüler lernen aus ihren eigenen kollektiven Fehlern und werden schließlich so gut, dass sie die Gruppe nicht mehr benötigen.

Der Artikel testete dies auf HealthBench (medizinische Ratschläge) und MATH-500 (mathematische Probleme).

In der Mathematik funktionierte es genauso gut wie bestehende Methoden.
Bei medizinischen Ratschlägen (wo kein Lösungsschlüssel existiert) verbesserte es die Leistung der KI um bis zu 30 % im Vergleich zu ihrem Ausgangspunkt und erreichte die Qualität von Antworten, die von Expertenärzten verfasst wurden, alles ohne ein einziges menschliches Label.

Technische Zusammenfassung: Compute as Teacher (CaT)

Problemstellung

Das Nachtrainieren großer Sprachmodelle (LLMs) für spezialisierte Fähigkeiten stützt sich typischerweise auf Supervised Fine-Tuning (SFT) mit menschlich gelabelten Referenzantworten oder Reinforcement Learning (RL) mit überprüfbaren Belohnungen durch programmatische Prüfer. Obwohl diese Ansätze in Domänen wie Mathematik und Code effektiv sind, versagen sie in nicht überprüfbaren Domänen (z. B. Gesundheitsberatung, kreatives Schreiben, freie Dialoge), wo:

Mehrere gültige Antworten existieren und Experten sich möglicherweise uneinig sind.
Deterministische Regelprüfungen unpraktikabel sind.
Menschliche Annotation teuer, schwer skalierbar oder nicht verfügbar ist.

Bestehende Alternativen, wie die Verwendung eines LLM als Richter zur Bewertung freier Ausgaben, leiden unter Inkonsistenz, Verzerrung zugunsten von Ausführlichkeit und Reward Hacking. Die Arbeit fragt: Kann Rechenleistung zur Laufzeit fehlende Supervision ersetzen?

Methodik: Compute as Teacher (CaT)

Die Autoren schlagen Compute as Teacher (CaT) vor, ein Framework, das Rechenleistung zur Laufzeit in Supervisionssignale für RL-Training umwandelt, ohne Ground-Truth-Labels zu benötigen. Das Framework arbeitet in zwei Hauptphasen und nutzt parallele Rollouts, die von der aktuellen Policy $\pi_t$ generiert werden.

1. Referenzschätzung

Anstatt sich auf eine menschlich bereitgestellte Referenz zu verlassen, aggregiert CaT $G$ parallele Rollouts ( $o_{1:G}$ ), die für einen Prompt $q$ generiert wurden, zu einer Pseudo-Referenz ( $s$ ). Diese Aggregation erfasst die Unsicherheit des Modells, da Rollouts oft genau dort abweichen, wo das Modell unsicher ist.

Aggregationsstrategien: Das Framework ist methodenneutral. Es untersucht Synthese, bei der eine eingefrorene Anker-Policy ( $\pi_0$ ) auf der Basis der Rollouts konditioniert wird, um eine neue, abgestimmte Antwort zu generieren. Dies ermöglicht es dem System, korrekte Fragmente aus verschiedenen Rollouts zu kombinieren (z. B. korrekte Zwischenschritte aus einem und eine gültige Schlussfolgerung aus einem anderen).
Alternativen: Selektionsstrategien wie Mehrheitsvotum oder Best-of-N sind ebenfalls kompatibel, wobei die Synthese aufgrund ihrer Fähigkeit, Antworten außerhalb der ursprünglichen Rollout-Verteilung zu konstruieren, hervorgehoben wird.

2. Belohnungsableitung

Die Pseudo-Referenz $s$ wird verwendet, um Belohnungen für die einzelnen Rollouts abzuleiten, um die Policy über Group Relative Policy Optimization (GRPO) zu aktualisieren. Der Mechanismus unterscheidet sich je nach Überprüfbarkeit der Domäne:

Überprüfbare Domänen (z. B. Mathematik, Code): Die Belohnungen sind binär und basieren darauf, ob die finale Antwort eines Rollouts mit der Antwort der Pseudo-Referenz übereinstimmt.
Nicht überprüfbare Domänen (z. B. Gesundheitswesen): Die Arbeit führt Selbstvorgeschlagene Rubriken ein.
- Die Anker-Policy $\pi_0$ generiert eine Menge binärer, überprüfbarer Kriterien ( $R = \{r_1, \dots, r_n\}$ ), die spezifisch aus der Pseudo-Referenz $s$ abgeleitet werden (z. B. „empfiehlt die Konsultation eines medizinischen Fachpersonals").
- Ein unabhängiges Richter-Modell ( $\pi_J$ ) bewertet jedes Rollout anhand dieser Kriterien.
- Die Belohnung ist der Anteil erfüllter Kriterien. Dies zerlegt vage qualitative Urteile in spezifische, überprüfbare binäre Prüfungen und mildert die Instabilität direkter „LLM-als-Richter"-Bewertungen.

Trainingsloop

Der Prozess iteriert: Die Policy generiert Rollouts $\to$ Referenzschätzung erstellt $s$ $\to$ Belohnungsableitung bewertet Rollouts gegen $s$ $\to$ GRPO aktualisiert die Policy. Entscheidend ist, dass das Framework die Rechenkosten für die Generierung mehrerer Rollouts und deren Aggregation während des Trainings amortisiert, sodass die final trainierte Policy zur Laufzeit hochwertige einzelne Ausgaben erzeugt.

Hauptbeiträge

Selbstvorgeschlagene Rubriken: Ein neuartiger Belohnungsmechanismus für nicht überprüfbares RL, der Urteile in binäre Kriterien zerlegt, die aus Pseudo-Referenzen generiert werden, und damit die Notwendigkeit menschlich annotierter Rubriken oder Referenzantworten eliminiert.
Compute as Teacher (CaT) Framework: Ein allgemeines Paradigma zur Umwandlung von Rechenleistung zur Laufzeit in Supervision durch Referenzschätzung und Belohnungsableitung. Es zeigt, dass Synthese (generative Aggregation) selektionsbasierte Baselines übertreffen kann, indem sie verteilte Informationen über Rollouts hinweg abstimmt.
Empirische Validierung: Umfassende Experimente mit drei Modellfamilien (Gemma 3 4B, Qwen 3 4B, Llama 3.1 8B) sowohl in nicht überprüfbaren (HealthBench) als auch überprüfbaren (MATH-500) Domänen.

Ergebnisse

Leistungssteigerung: CaT-trainierte Modelle erzielen im Vergleich zur initialen untrainierten Policy bis zu +30 % relative Verbesserung auf HealthBench und +33 % auf MATH-500.
Effizienz: Trainierte Modelle erreichen oder übertreffen die Qualität der Aggregation zur Laufzeit (z. B. Synthese), nutzen dabei jedoch 9-mal weniger Rechenleistung zur Testzeit. Das Modell lernt, die Aggregationsfähigkeit zu internalisieren und benötigt zur Laufzeit nur einen einzigen Vorwärtspass.
Nicht überprüfbare Domänen: Selbstvorgeschlagene Rubriken schneiden auf HealthBench mit expertenärztlich annotierten Rubriken gleichauf ab und übertreffen die direkte „Modell-als-Richter"-Bewertung signifikant.
Synthese vs. Selektion: Die auf Synthese basierende Referenzschätzung übertrifft Selektionsbaselines (Mehrheitsvotum, Best-of-N) in nicht überprüfbaren Domänen. In Fällen, in denen die Synthese vom Konsens abweicht, ist sie in 70–86 % der Fälle korrekt und korrigiert oft Fehler, die in allen einzelnen Rollouts vorhanden waren.
RL vs. SFT: RL mit Rubrik-Belohnungen übertrifft Supervised Fine-Tuning (SFT) auf synthetisierten Referenzen konsistent, was darauf hindeutet, dass RL aus begrenzten, synthetisierten Daten besser generalisiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CaT eine praktische „Plug-and-Play"-Lösung für das Nachtrainieren von LLMs in Domänen bietet, in denen Referenzantworten knapp, teuer oder nicht vorhanden sind. Indem das Framework Rechenleistung zur Laufzeit nutzt, um seine eigene Supervision zu generieren:

Überbrückt es die Lücke zwischen überprüfbarem und nicht überprüfbarem RL und fungiert als einheitlicher Ansatz.
Reduziert es die Abhängigkeit von menschlicher Annotation und bietet einen Weg für spezialisierte Domänen, in denen die Expertenlabeling ein Engpass darstellt.
Amortisiert es Rechenkosten, indem es die schwere Arbeit der Aggregation von der Laufzeit (wiederholt) auf die Trainingszeit (einmalig) verlagert, was zu einem effizienteren Einsatz führt.

Die Autoren weisen auf Einschränkungen hin, darunter die Abhängigkeit von der Fähigkeit des Basismodells, diverse Rollouts zu generieren, und das Potenzial für Leistungsplateaus, wenn sich Rollouts konvergieren (Entropie-Kollaps). Sie positionieren CaT jedoch als einen bedeutenden Schritt hin zur Ermöglichung von lernbasiertem Training ohne Referenzen in komplexen, qualitativen Domänen.