🤖 machine learning

Compute Aligned Training: Optimizing for Test Time Inference

Dieser Beitrag stellt „Compute Aligned Training" vor, ein neuartiges Framework, das die Trainingsziele von Large Language Models mit Inferenzstrategien zur Laufzeit durch die Herleitung neuer Verlustfunktionen in Einklang bringt und dadurch die Leistungsskalierung im Vergleich zu herkömmlichen SFT- und RL-Ansätzen erheblich verbessert.

Ursprüngliche Autoren: Adam Ousherovitch, Ambuj Tewari

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adam Ousherovitch, Ambuj Tewari

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bereiten einen Schüler auf eine sehr spezifische Art von Abschlussprüfung vor.

Der alte Weg (Standard-Training):
Traditionell verhalten wir uns beim Unterrichten von KI-Modellen (wie denen, die Aufsätze schreiben oder Matheprobleme lösen) wie ein strenger Lehrer, der jede einzelne Hausaufgabe einzeln benotet. Wenn der Schüler eine Frage richtig beantwortet, sagen wir „Gut gemacht!", und wenn er sie falsch beantwortet, sagen wir „Versuch es noch einmal." Wir wollen, dass der Schüler perfekt darin ist, jedes Mal sofort die erste Antwort richtig zu haben.

Das Problem ist, dass dies sie nicht auf die eigentliche Prüfung vorbereitet. In der realen Welt fragen wir das Modell nicht nur nach einer einzigen Antwort. Wir bitten es, viele verschiedene Antworten zu generieren (wie wenn man einen Schüler auffordert, 10 verschiedene Entwürfe eines Aufsatzes zu schreiben), und wählen dann die beste aus oder stimmen für die häufigste.

Wenn Sie einen Schüler darauf trainieren, beim ersten Entwurf perfekt zu sein, könnte er zu selbstbewusst werden und aufhören, neue Ideen zu erkunden. Er könnte in einer „sicheren" Denkweise stecken bleiben. Wenn Sie ihn später bitten, 10 Entwürfe zu generieren, könnte er einfach 10 leicht abgewandelte Versionen derselben „sicheren" Antwort schreiben, und keine davon könnte die brillante, kreative Lösung sein, die Sie benötigten.

Der neue Weg (Compute Aligned Training – CAT):
Die Autoren dieses Papiers schlagen eine neue Trainingsmethode vor, die Compute Aligned Training (CAT) genannt wird. Anstatt den Schüler für eine einzelne Hausaufgabe zu benoten, bewerten sie ihn danach, wie gut er im Format der tatsächlichen Prüfung abschneiden würde.

So funktioniert es, anhand einiger Analogien:

1. Die „Pass@N"-Analogie (Der Lottoschein)

Stellen Sie sich vor, die Prüfung erlaubt es Ihnen, N Lottoscheine (sagen wir 64 Scheine) für eine Frage zu kaufen. Sie gewinnen, wenn irgendeiner Ihrer 64 Scheine die Gewinnzahl hat.

Standard-Training: Wenn der Schüler bereits eine 50-prozentige Chance hat, mit einem Schein zu gewinnen, drängt der Lehrer ihn weiter, auf 90 % oder 99 % zu kommen. Aber bei einem 64-Schein-Lotto garantiert ein Gewinn mit 50-prozentiger Chance durch den Kauf weiterer Scheine ohnehin einen Sieg. Der Lehrer verschwendet Energie damit, einen „guten" Schüler bei einer leichten Frage „perfekt" zu machen, und ignoriert dabei die schwierigen Fragen, bei denen der Schüler nur eine 1-prozentige Chance hat.
CAT-Training: Der Lehrer erkennt: „Hey, dieser Schüler wird mit 64 Scheinen wahrscheinlich gewinnen. Ich werde aufhören, diese leichte Frage so streng zu benoten." Stattdessen konzentriert er seine gesamte Energie auf die schwierigen Fragen, bei denen der Schüler aktuell versagt. Er lehrt den Schüler, seine Chancen zu streuen und sicherzustellen, dass mindestens einer der 64 Scheine ein Gewinner ist, anstatt zu versuchen, einen bestimmten Schein perfekt zu machen.

2. Die „Mehrheitswahl"-Analogie (Die Wahl)

Stellen Sie sich vor, die Prüfung verlangt vom Modell, 10 Antworten zu generieren, und die Klasse stimmt für die beliebteste ab.

Standard-Training: Der Lehrer versucht, die erste Antwort des Schülers zur absolut beliebtesten zu machen, selbst wenn sie bereits mit überwältigender Mehrheit gewinnt. Das ist wie ein Kandidat, der bereits 90 % der Stimmen hat; der Lehrer sagt ihm weiterhin, er müsse härter Wahlkampf betreiben, was Zeitverschwendung ist.
CAT-Training: Der Lehrer betrachtet den „Kipp-Punkt". Wenn die Antwort des Schülers aktuell mit einem kleinen Vorsprung verliert, gibt ihm der Lehrer einen enormen Schub, um ihm zu helfen, die Ziellinie zu überqueren. Wenn der Schüler bereits bequem gewinnt, gibt ihm der Lehrer keine zusätzlichen Punkte mehr. Dies zwingt das Modell, sich auf die „Schlachtenfeld"-Fragen zu konzentrieren, bei denen ein wenig zusätzliche Anstrengung die Stimmen wenden kann.

3. Die „Best-of-N"-Analogie (Die Talentshow)

Stellen Sie sich vor, das Modell generiert 10 Songs, und Sie behalten nur den einen besten.

Standard-Training: Der Lehrer versucht, den durchschnittlichen Song gut klingen zu lassen. Dies führt zu sicheren, langweiligen, „mittelmäßigen" Musikstücken, die nie schlecht sind, aber auch nie erstaunlich.
CAT-Training: Der Lehrer sagt dem Modell: „Es ist in Ordnung, wenn 9 deiner Songs schrecklich sind, solange der 10. ein Meisterwerk ist." Dies ermutigt das Modell, Risiken einzugehen und seltsame, hochvariante Ideen auszuprobieren. Es lernt, eine breite Vielfalt an Ausgaben zu produzieren, in dem Wissen, dass der „Such"-Prozess (das Auswählen des besten) die Misserfolge herausfiltert und den Gewinner behält.

Was haben sie tatsächlich getan?

Die Forscher haben diese Idee auf drei spezifische Arten getestet:

Matheprobleme: Sie trainierten KI-Modelle, Matheprobleme zu lösen. Als sie CAT einsetzten, um die Modelle auf „Pass@N" vorzubereiten (viele Antworten generieren und die richtige auswählen), waren die Modelle im Vergleich zur Standardmethode deutlich besser darin, schwierige Probleme zu lösen.
Abstimmung: Sie trainierten Modelle, Antworten für eine „Mehrheitswahl" zu generieren. Auch hier schnitten CAT-Modelle besser ab, wenn die Abstimmungsstrategie angewendet wurde.
Proteindesign: Sie testeten dies sogar auf einer völlig anderen Art von KI, die Proteine (die Bausteine des Lebens) entwirft. In einem Szenario, in dem die KI eine seltene, hochwertige Proteinstruktur unter vielen schlechten finden musste, waren die mit CAT trainierten Modelle viel besser darin, den „Jackpot"-Protein zu finden als die Standardmodelle.

Das Fazit

Das Papier argumentiert, dass wie man ein Modell trainiert, übereinstimmen sollte mit der Art, wie man es einsetzt.

Wenn Sie planen, das Modell zu verwenden, um viele Optionen zu generieren und die beste auszuwählen, sollten Sie es nicht darauf trainieren, beim ersten Versuch perfekt zu sein. Sie sollten es darauf trainieren, gut darin zu sein, einen Pool von Optionen zu erstellen, in dem die beste mit hoher Wahrscheinlichkeit zu finden ist.

Sie nennen dies „Compute Aligned Training", weil es den Trainingsprozess mit dem „Compute" (der zusätzlichen Denkleistung) abstimmt, das zur Laufzeit eingesetzt wird. Es ist ein Weg, bessere Ergebnisse zu erzielen, ohne leistungsfähigere Computer oder mehr Trainingszeit zu benötigen; Sie ändern einfach die Spielregeln, um der Realität zu entsprechen, wie das Modell eingesetzt wird.

1. Problemstellung: Die Fehlausrichtung zwischen Training und Inferenz

Das Paper adressiert eine fundamentale Diskrepanz in der modernen Entwicklung von Large Language Models (LLMs): Die Trainingsziele sind auf die Leistung bei einzelnen Stichproben optimiert, während der Einsatz zunehmend auf Strategien zur Rechenzeit-Verarbeitung (Search) setzt.

Der Status Quo: Standardmethoden nach dem Training wie Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) optimieren die Wahrscheinlichkeit eines einzelnen korrekten Outputs (z. B. Minimierung der Cross-Entropy oder Maximierung der erwarteten Belohnung einer Stichprobe).
Der Konflikt: Moderne Inferenzstrategien (z. B. Pass@N, Majority Vote, Best-of-N) generieren mehrere Kandidatenlösungen und aggregieren diese, um die beste Antwort zu finden.
- Beispiel (Pass@N): Wenn ein Modell eine 50%ige Chance auf Korrektheit hat, bringt eine Steigerung auf 90% abnehmende Grenzerträge für eine Pass@100-Metrik (wo der Erfolg bereits nahezu sicher ist). Das Standardtraining drängt jedoch weiterhin auf eine 100%ige Wahrscheinlichkeit und verschwendet Kapazität bei „einfachen" Stichproben.
- Beispiel (Majority Vote): Ein Modell benötigt nur eine Pluralität (z. B. 35% Wahrscheinlichkeit), um gegen Rivalen zu gewinnen. Das Standardtraining drängt auf $p \to 1.0$ , was „Erdrutsch"-Siege statt robuster Konsensbildung fördert, was die Leistung verschlechtern kann, wenn das Modell als Ensemble agieren muss.
Folge: Diese Fehlausrichtung verursacht einen Policy Collapse (verringerte Diversität) und verhindert, dass Modelle erhöhte Budgets für Rechenzeit-Verarbeitung effektiv nutzen.

2. Methodik: Compute Aligned Training (CAT)

Die Autoren schlagen Compute Aligned Training (CAT) vor, ein Framework, das Trainingsziele mit der spezifischen Inferenzstrategie in Einklang bringt, die zur Laufzeit eingesetzt wird.

Grundlegende Konzeptualisierung

Die Autoren konzeptualisieren Inferenzstrategien nicht als nachgelagerte Heuristiken, sondern als differenzierbare Operatoren ( $T$ ), die die Basis-Policy $\pi_\theta$ in eine effektive Verteilung zur Laufzeit $\tilde{\pi}_\theta$ transformieren:
$\tilde{\pi}_\theta(y|x) = T(\pi_\theta(\cdot|x), \phi)$
wobei $\phi$ Hyperparameter (z. B. Stichprobenbudget $N$ ) darstellt.

Die einheitliche Verlustfunktion

Anstatt die negative Log-Likelihood der Ground Truth unter der Basis-Policy ( $\pi_\theta$ ) zu minimieren, minimiert CAT den Verlust unter der effektiven System-Level-Policy ( $\tilde{\pi}_\theta$ ):
$L_{CAT}(\theta) = -\mathbb{E}_{(x, y^*)} [\log \tilde{\pi}_\theta(y^*|x)]$

Gradienten-Skalierungsmechanismus

Um dies ohne Abtastung des gesamten Ausgaberaums rechnerisch machbar zu machen, leiten die Autoren eine diagonale Gradientenapproximation her. Sie zeigen, dass der Gradient des CAT-Ziels angenähert werden kann, indem der Standardgradient mit einem Gewichtungsfaktor $w(p, \phi)$ skaliert wird:
$\nabla_\theta L_{CAT} \approx w(p, \phi) \cdot \nabla_\theta L_{CE}$
Hierbei ist $p$ die Basiswahrscheinlichkeit der korrekten Antwort, und $w$ repräsentiert den Grenznutzen einer Erhöhung von $p$ in Bezug auf die Strategie zur Laufzeit.

Abgeleitete Schlüsselskalierungsfaktoren:

Pass@N (SFT & RL):
- $w(p, N) = \frac{N p (1-p)^{N-1}}{1 - (1-p)^N}$
- Verhalten: Unterdrückt Gradienten für einfache Stichproben (hohes $p$ ), bei denen der Erfolg bereits garantiert ist, und konzentriert das Lernen auf „schwere" Stichproben, bei denen marginale Gewinne die Abdeckung verbessern.
Majority Vote (SFT & RL):
- $w(p, N, k) \approx \frac{k \binom{N}{k} p^k (1-p)^{N-k}}{\sum_{i=k}^N \binom{N}{i} p^i (1-p)^{N-i}}$
- Verhalten: Konzentriert die Gradientenmasse nahe der Konsensschwelle ( $p \approx k/N$ ). Es ignoriert Stichproben, die bereits gewinnen oder hoffnungslos verlieren, und fokussiert sich nur auf den „Kipp-Punkt".
Best-of-N (RL):
- $w \propto N (P_{<y})^{N-1}$
- Verhalten: Erzeugt „Winner-Take-All"-Dynamiken. Gradienten verstärken nur die Stichproben mit der höchsten Belohnung in einem Batch und ermutigen das Modell, die hochvarianzen, hochbelohnten Schwänze der Verteilung zu erkunden, anstatt sich auf einen sicheren Mittelwert zu kollabieren.

Theoretische Garantien

Das Paper beweist, dass für Wettbewerbsstrategien (bei denen eine Erhöhung der Wahrscheinlichkeit eines Rivalen den Erfolg schädigt) die diagonale Approximation eine konservative Unterschätzung des wahren Gradienten darstellt. Dies stellt sicher, dass der Optimierer niemals in die falsche Richtung schreitet, und wirkt als natürlicher Stabilisator gegen Policy Collapse.

3. Hauptbeiträge

Einheitliches Operator-Framework: Formalisierung von Strategien zur Laufzeit als differenzierbare Operatoren und Herleitung eines allgemeinen Mechanismus, um das Training mit beliebigen Inferenzstrategien (SFT und RL) in Einklang zu bringen.
Erweiterung über Pass@N hinaus: Verallgemeinerung vorheriger Arbeiten (z. B. Direct Coverage Optimization) auf Majority Vote und Best-of-N, die sowohl SFT- als auch RL-Paradigmen abdecken.
Modus-Agnostizismus: Demonstration der Anwendbarkeit des Frameworks über LLMs hinaus auf Protein Language Models (PLMs), was zu verbesserten Leistungen in komplexen, multi-modalen Belohnungslandschaften führt.
Varianzanalyse: Theoretische und empirische Analyse der Inflation der Gradientenvarianz mit Vorschlägen für Normalisierungstechniken (z. B. Log-Gewichtete Schätzer) zur Stabilisierung des Trainings.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CAT auf dem MATH-Benchmark (unter Verwendung von Mistral-7B) und Protein-Generierung (unter Verwendung von ProtGPT2).

A. Sprachmodelle (MATH-Benchmark)

Pass@N (SFT): Mit CAT für $N=64$ trainierte Modelle opferten die Genauigkeit bei einzelnen Stichproben (Pass@1 sank um ~2,3%), erreichten jedoch eine absolute Verbesserung von 7,8% in der Pass@64-Abdeckung im Vergleich zum Standard-SFT.
Majority Vote (SFT): CAT-Modelle schnitten über alle Inferenzbudgets hinweg konsistent besser ab als die Baselines. Ein „Sweet Spot" wurde bei $N=16$ beobachtet, wo das Modell Bias und Varianz optimal ausbalancierte.
Reinforcement Learning (GRPO): Standard-RL litt unter Policy Collapse und sättigte schnell (Pass@32 $\approx$ 35,8%). CAT-trainierte Modelle bewahrten die für die Suche notwendige Varianz und erreichten 40,0% bei Pass@32.
Warmup-Effekt: Die Verwendung von CAT für die SFT-Warmup-Phase verbesserte die nachfolgende RL-Leistung erheblich und steigerte sogar die Genauigkeit bei einzelnen Versuchen (Pass@1), indem die reasoning-Pfade des Modells bereichert wurden.

B. Protein-Generierung (Protein Language Models)

Unconditional (Tal des Todes): In einer multi-modalen Belohnungslandschaft (lokales Optimum bei $h \approx 0.35$ , globales Optimum bei $h \approx 0.75$ , getrennt durch ein „Tal" der Aggregation) steckte Standard-RL im lokalen Optimum fest. Best-of-N CAT sprang das Tal erfolgreich „über", indem es eine hohe Verteilungsvarianz aufrechterhielt, und fand das globale Maximum.
Conditional Generation: CAT-Modelle lernten, Sequenzen mit inverser Hydrophobizität zu den Eingaben zu generieren und zeigten eine überlegene Skalierung und Ausrichtung auf die relationale Aufgabe im Vergleich zu Standard-RL.

5. Bedeutung und Implikationen

Paradigmenwechsel: Das Paper argumentiert, dass Trainingsziele mit Blick auf das nachgelagerte Inferenzverfahren gestaltet werden müssen. Da Rechenzeit-Verarbeitung zum primären Hebel für die Skalierung der Modellfähigkeiten wird, muss das Training das aggregierte Ergebnis optimieren, nicht die einzelne Stichprobe.
Effizienz: CAT erzielt diese Gewinne ohne Erhöhung der Trainingsrechenkosten. Es gewichtet einfach vorhandene Gradienten basierend auf dem Grenznutzen der Stichprobe für die Strategie zur Laufzeit neu.
Stabilität vs. Exploration: Das Framework bietet einen prinzipiellen Weg, einzelne Stichprobenpräzision gegen Verteilungsdiversität zu tauschen, und ermöglicht es Modellen, Suchverfahren wie Best-of-N und Majority Vote effektiv zu nutzen, ohne in ein modesuchendes Verhalten zu kollabieren.
Generalisierbarkeit: Durch den Nachweis der Wirksamkeit sowohl bei LLMs als auch bei Protein-LMs schlägt das Paper vor, dass „Compute Aligned Training" ein universelles Prinzip für jedes generative Modell ist, das eine Suche zur Laufzeit nutzt.

Zusammenfassend schließt Compute Aligned Training die Lücke zwischen Lernen und Suche und stellt sicher, dass Modelle nicht nur „klug" darin sind, eine Antwort zu generieren, sondern optimiert sind, „klug" darin zu sein, die beste Antwort zu finden, wenn ihnen das Rechenbudget für die Suche gegeben wird.