⚡ electrical engineering

Double Preconditioning (DoPr): Optimization for Test-Time Performance, not Validation Loss

Dieses Paper führt Double Preconditioning (DoPr) ein, ein neuartiges Optimierungsparadigma, das gradientenweise und aktivierungsweise Preconditioning kombiniert, um die Akkumulation von Fehlern im Testzeit-Feedback bei autoregressiven und generativen Aufgaben zu mildern, wodurch die Downstream-Performance signifikant verbessert wird, selbst wenn der Validierungsverlust unverändert bleibt.

Ursprüngliche Autoren: Thomas T. Zhang, Alok Shah, Yifei Zhang, Vincent Zhang, Nikolai Matni, Max Simchowitz

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thomas T. Zhang, Alok Shah, Yifei Zhang, Vincent Zhang, Nikolai Matni, Max Simchowitz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Übung vs. Leistung“-Lücke

Stellen Sie sich vor, Sie bringen einem Roboter bei, durch ein Zimmer zu laufen.

Die Trainingsphase: Sie zeigen dem Roboter ein Video eines Menschen, der perfekt läuft. Sie sagen dem Roboter: „Kopiere genau diesen Schritt.“ Der Roboter übt an diesem Video immer und immer wieder. Er wird sehr gut darin, das Video zu kopieren. In der Welt des maschinellen Lernens bedeutet dies, den Validation Loss zu minimieren (einen niedrigen Wert beim Übungstest zu erzielen).
Die reale Welt (Testzeit): Jetzt lassen Sie den Roboter auf sich allein gestellt los. Er muss alleine durch das Zimmer laufen. Wenn er einen winzigen Schritt leicht außermittig macht, muss der nächste Schritt diesen Fehler kompensieren. Wenn er einen weiteren winzigen Schritt außermittig macht, häufen sich die Fehler an. Bis er die andere Seite erreicht, stolpert oder stürzt er vielleicht sogar.

Das Paper nennt dies Test-Time Feedback (TTF). Es ist das Phänomen, bei dem ein Modell, das in den Übungsdaten (dem Video) perfekt aussieht, in der realen Welt kläglich versagt, weil kleine Fehler zu großen Katastrophen werden, wenn das Modell auf seine eigenen vorherigen Vorhersagen angewiesen ist.

Der alte Weg: Nur auf die Anzeigetafel schauen

Seit langem bauen Ingenieure „Optimizer“ (die Motoren, die die KI lehren) mit einem einzigen Ziel: Mache den Übungswert so niedrig wie möglich und so schnell wie möglich.

Betrachten Sie diese Optimizer wie einen Trainer, dem es nur darauf ankommt, die Form des Roboters während des Zuschauens des Videos zu bewerten. Der Trainer sagt: „Gute Arbeit, du hast das Video perfekt nachgeahmt!“ Aber der Trainer ignoriert dabei, dass der Roboter gelernt hat, auf eine Weise zu laufen, die sehr fragil ist. Wenn der Robot auf sich allein gestellt laufen muss, bricht diese „perfekte“ Form sofort zusammen.

Das Paper argumentiert, dass niedrige Übungswerte keine gute Leistung in der realen Welt garantieren. Tatsächlich kann das Streben nach dem niedrigsten Übungswert dazu führen, dass der Roboter „schlechte Angewohnheiten“ lernt, die nur funktionieren, wenn der Lehrer ihm noch an der Hand führt.

Die neue Lösung: Double Preconditioning (DoPr)

Die Autoren schlagen einen neuen Weg vor, um diese Modelle zu trainieren, genannt Double Preconditioning (DoPr). Sie beschreiben es als ein „Plug-in“-Upgrade für bestehende Trainingsmotoren.

Um zu verstehen, wie es funktioniert, stellen Sie sich vor, das Gehirn des Roboters bestünde aus Schichten von Zahnrädern.

Das erste Zahnrad (Activation Preconditioning): Das Paper sagt, dass die alten Optimizer voreingenommen waren. Sie lernten perfekt in Richtungen, in denen die Daten einfach waren, aber sie ignorierten Richtungen, in denen die Daten unordentlich oder „gestreckt“ waren.
- Die Analogie: Stellen Sie sich vor, Sie lernen das Autofahren auf einer perfekt flachen, leeren Autobahn (einfache Daten). Darin werden Sie großartig. Aber wenn Sie versuchen, auf einer holprigen, kurvenreichen Bergstraße zu fahren (unordentliche Daten), verunglücken Sie.
- Die Lösung: Der erste Teil von DoPr zwingt den Roboter dazu, gleichmäßig zu lernen. Es sorgt dafür, dass der Roboter sowohl auf der flachen Autobahn als auch auf der holprigen Bergstraße gleichermaßen übt. Es stellt sicher, dass der Roboter den Verlauf der Straße korrekt lernt und nicht nur die einfachen Teile. Dies nennt man Activation Preconditioning.
Das zweite Zahnrad (Gradient Preconditioning): Das Lernen auf der holprigen Straße ist schwer und langsam. Wenn man den Roboter einfach nur dazu zwingt, auf diese Weise zu lernen, könnte er stecken bleiben oder zu langsam werden.
- Die Analogie: Dies ist wie das Hinzufügen eines Turboladers zu einem Auto. Er hilft dem Auto, schnell und reibungslos zu fahren, ohne die Kontrolle zu verlieren.
- Die Lösung: Der zweite Teil von DoPr nutzt die Standard-Optimizer (wie Adam oder Muon), um die Geschwindigkeit zu erhöhen.

Die Magie: DoPr kombt diese beiden. Es „begradigt“ zuerst den Lernpfad, damit der Roboter die richtigen Merkmale lernt (die holprige Straße), und dann nutzt es den Turbolader, um es schnell zu machen.

Das überraschende Ergebnis

Hier ist der interessanteste Teil des Papers:

Als die Autoren DoPr testeten, stellten sie fest, dass die Roboter nicht unbedingt bessere Werte beim Übungstest (Validation Loss) erzielten. Manchmal war der Übungswert sogar etwas schlechter als zuvor!

Doch als sie die Roboter in die reale Welt schickten (Testzeit):

Robotik: Die Roboter liefen weiter und absolvierten Aufgaben häufiger.
Sprachmodelle: Die KI schrieb besseren Code und löste mathematische Probleme genauer, obwohl sie das nächste Wort im Trainings-Text nicht so perfekt vorhersagte wie die alten Modelle.

Das Fazzeit

Das Paper kommt zu dem Schluss, dass wir auf die falsche Anzeigetafel geschaut haben. Wir waren besessen davon, wie gut ein Modell seinen Trainingsfehler minimiert, aber das bedeutet nicht, dass es erfolgreich sein wird, wenn es eigenständig handeln muss.

Double Preconditioning ist ein Werkzeug, das Modelle lehrt, robust zu sein und „gleichmäßig“ über alle Arten von Daten zu lernen, anstatt nur die einfachen Teile auswendig zu lernen. Es ist ein Weg, KI zu bauen, die nicht nur im Klassenzimmer glänzt, sondern in der realen Welt tatsächlich gut funktioniert.

Kurz gesagt: DoPr verhindert, dass die KI bei der Übung „schummelt“, indem es sie lehrt, die richtigen Lektionen für die echte Prüfung zu lernen – selbst wenn das bedeutet, dass der Übungswert nicht ganz so glänzend aussieht.

Technisches Resümee: Double Preconditioning (DoPr)

1. Problemstellung: Test-Time Feedback (TTF) und die Lücke zwischen Loss und Performance

Das Paper adressiert eine kritische Diskrepanz in modernen Deep-Learning-Anwendungen, bei denen Modelle auf Einzelschritt-überwachten Zielen (z. B. Next-Token-Prediction, Per-Step-Imitation) trainiert werden, aber im Einsatz über sequentielle Rollouts ihrer eigenen Vorhersagen verfügen. Die Autoren bezeichnen dieses Phänomen als Test-Time Feedback (TTF).

In TTF-Settings – wie etwa beim autoregressiven Sprachmodellierung, der flussbasierten generativen Modellierung oder dem Lernen von Roboter-Policies – summieren sich kleine Fehler in den Vorhersagen des Modells über die Zeit auf. Dies führt dazu, dass die Verteilung der während des Einsatzes (Deployment) auftretenden Zustände von der Trainingsverteilung abweicht (ein Phänomen, das als TTF-Shift bekannt ist).

Das identifizierte Kernproblem ist, dass Standard-Optimizer (z. B. Adam, Muon, Shampoo) darauf ausgelegt sind, den Validierungsverlust ( $L_{val}$ ) unter der Trainingsverteilung zu minimieren. Das Paper argumentiert jedoch, dass die Minimierung von $L_{val}$ nicht zwangsläufig die Downstream-Aufgabenbelohnung ( $R_{test}$ ) oder den idealisierten Verlust ( $L_{ideal}$ ) minimiert, der über die eigene Deployment-Verteilung des Modells definiert ist. Speziell können Standard-Optimizer ein unvollkommenes Feature-Learning induzieren, bei dem das Modell Merkmale lernt, die zwar optimal für die Trainingsverteilung sind, aber unter den Feedback-Dynamiken von TTF versagen, was zu einer geminderten Downstream-Performance führt, selbst wenn der Validierungsverlust gut konvergiert.

2. Methodik: Double Preconditioning (DoPr)

Um den TTF-Shift ohne Modifikation von Daten, Architektur oder Trainingsziel zu mildern, schlagen die Autoren Double Preconditioning (DoPr) vor. DoPr ist ein „Plug-in“-Optimierungsframework, das zwei unterschiedliche Preconditioning-Strategien kombiniert:

Activation Preconditioning (AP): Ein schichtweiser Preconditioner, der die empirische Kovarianz der Schichtaktivierungen ( $\hat{\Sigma}_z \approx E[zz^\top]$ ) verwendet, um den Gradienten zu präkonditionieren.
- Mechanismus: Der rohe Gradient $G$ wird mit der Inversen der Aktivierungskovarianzmatrix multipliziert: $M = G \cdot \hat{\Sigma}_z^{-1}$ .
- Theoretische Motivation: Die Autoren zeigen, dass der Standard-Gradientenabstieg unter nicht-isotropen (schlecht konditionierten) Schichtaktivierungen ein verzerrtes Feature-Learning erleidet. AP korrigiert diesen Bias und fördert ein uniformes Feature-Learning über alle Richtungen im Zustandsraum hinweg. Dies stellt sicher, dass das Modell Merkmale lernt, die auch in Richtungen robust sind, die durch den Trainingsverlust untergewichtet werden, aber entscheidend sind, um die Fehlerakkumulation unter TTF zu verhindern.
- Invarianz-Prinzip: Das Paper etabliert, dass AP eine Invarianz gegenüber affinen Transformationen der Eingangsverteilung induziert. Wenn die Eingangsverteilung affin transformiert wird, stellt die AP-Update-Regel sicher, dass die Schichtausgaben invariant bleiben, was die Optimierungstrajektorie gegenüber Distributionsshifts stabilisiert.
Gradient Preconditioning (GP): Ein Standard-gradientenbasierter Preconditioner (z. B. Adam, Muon, Signum), der auf den AP-präkonditionierten Gradienten angewendet wird.
- Rolle: Während AP die Geometrie des Feature-Learnings adressiert, kann es allein numerisch instabil sein. Die GP-Komponente stabilisiert den Trainingsprozess, beschleunigt die Konvergenz und liefert Momentum.
- Integration: DoPr wendet AP zuerst auf den Gradienten an und übergibt das Ergebnis dann an den GP. Dies ermöglicht es DoPr, die Stabilität und Hyperparameter-Skalierungsregeln etablierter GPs (wie Adam oder Muon) zu nutzen und gleichzeitig die TTF-mildernden Eigenschaften von AP zu erben.

Algorithmischer Ablauf:
Für eine Schicht mit Gewichten $W$ und Aktivierungen $z$ :

Berechne Batch-Gradient $G = \nabla_W \mathcal{L}$ .
Berechne empirische Aktivierungskovarianz $\hat{\Sigma}_z$ .
Wende AP an: $M = G \cdot (\hat{\Sigma}_z + \gamma \text{tr}(\hat{\Sigma}_z)I)^{-1}$ .
Wende GP an: $D = \text{GP}(M, \dots)$ .
Aktualisiere Gewichte: $W \leftarrow W - \eta D$ .

3. Zentrale Beiträge

Theoretische Einsicht: Das Paper verbindet TTF-Shift rigoros mit unvollkommenem Feature-Learning. Es beweist (über Proposition 3.2 und 4.1), dass Standard-Optimizer zu Lösungen konvergieren können, die einen niedrigen Validierungsverlust, aber eine schlechte Subspace-Ausrichtung der Features aufweisen, was TTF verschärft.
DoPr-Framework: Einführung eines neuartigen Optimierungsparadigmas, das Direktionalität (gehandhabt durch AP zur Sicherstellung von uniformem Feature-Learning) von Adaptivität/Stabilität (gehandhabt durch GP) entkoppelt.
Drop-in-Kompatibilität: DoPr ist als Drop-in-Ersatz für bestehende Optimizer konzipiert. Es erfordert keine Änderungen an der Modellarchitektur oder der Datenkuratierung.
Hyperparameter-Transfer: Die Autoren zeigen, dass, da DoPr die GP-Komponente beibehält, bestehende Hyperparameter-Skalierungsregeln (z. B. $\mu$ P-Skalierung für Lernraten und Weight Decay), die für Basis-GPs wie Adam oder Muon entwickelt wurden, direkt auf DoPr übertragbar sind, was das Training im großen Maßstab erleichtert.

4. Experimentelle Ergebnisse

Die Autoren evaluieren DoPr über Aufgaben der kontinuierlichen Steuerung, Robotik und Sprachmodellierung hinweg. Die wichtigsten Erkenntnisse sind:

Kontinuierliche Steuerung (Humanoid-v5): DoPr verbessert die terminale Belohnung konsistent gegenüber Baseline-Optimizern (AdamW, Muon, Signum, AdaMuon). Bemerkenswert ist, dass diese Verbesserung der Downstream-Performance nicht konsistent mit Verbesserungen im Trainings- oder Validierungsverlust korreliert; in einigen Fällen erreicht DoPr höhere Belohnungen bei gleichem oder leicht schlechterem Loss-Konvergenzverhalten.
Roboter-Policy-Lernen (Robomimic): Bei anspruchsvollen Aufgaben wie „Tool-Hang“ und „Transport“ übertreffen DoPr-Varianten die Baselines in der Erfolgsrate. Auch hier gehen die Gewinne in der Aufgaben-Erfolgsrate nicht mit einheitlichen Verbesserungen des Trainingsverlusts einher.
Sprachmodelle (Mathematisches Denken):
- 3B SFT: DoPr-AdamW erreicht eine höhere Spitzen-Genauigkeit auf GSM8K über verschiedene Lernraten hinweg im Vergleich zu AdamW, obwohl es einen vergleichbaren oder höheren Token-Level-Trainingsverlust aufweist.
- 8B SFT: Beim Fine-Tuning in größerem Maßstab zeigt DoPr-AdamW eine stärkere Korrelation zwischen Validierungsverlust und Downstream-Performance (GSM8K, MATH-500) im Vergleich zum Baseline-AdamW. Baseline-AdamW-Modelle zeigten oft einen verbesserten Validierungsverlust, aber eine degradierte Aufgabenperformance bei höheren Lernraten, während DoPr eine robuste Performance beibelteib.
- Cross-Task-Konflikt: DoPr reduziert den Konflikt zwischen Aufgaben; die optimalen Lernraten für GSM8K-CoT waren auch für MATH-500 nahezu optimal, eine Eigenschaft, die bei Baseline-AdamW nicht beobachtet wurde.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Optimierung eine neue Design-Achse zur Milderung der Fehlerakkumulation in TTF-Settings darstellt, die sich von der Datenkuratierung oder dem Architekturdesign unterscheidet.

Entkopplung von Loss und Performance: Die primäre Bedeutung liegt in der Demonstration, dass die Verbesserung der Downstream-Performance in TTF-Settings keine Verbesserung des Validierungsverlusts erfordert (und dieser nicht einmal zwangsläufig begleiten muss). Dies stellt die konventionelle Weisheit infrage, dass die Minimierung des Trainingsverlusts das einzige Proxy für die Modellqualität ist.
Feature-Learning als Hebel: Die Arbeit postuliert, dass „uniformes Feature-Learning“ (gewährleistet durch AP) der entscheidende Faktor für die Robustheit unter TTF ist, statt der Geschwindigkeit der Loss-Konvergenz.
Praktischer Nutzen: DoPr bietet eine praktische, geringfügig aufwendige Intervention (ein „Plug-in“), die die Robustheit von Modellen in realen Einsatzszenarien verbessert, in denen Modelle ihre eigenen Vorhersagen rollen müssen.

Die Autoren schließen mit der Frage, ob es noch einen „Optimizer Free-Lunch“ gibt, und deuten an, dass die Entkopplung von Direktionalität und Adaptivität in Optimierern weiterhin ein fruchtbares Forschungsgebiet bleibt, insbesondere für Aufgaben, bei denen das Trainingsziel von der Deployment-Realität abweicht.