🤖 machine learning

PILOT: Policy-Informed Learned Optimization for Adaptive Deep Network Training

Dieser Artikel stellt PILOT vor, einen adaptiven Online-Optimierer, der sein Aktualisierungsverhalten dynamisch anhand der Übereinstimmung der Gradientenrichtungen anpasst, um die Trainingsstabilität zu verbessern und im Vergleich zu bestehenden Methoden eine überlegene Genauigkeit auf FashionMNIST und CIFAR-10 zu erreichen.

Ursprüngliche Autoren: Sattam Altuuaim, Lama Ayash, Muhammad Mubashar, Naeemullah Khan

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sattam Altuuaim, Lama Ayash, Muhammad Mubashar, Naeemullah Khan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Schüler darin, ein komplexes Labyrinth zu lösen. Beim traditionellen Deep Learning geben Sie dem Schüler zu Beginn einen festen Satz von Regeln. Zum Beispiel: „Gehe immer drei Schritte vorwärts, drehe dich dann links, wenn du auf eine Wand triffst, und ändere niemals deine Geschwindigkeit." Das funktioniert einigermaßen, aber was passiert, wenn das Labyrinth plötzlich neblig wird oder sich die Wände zu bewegen beginnen? Ein starrer Regelbuch kann sich nicht an die sich ändernde Umgebung anpassen.

Dies ist das Problem, das die Arbeit PILOT (Policy-Informed Learned Optimization for Adaptive Deep Network Training) zu lösen versucht.

Das Problem: Der „One-Size-Fits-All"-Optimierer

Beim KI-Training ist ein Optimierer der „Lehrer", der entscheidet, wie das Gehirn der KI (das neuronale Netz) aus seinen Fehlern lernt. Die meisten beliebten Optimierer (wie Adam oder Lion) sind wie dieses starre Regelbuch. Sie haben eine feste Methode, um das Gehirn der KI anzupassen, egal was im Trainingsprozess passiert.

Manchmal lernt die KI reibungslos.
Manchmal sind die Daten verrauscht und verwirrend.
Manchmal steckt die KI in einer kniffligen Situation fest.

Ein fester Optimierer verwendet für all diese Situationen weiterhin denselben „Lehrstil", was die Dinge verlangsamen oder die KI instabil machen kann.

Die Lösung: Der „intelligente Coach" (PILOT)

PILOT ist eine neue Art von Optimierer, der wie ein intelligenter, adaptiver Coach agiert. Anstatt einem starren Regelbuch zu folgen, verfügt er über eine kleine, lernbare Richtlinie (eine winzige Menge an Anweisungen), die seine Meinung während des Trainings ändert.

So funktioniert es, anhand einer einfachen Analogie:

1. Zuhören auf die „Stimmung" (Gradient-Richtungs-Übereinstimmung)

Stellen Sie sich vor, die KI läuft durch das Labyrinth. Jeder Schritt, den sie macht, basiert auf einem „Gradienten" (ein Hinweis darauf, wo es bergab geht).

Stabile Stimmung: Wenn die letzten Schritte der KI alle in die gleiche Richtung zeigten, ist der Pfad wahrscheinlich glatt und klar.
Verrauschte Stimmung: Wenn die Schritte der KI überall zufällig hinzeigen, ist der Pfad neblig oder chaotisch.
Verwirrte Stimmung: Wenn die Schritte in entgegengesetzte Richtungen zeigen, steckt die KI vielleicht fest oder die Karte ist falsch.

PILOT überprüft ständig diese „Stimmung" (genannt Gradient-Richtungs-Übereinstimmung). Es fragt: „Stimmen meine letzten Schritte überein, oder sind wir verwirrt?"

2. Änderung des Lehrstils

Basierend auf dieser „Stimmung" passt PILOT sofort drei Dinge an, wie es die KI unterrichtet:

Momentum (Der „Trägheits"-Hebel): Soll die KI basierend auf ihrer vergangenen Geschwindigkeit weiter vorpreschen, oder soll sie anhalten und sich umsehen?
- Analogie: Wenn der Pfad glatt ist, sagt PILOT zur KI: „Lauf weiter!" (Hohes Momentum). Wenn der Pfad holprig ist, sagt es: „Langsam machen und nach dem Stand der Dinge schauen." (Niedriges Momentum).
Normalisierung (Der „Lautstärke"-Regler): Soll die KI darauf achten, wie groß der Fehler war, oder nur auf die Richtung des Fehlers?
- Analogie: Wenn die Daten verrauscht sind, könnte PILOT sagen: „Ignoriere die lauten, verrückten Zahlen; konzentriere dich einfach auf die allgemeine Richtung."
Verhalten auf Basis von Vorzeichen (Der „Binäre" Schalter): Soll die KI einen großen Schritt oder einen winzigen Schritt machen?
- Analogie: Manchmal ist es besser, einfach nur „Links" oder „Rechts" zu sagen, ohne sich darum zu kümmern, wie stark man drückt. PILOT kann in diesen einfacheren Modus wechseln, wenn die Dinge chaotisch werden.

Die „Magie" der kleinen Richtlinie

Die Arbeit hebt hervor, dass PILOT keinen Supercomputer benötigt, um dies herauszufinden. Es verwendet eine winzige Polynomformel (eine einfache mathematische Gleichung mit nur wenigen Zahlen, die gelernt werden müssen).

Denken Sie daran wie an einen intelligenten Thermostat. Er muss nicht die gesamte Wettergeschichte kennen; er schaut einfach auf die aktuelle Temperatur und passt die Heizung leicht an.
PILOT lernt diese wenigen Zahlen während des Trainings. Es benötigt keinen separaten, teuren „Probelauf", um die Regeln herauszufinden. Es findet sie im laufenden Betrieb heraus.

Die Ergebnisse: Das Rennen gewinnen

Die Autoren testeten diesen „intelligenten Coach" an zwei Standard-Bild-Datensätzen (FashionMNIST, das wie das Sortieren von Kleidung ist, und CIFAR-10, das wie das Sortieren von Tieren und Fahrzeugen ist) unter Verwendung zweier KI-Modelle (ein Standardmodell und ein tieferes, komplexeres namens ResNet-18).

Die Ergebnisse waren klar:

Bessere Scores: PILOT erzielte konsistent eine höhere Genauigkeit als die berühmten, starren Optimierer (wie Adam, AdamW, Lion und Sophia).
- Auf dem Kleidungsdatensatz erreichte es 95,71% Genauigkeit (gegenüber ~95% bei anderen).
- Auf dem Tier-/Fahrzeugdatensatz erreichte es 93,42% Genauigkeit (gegenüber ~93% bei anderen).
Glattere Fahrt: Der Trainingsprozess war stabiler. Die KI schwankte nicht wild hin und her; sie fand einen stetigen Weg zur Lösung.
Übertragbare Fähigkeiten: Die Autoren führten ein cooles Experiment durch: Sie trainierten den PILOT-Coach auf dem Tierdatensatz, frier dann sein Gehirn ein und schickten ihn zum Kleidungsdatensatz. Selbst ohne Neulernen performte er besser als die Standard-starren Optimierer. Dies deutet darauf hin, dass die Fähigkeit zum „Stimmungs-Check" universell ist und nicht nur für eine bestimmte Art von Daten gilt.

Zusammenfassung

PILOT ist eine neue Art, KI zu trainieren, die aufhört, ein „Einrichten-und-Vergessen"-Regelbuch zu verwenden. Stattdessen nutzt es einen kleinen, anpassungsfähigen Coach, der auf die aktuelle Verwirrung oder Klarheit der KI hört und sofort seinen Lehrstil ändert. Dies ermöglicht der KI, schneller, genauer und stabiler zu lernen, egal ob sie Kleidung sortiert oder komplexe 3D-Objekte erkennt.

Die Arbeit kommt zu dem Schluss, dass dieser Ansatz die Lücke zwischen einfachen, schnellen Optimierern und komplexen, teuren „gelernten" Optimierern schließt und beweist, dass Anpassungsfähigkeit während des Trainings ein Schlüssel zu besserer KI-Leistung ist.

Technische Zusammenfassung: PILOT (Policy-Informed Learned Optimization for Adaptive Deep Network Training)

Problemstellung

Trotz der zentralen Bedeutung der Optimierung im Deep Learning stützen sich die meisten bestehenden Optimierer auf Update-Strukturen mit funktionalen Formen, die vor dem Training festgelegt werden. Dieses statische Design begrenzt ihre Fähigkeit, sich an die dynamische Natur der Loss-Landschaft anzupassen, in der Trainingsregime zwischen stabilen, verrauschten und inkonsistenten Zuständen wechseln. Während adaptive Methoden wie Adam und AdamW die Robustheit durch feste Momentenschätzungen und Varianznormalisierung verbessern und neuere Methoden wie Lion und Sophia vorzeichenbasierte oder krümmungsbewusste Updates untersuchen, erzwingen sie alle einen vordefinierten Kompromiss zwischen Momentum, Normalisierung und Update-Richtung. Gelernte Optimierer bieten einen breiteren Designraum, erfordern jedoch oft teure Offline-Suchen, Meta-Training oder aufgabenspezifische Generierung. Es besteht weiterhin eine Lücke für einen Online-adaptiven Mechanismus, der das Update-Verhalten während des Standardtrainings anpasst, ohne diese Rechenlasten mit sich zu bringen.

Methodik

Die Arbeit schlägt PILOT (Policy-Informed Learned OpTimizer) vor, einen Online-adaptiven Optimierer erster Ordnung, der sein Update-Verhalten dynamisch basierend auf einem Signal für lokale Trainingsstabilität moduliert.

1. Signal für die Übereinstimmung der Gradientenrichtung

PILOT nutzt die Übereinstimmung zwischen aufeinanderfolgenden stochastischen Gradienten als kompakten Indikator für die lokale Optimierungsstabilität.

Signaldefinition: Für aufeinanderfolgende Gradienten $g_t$ und $g_{t-1}$ wird ein Signal für die Richtungsübereinstimmung $r_t$ unter Verwendung einer numerisch stabilisierten Kosinus-Ähnlichkeit berechnet.
Glättung: Um kurzfristige Schwankungen zu reduzieren, wird ein exponentieller gleitender Durchschnitt $\rho_t$ geführt.
Interpretation: Positive Werte deuten auf konsistente Abstiegsrichtungen (glatte Regionen) hin, Werte nahe Null schwache Konsistenz (Rauschen) und negative Werte schnelle Änderungen oder Instabilität an.

2. Lernbare Policy

Eine kompakte Polynom-Policy bildet das geglättete Übereinstimmungssignal $\rho_t$ auf drei skalare Steuervariablen ab:

$p_{m,t}$ : Steuert die Momentum-Abhängigkeit (Interpolation zwischen Momentenschätzungen und Rohgradienten).
$p_{v,t}$ : Steuert die Stärke der Varianznormalisierung (Skalierung der Update-Magnitude).
$p_{s,t}$ : Steuert das vorzeichenbasierte Verhalten (Grad, in dem die Update-Richtung durch das Vorzeichen des Gradienten bestimmt wird).

Diese Variablen werden als univariate Polynome vom Grad $d$ gefolgt von Sigmoid-Aktivierungen parametrisiert, was nur $3(d+1)$ lernbare Koeffizienten ergibt. Diese Formulierung ermöglicht es PILOT, kontinuierlich zwischen Adam-ähnlichen adaptiven Updates, Rohgradienten-Updates und vorzeichen-dominierten Updates zu interpolieren.

3. Policy-gesteuerte Update-Regel

Die Parameter-Update $\theta_{t+1}$ wird unter Verwendung von Momenten erster und zweiter Ordnung ( $\hat{m}_t, \hat{v}_t$ ) konstruiert. Die Policy-Variablen modulieren die Kombination dieser Schätzungen:

Die Momentenschätzung wird basierend auf $p_{m,t}$ mit dem aktuellen Gradienten interpoliert.
Die finale Update-Richtung wird durch die auf $p_{v,t}$ potenzierte Varianzschätzung skaliert und durch die durch $p_{s,t}$ gesteuerte Vorzeichenfunktion modifiziert.
Diese Struktur verallgemeinert bestehende Methoden: Das Festlegen spezifischer fester Werte für die Policy-Variablen stellt Verhaltensweisen wieder her, die Adam oder vorzeichenbasierten Optimierern ähneln.

4. Online-Policy-Lernen

Die Policy-Koeffizienten werden während des Trainings online unter Verwendung einer Meta-Gradientenschätzung in einem Schritt aktualisiert. Nach Beobachtung des Gradienten des nachfolgenden Mini-Batches wird die Policy aktualisiert, um den Loss dieses nächsten Schritts zu minimieren. Dieser Ansatz vermeidet Offline-Suchen, separate Meta-Trainingsphasen und die Rückwärtspropagierung durch die gesamte Optimierungstrajektorie und hält den Rechenaufwand gering.

Hauptbeiträge

Online-adaptiver Optimierer: Einführung von PILOT, das während des Trainings die Momentum-Abhängigkeit, die Varianznormalisierung und das vorzeichenbasierte Verhalten dynamisch moduliert.
Landschaftsbewusstes Signal: Nutzung der Übereinstimmung der Gradientenrichtung als Proxy für lokale Stabilität, wodurch die Update-Regel in der Lage ist, auf sich ändernde Trainingsdynamiken zu reagieren, ohne eine explizite Krümmungsschätzung.
Kompakte Policy: Vorschlag einer Polynom-Policy mit minimalen lernbaren Parametern ( $3(d+1)$ ), die das Optimierer-Verhalten ohne Offline-Suche anpasst.
Vereinheitlichte Formulierung: Nachweis, dass bestehende Update-Verhalten (z. B. Adam-artig, vorzeichenbasiert) als feste Konfigurationen innerhalb derselben allgemeinen Formulierung dargestellt werden können.
Empirische Validierung: Umfassende Evaluierung, die die Wettbewerbsfähigkeit und Überlegenheit von PILOT in spezifischen Settings im Vergleich zu starken Baselines zeigt.

Experimentelle Ergebnisse

PILOT wurde auf FashionMNIST und CIFAR-10 unter Verwendung von CNN- und ResNet-18-Architekturen evaluiert und mit Adam, AdamW, Lion, Sophia und AdaBelief verglichen.

Leistung: PILOT erreichte konsistent die höchste Genauigkeit über alle Konfigurationen hinweg.
- FashionMNIST: 94,13 % (CNN) und 95,71 % (ResNet-18).
- CIFAR-10: 81,94 % (CNN) und 93,42 % (ResNet-18).
Stabilität: PILOT zeigte in mehreren Settings die geringste Loss-Varianz (z. B. 0,0001 auf CIFAR-10/ResNet-18) und behielt glattere Gradienten-Trajektorien bei als Baselines wie Adam und AdamW, die größere Spitzen aufwiesen.
Ablationsstudien:
- Momentum ( $p_m$ ): Die adaptive Steuerung der Momentum-Abhängigkeit war für die Leistung auf komplexen Datensätzen (CIFAR-10) entscheidend, während festes Momentum für einfachere Settings ausreichte.
- Varianznormalisierung ( $p_v$ ): Das Lernen der Normalisierungsstärke bot konsistente Vorteile auf CIFAR-10, während eine feste Adam-artige Normalisierung auf FashionMNIST wettbewerbsfähig war.
- Vorzeichenbasiertes Verhalten ( $p_s$ ): Obwohl das Deaktivieren vorzeichenbasierten Verhaltens manchmal die Loss-Minimierung verbesserte, erreichte die vollständig gelernte Variante im Allgemeinen eine bessere Klassifizierungsgenauigkeit, was auf einen vorteilhaften Kompromiss zwischen Stabilität und prädiktiver Leistung hindeutet.
Übertragbarkeit: Eine auf CIFAR-10 trainierte und für die Verwendung auf FashionMNIST eingefrorene Policy übertraf AdamW und entsprach fast einer frischen PILOT-Instanz, die auf dem Ziel-Datensatz trainiert wurde, was darauf hindeutet, dass die gelernte Policy allgemein anwendbare Optimierungsdynamiken erfasst.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass PILOT die Lücke zwischen starren, handentworfenen Optimierern und rechenintensiven gelernten Optimierern schließt. Durch das Lernen einer kleinen Online-Policy, die auf der Übereinstimmung der Gradientenrichtung basiert, bietet PILOT einen praktischen Mechanismus für adaptives Verhalten, während ein einfaches Optimierungsframework erster Ordnung beibehalten wird.

Die Autoren gehen davon aus, dass sich das Optimierungsregime während des Trainings ändert und eine einzelne feste Update-Regel oft unzureichend ist. PILOT zeigt, dass die Anpassung der Update-Struktur während des Trainings die Leistung sowohl bei kompakten als auch bei tieferen Faltungsmodellen verbessern kann. Die Ergebnisse deuten darauf hin, dass das gelernte Polynom Optimierungsdynamiken kodiert, die über den spezifischen Datensatz hinaus generalisieren, auf dem sie gelernt wurden, und eine vielversprechende Richtung für ein flexibles Optimierer-Design beim Training tiefer neuronaler Netze bieten.

Limitationen und zukünftige Arbeit: Die Autoren räumen ein, dass die aktuellen Evaluierungen auf Bildklassifizierungs-Benchmarks und Faltungsarchitekturen beschränkt sind. Die Allgemeingültigkeit von PILOT für größere Datensätze, Transformer-basierte Architekturen und Sequenzmodelle bleibt unbestätigt. Zukünftige Arbeiten zielen darauf ab, PILOT auf Vision Transformer und Sprachmodelle zu evaluieren, die Entwicklung der Policy-Variablen zu analysieren und zusätzliche Online-Signale wie Gradientenvarianz oder Krümmungsapproximationen einzubeziehen.