🤖 machine learning

FOGO: Forgetting-aware Orthogonalization Optimizer

FOGO ist ein skalierbarer Optimierer, der sowohl kurzfristiges als auch langfristiges Vergessen mildert, indem er Momentum-Updates spektral orthogonalisiert und Gradientenkonflikte durch ein kompaktes, auf Zufallsprojektion basierendes Gedächtnis löst, wodurch die Konvergenz und den Wissenserhalt über diverse Trainingsszenarien hinweg verbessert wird, ohne vergangene Daten zu speichern.

Ursprüngliche Autoren: Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „überfüllte Zimmer“

Stellen Sie sich vor, Sie versuchen, eine neue Fähigkeit zu erlernen, wie zum Beispiel Jonglieren. Sie haben einen Trainer (den KI-Optimizer), der Ihnen sagt, wie Sie Ihre Hände bewegen sollen.

Beim Standard-KI-Training schenkt der Trainer den einfachsten, häufigsten Bewegungen die meiste Aufmerksamkeit. Wenn Sie 100 rote Bälle jonglieren und nur einen blauen Ball haben, verbringt der Trainer 99 % seiner Zeit damit, Ihre Technik für die roten Bälle zu korrigieren. Der blaue Ball wird ignoriert.

Die Arbeit argumenttiert, dass dies nicht nur ein Problem ist, wenn man neue Aufgaben nacheinander lernt (Continual Learning). Es passiert bei jedem einzelnen Schritt des Standard-Trainings. Die „lauten“ Anweisungen (häufige Daten) übertönen die „leisen“, aber nützlichen Anweisungen (seltene Daten). Mit der Zeit vergisst die KI, wie man mit dem seltenen Zeug umgeht, weil es nie wieder besucht wurde. Dies nennt man Vergessen (Forgetting).

Die Lösung: FOGO (Der smarte Trainer)

Die Autoren führen FOGO ein, einen neuen „Trainer“ für die KI, der dieses Problem löst. Er sagt der KI nicht nur, was sie tun soll; er erinnert sich daran, was die KI früher getan hat, und schützt diese Erinnerungen.

FOGO arbeitet wie ein dreiteiliges System:

1. Der „Equalizer“ (Spektrale Orthogonalisierung)

Stellen Sie sich einen Musikmixer vor, bei dem der Bass (häufige Daten) so laut ist, dass er die Violine (seltene Daten) übertönt.

Was FOGO macht: Es fungiert wie ein smarter Equalizer. Es flacht das Volumen des lauten Basses ab, damit die Violine gehört werden kann. Es stellt sicher, dass selbst die seltenen, leisen Richtungen des Lernens eine faire Chance erhalten, den „Geist“ der KI zu beeinflung zu, anstatt von den dominanten Trends erdrückt zu werden.

2. Das „Notizbuch in der Tasche“ (Kompakter Codebook-Speicher)

Normalerweise muss eine KI riesige Mengen alter Daten speichern (wie eine riesige Bibliothek alter Beispiele), um sich an die Vergangenheit zu erinnern. Das ist langsam und teuer.

Was FOGO macht: Anstatt die ganze Bibliothek zu speichern, bewahrt FOGO ein winziges Notizbuch in der Tasche auf.
- Es nutzt einen Trick namens Random Projection. Stellen Sie sich vor, Sie nehmen eine komplexe 3D-Skulptur und werfen ihren Schatten auf eine 2D-Wand. Sie verlieren zwar etwas Detail, aber Sie behalten die Form und den Abstand zwischen den Teilen bei.
- FOGO projiziert die Lernrichtungen der KI in diesen winzigen 2D-Schattenraum. Es schreibt den „Kern“ wichtiger vergangener Richtungen als einfache Punkte (Zentroiden) in dieses Notizbuch.
- Da es nur ein Notizbuch voller Punkte ist, nimmt es fast keinen Platz weg (Megabytes statt Gigabytes) und ist sehr schnell zu lesen.

3. Der „Verkehrspolizist“ (Konfliktlösung)

Jedes Mal, wenn die KI versucht, etwas Neues zu lernen, schaut FOGO in sein Notizbuch.

Die Prüfung: „Hey, wenn du deine Hand auf diese Weise bewegst (neue Anweisung), wirst du dann die Erinnerung daran brechen, wie du den blauen Ball gehalten hast (alte Anweisung)?“
Die Korrektur:
- Kurzfristig: Wenn die neue Bewegung zu ähnlich zu einem dominanten Trend ist, stößt FOGO sie sanft weg, damit das seltene Zeug genau jetzt nicht ignoriert wird.
- Langfristig: Wenn die neue Bewegung droht, eine kritische Erinnerung aus einer vorherigen Aufgabe zu löschen, agiert FOGO wie ein Verkehrspolizist. Es blockiert die Bewegung oder lenkt sie so um, dass sie um die alte Erinnerung herumgleitet, anstatt mit ihr zusammenzustoßen.

Wie es in der Praxis funktioniert (laut der Arbeit)

Die Autoren testeten FOGO in vier verschiedenen Szenarien, und es übertraf konsequent die Standard-Trainer (Adam und Muon):

Das unfaire Klassenzimmer (Klassen-imbalanciertes Lernen): Wenn eine KI auf Daten trainiert wird, bei denen einige Klassen selten sind (wie bei 10 % der Daten), vergisst die Standard-KI die seltenen Klassen. FOGO erinnerte sich viel besser an sie und verbesserte die Genauigkeit bei diesen seltenen Objekten, ohne die häufigen zu beeinträchtigen.
Die weltverändernde Umgebung (Kontinuierliches visuelles Lernen): Als die KI lernen musste, Objekte in verschiedenen Stilen (z. B. Fotos, Cartoons, Skizzen) nacheinander zu erkennen, vergaß FOGO die alten Stile beim Lernen der neuen nicht. Es hielt sein Wissen besser aufrecht als andere Methoden, selbst ohne alte Bilder zu speichern.
Der sprechende Roboter (LLaVA-7B Fine-tuning): Beim Fine-tuning eines großen multimodalen Modells (das sieht und spricht) half FOGO dem Roboter, sich daran zu erinnern, wie man verschiedene Arten von Fragen beantwortet (Zählen, Schlussfolgern, Lokalisierung), ohne die Fähigkeit zu verlieren, die vorherigen Aufgaben zu bewältigen.
Der Sprachlerner (GPT-2 Pretraining): Selbst beim reinen Lernen, das nächste Wort in einem Satz vorherzusagen (Standard-Training), lernte FOGO schneller und erreichte eine geringere Fehlerrate als die Standardmethoden.

Das Fazit

Die Arbeit behauptet, dass Vergessen ein universelles Problem ist, nicht nur ein Problem des „kontinuierlichen Lernens“. Es passiert immer dann, wenn laute Daten leise Daten übertönen.

FOGO behebt dies, indem es:

Sicherstellt, dass die leisen Stimmen gehört werden (Orthogonalisierung).
Ein winziges, effizientes Gedächtnis für das Wichtige bewahrt (Random Projection Codebook).
Jeden Schritt prüft, um sicherzustellen, dass neues Lernen nicht altes Lernen auslöscht (Konfliktlösung).

Das Ergebnis ist eine KI, die schneller lernt, sich mehr erinnert und keine riesige Festplatte voller alter Daten benötigt, um dies zu tun.

Technisches Resümee: FOGO (Forgetting-aware Orthogonalization Optimizer)

1. Problemstellung

Das Paper argumentiert, dass Vergessen (Forgetting) nicht bloß ein spezifischer Fehlermodus des kontinuierlichen Lernens (CL) ist, sondern ein fundamentales Optimierungsphänomen, das dem Standard-stochastischen Training inhärent ist. Die Autoren postulieren, dass während des Standardtrainings dominante Mini-Batch-Gradienten seltene, aber nützliche Update-Richtungen unterdrücken, was zu kurzfristigem Vergessen bei jedem Schritt führt. Wenn diese unterdrückten Richtungen nicht wieder aufgegriffen werden, summieren sich die Verluste zu langfristigem Vergessen, dem klassischen Versagensmodus des kontinuierlichen Lernens.

Bestehende Lösungen behandeln Standardtraining und aufgabensequentielles CL oft als getrennte Probleme. Gradienteninterferenz-Methoden (z. B. OGD, GEM) versuchen Konflikte zu lösen, verlassen sich jedoch oft auf das Speichern von Rohdaten oder Full-Rank-Gradientenbasen, was für Modelle mit Milliarden von Parametern nicht skalierbar ist. Umgekehrt verbessern matrixbewusste Optimierer (z. B. Muon) die Konditionierung durch Orthogonalisierung, lassen aber Mechanismen vermissen, um historische Update-Richtungen über die Zeit hinweg explizit zu bewahren.

2. Methodik: FOGO

Die Autoren führen FOGO ein, einen skalierbaren Optimierer, der darauf ausgelegt ist, Gradienteninterferenzen sowohl im Standard- als auch im kontinuierlichen Lernregime kontinuierlich zu erkennen und zu lösen. FOGO operiert ohne das Speichern von Rohdaten und stützt sich stattdessen auf ein kompaktes, projiziertes Gedächtnis von Gradientenrichtungen.

Kernmechanismen

Spektrale Orthogonalisierung:
FOGO orthogonalisiert Momentum-Updates, um zu verhindern, dass dominante singuläre Richtungen die Optimierungstrajektorie monopolisieren. Durch das Abflachen des singulären Spektrums (unter Verwendung von Newton–Schulz-Iterationen) stellt es sicher, dass schwächere, aber kohärente Update-Richtungen sichtbar bleiben und zum Update beitragen, anstatt durch energiereiche Modi überschrieben zu werden.
Dual-Stream-Momentum:
Um sowohl stabile Trends als auch entstehende Richtungen zu erfassen, pflegt FOGO zwei Momentum-Zustände:
- Slow Stream ( $B^{(s)}$ ): Erfasst persistente Trends.
- Fast Stream ( $B^{(f)}$ ): Verfolgt rezente Veränderungen.
  Diese werden mittels sphärischer Interpolation (SLERP) fusioniert, um ein Gleichgewicht zwischen Plastizität und Stabilität zu finden.
Kompaktes Richtungsgedächtnis mittels Random Projection:
Anstatt hochdimensionale Gradienten zu speichern, projiziert FOGO die Updates in einen niedrigdimensionalen Raum ( $d \ll |\theta|$ ) unter Verwendung einer festen Rademacher-Random-Projektionsmatrix $\Pi$ .
- Theoretische Basis: Unter Ausnutzung des Johnson–Lindenstrauss-Lemmas bewahrt diese Projektion mit hoher Wahrscheinlichkeit die paarweisen Abstände zwischen Gradientenvektoren und erhält so die geometrische Struktur der Gradientenverteilung.
- Codebuch: Die projizierten Updates werden mithilfe von Exponential Moving Average (EMA)-Statistiken in einem sphärischen Codebuch (Zentroiden) zusammengefasst. Dieses Codebuch fungiert als Gedächtnis repräsentativer vergangener Richtungen.
Konfliktlösung:
In jedem Schritt vergleicht FOGO das orthogonalisierte Update mit dem Codebuch, um Konflikte zu lösen:
- Kurzfristige Filterung: Identifiziert und unterdrückt Komponenten, die gegenläufig (konfliktierend) zu gespeicherten Richtungen sind oder zu stark mit dominanten lokalen Richtungen korrelieren (was ein Kollapsrisiko darstellt). Dies geschieht durch eine leichtgewichtige orthogonale Korrektur im projizierten Raum.
- Langfristiger Schutz: Nach Abschluss einer Aufgabe werden wichtige Zentroiden mit Gewichtungen der Bedeutung eingefroren. Während nachfolgender Aufgaben werden die Updates so beschränkt, dass sie nahezu orthogonal zu diesen eingefrorenen Richtungen bleiben, um das katastrophale Vergessen sensibler Wissen aus vergangenen Aufgaben zu verhindern.
Proximal Lifting:
Da die Random-Projektion $\Pi$ nicht invertierbar ist, wird das korrigierte Update im projizierten Raum über einen proximalen Kleinste-Quadrate-Schritt in den ursprünglichen hochdimensionalen Parameterraum zurückgehoben. Dies stellt sicher, dass die Korrektur konsistent mit den projizierten Constraints ist und gleichzeitig die Verzerrung im ursprünglichen Raum minimiert.

3. Zentrale Beiträge

Vereinte Sichtweise auf Vergessen: Das Paper definiert Vergessen als ein allgemeines Optimierungsproblem, das aus Gradienteninterferenz in sowohl Standard- als auch kontinuierlichem Lernen resultiert, anstatt als ein distinktes CL-Problem.
Skalierbares Gedächtnis auf Optimiererebene: FOGO führt einen Gedächtnismechanismus ein, der vollständig in einem niedrigdimensionalen projizierten Raum operiert. Dies ermöglicht die Verfolgung der Gradientengeometrie und Konfliktlösung ohne das Speichern von Rohdaten oder teuren Full-Rank-Dekompositionen, was die Skalierbarkeit auf große Modelle (z. B. LLaVA-7B, GPT-2) gewährleistet.
Dualer Design-Ansatz: Die Kombination aus spektraler Orthogonalisierung (um seltene Richtungen freizulegen) und Richtungsgedächtnis (um diese zu bewahren) adressiert sowohl die kurzfristige Unterdrückung als auch die langfristige Akkumulation von Vergessen.
Theoretische Garantien: Das Paper liefert eine theoretische Analyse (Theorem 1, Korollare 2 & 3), die zeigt, wie Off-Subspace-Richtungen unter Standard-Momentum unterdrückt werden und wie der Gedächtnisschutz von FOGO gelernte Richtungen bewahrt, während unbeschränkte Subräume frei für die Adaptation bleiben.

4. Experimentelle Ergebnisse

FOGO wurde in vier verschiedenen Szenarien evaluiert und übertraf dabei konsistent Adam und Muon (sowie andere CL-Baselines wie UPGD, CBP, FIRE):

Klassen-imbalancierte Klassifizierung (CIFAR-10): In einem Setting mit 5 seltenen Klassen (10 % Daten) verbesserte FOGO die Genauigkeit der seltenen Klassen um ~2–3 % und reduzierte das Vergessen der seltenen Klassen um ~6 % im Vergleich zu Adam und Muon. Ablationsstudien bestätigten, dass die kurzfristige Filterung der primäre Treiber dieser Verbesserung ist.
Kontinuierliches visuelles Lernen:
- Domain-IL (PACS): FOGO erreichte das geringste durchschnittliche Vergessen (AF) ohne Replay und übertraf Muon in AF um 2,67 Punkte. Mit Replay (ER) verbesserte sich die Leistung weiter.
- Class-IL (CIFAR-10): FIDO erzielte eine höhere Genauigkeit und ein geringeres Vergessen als Adam, Muon und UPGD.
Kontinuierliches Fine-tuning (LLaVA-7B): Beim Continual VisualQA Benchmark (10 Reasoning-Aufgaben) verbesserte FOGO die durchschnittliche Leistung um ~2 Punkte und reduzierte das totale Vergessen um ~10 Punkte im Vergleich zu AdamW und Muon. Die Analyse zeigte, dass FOGO eine ausgewogenere Varianz der Experten-Features induziert und so den Expert-Collapse abmildert.
Sprach-Pretraining (GPT-2): Im Standard-Unsupervised-Pretraining auf OpenWebText konvergierte FOGO schneller als Adam und Muon, insbesondere in der frühen Phase (erste 30k Schritte), was auf Vorteile selbst in Nicht-CL-Settings hindeutet.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Vergessen ein allgemeines Optimierungsproblem ist, das auf Ebene des Optimierers lösbar ist. Durch die Lösung von Gradienteninterferenz mittels spektraler Orthogonalierung und einem kompakten, datenfreien Richtungsgedächtnis bietet FOGO einen praktischen Weg, Wissen sowohl in Standard- als auch in kontinuierlichen Lernszenarien zu bewahren.

Die Autoren betonen, dass ihr Ansatz keine Speicherung von Rohdaten oder vorherigen Modell-Snapshots erfordert, was ihn für großskalige Modelle, bei denen der Speicher begrenzt ist, geeignet macht. Obwohl FOGO im Vergleich zu Adam einen moderaten Rechenaufwand einführt (aufgrund von Dual-Stream-Orthogonalisierung und Projektionsoperationen), argumentiert das Paper, dass dies angesichts der konsistenten Gewinne in Konvergenz, Leistung und Wissenserhalt akzeptabel ist. Die Arbeit legt nahe, dass zukünftige Lösungen für Vergessen Optimierungsstrategien mit Architektur- und Datenstrategien integrieren sollten, wobei FOGO die Optimierungsachse adressiert.