🤖 machine learning

FOGO: Forgetting-aware Orthogonalization Optimizer

FOGO is een schaalbare optimizer die zowel kortetermijn- als langetermijnvergeten mitigeert door momentum-updates spectraal te orthogonaliseren en gradiëntconflicten op te lossen met een compact, op random projectie gebaseerd geheugen, waardoor de convergentie en kennisretentie over diverse trainingsscenario's worden verbeterd zonder het opslaan van voorgaande data.

Oorspronkelijke auteurs: Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Overvolle Kamer"

Stel je voor dat je een nieuwe vaardigheid probeert te leren, zoals jongleren. Je hebt een coach (de AI-optimizer) die je vertelt hoe je je handen moet bewegen.

Bij standaard AI-training besteedt de coach de meeste aandacht aan de makkelijkste, meest voorkomende bewegingen. Als je 100 rode ballen jongleert en slechts 1 blauwe bal, besteedt de coach 99% van de tijd aan het corrigeren van je techniek met de rode ballen. De blauwe bal wordt genegeerd.

Het paper betoogt dat dit niet alleen een probleem is bij het achter elkaar leren van nieuwe taken (Continual Learning). Het gebeurt bij elke stap van de standaard training. De "luide" instructies (veelvoorkomende data) overstemmen de "stille" maar nuttige instructies (zeldzame data). Na verloop van tijd vergeet de AI hoe hij met de zeldzame zaken moet omgaan omdat ze nooit opnieuw werden bezocht. Dit wordt Vergeten (Forgetting) genoemd.

De Oplossing: FOGO (De Slimme Coach)

De auteurs introduceren FOGO, een nieuwe "coach" voor AI die dit probleem oplost. FOGO vertelt de AI niet alleen wat hij moet doen; het onthoudt wat de AI vroeger deed en beschermt die herinneringen.

FOGO werkt als een systeem met drie onderdelen:

1. De "Equalizer" (Spectrale Orthogonalisatie)

Stel je een muziekmixer voor waarbij de bas (veelvoorkomende data) zo hard is dat de viool (zeldzame data) wordt overstemd.

Wat FOGO doet: Het werkt als een slimme equalizer. Het vlakt het volume van de luide bas af zodat de viool gehoord kan worden. Het zorgt ervoor dat zelfs de zeldzame, stille richtingen van het leren een eerlijke kans krijgen om de hersenen van de AI te beïnvloeden, in plaats van dat ze worden verpletterd door de dominante trends.

2. Het "Notitieblokje" (Compacte Codebook Geheugen)

Normaal gesproken, om het verleden te onthouden, heeft een AI enorme hoeveelheden oude data nodig (zoals een enorme bibliotheek met oude voorbeelden). Dit is traag en duur.

Wat FOGO doet: In plaats van de hele bibliotheek op te slaan, houdt FOGO een klein Notitieblokje bij.
- Het gebruikt een truc genaamd Random Projection. Stel je voor dat je een complex 3D-beeldhouwwerk neemt en de schaduw ervan op een 2D-muur werpt. Je verliest wat detail, maar je behoudt de vorm en de afstand tussen de onderdelen.
- FOGO projecteert de leerrichtingen van de AI naar deze kleine 2D-schaduwwereld. Het schrijt de "essentie" van belangrijke eerdere richtingen op als eenvoudige punten (centroids) in dit notitieblokje.
- Omdat het slechts een notitieblokje met punten is, neemt het bijna geen ruimte in beslag (megabytes in plaats van gigabytes) en is het zeer snel uit te lezen.

3. De "Verkeersregelaar" (Conflictresolutie)

Elke keer dat de AI iets nieuws probeert te leren, controleert FOGO zijn Notitieblokje.

De Controle: "Hé, als je je hand op deze manier beweegt (nieuwe instructie), zul je dan de herinnering aan hoe je de blauwe bal vasthield (oude instructie) breken?"
De Fix:
- Korte termijn: Als de nieuwe beweging te veel lijkt op een dominante trend, duwt FOGO de beweging voorzichtig weg, zodat de zeldzame zaken er op dit moment niet door worden genegeerd.
- Lange termijn: Als de nieuwe beweging een kritieke herinnering aan een vorige taak bedreigt te wissen, fungeert FOGO als een verkeersregelaar. Het blokkeert de beweging of stuurt deze om, zodat de beweging om de oude herinnering heen glijdt in plaats van ertegenaan te botsen.

Hoe het werkt in de praktijk (volgens het paper)

De auteurs hebben FOGO getest in vier verschillende scenario's, en het presteerde consequent beter dan de standaard coaches (Adam en Muon):

De Oneerlijke Klaslokaal (Class-Imbalanced Learning): Wanneer een AI wordt getraind op data waarbij sommige klassen zeldzaam zijn (zoals 10% van de data), vergeet standaard AI de zeldzame klassen. FOGO onthield ze veel beter, wat de nauwkeurigheid op die zeldzame items verbeterde zonder de veelvoorkomende items te schaden.
De Vormveranderende Wereld (Continual Visual Learning): Wanneer de AI moest leren objecten in verschillende stijlen te herkennen (bijv. foto's, cartoons, schetsen) één na het ander, vergat FOGO de oude stijlen niet bij het leren van de nieuwe stijlen. Het hield de kennis beter intact dan andere methoden, zelfs zonder oude afbeeldingen op te slaan.
De Pratende Robot (LLaVA-7B Fine-tuning): Bij het fine-tunen van een groot multimodaal model (dat ziet en spreekt), hielp FOGO de robot om te onthouden hoe hij verschillende soorten vragen moest beantwoorden (tellen, redeneren, locatie) zonder het vermogen te verliezen om de vorige soorten te beantwoorden.
De Taalleerling (GPT-2 Pretraining): Zelfs bij het simpelweg leren voorspellen van het volgende woord in een zin (standaard training), leerde FOGO sneller en bereikte het een lagere foutmarge dan de standaard methoden.

De Kernboodschap

Het paper stelt dat vergeten een universeel probleem is, niet alleen een "continual learning" probleem. Het gebeurt telkens wanneer luide data stille data overstemt.

FOGO lost dit op door:

Ervoor te zorgen dat de stille stemmen gehoord worden (Orthogonalisatie).
Een klein, efficiënt geheugen bij te houden van wat belangrijk is (Random Projection Codebook).
Elke stap te controleren om te garanderen dat nieuw leren oud leren niet wist (Conflictresolutie).

Het resultaat is een AI die sneller leert, meer onthoudt en geen enorme harde schijf vol oude data nodig heeft om dit te doen.

Technische Samenvatting: FOGO (Forgetting-aware Orthogonalization Optimizer)

1. Probleemstelling

Het artikel betoogt dat vergeten (forgetting) niet louter een falende modus is die specifiek is voor continual learning (CL), maar een fundamenteel optimalisatiefenomeen dat inherent is aan standaard stochastische training. De auteurs stellen dat tijdens standaard training dominante mini-batch gradiënten zeldzame maar nuttige update-richtingen onderdrukken, wat zorgt voor kortetermijnvergeten bij elke stap. Wanneer deze onderdrukte richtingen niet opnieuw worden bezocht, stapelen de verliezen zich op tot langetermijnvergeten, de klassieke foutmodus van continual learning.

Bestaande oplossingen behandelen standaard training en taak-sequentiële CL vaak als afzonderlijke problemen. Gradiënt-interferentiemethoden (bijv. OGD, GEM) proberen conflicten op te lossen, maar vertrouwen vaak op het opslaan van ruwe data of full-rank gradiënt-bases, wat niet schaalbaar is naar miljardenparameters-modellen. Daarentegen verbeteren matrix-bewuste optimizers (bijv. Muon) de conditionering via orthogonalisatie, maar missen zij mechanismen om historische update-richtingen expliciet over de tijd te behouden.

2. Methodologie: FOGO

De auteurs introduceren FOGO, een schaalbare optimizer ontworpen om gradiënt-interferentie continu te detecteren en op te lossen in zowel standaard als continual learning-regimes. FOGO werkt zonder ruwe data op te slaan, door gebruik te maken van een compacte, geprojecteerde geheugen van gradiënt-richtingen.

Kernmechanismen

Spectrale Orthogonalisatie:
FOGO orthogonaliseert momentum-updates om te voorkomen dat dominante singuliere richtingen het optimalisatiepad monopoliseren. Door het singuliere spectrum af te vlakken (met behulp van Newton–Schulz iteraties), zorgt het ervoor dat zwakkere maar coherente update-richtingen zichtbaar blijven en bijdragen aan de update, in plaats van te worden overschreven door hoog-energetische modi.
Dual-Stream Momentum:
Om zowel stabiele trends als opkomende richtingen te vangen, onderhoudt FOGO twee momentum-toestanden:
- Slow Stream ( $B^{(s)}$ ): Vangt persistente trends.
- Fast Stream ( $B^{(f)}$ ): Volgt recente veranderingen.
  Deze worden gefuseerd via sferische interpolatie (SLERP) om een balans te vinden tussen plasticiteit en stabiliteit.
Compacte Directionale Geheugen via Random Projectie:
In plaats van ruwe gradiënten op te slaan, projecteert FOGO hoog-dimensionale updates naar een laag-dimensionale ruimte ( $d \ll |\theta|$ ) met behulp van een vaste Rademacher random projectiematrix $\Pi$ .
- Theoretische Basis: Door gebruik te maken van de Johnson–Lindenstrauss lemma, behoudt deze projectie de paarafstand tussen gradiënt-vectoren met een hoge waarschijnlijkheid, waardoor de geometrische structuur van de gradiëntverdeling behouden blijft.
- Codeboek: De geprojecteerde updates worden samengevat in een sferisch codeboek (centra) met behulp van Exponential Moving Average (EMA) statistieken. Dit codeboek fungeert als een geheugen van representatieve voorbije richtingen.
Conflictresolutie:
Bij elke stap vergelijkt FOGO de huidige orthogonal georthogonaliseerde update met het codeboek om conflicten op te lossen:
- Kortetermijnfiltering: Identificeert en onderdrukt componenten die tegenovergesteld (conflicterend) zijn met opgeslagen richtingen of te sterk uitgelijnd (met risico op instorting) zijn met dominante lokale richtingen. Dit wordt bereikt via een lichtgewicht orthogonal correctie in de geprojecteerde ruimte.
- Langetermijnbescherming: Nadat een taak is voltooid, worden belangrijke centra bevroren met belangstelling-gewichten (importance weights). Tijdens opeenvolgende taken worden updates zodanig beperkt dat ze nagenoeg orthogonal blijven aan deze bevroren richtingen, wat het catastrofaal vergeten van gevoelige kennis uit het verleden voorkomt.
Proximal Lifting:
Omdat de random projectie $\Pi$ niet inversibel is, wordt de gecorrigeerde update in de geprojecteerde ruimte teruggebracht naar de oorspronkelijke hoog-dimensionale parameterruimte via een proximal least-squares stap. Dit zorgt ervoor dat de correctie consistent is met de geprojecteerde restricties, terwijl de vervorming in de oorspronkelijke ruimte wordt geminimaliseerd.

3. Belangrijkste Bijdragen

Verenigd Visie op Vergeten: Het artikel herformuleert vergeten als een algemeen optimalisatieprobleem dat voortvloeit uit gradiënt-interferentie in zowel standaard als continual learning, in plaats van een afzonderlijk CL-probleem.
Schaalbare Optimizer-Level Geheugen: FOGO introduceert een geheugenmechanisme dat volledig opereert in een laag-dimensionale geprojecteerde ruimte. Dit maakt het mogelijk om de gradiënt-geometrie en conflictresolutie te volgen zonder ruwe data op te slaan of dure full-rank decomposities uit te voeren, wat het schaalbaar maakt voor grote modellen (bijv. LLaVA-7B, GPT-2).
Dual-Mechanism Design: De combinatie van spectrale orthogonalisatie (om zeldzame richtingen bloot te leggen) en directionaal geheugen (om deze te behouden) adresseert zowel kortetermijnonderdrukking als langetermijnaccumulatie van vergeten.
Theoretische Garanties: Het artikel biedt een theoretische analyse (Theorem 1, Corollaries 2 & 3) die aantoont hoe off-subspace richtingen worden onderdrukt onder standaard momentum en hoe de geheugenbescherming van FOGO geleerde richtingen behoudt terwijl onbeperkte subruimten vrij blijven voor adaptatie.

4. Experimentele Resultaten

FOGO werd geëvalueerd over vier verschillende settings en presteerde consequent beter dan Adam en Muon (en andere CL-baselines zoals UPGD, CBP, FIRE):

Klasse-imbalans Classificatie (CIFAR-10): In een setting met 5 zeldzame klassen (10% data), verbeterde FOGO de nauwkeurigheid van zeldzame klassen met ~2–3% en verminderde het het vergeten van zeldzame klassen met ~6% vergeleken met Adam en Muon. Ablatie-studies bevestigden dat kortetermijnfiltering de primaire drijfveer van deze verbetering is.
Continual Visual Learning:
- Domain-IL (PACS): FOGO bereikte het laagste gemiddelde vergeten (AF) zonder replay, waarbij het Muon met 2,67 punten versloeg in AF. Met replay (ER) verbeterde het de prestaties verder.
- Class-IL (CIFAR-10): FOGO behaalde een hogere nauwkeurigheid en minder vergeten dan Adam, Muon en UPGD.
Continual Fine-tuning (LLaVA-7B): Op de Continual VisualQA benchmark (10 reasoning taken), verbeterde FOGO de gemiddelde prestaties met ~2 punten en verminderde het het totale vergeten met ~10 punten vergeleken met AdamW en Muon. Analyse toonde aan dat FOGO een meer gebalanceerde expert feature variantie induceert, wat expert-instorting (expert collapse) mitigeert.
Taal Pretraining (GPT-2): Tijdens standaard unsupervised pretraining op OpenWebText convergeerde FOGO sneller dan Adam en Muon, met name in de beginfase (eerste 30K stappen), wat wijst op voordelen zelfs in niet-continual settings.

5. Betekenis en Claims

Het artikel claimt dat vergeten een algemeen optimalisatieprobleem is dat oplosbaar is op het niveau van de optimizer. Door gradiënt-interferentie op te lossen via spectrale orthogonalisatie en een compact, data-vrij directionaal geheugen, biedt FOGO een praktische route naar het behoud van kennis in zowel standaard als continual learning scenario's.

De auteurs benadrukken dat hun aanpak geen opslag van ruwe data of vorige model-snapshots vereist, wat het geschikt maakt voor grootschalige modellen waar geheugen een beperkende factor is. Hoewel FOGO een bescheiden computationele overhead introduceert vergeleken met Adam (door dual-stream orthogonalisatie en projectie-operaties), stellen de auteurs dat dit acceptabel is gezien de consistente winst in convergentie, prestaties en kennisbehoud. Het werk suggereert dat toekomstige oplossingen voor vergeten optimalisatiestrategieën moeten integreren met architecturale en data-strategieën, waarbij FOGO de optimalisatie-as adresseert.