🤖 machine learning

FOGO: Forgetting-aware Orthogonalization Optimizer

FOGO est un optimiseur évolutif qui atténue l'oubli à court et à long terme en orthogonalisant spectralement les mises à jour de l'élan et en résolvant les conflits de gradient grâce à une mémoire compacte basée sur la projection aléatoire, améliorant ainsi la convergence et la rétention des connaissances à travers divers scénarios d'entraînement sans stocker de données passées.

Auteurs originaux : Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La « salle surpeuplée »

Imaginez que vous essayez d'apprendre une nouvelle compétence, comme le jonglage. Vous avez un entraîneur (l'optimiseur de l'IA) qui vous dit comment bouger les mains.

Dans l'entraînement standard de l'IA, l'entraîneur prête le plus d'attention aux mouvements les plus faciles et les plus courants. Si vous jonglez avec 100 balles rouges et seulement 1 balle bleue, l'entraîneur passera 99 % de son temps à corriger votre technique pour les balles rouges. La balle bleue est ignorée.

L'article soutient que ce n'est pas seulement un problème lorsque l'on apprend de nouvelles tâches les unes après les autres (Apprentissage Continu). Cela se produit à chaque étape de l'entraînement standard. Les instructions « bruyantes » (données communes) étouffent les instructions « calmes » mais utiles (données rares). Avec le temps, l'IA oublie comment gérer les choses rares parce qu'elles n'ont jamais été revisitées. C'est ce qu'on appelle l'Oubli.

La solution : FOGO (L'entraîneur intelligent)

Les auteurs présentent FOGO, un nouvel « entraîneur » pour l'IA qui résout ce problème. Il ne se contente pas de dire à l'IA quoi faire ; il se souvient de ce que l'IA faisait avant et protège ces souvenirs.

FOGO fonctionne comme un système en trois parties :

1. L'« Égaliseur » (Orthogonalisation Spectrale)

Imaginez un mélangeur de musique où les basses (données communes) sont si fortes qu'elles étouffent le violon (données rares).

Ce que fait FOGO : Il agit comme un égaliseur intelligent. Il aplatit le volume des basses bruyantes pour que le violon puisse être entendu. Il garantit que même les directions d'apprentissage rares et discrètes ont une chance équitable d'influencer le cerveau de l'IA, plutôt que d'être écrasées par les tendances dominantes.

2. Le « Carnet de Notes » (Mémoire de Codebook Compacte)

Habituellement, pour se souvenir du passé, une IA doit stocker d'énormes quantités d'anciennes données (comme une immense bibliothèque d'exemples passés). C'est lent et coûteux.

Ce que fait FOGO : Au lieu de stocker toute la bibliothèque, FOGO garde un petit Carnet de Notes.
- Il utilise une astuce appelée Projection Aléatoire. Imaginez prendre une sculpture 3D complexe et projeter son ombre sur un mur en 2D. Vous perdez certains détails, mais vous conservez la forme et la distance entre les parties.
- FOGO projette les directions d'apprentissage de l'IA dans cet espace d'ombre 2D minuscule. Il note l'« essence » des directions importantes du passé sous forme de points simples (centroïdes) dans ce carnet.
- Comme il ne s'agit que d'un carnet de points, il n'occupe presque pas de place (quelques mégaoctets au lieu de gigaoctets) et est très rapide à lire.

3. Le « Policier de la Circulation » (Résolution de Conflits)

Chaque fois que l'IA essaie d'apprendre quelque chose de nouveau, FOGO vérifie son Carnet de Notes.

La vérification : « Hé, si tu bouges ta main de cette façon (nouvelle instruction), est-ce que tu vas briser le souvenir de la façon dont tu tenais la balle bleue (ancienne instruction) ? »
La correction :
- À court terme : Si le nouveau mouvement est trop similaire à une tendance dominante, FOGO le pousse doucement pour qu'il ne soit pas ignoré en ce moment même.
- À long terme : Si le nouveau mouvement menace d'effacer un souvenir critique d'une tâche précédente, FOGO agit comme un policier de la circulation. Il bloque le mouvement ou le redirige pour qu'il glisse autour du vieux souvenir au lieu de s'y écraser.

Comment cela fonctionne en situation réelle (selon l'article)

Les auteurs ont testé FOGO dans quatre scénarios différents, et il a systématiquement surpassé les entraîneurs standards (Adam et Muon) :

La classe injuste (Apprentissage avec déséquilibre de classes) : Lorsqu'une IA est entraînée sur des données où certaines classes sont rares (comme 10 % des données), l'IA standard oublie ces classes rares. FOGO s'en est beaucoup mieux souvenu, améliorant la précision sur ces articles rares sans nuire aux articles communs.
Le monde changeant de forme (Apprentissage Visuel Continu) : Lorsque l'IA devait apprendre à reconnaître des objets dans différents styles (par exemple, photos, dessins animés, croquis) les uns après les autres, FOGO n'a pas oublié les anciens styles lors de l'apprentissage des nouveaux. Il a mieux conservé ses connaissances que les autres méthodes, même sans stocker d'anciennes images.
Le robot qui parle (Fine-tuning de LLaVA-7B) : Lors du réglage fin d'un grand modèle multimodal (qui voit et parle), FOGO a aidé le robot à se souvenir de la manière de répondre à différents types de questions (comptage, raisonnement, localisation) sans perdre sa capacité à faire les précédentes.
L'apprenant de langue (Pré-entraînement de GPT-2) : Même en apprenant simplement à prédire le mot suivant dans une phrase (entraînement standard), FOGO a appris plus vite et a atteint un taux d'erreur plus bas que les méthodes standard.

L'essentiel

L'article affirme que l'oubli est un problème universel, et pas seulement un problème d'« apprentissage continu ». Cela se produit chaque fois que des données bruyantes étouffent des données discrètes.

FOGO corrige cela en :

S'assurant que les voix discrètes soient entendues (Orthogonalisation).
Gardant une mémoire minuscule et efficace de ce qui compte (Codebook par Projection Aléatoire).
Vérifiant chaque étape pour s'assurer que le nouvel apprentissage n'efface pas l'ancien apprentissage (Résolution de Conflits).

Le résultat est une IA qui apprend plus vite, se souvient de plus de choses, et n'a pas besoin d'un disque dur massif rempli d'anciennes données pour le faire.

Résumé Technique : FOGO (Forgetting-aware Orthogonalization Optimizer)

1. Énoncé du Problème

L'article soutient que l'oubli n'est pas simplement un mode de défaillance spécifique à l'apprentissage continu (CL), mais un phénomène d'optimisation fondamental inhérent à l'entraînement stochastique standard. Les auteurs postulent que lors d'un entraînement standard, les gradients des mini-lots dominants suppriment les directions de mise à jour rares mais utiles, provoquant un oubli à court terme à chaque étape. Lorsque ces directions supprimées ne sont pas revisitées, les pertes se cumulent pour devenir un oubli à long terme, qui est le mode de défaillance classique de l'apprentissage continu.

Les solutions existantes traitent souvent l'entraînement standard et l'apprentissage séquentiel par tâches comme des problèmes distincts. Les méthodes d'interférence de gradient (ex: OGD, GEM) tentent de résoudre les conflits mais reposent souvent sur le stockage de données brutes ou de bases de gradient de rang complet, ce qui ne passe pas à l'échelle pour les modèles de plusieurs milliards de paramètres. Inversement, les optimiseurs conscients des matrices (ex: Muon) améliorent le conditionnement via l'orthogonalisation mais manquent de mécanismes pour préserver explicitement les directions de mise à jour historiques au fil du temps.

2. Méthodologie : FOGO

Les auteurs introduisent FOGO, un optimiseur évolutif conçu pour détecter et résoudre continuellement l'interférence de gradient à la fois dans les régimes d'apprentissage standard et continu. FOGO fonctionne sans stocker de données brutes, en s'appuyant plutôt sur une mémoire projetée compacte des directions de gradient.

Mécanismes Fondamentaux

Orthogonalisation Spectrale :
FOGO orthogonalise les mises à jour de l'élan (momentum) pour empêcher les directions singulières dominantes de monopoliser la trajectoire d'optimisation. En aplatissant le spectre singulier (en utilisant des itérations de Newton–Schulz), il garantit que les directions de mise à jour plus faibles mais cohérentes restent visibles et contribuent à la mise à jour, plutôt que d'être écrasées par les modes à haute énergie.
Élan à Double Flux (Dual-Stream Momentum) :
Pour capturer à la fois les tendances stables et les directions émergentes, FOGO maintient deux états d'élan :
- Flux Lent ( $B^{(s)}$ ) : Capture les tendances persistantes.
- Flux Rapide ( $B^{(f)}$ ) : Suit les changements récents.
  Ces flux sont fusionnés via une interpolation sphérique (SLERP) pour équilibrer plasticité et stabilité.
Mémoire Directionnelle Compacte via Projection Aléatoire :
Au lieu de stocker les gradients bruts, FOGO projette les mises à jour de haute dimension dans un espace de faible dimension ( $d \ll |\theta|$ ) en utilisant une matrice de projection aléatoire de Rademacher fixe $\Pi$ .
- Base Théorique : En exploitant le lemme de Johnson–Lindenstrauss, cette projection préserve les distances par paires entre les vecteurs de gradient avec une haute probabilité, maintenant la structure géométrique de la distribution des gradients.
- Codebook : Les mises à jour projetées sont résumées en un codebook sphérique (centroïdes) en utilisant des statistiques de moyenne mobile exponentielle (EMA). Ce codebook agit comme une mémoire des directions passées représentatives.
Résolution de Conflit :
À chaque étape, FOGO compare la mise à jour orthogonalisée actuelle au codebook pour résoudre les conflits :
- Filtrage à Court Terme : Identifie et supprime les composantes qui sont anti-alignées (en conflit) avec les directions stockées ou excessivement alignées (risquant l'effondrement) avec les directions locales dominantes. Ceci est réalisé via une correction orthogonale légère dans l'espace projeté.
- Protection à Long Terme : Après l'achèvement d'une tâche, les centroïdes importants sont gelés avec des poids d'importance. Lors des tâches suivantes, les mises à jour sont contraintes de rester presque orthogonales à ces directions gelées, empêissant l'oubli catastrophique des connaissances sensibles des tâches passées.
Levage Proximal (Proximal Lifting) :
Puisque la projection aléatoire $\Pi$ n'est pas inversible, la mise à jour corrigée dans l'espace projeté est remontée vers l'espace de paramètres de haute dimension originale via une étape de moindres carrés proximale. Cela garantit que la correction est cohérente avec les contraintes projetées tout en minimisant la distorsion dans l'espace original.

3. Principales Contributions

Vision Unifiée de l'Oubli : L'article recadre l'oubli comme un problème d'optimisation général découlant de l'interférence de gradient, tant dans l'apprentissage standard que continu, plutôt que comme un problème de CL distinct.
Mémoire au Niveau de l'Optimiseur et Évolutive : FOGO introduit un mécanisme de mémoire qui opère entièrement dans un espace projeté de faible dimension. Cela permet de suivre la géométrie du gradient et la résolution de conflits sans stocker de données brutes ou effectuer de décompositions coûteuses de rang complet, ce qui le rend adaptable aux grands modèles (ex: LLaVA-7B, GPT-2).
Conception à Double Mécanisme : La combinaison de l'orthogonalisation spectrale (pour exposer les directions rares) et de la mémoire directionnelle (pour les préserver) traite à la fois la suppression à court terme et l'accumulation de l'oubli à long terme.
Garanties Théoriques : Le papier fournit une analyse théorique (Théorème 1, Corollaire 2 & 3) démontrant comment les directions hors-sous-espace sont supprimées sous un élan standard et comment la protection de la mémoire de FOGO préserve les directions apprises tout en laissant les sous-espaces non contraints libres pour l'adaptation.

4. Résultats Expérimentaux

FOGO a été évalué à travers quatre configurations distinctes, surpassant systématiquement Adam et Muon (ainsi que d'autres bases de comparaison CL comme UPGD, CBP, FIRE) :

Classification avec Déséquilibre de Classes (CIFAR-10) : Dans un contexte de 5 classes rares (10 % de données), FOGO a amélioré la précision des classes rares d'environ 2 à 3 % et a réduit l'oubli des classes rares d'environ 6 % par rapport à Adam et Muon. Les études d'ablation ont confirmé que le filtrage à court terme est le principal moteur de cette amélioration.
Apprentissage Visuel Continu :
- Domain-IL (PACS) : FOGO a obtenu l'oubli moyen (AF) le plus bas sans replay, surpassant Muon de 2,67 points en AF. Avec le replay (ER), il a encore amélioré ses performances.
- Class-IL (CIFAR-10) : FOGO a atteint une précision plus élevée et un oubli moindre que Adam, Muon et UPGD.
Fine-tuning Continu (LLaVA-7B) : Sur le benchmark de VisualQA continu (10 tâches de raisonnement), FOGO a amélioré la performance moyenne d'environ 2 points et a réduit l'oubli total d'environ 10 points par rapport à AdamW et Muon. L'analyse montre que FOGO induit une variance de caractéristique d'expert plus équilibrée, atténuant l'effondrement des experts.
Pré-entraînement de Langage (GPT-2) : Lors du pré-entraînement non supervisé standard sur OpenWebText, FOGO a convergé plus rapidement qu'Adam et Muon, particulièrement lors des premières étapes (30 000 premières étapes), suggérant des bénéfices même dans des contextes non continus.

5. Signification et Revendications

L'article affirme que l'oubli est un problème d'optimisation général soluble au niveau de l'optimiseur. En résolvant l'interférence de gradient par l'orthogonalisation spectrale et une mémoire directionnelle compacte sans données, FOGO offre une voie pratique pour conserver les connaissances dans les scénarios d'apprentissage standard et continu.

Les auteurs soulignent que leur approche ne nécessite pas de stocker des données brutes ou des instantanés précédents du modèle, ce qui la rend adaptée aux modèles à grande échelle où la mémoire est une contrainte. Bien que FOGO introduise un surcoût de calcul modeste par rapport à Adam (en raison de l'orthogonalisation à double flux et des opérations de projection), le papier soutient que cela est acceptable compte tenu des gains constants en convergence, performance et rétention de connaissances. Ce travail suggère que les futures solutions à l'oubli devraient intégrer des stratégies d'optimisation avec des stratégies architecturales et de données, FOGO traitant l'axe de l'optimisation.