🤖 machine learning

BOFA: Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning

Le papier propose BOFA, un cadre efficace en termes de paramètres pour l'apprentissage incrémentiel de classes qui adapte les modèles CLIP en confinant les mises à jour à la couche de pont via une fusion orthogonale de bas rang pour prévenir l'oubli et emploie des prototypes hybrides cross-modaux pour améliorer les performances de classification sans coûts d'inférence supplémentaires.

Auteurs originaux : Lan Li, Tao Hu, Da-Wei Zhou, Jia-Qi Yang, Han-Jia Ye, De-Chuan Zhan

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lan Li, Tao Hu, Da-Wei Zhou, Jia-Qi Yang, Han-Jia Ye, De-Chuan Zhan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire brillant et omniscient nommé CLIP. Ce bibliothécaire a lu des millions de livres et regardé des millions d'images, il sait donc associer presque instantanément l'image d'un « chat » avec le mot « chat ». Cependant, CLIP a un problème : il est un peu rigide. Si vous lui demandez d'apprendre un tout nouvel animal (par exemple, un « ornithorynque ») qui ne figurait pas dans son entraînement d'origine, il a du mal à mettre à jour ses connaissances sans oublier accidentellement comment reconnaître le « chien » ou le « chat » qu'il connaissait déjà.

C'est le défi de l'Apprentissage Classé-Incrémental (CIL) : enseigner à un modèle de nouvelles choses une par une sans oublier les anciennes.

L'article présente une nouvelle méthode appelée BOFA (Bridge-layer Orthogonal Fusion for Adaptation) pour résoudre cela. Voici comment cela fonctionne, expliqué par des analogies simples :

1. Le Problème : Le désastre de la « Rénovation »

Habituellement, quand nous voulons apprendre de nouvelles choses à CLIP, nous essayons d'ajouter une petite « extension » à la bibliothèque (comme une nouvelle pièce ou un nouvel assistant). L'article soutient que cela est désordonné.

Le Problème : Si vous continuez à ajouter de nouvelles pièces (modules supplémentaires) à la bibliothèque, cela devient coûteux à entretenir, et les nouvelles pièces finissent souvent par écraser les anciennes. Le bibliothécaire devient confus, et soudain, il oublie à quoi ressemble un « chien » parce qu'il est trop occupé à se concentrer sur l'« ornithorynque ».

2. La Solution : Rénover le « Pont » plutôt que la pièce

BOFA adopte une approche différente. Au lieu de construire une nouvelle pièce, il se concentre entièrement sur la rénovation du Pont à l'intérieur de la bibliothèque.

Le Pont : Dans CLIP, il existe une couche spécifique (un « pont ») qui relie le côté image de la bibliothèque au côté texte.
La Stratégie : BOFA dit : « Ajustons simplement le pont lui-même. » En n'ajustant que cette partie existante, nous n'avons pas besoin de construire de nouvelles pièces ni d'embaucher de nouveaux assistants. Cela permet de garder la bibliothèque simple et efficace.

3. La Recette Secrète : La « Sous-zone Sûre » (Fusion Orthogonale de Bas Rang)

Voici la partie délicate. Si vous commencez simplement à repeindre le pont pour l'améliorer pour les « ornithorynques », vous pourriez accidentellement repeindre la section des « chiens ». Comment mettre à jour le pont sans effacer le passé ?

BOFA utilise une astuce mathématique ingénieuse appelée Fusion Orthogonale de Bas Rang (Orthogonal Low-Rank Fusion).

L'Analogie : Imaginez que le pont est une immense piste de danse. Les « connaissances anciennes » (chiens, chats) ont déjà rempli la piste avec des danseurs se déplaçant selon des motifs spécifiques.
La « Zone Sûre » : BOFA calcule une « zone sûre » spéciale et invisible sur la piste de danse où les anciens danseurs ne se déplacent pas. C'est comme trouver un coin calme de la pièce qui est complètement vide.
Le Mouvement : Lorsque le bibliothécaire doit apprendre l'« ornithorynque », BOFA force le nouvel apprentissage à se dérouler uniquement dans ce coin calme et vide.
Le Résultat : La nouvelle danse de l'« ornithorynque » est apprise parfaitement, mais parce qu'elle se déroule dans une direction différente (orthogonale) de la danse du « chien », elle n'entre pas en collision avec les anciens danseurs et ne les efface pas. Les connaissances anciennes restent en sécurité, et les nouvelles connaissances sont ajoutées par-dessus.

4. La Touche Finale : Le Détective « Hybride »

Une fois le pont mis à jour, BOFA doit prendre une décision finale sur ce qu'est une image.

L'Ancienne Méthode : Habituellement, le bibliothécaire se contente de regarder la description textuelle (par exemple, « une photo de chat »).
La Méthode BOFA : BOFA crée un Détective Hybride. Ce détective combine les connaissances générales du bibliothénaire sur les mots (texte) avec les détails frais et spécifiques appris à partir des images (visuels).
Pourquoi cela aide : Parfois, la description textuelle est vague, et parfois, l'image est trompeuse. En fusionnant les deux, le détective devient beaucoup plus aiguisé et moins susceptible de commettre une erreur.

Résumé des Résultats

Les auteurs ont testé BOFA sur de nombreuses différentes « bibliothèques » (des jeux de données comme CIFAR-100, ImageNet, etc.).

Le Résultat : BOFA a systématiquement surpassé les autres méthodes. Il a appris de nouvelles classes plus rapidement, a moins oublié les anciennes classes et n'a pas nécessité de mémoire supplémentaire ou de nouveaux modules complexes.
L'Essentiel : En se concentrant sur le pont existant, en utilisant une « zone sûre » pour protéger les anciens souvenirs et en combinant le texte avec les images, BOFA apprend à l'IA à apprendre continuellement sans l'amnésie habituelle.

En bref, BOFA est comme un maître architecte qui sait exactement comment renforcer les fondations d'un bâtiment pour ajouter de nouveaux étages, sans jamais abattre les murs des étages qui sont déjà là.

Résumé Technique : BOFA (Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning)

Définition du Problème

L'article traite de l'apprentissage incrémental de classes (Class-Incremental Learning - CIL), un contexte où les modèles doivent apprendre de nouvelles classes séquentiellement à partir d'un flux de données sans accès aux données historiques (sans exemplaires/exemplar-free) et sans oublier les connaissances acquises précédemment. Bien que les modèles de vision-langage (VLM) comme CLIP offrent des représentations transférables robustes adaptées au CIL, leur application se heurte à deux défis principaux :

Oubli catastrophique dans les modules d'adaptation : Les stratégies existantes introduisent généralement des modules légers et apprenables (par exemple, des adaptateurs ou des couches de prompts) pour les nouvelles tâches tout en gelant l'architecture de base de CLIP. Cependant, ces modules eux-mêmes souffrent d'un oubli catastrophique lorsqu'ils sont affinés séquentiellement, écrasant ainsi les connaissances cruciales pour les tâches précédentes.
Synergie et efficacité sous-optimales entre les modalités : Les méthodes actuelles reposent souvent sur des prototypes textuels statiques dérivés de prompts pré-conçus, qui peuvent manquer de spécificité pour les concepts visuels fins. De plus, l'ajout de modules externes augmente le coût d'inférence et la complexité du modèle, entravant le déploiement dans des scénarios à ressources limitées.

Méthodologie : Le Cadre BOFA

Les auteurs proposent BOFA (Bridge-layer Orthogonal Fusion for Adaptation), un cadre conçu pour adapter efficacement CLIP tout en atténuant l'oubli. L'approche se compose de trois composantes clés :

1. Affinement de la couche de pont cross-modale (Cross-Modal Bridge-Layer)

Au lieu d'introduire des adaptateurs externes, BOFA restreint toute l'adaptation des caractéristiques principales à la couche de pont cross-modale ( $g_2$ ) existante de CLIP.

Mécanisme : L'ossature visuelle ( $g_1$ ) et l'encodeur de texte ( $g_t$ ) restent gelés. Seule la couche de projection $g_2$ , qui projette les caractéristiques visuelles de haute dimension vers l'espace d'embedding partagé, est affinée.
Avantage : Cela élimine le besoin de paramètres apprenables supplémentaires dans le chemin d'inférence, préservant l'architecture originale du modèle et garantissant un surcoût d'inférence nul par rapport au modèle CLIP de base.

2. Fusion orthogonale de bas rang (Orthogonal Low-Rank Fusion - OLRF)

Pour prévenir l'oubli catastrophique au sein de la couche de pont, BOFA introduit un mécanisme de contrainte novateur qui limite les mises à jour de paramètres à un "Sous-espace de sécurité orthogonal" (Orthogonal Safe Subspace - OSS).

Base théorique : La méthode vise à contraindre la matrice de mise à jour $\Delta W_{new}$ de telle sorte que son effet sur l'espace des caractéristiques des tâches précédentes ( $X_{old}$ ) soit minimisé ( $X_{old}\Delta W_{new} \approx 0$ ).
Construction du sous-espace : Puisque l'espace nul exact des caractéristiques passées est trivial dans les hautes dimensions, les auteurs construisent un espace nul approximatif. Ils calculent la matrice de dispersion cumulative des caractéristiques passées ( $S_{old}$ ) et identifient le sous-espace engendré par les vecteurs propres correspondant aux plus petites valeurs propres. Ce sous-espace représente les directions d'interférence minimale avec les représentations des tâches passées.
Implémentation via une LoRA modifiée : La mise à jour est paramétrée à l'aide d'un schéma d'adaptation de bas rang (Low-Rank Adaptation - LoRA) où la matrice de bas rang $A$ $A$ est fixée à la base de l'OSS ( $P^*$ $P^{*}$ ). Seule la matrice $B$ $B$ est entraînable.
- Initialisation : Pour éviter les difficultés d'optimisation causées par un $A$ gelé, $B$ est initialisée via une approche "pilotée par les données". Une mise à jour "oracle" temporaire est calculée en affinant brièvement la couche de pont complète, et $B$ est initialisée pour minimiser l'écart entre cette mise à jour oracle et la mise à jour projetée au sein de l'OSS.
Mise à jour incrémentale : La matrice de dispersion cumulative est mise à jour de manière incrémentale ( $S_{new} = S_{old} + X_{new}^T X_{new}$ ), évitant ainsi le besoin d'un tampon de rejeu de données (data replay buffer).

3. Prototypes hybrides cross-modaux

Pour améliorer la robustesse de la classification, BOFA dépasse les prototypes textuels statiques.

Construction hybride statique : Pour chaque classe, un prototype est créé par interpolation linéaire du prototype textuel (issu de l'encodeur de texte gelé) et du prototype visuel (dérivé de la moyenne des caractéristiques de haute dimension de la classe).
Raffinement dynamique : À mesure que la couche de pont s'adapte, les représentations visuelles dérivent. BOFA utilise une Moyenne Mobile Exponentielle (EMA) pour mettre à jour continuellement les prototypes visuels pendant l'entraînement. Un raffinement final est effectué après l'apprentissage de toutes les tâches pour aligner les prototypes avec l'état final du modèle.
Inférence hiérarchique : Pour réduire la confusion inter-classes à mesure que le nombre de classes augmente, une stratégie hiérarchique est utilisée. Un ensemble de classificateurs linéaires légers et spécifiques à la tâche sélectionne d'abord un sous-ensemble de classes candidates, sur lequel le classificateur principal effectue ensuite la discrimination.

Principales Contributions

Fusion orthogonale de bas rang : Une nouvelle méthode d'adaptation qui contraint les mises à jour de paramètres au sein de la couche de pont de CLIP à un sous-espace de sécurité orthogonal. Cela atténue l'oubli catastrophique sans nécessiter de paramètres apprenables externes ou de rejeu de données.
Prototypes hybrides cross-modaux : Un mécanisme de classification qui fusionne des sémantiques textuelles stables avec des caractéristiques visuelles dynamiquement raffinées, résultant en un classificateur plus discriminant que les approches unimodales.
Efficacité et Performance : Le cadre atteint des performances de l'état de l'art (SOTA) sur plusieurs benchmarks de CIL tout en conservant le chemin d'inférence original de CLIP, offrant une précision et une efficacité supérieures aux méthodes existantes.

Résultats Expérimentaux

Les auteurs ont évalué BOFA sur neuf jeux de données de référence (incluant CIFAR100, ImageNet-R, CUB200 et SUN397) en utilisant le protocole B-m Inc-n.

Performance : BOFA surpasse systématiquement les méthodes SOTA existantes, y compris les approches basées sur les prompts (L2P, DualPrompt, CODA-Prompt) et les méthodes basées sur les adaptateurs (RAPF), ainsi que les baselines simples d'affinement.
- Par exemple, sur le jeu de données Cars (B0 Inc10), BOFA a atteint une précision moyenne ( $\bar{A}$ ) de 86,41 % et une précision finale ( $A_B$ ) de 79,48 %, dépassant nettement la meilleure méthode suivante, RAPF (82,89 % / 62,85 %).
- Sur ImageNet-R, BOFA a atteint 85,39 % de précision moyenne, surpassant RAPF (81,26 %).
Études d'ablation :
- Fusion orthogonale de bas rang : Le retrait de la contrainte orthogonale (en utilisant une LoRA standard ou un affinement séquentiel) a entraîné des chutes de performance significatives, confirmant que la contrainte spécifique du sous-espace est critique pour équilibrer plasticité et stabilité.
- Prototypes hybrides : Les comparaisons avec les variantes de prototypes purement textuels ou purement visuels ont démontré que la fusion des deux modalités produit une robustesse supérieure à travers différents jeux de données.
Visualisation : Les visualisations t-SNE ont montré que BOFA, avec la fusion orthogonale de bas rang, produit une séparation plus claire entre les caractéristiques des anciennes et des nouvelles classes par rapport aux méthodes sans cette fusion, indiquant une meilleure préservation des connaissances passées.

Signification et Revendications

L'article affirme que BOFA représente une étape importante dans le CIL sans exemplaire en abordant les doubles défis de l'oubli et de l'efficacité.

Pureté Architecturale : En restreignant l'adaptation à la couche de pont existante, BOFA évite l'encombrement ("bloat") des modules externes, ce qui en fait une solution pratique pour le déploiement.
Rigueur Théorique : L'introduction du Sous-espace de Sécurité Orthogonal fournit un mécanisme mathématiquement fondé pour prévenir l'interférence entre les tâches sans dépendre du rejeu de données.
Apprentissage Synergique : Le cadre démontre que l'exploitation de la synergie entre les modalités visuelle et textuelle via des prototypes hybrides conduit à des classificateurs plus discriminants que les approches unimodales.

Les auteurs concluent que cette conception intégrée préserve efficacement les connaissances tout en atteignant des performances discriminantes de niveau SOTA, offrant une solution évolable et efficace pour l'apprentissage continu avec de grands modèles pré-entraînés.