HyCal: A Training-Free Prototype Calibration Method for Cross-Discipline Few-Shot Class-Incremental Learning

1. Problématique et Contexte

Le papier s'attaque aux limites des méthodes actuelles d'Apprentissage Continu à Few-Shot (FSCIL) lorsqu'elles sont appliquées à des données provenant de disciplines hétérogènes (par exemple, imagerie médicale, textures, vues aériennes, nature).

• Limites des approches existantes : La plupart des méthodes FSCIL supposent des domaines visuels homogènes et des distributions de données équilibrées. Or, dans le monde réel, les données proviennent de disciplines variées avec des complexités visuelles différentes et des disponibilités d'échantillons très inégales.
• Le concept de « Gravité de Domaine » (Domain Gravity) : Les auteurs identifient un biais structurel nouveau appelé Domain Gravity. Il s'agit d'une asymétrie représentationnelle où les domaines sur-représentés (ou à faible entropie visuelle) exercent une influence disproportionnée sur l'espace d'embedding partagé. Cela entraîne un dérive des prototypes (prototype drift) et une dégradation des performances sur les domaines sous-représentés ou à haute entropie.
• Le défi XD-VSCIL : Pour capturer cette réalité, les auteurs définissent un nouveau cadre d'évaluation : le Cross-Discipline Variable Few-Shot Class-Incremental Learning (XD-VSCIL). Ce cadre implique l'apprentissage séquentiel de nouvelles classes provenant de disciplines distinctes, avec un nombre de classes et d'échantillons par classe variables, créant ainsi des déséquilibres de données sévères.

2. Méthodologie : HYCAL

Pour résoudre le problème de la Gravité de Domaine sans réentraîner le modèle (ce qui serait coûteux et risquerait l'oubli catastrophique), les auteurs proposent HYCAL (Hybrid Prototype Calibration).

• Approche sans entraînement (Training-Free) : HYCAL opère sur les embeddings d'un modèle pré-entraîné CLIP (Vision-Language Model) qui reste figé (frozen). Aucune mise à jour des paramètres du backbone n'est effectuée.
• Calibration Hybride : La méthode combine deux mesures de distance géométriques complémentaires pour calculer la similarité entre un échantillon de test et les prototypes de classe :
  1. Similarité Cosinus : Capture l'alignement directionnel global. Elle est robuste aux changements de domaine mais peut être insuffisante pour distinguer des classes avec des variances différentes.
  2. Distance de Mahalanobis : Prend en compte la magnitude et la structure de covariance spécifique au domaine. Elle corrige les biais liés à la densité des données et à l'entropie.
• Fusion Dynamique : Au lieu d'utiliser une seule métrique, HYCAL calcule un score final par une somme pondérée dynamique :
  $$c_{pred} = \arg \max_{c} [w_c \cdot d_{maha} + (1-w_c) \cdot s_{cos}]$$
  Le poids $w_c$ est ajusté dynamiquement en fonction du nombre d'échantillons disponibles pour la classe ($K_c$). Cela permet au système de s'adapter : privilégier la distance de Mahalanobis lorsque les données sont suffisantes pour estimer la covariance, et la similarité cosinus lorsque les données sont très rares.
• Construction des Prototypes : Pour chaque nouvelle classe, le prototype est défini par la moyenne des embeddings fusionnés (image + texte) et une matrice de précision régularisée pour assurer la stabilité en régime few-shot.

3. Contributions Clés

1. Définition de la « Gravité de Domaine » : Identification et formalisation d'un biais structural majeur dans l'apprentissage continu cross-discipline, où les domaines dominants déforment l'espace de représentation au détriment des autres.
2. Benchmark XD-VSCIL : Introduction d'un nouveau protocole d'évaluation réaliste combinant hétérogénéité des domaines, déséquilibre des données et contraintes few-shot, utilisant huit jeux de données variés (de l'aéronautique à la biologie).
3. Méthode HYCAL : Proposition d'une méthode de calibration de prototypes sans entraînement, combinant théoriquement et empiriquement la similarité cosinus et la distance de Mahalanobis pour contrer l'asymétrie représentationnelle.
4. Preuve de Complémentarité : Démonstration théorique (via l'information mutuelle et l'indépendance statistique sous hypothèse isotrope) et empirique que ces deux mesures fournissent des informations non redondantes, améliorant la discrimination globale.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles CLIP ViT-B/16 figés, comparant HYCAL à des méthodes de pointe (RanPAC, FeCAM, KLDA) et à une méthode entraînable (Primal-RAIL).

• Performance Supérieure : HYCAL surpasse systématiquement les méthodes existantes, en particulier dans le scénario difficile de déséquilibre à grande échelle (High-Scale Domain Imbalance).
  • Dans le scénario déséquilibré, HYCAL améliore la précision moyenne de plus de 4,5 points de pourcentage par rapport à la meilleure méthode training-free (RanPAC).
  • Elle maintient une performance robuste même sur les domaines à faible nombre d'échantillons (ex: OrganMNIST, Aircraft) où les autres méthodes échouent ou oublient les connaissances précédentes.
• Robustesse au Déséquilibre : Contrairement aux méthodes qui souffrent d'une dégradation sévère lorsque le rapport d'échantillons entre domaines est déséquilibré (ex: 1:9), HYCAL maintient un équilibre entre rétention (mémoire des anciennes classes) et adaptation (apprentissage des nouvelles).
• Efficacité : Étant training-free, HYCAL est extrêmement efficace en termes de calcul et de mémoire. Elle n'ajoute pas de paramètres au modèle et ne nécessite pas de rétropropagation, ce qui la rend idéale pour le déploiement continu.
• Métrique SCDE : Les auteurs proposent une nouvelle métrique, le Cross-Discipline Efficiency (SCDE), qui évalue l'efficacité globale en pondérant l'adaptabilité et la précision finale. HYCAL obtient les meilleurs scores SCDE sur tous les benchmarks.

5. Signification et Impact

Ce travail est significatif car il déplace le paradigme de l'apprentissage continu vers des scénarios réalistes et hétérogènes, souvent ignorés par la recherche actuelle qui se concentre sur des domaines uniformes.

• Praticité : En évitant le réentraînement du backbone, HYCAL offre une solution scalable et économe en énergie pour l'intégration de nouvelles disciplines visuelles dans des systèmes existants.
• Théorie : La notion de Domain Gravity offre un nouveau cadre théorique pour comprendre pourquoi les modèles pré-entraînés échouent dans des environnements déséquilibrés, ouvrant la voie à de futures recherches sur la correction de biais représentationnels.
• Généralité : La méthode démontre que la combinaison intelligente de métriques géométriques simples (cosinus + Mahalanobis) sur des embeddings figés peut surpasser des approches complexes nécessitant de l'ajustement fin (fine-tuning), surtout dans des régimes de données rares.

En résumé, HYCAL propose une solution élégante et efficace pour rendre l'apprentissage continu robuste face à la diversité et au déséquilibre inhérents aux données du monde réel, en exploitant la complémentarité des mesures géométriques sans coût computationnel supplémentaire.