Résumé Technique : FINO – Adapter les modèles de fondation visuels avec les métadonnées

Énoncé du Problème

Les modèles de fondation visuels, bien que puissants sur les images naturelles, subissent souvent une dégradation lorsqu'ils sont appliqués à des domaines scientifiques spécialisés tels que la microscopie biomédicale, l'observation de la Terre, la surveillance de la faune et l'imagerie médicale. Ces domaines présentent des décalages de distribution substantiels pilotés par des variations significatives (ex: géographie, protocoles de coloration) et des facteurs parasites (ex: caractéristiques des capteurs, effets de lot).

Les stratégies d'adaptation standard font face à des limitations importantes dans ces contextes :

• Ajustement Supervisé (Fine-Tuning) : Nécessite des étiquettes spécifiques à la tâche, rares ou coûteuses. Il entraîne souvent un surapprentissage des signaux de la tâche, érodant les capacités de généralisation du modèle et conduisant à de mauvaises performances hors distribution (OOD).
• Adaptation de Domaine Non Supervisée (UDA) : Exploite des données cibles non étiquetées mais reste pilotée par la tâche, risquant un effondrement spécifique à la tâche et échouant à se généraliser à travers divers décalages scientifiques.
• Apprentissage Auto-supervisé (SSL) Pur : Bien que sans étiquettes, l'adaptation SSL standard peut rester sensible aux indices de bas niveau ou aux artefacts contextuels, échouant à distinguer les facteurs sémantiques informatifs du bruit d'acquisition parasite.

Les jeux de données scientifiques sont cependant accompagnés de métadonnées riches (ex: types d'anticorps, pays, horodatage, angle de vue) qui corrèlent avec ces variations. Le défi est d'exploiter ces métadonnées pour adapter les représentations sans étiquettes de tâche, en préservant la structure informative tout en supprimant les facteurs parasites.

Méthodologie : FINO (FIne tuning with NO labels)

Les auteurs proposent FINO, un cadre unifié pour l'adaptation de représentation guidée par les métadonnées. La méthode adapte un modèle de fondation pré-entraîné à un nouveau domaine en utilisant uniquement les données sources et leurs métadonnées associées, sans nécessiter d'étiquettes de tâche, de données de distribution cibles, ou de métadonnées lors de l'inférence.

Architecture Centrale

FINO repose sur la configuration auto-supervisée standard DINO (architecture étudiant-enseignant avec mises à jour par moyenne mobile exponentielle) et l'étend avec un guidage par métadonnées.

1. Partitionnement des Métadonnées : Les types de métadonnées ($t$) sont catégorisés en :
   • Facteurs Informatifs ($M^+$) : Variables que le modèle doit préserver (ex: identité de l'anticorps en microscopie, géographie en observation de la Terre).
   • Facteurs Parasites ($M^-$) : Variables que le modèle doit supprimer (ex: identifiants de plaques, résolution du capteur, effets de lot).
2. Pertes de Guidage par Métadonnées :
   • Métadonnées Discrètes : Pour les métadonnées catégorielles (ex: pays, anticorps), FINO emploie un objectif contrastif basé sur des prototypes. Il maintient une banque de prototypes $\{p_m\}$ pour chaque valeur de métadonnée. L'embedding de l'étudiant est contrasté par rapport au prototype correspondant à sa valeur de métadonnée. Les prototypes sont mis à jour via une EMA des embeddings de l'enseignant. Cette approche passe à l'échelle pour les métadonnées à haute cardinalité sans nécessiter de paires positives/négatives au sein d'un batch.
   • Métadonnées Continues : Pour les valeurs continues (ex: horodatage, angle de vue), un prédicteur apprenable (MLP) est entraîné pour régresser la valeur de la métadonnée à partir de l'embedding, minimisant une perte de régression.
3. Inversion de Gradient pour les Facteurs Parasites : Pour supprimer les facteurs parasites, FINO applique une inversion de gradient à la perte de métadonnée avant qu'elle n'atteigne l'encodeur. Cela encourage l'encodeur à ignorer ces facteurs pendant que la tête de prédiction apprend toujours à les prédire (formulation adversaire).
4. Objectif Global : La perte totale combine les pertes auto-supervisées standard (DINO sur les tokens CLS, iBOT sur les tokens de patch) une term de régularisation (SIGReg), et la somme pondérée des pertes de guidage par métadonnées :
   $$L(x) = L_{DINO}(x) + L_{iBOT}(x) + \lambda_{SIGReg}L_{SIGReg}(x) + \sum_{t \in M^+ \cup M^-} \lambda^{(t)}_{meta} L^{(t)}_{meta}(x)$$
   Notamment, la méthode utilise un hyperparamètre unique et fixe ($\lambda_{meta} = 0.03$) à travers tous les domaines, ne nécessissant aucun réglage extensif.

Protocole d'Entraînement

• Phase 1 : Le backbone pré-entraîné est gelé. Les têtes de métadonnées et les têtes de perte sont initialisées aléatoirement et entraînées pour s'aligner avec l'espace de représentation pré-entraîné. La couche d'embedding de patch est également mise à jour pour s'adapter aux statistiques de pixels du domaine cible.
• Phase 2 : Le backbone est progressivement dégelé et entraîné de bout en bout avec un échauffement de taux d'apprentissage linéaire pour éviter la déstabilisation.

Contributions Clés

1. Cadre Unifié : FINO intègre des métadonnées hétérogènes (discrètes et continues) dans l'apprentissage auto-supervisé sans modifier l'architecture du backbone ni nécessiter de métadonnées lors de l'inférence.
2. Adaptation Sans Étiquette : Il démontre qu'un modèle de fondation visuelle générique peut être spécialisé pour des domaines scientifiques en utilisant uniquement des métadonnées, surpassant l'ajustement supervisé complet qui dépend des étiquettes de tâche.
3. Robustesse et Transfert : La méthode produit des représentations qui sont robustes aux décalages de distribution et agnostiques aux tâches, permettant un transfert efficace entre les jeux de données au sein d'un même domaine (ex: de HPA à OpenCell) même lorsque les définitions de classes diffèrent.
4. Performance de l'État de l'Art : FINO égale ou dépasse les méthodes spécialisées de l'état de l'art (incluant les meilleures solutions Kaggle) sur quatre domaines scientifiques distincts en utilisant une recette partagée unique.

Résultats Expérimentaux

Les auteurs ont évalué FINO sur quatre jeux de données : Human Protein Atlas (HPA), iWildCam, Functional Map of the World (FMoW) et MIMIC-CXR.

• Performance vs. Ajustement Supervisé : FINO a systématiquement surpassé l'ajustement supervisé complet (qui entraîne le backbone et une sonde) sur les métriques OOD. Par exemple, sur HPA, FINO a atteint un F1 de 61.2, dépassant l'ajustement supervisé (52.6) et le SOTA spécialisé (59.4), malgré l'absence d'étiquettes de tâche pour l'adaptation du backbone.
• Performance vs. SSL et UDA : FINO a surpassé l'adaptation auto-supervisée standard (DINO) et les méthodes d'adaptation de domaine non supervisées (CORAL, DANN), qui ont souvent échoué à se généraliser ou ont subi un effondrement sur des jeux de données spécifiques comme iWildCam.
• Régime de Faibles Données : Dans des scénarios avec seulement 1 à 10 % d'étiquettes disponibles pour la sonde en aval, FINO a maintenu des performances élevées (50.9–57.0 %), tandis que l'ajustement supervisé s'est dégradé brutalement.
• Analyse de Représentation : Les visualisations UMAP sur HPA ont montré que FINO organise les caractéristiques selon la variable cible (localisation des protéines) plutôt que selon les facteurs d'acquisition parasites (lignée cellulaire), atteignant une précision k-NN de 83 % sur la localisation contre 75 % sur la lignée cellulaire (comparé à 87 % sur la lignée cellulaire pour le SSL standard).
• Apprentissage par Transfert : Les modèles adaptés par FINO ont transféré avec succès vers des jeux de données non vus au sein du même domaine (ex: HPA $\to$ OpenCell), surpassant à la fois les baselines gelées et l'adaptation supervisée.

Signification et Revendications

L'article pose que les domaines d'application scientifiques constituent un cadre critique et fructueux pour évaluer les modèles de fondation en vision par ordinateur. Les auteurs affirment que :

• Les métadonnées sont une ressource puissante et sous-utilisée : Elles servent de supervision faible efficace pour orienter l'apprentissage auto-supervisé vers des représentations adaptées au domaine et robustes.
• L'adaptation agnostique à la tâche est supérieure : En découplant l'apprentissage de la représentation des étiquettes de tâche spécifiques, FINO évite l'« effondrement » de la généralité souvent observé dans l'ajustement supervisé, produisant des caractéristiques qui sont à la fois plus robustes aux décalages de distribution et plus alignées avec les tâches en aval.
• Scalabilité : La méthode gère des métadonnées hautement granulaires (des milliers de catégories discrètes ou des valeurs continues) sans nécessiter d'ingénierie spécifique au domaine complexe ou de réglage extensif d'hyperparamètres.

Le travail conclut que FINO établit un nouveau paradigme où les modèles de fondation peuvent être spécialisés pour la science en utilisant « les métadonnées que vous possédez déjà », atteignant des performances qui rivalisent ou dépassent les solutions spécialisées sans le fardeau de l'étiquetage spécifique à la tâche.