Résumé Technique : Apprentissage Contrastif à Restriction de Niveau pour la Classification Visuelle Hiérarchique à Grain Fin

1. Énoncé du Problème

Les modèles d'apprentissage contrastif multimodaux, tels que CLIP, ont démontré de fortes capacités de classification visuelle zero-shot en alignant les plongements (embeddings) d'images et de textes. Cependant, ces modèles opèrent généralement sous une hypothèse de labels plats, traitant tous les labels textuels non correspondants comme des exemples négatifs égaux. Cette hypothèse s'effondre lorsqu'elle est appliquée à des espaces de labels à structure hiérarchique (par exemple, les taxonomies biologiques).

Dans les contextes hiérarchiques, l'apprentissage contrastif standard génère des signaux de supervision conflictuels. Par exemple, bien qu'un lion (Panthera leo) et un loup (Canis lupus) soient distincts aux niveaux de l'espèce et du genre, ils partagent des ancêtres de niveau supérieur (par exemple, l'ordre des Carnivora). Dans une configuration contrastive standard à labels plats, le label textuel du « loup » pourrait être traité comme une cible négative pour une image de « lion », même si ils sont sémantiquement compatibles au niveau de l'ordre. Cela crée des faux négatifs à travers les niveaux taxonomiques, menant à une incohérence hiérarchique où le label fin prédit par le modèle n'appartient pas à sa catégorie de niveau supérieur prédite.

2. Méthodologie

Les auteurs proposent un cadre d'Apprentissage Contrastif à Restriction de Niveau conçu pour éliminer les faux négatifs inter-niveaux et assurer une optimisation équilibrée à travers la taxonomie.

2.1. Formulation du Problème

La taxonomie est définie comme un ensemble $\mathcal{T} = (C_1, \dots, C_L)$ avec $L$ niveaux hiérarchiques (du plus grossier au plus fin). Chaque image $x_i$ est associée à un vecteur de labels taxonomiques $t_i = (t_i^1, \dots, t_i^L)$.

• Construction du Texte : Pour chaque niveau $\ell$, un label textuel $y_i^\ell$ est construit contenant le préfixe taxonomique jusqu'à ce niveau : $y_i^\ell = (t_i^1, \dots, t_i^\ell)$.
• Encodage : Les images et les labels textuels sont encodés à l'aide d'encodeurs d'images ($f$) et de texte ($g$) basés sur CLIP pour produire des plongements $v_i$ et $z_i^\ell$, respectivement.

2.2. Perte Contrastive à Restriction de Niveau

Au lieu d'effectuer une perte contrastive conjointe sur tous les niveaux, l'objectif est décomposé en comparaisons indépendantes au sein de chaque niveau taxonomique.

• Comparaison Intra-Niveau : La perte contrastive est calculée séparément pour chaque niveau $\ell$. Un label de niveau espèce est comparé uniquement à d'autres labels de niveau espèce, évitant l'ambiguïté de comparer des espèces à des ordres ou des règnes.
• Supervision Équilibrée par Groupe : Pour gérer les mini-lots où plusieurs images peuvent partager le même label de niveau grossier (par exemple, deux espèces différentes du même Règne), la méthode agrège les labels. Tous les couples image-texte partageant le même label à un niveau spécifique sont traités comme des paires positives.
  • Perte Image-vers-Texte ($L_{I \to T}$) : Calcule la similitude entre un plongement d'image et l'ensemble des plongements de texte uniques à ce niveau.
  • Perte Texte-vers-Image ($L_{T \to I}$) : Calcule la similitude entre une ancre de texte et l'ensemble des plongements d'images partageant ce label.
• Objectif Final : La perte totale est la moyenne des pertes sur l'ensemble des $L$ niveaux :
  $$\mathcal{L} = \frac{1}{L} \sum_{\ell=1}^{L} \mathcal{L}_\ell$$
  Cette pondération égale garantit que les niveaux fins reçoivent une supervision suffisante et ne sont pas dominés par des signaux de niveau grossier à haute confiance.

2.3. Détails d'Implémentation

• Modèle de Base : Le cadre affine BioCLIP (un modèle de fondation pré-entraîné sur l'Arbre de la Vie).
• Données d'Entraînement : Le modèle est entraîné sur TreeOfLife-10M.
• Espaces de Plongement : La méthode est instanciée à la fois dans des espaces Euclidiens et Hyperboliques, ce dernier offrant des avantages potentiels pour représenter les structures hiérarchiques.

3. Contributions Clés

1. Identification des Faux Négatifs : L'article identifie que traiter les labels ancêtre-descendant comme des négatifs dans l'apprentissage contrastif standard crée des signaux conflictuels qui violent l'hypothèse de label plat.
2. Cadre à Restriction de Niveau : Une nouvelle recette d'entraînement qui restreint les comparaisons contrastives aux labels au sein d'un même niveau taxonomique, garantissant des paires positives et négatives bien définies.
3. Conception Équilibrée par Groupe : Un mécanisme pour gérer les collisions de labels dans les mini-lots en traitant tous les échantillons ayant le même label à un niveau spécifique comme des positifs, évitant ainsi le biais vers les catégories grossières fréquentes.
4. Validation Empirique : Une évaluation étendue sur plusieurs benchmarks hiérarchiques démontrant une amélioration de la cohérence et de la précision.

4. Résultats Expérimentaux

Le modèle a été évalué sur trois benchmarks : iNaturalist 2021 (iNat21), Rare Species, et CrypticBio.

4.1. Améliorations de la Précision

• iNat21 : La méthode proposée a amélioré la précision moyenne sur tous les niveaux taxonomiques de 30,47 % par rapport à la ligne de base BioCLIP.
• Comparaison : La méthode a surpassé OpenCLIP, BioCLIP et RCME (une méthode précédente orientée vers la hiérarchie) sur tous les jeux de données.
• Granularité : Des gains significatifs ont été observés aux niveaux intermédiaires (Ordre à Genre), là où la perte contrastive standard souffre typiquement le plus de l'ambiguïté inter-niveaux. Les performances au niveau de l'espèce se sont également améliorées malgré le fait que l'optimisation ne soit pas exclusivement focalisée sur ce niveau.

4.2. Cohérence Hiérarchique

• Inférence Contrainte Top-Down : Sous un protocole strict où les prédictions progressent du plus grossier au plus fin (restreignant les candidats à des descendants valides), la méthode maintient une performance supérieure.
• LCA Normalisé (nLCA) : La variante hyperbolique a obtenu un score nLCA de 0,71 contre 0,43 pour RCME, indiquant que même lorsque le label d'espèce exact est incorrect, la prédiction reste plus proche de la branche taxonomique correcte.
• Comparaison d'Espace : La variante Euclidienne a le mieux performé sur iNat21, tandis que la variante Hyperbolique a montré une plus forte performance sur Rare Species et CrypticBio, particulièrement aux niveaux taxonomiques plus profonds.

4.3. Visualisation

Les visualisations t-SNE des plongements de texte ont révélé que la méthode proposée produit une structure hiérarchique plus claire avec un mélange inter-niveaux réduit par rapport à BioCLIP. Les catégories sœurs sont plus distinctement séparées, et les plongements de niveaux taxonomiques proches forment des groupes cohérents.

5. Signification et Revendications

L'article affirme que le cadre d'Apprentissage Contrastif à Restriction de Niveau proposé résout efficacement le problème de l'incohérence hiérarchique dans les modèles multimodaux. En restreignant les comparaisons à des ensembles de labels mutuellement exclusifs au sein d'un même niveau taxonomique et en équilibrant la supervision à travers les niveaux, la méthode :

• Élimine les signaux de supervision conflictuels causés par les faux négatifs dans les espaces hiérarchiques.
• Améliore simultanément la précision de classification plate et la cohérence hiérarchique.
• Favorise l'émergence de relations hiérarchiques structurées dans l'espace de plongement sans nécessera de fonctions géométriques complexes ou d'architectures spécialisées au-delà de la reformulation contrastive.

Les auteurs soulignent que cette approche est particulièrement efficace pour la classification zero-shot dans des domaines dotés de taxonomies complexes, comme la biodiversité, où le maintien d'une cohérence logique entre les niveaux est crucial pour l'applicabilité réelle.