Hierarchy-Guided Multimodal Representation Learning for Taxonomic Inference

Ce papier présente CLiBD-HiR et CLiBD-HiR-Fuse, deux approches d'apprentissage multimodal guidées par la hiérarchie taxonomique qui améliorent significativement la précision de l'identification de la biodiversité en encodant explicitement la structure biologique et en assurant une robustesse face aux données manquantes ou corrompues.

L'essentiel

Imaginez que vous êtes un grand détective de la nature, chargé d'identifier des millions d'insectes, d'oiseaux ou de plantes à partir de deux types de preuves parfois imparfaites : une photo (qui peut être floue, sombre ou cachée par des feuilles) et un code-barres ADN (qui peut être incomplet, taché ou mal lu).

Le problème, c'est que les méthodes actuelles traitent chaque espèce comme un simple nom sur une liste, sans se soucier de la "famille" à laquelle elle appartient. Si la photo est mauvaise, le détective fait une erreur totale et perd tout.

C'est ici qu'intervient cette nouvelle recherche (présentée à la conférence ICLR 2026) qui propose une approche plus intelligente, comme si on donnait au détective un arbre généalogique pour l'aider à ne pas se perdre.

Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : La liste à plat vs. L'arbre de vie

Imaginez que vous essayez de trouver un livre dans une bibliothèque géante.

• L'ancienne méthode : Tous les livres sont jetés en vrac sur le sol. Si vous cherchez un roman de J.K. Rowling et que vous vous trompez de livre, vous pouvez vous retrouver avec un manuel de plomberie. C'est ce qui arrive quand on ignore la hiérarchie (Ordre > Famille > Genre > Espèce).
• La nouvelle méthode : Les livres sont rangés par étages. Si vous cherchez un roman de Rowling et que vous vous trompez, vous êtes probablement toujours dans le rayon "Fantasy" ou "Auteurs britanniques". Vous ne finissez pas avec un manuel de plomberie !

Les chercheurs appellent cela HiR (Régularisation de l'Information Hiérarchique). Ils forcent l'intelligence artificielle à comprendre que deux insectes du même "Genre" sont plus proches l'un de l'autre que deux insectes de familles différentes, même si leurs photos sont floues.

2. Les Deux Super-Outils (Les deux variantes)

L'équipe a créé deux versions de leur outil, comme deux outils dans une boîte à outils de bricolage :

Outil 1 : Le "Gardien de la Structure" (CLiBD-HiR)

Imaginez que vous dessinez une carte au trésor.

• Sans cet outil, si le vent (le bruit) déplace votre boussole, vous pouvez vous retrouver n'importe où.
• Avec cet outil, vous attachez votre boussole à une chaîne solide qui la relie aux points de repère principaux (la "Famille" ou l'"Ordre").
• Résultat : Même si la photo est très abîmée et que l'IA se trompe sur l'espèce exacte, elle ne fera pas une erreur catastrophique. Elle dira : "Je ne suis pas sûr de l'espèce, mais je suis certain que c'est un coléoptère de cette famille." C'est beaucoup plus utile pour la conservation de la nature.

Outil 2 : Le "Chef d'Orchestre Adaptatif" (CLiBD-HiR-Fuse)

Parfois, vous n'avez qu'une photo. Parfois, vous n'avez que de l'ADN. Parfois, vous avez les deux, mais l'un des deux est de mauvaise qualité.

• Les anciennes méthodes faisaient une moyenne simple (comme mélanger deux smoothies ensemble) : si l'un est pourri, le mélange est pourri.
• Le nouvel outil est comme un chef d'orchestre. Il écoute les deux musiciens (la photo et l'ADN). Si le musicien "Photo" joue faux (image floue), le chef baisse son volume et laisse le musicien "ADN" prendre le lead. Si l'ADN est incomplet, il s'appuie sur la photo.
• Résultat : Le système s'adapte dynamiquement. Il sait quand faire confiance à l'image, quand faire confiance à l'ADN, et quand les combiner intelligemment pour obtenir le meilleur résultat possible, même dans des conditions difficiles.

3. Pourquoi c'est une révolution ?

Dans le monde réel, les données de terrain sont souvent sales :

• Les photos prises dans la jungle sont souvent floues à cause du mouvement.
• Les codes ADN prélevés sur des échantillons anciens peuvent être incomplets.

Cette recherche montre que si on enseigne à l'IA la structure de la vie (qui est parent de qui) et si on lui apprend à combiner intelligemment ses preuves, on peut identifier les espèces avec une précision bien supérieure (plus de 14 % de mieux !), même quand les données sont imparfaites.

En résumé :
Au lieu de demander à une IA de deviner le nom exact d'un animal dans le noir, cette nouvelle méthode lui donne une boussole hiérarchique et un sens de l'adaptation. Cela permet de mieux protéger la biodiversité, car on peut identifier les espèces menacées même avec des données imparfaites collectées par des citoyens ou des robots dans la nature. C'est passer d'un système rigide et fragile à un système flexible et résilient.

Résumé technique

1. Problématique

La recherche sur la biodiversité repose de plus en plus sur des données multimodales à grande échelle (images de spécimens, codes-barres ADN et métadonnées taxonomiques). Cependant, le déploiement réel se heurte à deux défis majeurs :

• Qualité des données imparfaite : Les codes-barres ADN peuvent présenter des lectures partielles, des bases ambiguës ou des artefacts de séquençage, tandis que les images de terrain sont souvent dégradées (flou, occlusion, bruit).
• Limites des approches existantes : Les méthodes multimodales actuelles (comme CLIBD) traitent souvent la taxonomie comme un espace de labels plat (flat label space). Elles ne codent pas explicitement la structure hiérarchique biologique (Ordre → Famille → Genre → Espèce). Cela entraîne une géométrie d'embedding incohérente : des taxons proches ne sont pas nécessairement proches dans l'espace latent, et le bruit peut provoquer des erreurs catastrophiques qui se propagent à tous les niveaux taxonomiques.

L'objectif est donc de développer un modèle fondamental de biodiversité capable d'effectuer une inférence taxonomique robuste, même avec des modalités partielles ou corrompues, en respectant la hiérarchie biologique.

2. Méthodologie

Les auteurs proposent un cadre multimodal end-to-end basé sur l'architecture CLIBD, enrichi par deux variantes principales : CLiBD-HiR et CLiBD-HiR-Fuse.

A. Représentation et Alignement Multimodal

Le modèle utilise trois encodeurs :

• Un encodeur d'images (initialisé sur OpenCLIP ou BioCLIP).
• Un encodeur d'ADN (basé sur DNABERT2).
• Un encodeur de texte (pour les descriptions taxonomiques).
  L'alignement est réalisé via des pertes de contraste symétriques de type InfoNCE (style CLIP) entre les paires (Image-Texte), (ADN-Texte) et (ADN-Image).

B. Régularisation par Information Hiérarchique (HiR)

C'est le cœur de l'innovation (Algorithme 1). Pour corriger l'absence de structure hiérarchique, les auteurs introduisent une perte de régularisation spécifique :

• Contraste Supervisé Hiérarchique : Pour chaque niveau taxonomique $\ell$ (ex: Genre, Famille), les images partageant le même label sont traitées comme des positifs.
• Rectification Hiérarchique : La méthode impose une contrainte stricte : la perte pour un niveau fin (ex: Espèce) ne peut pas être optimisée si la structure du niveau plus grossier (ex: Genre) n'est pas déjà bien organisée. Concrètement, la perte d'une paire positive fine est "clamped" (bornée) par la perte maximale observée au niveau supérieur.
• Résultat : Cela force la géométrie de l'embedding à respecter la hiérarchie ($d_{espèce} < d_{genre} < d_{famille}$). Même si le bruit déplace un échantillon loin de son cluster d'espèce, il reste ancré dans le bon cluster de genre ou de famille, limitant la dérive sémantique.

C. Fusion Adaptative (Algorithme 2)

La variante CLiBD-HiR-Fuse ajoute un module de fusion léger (GatedFusion) entraîné conjointement :

• Ce module prend les embeddings d'image et d'ADN concaténés et apprend à les pondérer dynamiquement via un mécanisme de porte (gating).
• Il permet l'inférence dans trois scénarios : Image seule, ADN seul, ou Image + ADN.
• Il est conçu pour être robuste lorsque l'une des modalités est corrompue, en s'appuyant sur l'espace d'embedding déjà aligné et hiérarchisé.

3. Contributions Clés

1. HiR (Hierarchical Information Regularization) : Une nouvelle fonction objectif qui injecte la hiérarchie taxonomique directement dans l'apprentissage des représentations, améliorant la robustesse au bruit sans nécessiter de données d'entraînement spécifiques au bruit.
2. Deux variantes end-to-end :
   • CLiBD-HiR : Pour un apprentissage de représentations structuré et robuste.
   • CLiBD-HiR-Fuse : Ajoute un prédicteur de fusion adaptatif pour gérer les données manquantes ou dégradées.
3. Validation empirique : Démonstration de gains significatifs sur des benchmarks à grande échelle, en particulier dans des régimes de forte corruption des données.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données BIOSCAN-1M (insectes), avec environ 900k échantillons d'entraînement.

• Robustesse au bruit (Sans fusion) :

  • Comparé à CLIBD de base, CLiBD-HiR améliore l'exactitude globale (Top-1) de 75,5 % à 78,2 % sur des données propres.
  • Sous bruit (ADN corrompu), l'amélioration est spectaculaire : le Top-1 global passe de 40,0 % (CLIBD) à 46,6 % (CLIBD-HiR) pour l'inférence Image→Texte, et de 52,4 % à 66,0 % pour ADN→Texte.
  • Les gains sont particulièrement marqués aux niveaux taxonomiques supérieurs (Famille, Genre), confirmant que la hiérarchie stabilise les prédictions.

• Fusion Multimodale :

  • La fusion apprise (CLiBD-HiR-Fuse) surpasse la simple moyenne des embeddings (Naive Averaging).
  • Dans le scénario le plus réaliste (Image + ADN tous deux bruités), la précision globale Top-1 passe de 85,5 % (moyenne) à 88,0 % (fusion apprise).
  • Le modèle maintient des performances élevées même avec un seul modalité disponible.

5. Signification et Impact

Ce travail démontre que l'intégration explicite de la structure hiérarchique biologique est cruciale pour la robustesse des modèles de fondation en écologie.

• Pratique : Les modèles proposés sont adaptés aux conditions réelles de terrain où les données sont souvent incomplètes ou bruitées.
• Théorique : La méthode HiR offre une nouvelle approche pour contraindre la géométrie des espaces d'embedding multimodaux, dépassant les limites des méthodes de contraste standard qui ignorent la sémantique hiérarchique.
• Avenir : Cela ouvre la voie à des systèmes de surveillance de la biodiversité plus fiables, capables de fournir des prédictions taxonomiques fiables même avec des données de séquençage ou d'imagerie de qualité variable.