Résumé technique : Reconstruction amodale d'images de fossiles de feuilles

Formulation du problème

Les fossiles de feuilles sont rarement préservés dans leur intégralité ; la roche sédimentaire occulte, fracture ou érode souvent le limbe. Bien que la paléobotanique repose sur la silhouette complète et les réseaux de nervures pour l'identification des espèces et la reconstruction climatique, les méthodes classiques de segmentation sémantique et d'instance ne labellisent que les parties visibles, laissant les tissus manquants non récupérés.

Ce travail traite de la reconstruction amodale de fossiles de feuilles : prédire l'étendue spatiale complète d'une feuille et sa nervation interne à partir d'une seule image RGB où certaines parties sont cachées par la roche. La tâche présente des défis uniques par rapport à la segmentation amodale standard (ex: voitures ou piétons) :

1. Absence de modèles rigides : Chaque spécimen fossile possède une forme organique unique, empêchant le réseau de s'appuyer sur une silhouette canonique.
2. Rareté des données : Les images réelles de fossiles avec des étiquettes pixel par pixel (amodales et de nervation) n'existent pas à l'échelle requise pour entraîner des transformers de prédiction dense, ce qui nécessite un ensemble de données d'entraînement synthétiques et un pontage du fossé de domaine.
3. Structures à faible contraste : Les veines fines sont facilement confondues avec des fissures et des veines minérales dans la matrice rocheuse.
4. Absence d'entrée de masque visible : Contrairement à presque toutes les méthodes amodales antérieures qui nécessitent un masque visible (vérité terrain ou prédit) en entrée pour « faire croître » l'objet, ce cadre suppose qu'aucun masque de ce type n'est disponible. La limite entre la feuille et la roche est souvent ambiguë, et aucun détecteur fiable n'existe pour identifier une « feuille enchâssée dans la roche ».

Méthodologie : AmodalDINO

La solution proposée, AmodalDINO, est un modèle de prédiction dense multi-têtes de bout en bout qui prend une image RGB (et un indice optionnel de région d'intérêt grossière) et produit simultanément quatre masques :

1. Tissu foliaire visible.
2. Feuille amodale complète (incluant les parties cachées).
3. Nervure primaire amodale.
4. Veines de détails fins.

Architecture et choix de conception

Le modèle est construit sur un squelette (backbone) DINOv3 ViT-L/16 et un décodeur DPT. Les auteurs identifient deux choix de conception critiques qui s'écartent des protocoles standards et permettent au modèle d'apprendre les priors de forme structurelle des feuilles :

1. Fine-tuning complet du backbone : Contrairement à la pratique standard consistant à geler le backbone DINOv3 pré-entraîné et à n'entraîner que le décodeur, AmodalDINO effectue un fine-tuning complet du backbone à un faible taux d'apprentissage ($10^{-5}$). Les auteurs soutiennent qu'un backbone gelé ne fait qu'extrapoler une enveloppe générique à basse fréquence. Le dégel des couches permet au modèle d'adapter les caractéristiques à la géométrie spécifique du spécimen, ajustant les marges à la forme réelle tout en préservant les capacités de généralisation.
2. Têtes de nervation auxiliaires : Le modèle attache des têtes auxiliaires pour les nervures primaires et de détails aux côtés des têtes foliaires. Les auteurs postulent qu'un motif de nervation cohérent ne peut être dessiné que sur un limbe cohérent. En supervisant la nervure médiane et les veines, le tronc partagé est contraint de représenter les lobes et les sinus, fournissant un prior structurel qui améliore la fidélité de la forme de la feuille complétée. Cela aide également le modèle à distinguer les vraies veines des fissures de la roche.

Fonction de perte (Loss function)

L'objectif d'entraînement utilise une perte multi-tête orientée vers la complétion :

• BCE pondérée par les contours : Accentue les gradients sur les structures fines et les marges.
• Termes de chevauchement spécifiques aux têtes : Utilise une Dice douce pour les veines visibles/détails et une perte Tversky douce pour les têtes de complétion (feuille amodale/veines) afin de pénaliser davantage la croissance excessive dans la pierre que les pixels manqués.
• Repondération de la complétion : La perte est pondérée à la hausse spécifiquement dans la région occluse (là où la caméra ne voit rien) pour empêcher le modèle de simplement reproduire le masque visible.
• Contraintes structurelles douces : Impose que le masque visible se situe à l'intérieur de la feuille amodale, et que les deux cartes de veines se situent à l'intérieur de la feuille.

Génération de données

En raison de l'absence de données réelles étiquetées, les auteurs ont construit un ensemble de données synthétiques en utilisant la base de données de feuilles dégagées NMNS. Ils ont sélectionné 160 feuilles diverses et de haute qualité, les ont segmentées et ont tracé leur nervation. En utilisant Blender, ces feuilles ont été composées sur des modèles de pierres randomisés avec des poses, des éclairages et des textures variés. La rupture a été simulée via un post-traitement en OpenCV, résultant en 11 000 images d'entraînement. Le modèle est entraîné exclusivement sur ces données synthétiques.

Résultats

Validation synthétique

Sur l'ensemble de validation synthétique réservé, AmodalDINO atteint :

• 95,0 % Dice / 90,5 % IoU pour la feuille amodale.
• 98,5 % Dice pour la feuille visible.
• 65,4 % Dice pour la nervure primaire et 55,3 % Dice pour les veines de détails.
  L'écart entre la performance visible et amodale (8,0 points d'IoU) indique que le modèle effectue une véritable hallucination de tissu caché plutôt qu'une simple reconnaissance.

Transfert vers des fossiles réels

Malgré un entraînement uniquement sur données synthétiques, le modèle transfère efficacement vers des spécimens de fossiles réels. Les résultats qualitatifs montrent que le modèle étend correctement le limbe dans la roche, récupère une nervure médiane cohérente et distingue les feuilles lobées des simples ellipses.

Benchmarks publics (KINS et COCOA-cls)

Pour valider la généralisabilité de l'approche, les auteurs ont dépouillé le modèle de deux têtes (visible et feuille amodale) et supprimé le canal ROI, le testant sur des benchmarks amodaux standards sans aucun apport de masque visible :

• KINS : 85,05 mIoU complet / 66,65 mIoU occlus (le mIoU occlus le plus élevé rapporté dans le tableau).
• COCOA-cls : 80,90 mIoU complet / 38,15 mIoU occlus.
  Les auteurs notent que bien que le modèle soit compétitif sur la région occluse, il reste derrière des méthodes comme Amodal SAM sur COCOA-cls, probablement en raison de l'absence d'un prior de forme catégorique fort dans leur configuration de feuille « sans catégorie ».

Déploiement et quantification

Le modèle a été déployé avec succès de deux manières :

1. Dans le navigateur : Quantifié à 4-bit (réduisant la taille de ~1,27 Go à ~269 Mo) et fonctionnant entièrement hors ligne via ONNX Runtime Web. Il maintient un IoU de 0,910 par rapport à la référence FP32 sur des fossiles réels.
2. Pipeline GPU local : Inclut une calibration basée sur une règle pour l'estimation de la surface et une étape de visualisation générative optionnelle utilisant un modèle de diffusion Flux.2 pour rendre des feuilles « vivantes » basées sur les masques reconstruits.

Contributions clés

1. Formulation du problème : Définition de la tâche de reconstruction amodale conjointe des silhouettes de feuilles et de leur nervation à partir d'une seule image RGB sans entrée de masque visible.
2. Architecture du modèle (AmodalDINO) : Un modèle de bout en en bout ne nécessitant aucun segmentateur d'instance en amont ni masque visible, prédisant conjointement les régions visibles et amodales.
3. Insights de conception : Identification du fait que le fine-tuning complet d'un backbone auto-supervisé (plutement que de le geler) et l'utilisation de têtes structurelles auxiliaires (nervation) sont critiques pour apprendre les priors de forme dans des scénarios de données rares et sans catégorie.
4. Recette reproductible : Fourniture d'un pipeline complet incluant la génération de données synthétiques, un calendrier d'apprentissage à deux taux et un pondérateur de perte spécifique.
5. Déploiement pratique : Démonstration d'un système d'inférence quantifié, basé sur le navigateur, avec calibration par règle et visualisation générative.

Signification et limites

L'article affirme que la méthode proposée réussit à récupérer les parties « invisibles » des fossiles de feuilles, permettant aux paléobotanistes de raisonner sur des organes complets à partir d'observations partielles. La signification réside dans la démonstration qu'un modèle de fondation, lorsqu'il est correctement adapté (backbone dégelé + supervision structurelle), peut extrapoler des formes organiques complexes sans modèles rigides ou masques visibles.

Les auteurs reconnaissent plusieurs limites :

• Hypothèse de la feuille unique : Le modèle suppose implicitement une seule feuille par image ; il fusionne plusieurs spécimens superposés en une seule silhouette, bien qu'il puisse toujours reconnaître des nervures médianes distinctes.
• Écart de domaine : L'entraînement est entièrement synthétique, et bien que le transfert soit bon, la nervation fine sous forte occlusion reste peu fiable.
• Résolution : La résolution fixe de 448x448 compresse l'information originale.
• Visualisation générative : Le rendu de la « feuille vivante » est actuellement destiné à l'illustration et peut halluciner des détails.

Les auteurs concluent que les découvertes fondamentales — le dégel du backbone et l'utilisation de tâches structurelles auxiliaires — peuvent être applicables à d'autres problèmes liés à l'amodalité au-delà de la paléobotanique.