CLIP-Guided Multi-Task Regression for Multi-View Plant Phenotyping

Cet article propose un cadre vision-langage guidé par CLIP pour la phénotypage végétal multi-vues, qui améliore significativement la précision de la prédiction de l'âge et du nombre de feuilles en générant des représentations invariantes à l'angle et en conditionnant les caractéristiques visuelles sur des priors textuels de niveau de vue.

L'essentiel

🌱 Le Défi : Comprendre la croissance des plantes sans les toucher

Imaginez que vous êtes un agriculteur moderne. Vous voulez savoir exactement l'âge de vos plantes et combien de feuilles elles ont, sans avoir à les toucher ou à les compter une par une (ce qui prendrait des heures !).

Pour cela, des robots prennent des centaines de photos de chaque plante sous tous les angles possibles : de haut, de bas, de gauche, de droite, en tournant autour comme un paparazzi.

Le problème ?
C'est un vrai chaos visuel !

1. Redondance : Si vous prenez 24 photos en tournant autour d'une plante, 20 d'entre elles se ressemblent énormément. C'est comme prendre 20 selfies de votre nez : inutile de les analyser tous.
2. Confusion : Une plante vue de très près (en bas) peut ressembler à une vieille plante vue de loin (en haut). L'ordinateur se trompe souvent car il ne sait pas d'où il regarde.
3. Données manquantes : Dans la vraie vie, on ne peut pas toujours avoir toutes les 24 photos. Peut-être qu'une branche cache l'objectif, ou que le robot a raté un tour. Les anciens systèmes plantaient le décor dès qu'il manquait une photo.

---

💡 La Solution : Le "Super-Héros" CLIP et son Assistant Texte

Les auteurs de ce papier ont créé une nouvelle méthode qui ressemble à un chef cuisinier très intelligent aidé par un assistant qui connaît la recette.

1. Le Cerveau Visuel (CLIP)

Ils utilisent une technologie appelée CLIP. Imaginez que CLIP est un étudiant qui a lu des millions de livres et vu des milliards de photos. Il ne se contente pas de voir des pixels ; il comprend ce qu'il voit (une feuille, une tige, un pot).

• L'astuce : Au lieu d'entraîner un cerveau différent pour compter les feuilles et un autre pour l'âge, ils n'utilisent qu'un seul cerveau pour les deux tâches. C'est comme si un seul détective résolvait deux énigmes en même temps en partageant ses indices.

2. L'Assistant Texte (Le Guide de Niveau)

C'est ici que la magie opère. Le système ne regarde pas seulement l'image, il lui donne aussi un indice textuel (une phrase) pour l'aider à se repérer.

• L'analogie : Imaginez que vous essayez de deviner la taille d'un bâtiment. Si je vous dis juste "regardez cette photo", vous pouvez vous tromper. Mais si je vous ajoute : "Attention, cette photo a été prise depuis le 3ème étage", vous comprenez tout de suite pourquoi le toit semble petit ou pourquoi les fenêtres paraissent grandes.
• Dans leur système, ils ajoutent une phrase comme : "Plante vue au niveau 3". Cela aide l'ordinateur à distinguer ce qui est dû à la croissance de la plante de ce qui est dû à l'angle de la caméra.

3. La Fusion (Le Smoothie)

Le système prend les 24 photos (qui se ressemblent) et les mélange en une seule "représentation" moyenne, comme faire un smoothie avec tous les fruits pour avoir le goût global sans les pépins. Ensuite, il mélange ce "smoothie visuel" avec l'indice textuel.

---

🚀 Les Résultats : Pourquoi c'est génial ?

Grâce à cette méthode, ils ont testé leur système sur le célèbre défi "GroMo25" (une compétition pour compter les plantes).

• Moins d'erreurs : Avant, l'ordinateur se trompait de 7,7 jours sur l'âge moyen des plantes. Avec leur méthode, l'erreur tombe à 3,9 jours. C'est presque deux fois plus précis ! Pour le nombre de feuilles, c'est la même chose : l'erreur est divisée par deux.
• Robuste aux accidents : C'est le point le plus fort. Si vous enlevez 50 % des photos (comme si le robot avait raté la moitié des tours), l'ancien système paniquait et donnait des résultats nuls. Le nouveau système, lui, reste calme. Il utilise l'indice textuel pour deviner ce qu'il manque et continue de fonctionner correctement.
• Économie d'énergie : Au lieu d'avoir deux machines lourdes (une pour l'âge, une pour les feuilles), ils n'en ont qu'une seule, plus légère et plus rapide.

🎯 En résumé

Ce papier propose de remplacer un système complexe et fragile par un système unique et intelligent.
C'est comme passer d'un détective qui a besoin de 100 témoins pour résoudre un crime, à un détective qui, même avec seulement 5 témoins et un indice sur le lieu du crime, arrive à trouver la vérité plus vite et plus précisément.

C'est une avancée majeure pour l'agriculture de précision, permettant de surveiller les cultures de manière plus fiable, même quand les conditions ne sont pas parfaites.

Résumé technique

1. Problématique

La phénotypage végétal par imagerie multi-vues est crucial pour l'agriculture de précision, permettant de surveiller non invasivement des traits de croissance tels que l'âge de la plante et le nombre de feuilles. Cependant, l'apprentissage de prédicteurs robustes à partir d'images multi-vues (par exemple, 24 vues rotatives à 5 hauteurs différentes) présente plusieurs défis majeurs :

• Redondance et corrélation : Les centaines d'images capturées contiennent une forte redondance visuelle et des changements d'apparence dépendants du point de vue.
• Ambiguïté sémantique : L'apparence d'une plante change à la fois avec son stade de croissance et avec la hauteur de la caméra (ex: une jeune plante vue de bas peut ressembler à la base d'une plante mature).
• Incomplétude des données : Les systèmes déployés doivent souvent fonctionner avec des ensembles de vues incomplets ou désordonnés (images manquantes, cadrage utilisateur non contrôlé), ce qui fait échouer les méthodes supposant des entrées denses et ordonnées.
• Architecture lourde : Les approches précédentes utilisent souvent des modèles doubles (un par tâche) ou des heuristiques de sélection de vues, augmentant les coûts de calcul et la propagation des erreurs.

2. Méthodologie

Les auteurs proposent un cadre unifié vision-langage basé sur CLIP (Contrastive Language-Image Pre-training) pour prédire simultanément l'âge et le nombre de feuilles.

A. Prétraitement et Représentation Visuelle

• Localisation (Grounding DINO) : Un modèle Grounding DINO pré-entraîné est utilisé pour localiser la plante et son pot, générant des boîtes englobantes serrées. Cela permet un recadrage adaptatif qui supprime le bruit de fond et se concentre sur les régions sémantiquement pertinentes.
• Encodage CLIP : Les images recadrées sont encodées par l'encodeur visuel de CLIP pour produire des vecteurs d'embeddings de 512 dimensions.
• Agrégation Multi-vues : Pour chaque niveau de hauteur, les 24 vues rotatives sont agrégées en calculant leur moyenne élémentaire. Cela crée une représentation invariante à l'angle ($\bar{E}_{level}$), réduisant la redondance et améliorant la robustesse face aux vues manquantes.

B. Fusion Multimodale et Conditionnement par Niveau

L'innovation centrale réside dans l'intégration d'informations textuelles pour guider la régression :

• Conditionnement Textuel : Pour chaque niveau de hauteur (1 à 5), un embedding textuel est généré via l'encodeur texte de CLIP avec le prompt : "a plant at approximately level X".
• Fusion : L'embedding visuel agrégé et l'embedding textuel sont concaténés pour former un vecteur de 1024 dimensions.
• Gestion des Métadonnées Manquantes : Lors de l'inférence, si le niveau de hauteur n'est pas connu, un régresseur auxiliaire (un petit MLP) prédit le niveau le plus probable à partir de l'embedding visuel. Ce niveau prédit est ensuite utilisé pour générer l'embedding textuel approprié, permettant au modèle de fonctionner même sans métadonnées complètes.

C. Architecture Multi-tâches

• Le modèle utilise une seule tête de régression (MLP léger) entraînée de bout en bout pour prédire deux sorties simultanément : l'âge de la plante et le nombre de feuilles.
• La fonction de perte est la somme des erreurs quadratiques moyennes (MSE) pour les deux tâches, favorisant le partage de caractéristiques morphologiques et texturales entre les tâches.

3. Contributions Clés

1. Cadre Unifié Multi-tâches : Remplacement de la paradigme de modèles doubles (un par trait) par un seul modèle partagé, permettant un transfert positif entre l'estimation de l'âge et du nombre de feuilles, tout en simplifiant le pipeline d'inférence.
2. Fusion Multimodale "Aware-Level" : Une stratégie de fusion qui combine les embeddings visuels de CLIP (enrichis par Grounding DINO) avec des priors textuels compacts. Cela permet de dissocier les variations d'apparence dues au point de vue des variations phénotypiques réelles.
3. Robustesse aux Données Incomplètes : Le modèle utilise un estimateur de niveau appris pour fournir un guidage contextuel en temps réel lorsque les métadonnées de hauteur ou certaines vues sont absentes, évitant ainsi l'échec du modèle.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark GroMo25, contenant des données de moutarde, radis et blé.

• Performance Globale :
  • Par rapport à la baseline GroMo, la méthode proposée réduit l'erreur absolue moyenne (MAE) pour l'âge de 7,74 à 3,91 (amélioration de 49,5 %) et pour le nombre de feuilles de 5,52 à 3,08 (amélioration de 44,2 %).
  • Comparé à une baseline unimodale (images seules), l'approche multimodale améliore encore les résultats (MAE âge : 4,12 $\to$ 3,91 ; MAE feuilles : 3,43 $\to$ 3,08).
• Efficacité : Bien que la méthode ViewSparsifier obtienne des résultats légèrement supérieurs en précision pure, l'approche proposée est plus efficace car elle utilise un seul modèle pour deux tâches, contrairement aux solutions nécessitant des modèles séparés.
• Robustesse aux Vues Manquantes :
  • Le modèle multimodal montre une meilleure résilience lorsque des vues sont supprimées.
  • En cas de suppression extrême (ne gardant qu'une seule image), la dégradation de performance du modèle multimodal est de 19,10 %, contre 21,93 % pour le modèle unimodal (soit une robustesse supérieure de 12,9 %).
  • Les prédictions de nombre de feuilles restent stables jusqu'à 70-80 % d'images supprimées.

5. Signification et Conclusion

Ce travail démontre que l'intégration de priors linguistiques (via CLIP) dans des modèles de régression pour la vision par ordinateur est particulièrement efficace pour les tâches agricoles complexes.

• Impact : La méthode résout le problème de la redondance des vues multi-angles et de l'ambiguïté sémantique sans nécessiter d'architectures lourdes ou de sélection de vues pré-calculée.
• Application : Elle permet le déploiement de systèmes de phénotypage plus robustes dans des conditions réelles où les données d'entrée peuvent être incomplètes ou mal ordonnées.
• Futur : Les auteurs envisagent d'étendre ces priors basés sur CLIP à d'autres traits phénotypiques et à des ensembles de données plus hétérogènes.

En résumé, cette approche offre un compromis optimal entre précision, efficacité computationnelle et robustesse, établissant un nouvel état de l'art pour le phénotypage végétal multi-vues.