🤖 AI

TreeAgent: A Generalizable Multi-Agent Framework for Automated Bias Labeling in Forestry via Compiled Expert Rules and Vision-Language Models

Le document présente TreeAgent, un cadre multi-agents généralisable qui combine des modèles vision-langage avec des règles de décision d'experts compilées pour automatiser et mettre à l'échelle l'étiquetage des biais dans la télédétection forestière, réduisant considérablement les coûts d'annotation par les experts tout en maintenant l'interprétabilité et la précision.

Auteurs originaux : Shiyi Chen, Nicholas Saban, Collin Hargreaves, Huiqi Wang

Publié 2026-07-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shiyi Chen, Nicholas Saban, Collin Hargreaves, Huiqi Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous deviez mesurer la hauteur de millions d'arbres dans une forêt pour calculer la quantité de carbone qu'ils stockent. C'est une tâche cruciale pour les politiques climatiques, mais c'est un travail complexe. Vous avez trois façons différentes de mesurer un arbre :

L'équipe de terrain : Un humain s'approche avec un ruban à mesurer (mais il ne peut pas toujours voir le sommet de l'arbre si les feuilles font obstacle).
Le laser aéroporté : Un avion projette des lasers sur les arbres (mais si les impulsions laser sont trop espacées, il pourrait manquer la cime).
Le modèle informatique : Un programme logiciel devine la hauteur en se basant sur les données du laser (mais il peut être perturbé par les ombres ou les lignes de grille).

Ces trois méthodes sont souvent en désaccord. Parfois, l'humain se trompe, parfois le laser se trompe, et parfois l'ordinateur se trompe. Pour corriger cela, les experts forestiers doivent examiner manuellement chaque arbre pour décider pourquoi les mesures divergent. Ils possèdent un manuel de règles spécifique avec sept catégories de « biais » (par exemple, « L'humain a mesuré trop bas » ou « L'ordinateur a manqué le sommet »).

Le Problème :
Cette vérification manuelle est incroyablement lente. Cela prend à un expert environ 5 minutes par arbre. Si vous avez une forêt de millions d'arbres, cette tâche est impossible à terminer. De plus, différents experts peuvent être en désaccord entre eux, rendant les données de référence (« gold standard ») bruitées.

La Solution : TreeAgent
Les chercheurs ont conçu un nouveau système appelé TreeAgent. Voyez-le non pas comme une simple IA « intelligente » essayant de deviner la réponse, mais comme une équipe de travailleurs spécialisés suivant un manuel d'instructions strict et préétabli.

Voici comment l'équipe fonctionne, en utilisant une analogie créative :

1. Le « Manuel de règles » (L'arbre de décision)

Imaginez un diagramme de flux géant et complexe (un arbre de décision) qu'un expert a écrit en langage clair.

Exemple de règle : « Si la différence entre la hauteur laser et la hauteur humaine est inférieure à 2 %, marquez comme "Aucune différence". Sinon, vérifiez le sol. »

Habituellement, si vous voulez qu'un ordinateur suive un manuel de règles, vous devez le coder de manière rigide. Si l'expert change d'avis sur la règle des « 2 % » plus tard, vous devez embaucher un programmeur pour réécrire le code. C'est lent et coûteux.

L'innovation de TreeAgent : Ils ont créé un « Traducteur Universel » (appelé le Neural Rule Transpiler).

L'expert écrit simplement la règle en langage clair.
Le Traducteur convertit instantanément cette phrase en un diagramme de flux structuré et exécutable.
La Magie : Si l'expert change la règle plus tard (par exemple, passer de « 2 % » à « 3 % »), vous mettez simplement la phrase à jour. Le système redessine automatiquement le diagramme de flux. Vous n'avez pas besoin de toucher au code. C'est comme changer la recette dans un livre de cuisine sans avoir à reconstruire la cuisine.

2. Les « Travailleurs » (Le système multi-agents)

Une fois le diagramme de flux construit, le système le parcourt comme un détective résolvant une affaire.

Le Calculateur : Pour les calculs simples (par exemple, « La différence est-elle inférieure à 2 % ? »), un calculateur déterministe rapide effectue le calcul. Pas de supposition, pas d'erreurs.
Le Détective Visuel (VLM) : Parfois, les chiffres ne suffisent pas. Le diagramme de flux peut dire : « Regardez l'image : la cime de l'arbre chevauche-t-elle celle de son voisin ? »
- Ici, le système fait appel à un Modèle de Langage-Vision (VLM). Il s'agit d'une IA capable de « voir » des images et de lire du texte.
- Pour s'assurer que l'IA ne se laisse pas confondre ou n'hallucine pas, le système demande à trois agents d'IA différents de regarder la même image et de voter. Si 2 sur 3 disent « Oui, ils se chevauchent », le système accepte la réponse.

3. Les Résultats

Les chercheurs ont testé cela sur un ensemble de données d'arbres provenant de différentes forêts.

Vitesse : L'ancienne méthode prenait 5 minutes par arbre. TreeAgent prend 0,04 minute (environ 2,4 secondes) par arbre. C'est environ 125 fois plus rapide.
Précision :
- Un modèle informatique standard (entraîné sur des tableaux de données) a réussi environ 36 % des classifications.
- TreeAgent a réussi 67,6 % des cas.
- Bien que ce ne soit pas encore parfait, c'est nettement meilleur que les modèles informatiques standards et beaucoup plus rapide que les humains.

Pourquoi cela importe

L'article soutient que pour les tâches scientifiques complexes où les experts ont des règles claires mais doivent occasionnellement regarder des images, cette approche « Équipe + Manuel de règles » est le compromis idéal.

L'IA pure (qui tente d'apprendre tout de zéro) est souvent une « boîte noire » — on ne sait pas pourquoi elle prend une décision et elle peut être peu fiable.
Les Règles pures (logique codée en dur) sont rigides et difficiles à mettre à jour.
TreeAgent combine le meilleur des deux mondes : il suit strictement la logique de l'expert (on sait donc pourquoi il a pris une décision) mais utilise l'IA uniquement pour les parties qui nécessitent des « yeux » (regarder les images).

Le bémol :
Le système n'est aussi bon que le manuel de règles. Si la règle de l'expert est légèrement erronée, le système la suivra fidèlement. De plus, le « Détective Visuel » (l'IA qui regarde les images) fait encore des erreurs, surtout avec des images de forêts complexes qu'il n'a pas l'habitude de voir. Mais en utilisant un système de vote, ils ont minimisé ces erreurs.

En résumé, TreeAgent est un assistant rapide, transparent et évolutif qui permet aux experts forestiers de passer de la mesure de quelques arbres à celle de millions d'arbres, sans perdre la capacité d'expliquer pourquoi un arbre a été étiqueté d'une certaine manière.

Résumé Technique : TreeAgent – Un cadre multi-agents généralisable pour le marquage automatisé des biais en foresterie

1. Énoncé du Problème

En télédétection forestière, l'estimation précise de la hauteur des arbres est cruciale pour la comptabilité carbone terrestre et les politiques climatiques. Cependant, trois sources de données principales — les mesures de terrain, les nuages de points LiDAR aéroportés et les modèles de hauteur de canopée (CHM) dérivés du LiDAR — présentent des désaccords systématiques, affichant des modes d'erreur distincts. Corriger ces biais nécessite que des experts du domaine étiquettent manuellement chaque arbre selon des règles de diagnostic complexes distinguant sept types de biais. Ce processus est lent (3 à 5 minutes par arbre), incohérent entre les annotateurs et ne peut s'étendre à des inventaires continentaux. De plus, les données de « référence » générées par ces experts contiennent souvent du bruit dû à la variabilité inter-experts, créant un goulot d'étranglement pour l'entraînement des modèles d'apprentissage automatique (ML) supervisés.

Le défi central consiste à automatiser ce processus de marquage tout en maintenant l'interprétabilité et la fidélité des règles définies par les experts, sans dépendre de modèles de deep learning de bout en bout qui rejettent la logique structurelle, ni de modèles de langage (LLM) à invite unique qui manquent de fiabilité.

2. Méthodologie

Le Cadre de Décision Déclaratif Découplé (D3)

Les auteurs proposent le cadre Decoupled Declarative Decision (D3), qui sépare le quoi d'une décision (la logique) du comment elle est exécutée. Ce cadre permet une généralisation sans modification sur divers types de structures de décision définies par des experts.

Inventaire des Primitives Logiques (LPI) : Un vocabulaire fixe et fini de primitives d'exécution atomiques ( $V$ $V$ ) partitionné en trois types :
- Nœuds Déterministes ( $V_{det}$ ) : Se résolvent via des prédicats arithmétiques de forme fermée sur des métriques tabulaires (ex: différences de hauteur).
- Nœuds VLM ( $V_{vlm}$ ) : Se résolvent en interrogeant un agent de modèle de langage-vision (VLM) sur des modalités d'image (ex: chevauchement de la canopée).
- Nœuds de Sortie ( $V_{exit}$ ) : Terminent l'exécution et renvoient une étiquette de classe.
Transpileur de Règles Neuraux (NRT) : Un composant basé sur un LLM qui compile les règles d'experts en langage naturel structuré ( $\rho$ ) en un graphe de décision typé et exécutable ( $T$ ) sur le LPI. Le NRT garantit que la sortie est une structure JSON valide conforme au schéma du LPI.
Orchestrateur : Un moteur agnostique aux règles qui parcourt le graphe de décision compilé. Il évalue les nœuds déterministes directement et délègue les nœuds perceptuels à l'agent VLM. L'orchestrateur ne contient aucune règle d'expert codée en dur, permettant au système de s'adapter à de nouvelles règles par simple recompilation de la configuration.

Implémentation de TreeAgent

TreeAgent est l'instanciation de D3 pour le marquage des biais en foresterie.

Agent VLM : Pour les nœuds nécessitant un jugement visuel (ex: détection de chevauchement de couronne ou d'outliers au sol), le système utilise un modèle de langage-vision. Pour atténuer la stochasticité, l'agent effectue $K=3$ appels d'inférence indépendants à une température $\tau=0.2$ et agrège les résultats via un vote majoritaire.
Modalités d'Entrée : Le VLM reçoit des données tabulaires structurées et deux entrées visuelles spécifiques : (1) une fenêtre CHM en vue de dessus avec les polygones de couronne et les emplacements des tiges, et (2) une section transversale de transect LiDAR à deux panneaux (N-S et E-W) colorée par classe LiDAR.
Ingénierie de Prompt : Le système teste diverses stratégies de prompt, incluant le raisonnement par chaîne de pensée (Chain-of-Thought) et le cadrage d'expert, pour optimiser la capacité du VLM à interpréter les conventions de rendu spécifiques au LiDAR.

Baselines (Références)

L'étude compare TreeAgent à :

Baselines ML Supervisées : Une suite de modèles tabulaires (LightGBM, XGBoost, Random Forest, CatBoost, TabPFN) entraînés sur des caractéristiques ingéniérées résumant les sources de hauteur d'arbre et le contexte topographique local.
Modèles de Nuages de Points : Une architecture PointNet entraînée de bout en bout sur des nuages de points bruts découpés.
Annotation Humaine : La norme de référence, notant le coût temporel et la variabilité.

3. Contributions Clés

Le Cadre D3 : Une architecture novatrice qui découple la logique de classification de l'expert de son exécution. Elle introduit un Inventaire de Primitives Logiques fermé et un Transpileur de Règles Neural basé sur un LLM qui compile les règles en langage naturel en des graphes de décision audités et validés.
Le Système TreeAgent : Un système multi-agents encodant le diagnostic de biais en sept classes d'un expert forestier. Il utilise un agent VLM par vote majoritaire pour gérer les nœuds perceptuels au sein du graphe de décision, faisant ainsi le pont entre les règles symboliques et la perception visuelle.
Évaluation Empirique : Une évaluation rigoureuse sur des arbres étiquetés par des experts provenant de deux sites NEON (WREF et SRER), démontrant que TreeAgent surpasse significativement les baselines de ML supervisé tout en réduisant drastiquement le temps d'annotation.

4. Résultats

Métriques de Performance

TreeAgent : A atteint un score Macro-F1 de 67,6 % sur la taxonomie des sept classes de biais avec un temps d'exécution moyen de 0,040 minute par arbre.
Baseline ML Supervisée (LightGBM) : A atteint un Macro-F1 de 36,2 % malgré une ingénierie de caractéristiques étendue, une correction du déséquilibre des classes et un réglage d'hyperparamètres.
Annotation Humaine : Nécessite environ 5,0 minutes par arbre.

Sensibilité et Robustesse

Fidélité des Règles : La précision du système dépend fortement de la fidélité de la règle encodée par rapport à la procédure d'annotation réelle de l'expert. Les variations du prédicat "No Difference" (ex: inégalité stricte vs non-stricte, différents normalisateurs) ont provoqué des fluctuations du Macro-F1 entre 21,9 % et 67,6 %. Le résultat principal (67,6 %) a été obtenu en utilisant une règle correspondant strictement à la procédure d'annotation utilisée pour générer la vérité de terrain.
Performance du VLM : La performance de l'agent VLM variait selon la version du prompt. Le prompt "V1" (ajoutant le contexte système) a atteint 100 % de rappel pour la détection de chevauchement de couronne avec une spécificité de 25 %, équilibrant le besoin de détecter les vrais chevauchements et les fausses alertes.
Généralisation Géographique : La baseline de ML supervisé a mal performé lors de la séparation géographique (entraînement sur OSBS, test sur WREF/SRER), chutant à 14,2 % de Macro-F1 sur le site SRER. TreeAgent a maintenu une performance plus élevée, suggérant une meilleure généralisation lorsqu'il est guidé par des règles d'expert explicites.

Limitations Observées

Erreurs du VLM : La source dominante d'erreur de marquage est l'agent VLM, particulièrement pour les classes nécessitant un jugement visuel. Les VLM généralistes peinent avec les conventions de rendu LiDAR spécialisées.
Fragilité des Seuils : Les règles déterministes peuvent être fragiles aux conditions limites. Deux arbres classés sous une règle "No Difference" ont été mal classés car leurs mesures se situaient à la limite d'une tolérance de 2 %, soulignant une tension entre les seuils symboliques rigides et le jugement perceptuel.

5. Signification et Revendications

L'article affirme que l'orchestration agentique de VLMs avec des priors d'experts offre une voie viable vers un marquage scalable et interprétable dans des domaines où la vérité de terrain est coûteuse et où le raisonnement de l'expert est structuré mais nécessite occasionnellement un jugement perceptuel.

Coût et Efficacité : TreeAgent reproduit les procédures de marquage définies par les experts à une fraction du coût (0,040 min contre 5 min par arbre) tout en maintenant un accord plus élevé avec les références d'experts que le ML supervisé conventionnel.
Interprétabilité et Auditabilité : Contra-irement aux modèles de bout en bout, chaque décision dans TreeAgent est traçable jusqu'au nœud spécifique de la règle de l'expert ayant produit la décision. Cela préserve l'auditabilité requise pour les flux de travail scientifiques à enjeux élevés.
Généralisabilité : Le cadre D3 permet des révisions de règles via des modifications de configuration plutôt que par réingénierie de code, ce qui le rend adaptable à l'évolution des standards scientifiques.
Portée : Bien que démontré en foresterie, les auteurs postulent que D3 fournit une recette générale pour les flux de travail de marquage scientifique où la logique de l'expert est structurée et évolutive. Ils précisent que le système n'est pas un substitut à la revue d'expert pour les inventaires critiques, car les erreurs du VLM sur les nœuds perceptuels peuvent se propager aux estimations en aval, et le système hérite des biais présents dans les règles d'experts encodées.