🤖 AI

TreeAgent: A Generalizable Multi-Agent Framework for Automated Bias Labeling in Forestry via Compiled Expert Rules and Vision-Language Models

Het artikel introduceert TreeAgent, een generaliseerbaar multi-agent framework dat Vision-Language Models combineert met gecompileerde expertbeslisregels om het labelen van bias in bosbouw-remote sensing te automatiseren en op te schalen, wat de kosten voor expertannotatie aanzienlijk vermindert terwijl de interpreteerbaarheid en nauwkeurigheid behouden blijven.

Oorspronkelijke auteurs: Shiyi Chen, Nicholas Saban, Collin Hargreaves, Huiqi Wang

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shiyi Chen, Nicholas Saban, Collin Hargreaves, Huiqi Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de hoogte van miljoenen bomen in een bos probeert te meten om te berekenen hoeveel koolstof zij opslaan. Dit is cruciaal voor het klimaatbeleid, maar het is een rommelige klus. Je hebt drie verschillende manieren om een boom te meten:

De Veldploeg: Een mens loopt erheen met een meetlint (maar kan de bovenkant van de boom niet altijd zien als er bladeren in de weg zitten).
De Luchtgestuurde Laser: Een vliegtuig schiet lasers op de bomen (maar als de laserpulsen te ver uit elkaar liggen, mist hij misschien de top).
Het Computermodel: Een softwareprogramma raadt de hoogte op basis van de lasergegevens (maar kan in de war raken door schaduwen of rasterlijnen).

Deze drie methoden verschillen vaak van elkaar. Soms zit de mens fout, soms de laser, en soms de computer. Om dit op te lossen, moeten experts handmatig elke boom controleren om te bepalen waarom de metingen afwijken. Ze hebben hiervoor een specifiek regelboek met zeven verschillende "bias"-categorieën (bijv. "De mens heeft te laag gemeten" of "De computer heeft de top gemist").

Het Probleem:
Dit handmatige controleren is extreem traag. Het kost een expert ongeveer 5 minuten per boom. Als je een bos met miljoenen bomen hebt, is deze taak onmogelijk te voltooien. Ook kunnen verschillende experts het oneens zijn met elkaar, waardoor de "gouden standaard"-data ruis bevat.

De Oplossing: TreeAgent
De onderzoekers hebben een nieuw systeem gebouwd genaamd TreeAgent. Zie dit niet als één enkele "slimme" AI die het antwoord probeert te raden, maar als een team van gespecialiseerde werkers die een strikt, vooraf geschreven instructieboek volgen.

Hier is hoe het team werkt, met behulp van een creatieve analogie:

1. Het "Regelboek" (De Beslissingsboom)

Stel je een enorme, complexe flowchart voor (een beslissingsboom) die een expert in begrijpelijke taal heeft opgeschreven.

Voorbeeldregel: "Als het verschil tussen de laserhoogte en de menselijke hoogte minder dan 2% is, markeer het als 'Geen Verschil'. Controleer anders de grond."

Normaal gesproken, als je wilt dat een computer een regelboek volgt, moet je het hard-coden. Als de expert later van mening verandert over de "2%"-regel, moet je een programmeur inhuren om de code te herschrijven. Dat is traag en duur.

TreeAgent's Innovatie: Ze hebben een "Universele Vertaler" gecreëerd (een Neural Rule Transpiler).

De expert schrijft de regel simpelweg in gewone taal.
De Vertaler zet die zin direct om in een gestructureerde, uitvoerbare flowchart.
De Magie: Als de expert de regel later aanpast (bijv. "Verander 2% naar 3%"), hoef je alleen de zin aan te passen. Het systeem tekent de flowchart automatisch opnieuw. Je hoeft de code niet aan te raken. Het is alsof je het recept in een kookboek aanpast zonder de keuken te hoeven herbouwen.

2. De "Werknemers" (Het Multi-Agent Systeem)

Zodod de flowchart is gebouwd, loopt het systeem erdoorheen als een detective die een zaak oplost.

De Calculator: Voor eenvoudige wiskunde (bijv. "Is het verschil kleiner dan 2%?"), voert een snelle, deterministische calculator de berekening uit. Geen gokwerk, geen fouten.
De Visuele Detective (VLM): Soms zijn de cijfers niet genoeg. De flowchart kan zeggen: "Kijk naar de afbeelding: overlapt de kruin van de boom met die van de buurman?"
- Hier roept het systeem een Vision-Language Model (VLM) aan. Dit is een AI die afbeeldingen kan "zien" en tekst kan lezen.
- Om te voorkomen dat de AI in de war raakt of hallucineert, vraagt het systeem aan drie verschillende AI-agenten om naar dezelfde foto te kijken en te stemmen. Als 2 van de 3 zeggen "Ja, ze overlappen", accepteert het systeem dit.

3. De Resultaten

De onderzoekers hebben dit getest op een dataset van bomen uit verschillende bossen.

Snelheid: De oude methode duurde 5 minuten per boom. TreeAgent duurt 0,04 minuten (ongeveer 2,4 seconden) per boom. Dat is ongeveer 125 keer sneller.
Nauwkeurigheid:
- Een standaard computermodel (getraind op datatabellen) kreeg ongeveer 36% van de classificaties goed.
- TreeAgent kreeg er 67,6% goed.
- Hoewel het nog niet perfect is, is het aanzienlijk beter dan de standaard computermodellen en veel sneller dan mensen.

Waarom dit ertoe doet

Het paper betoogt dat voor complexe wetenschappelijke taken waarbij experts duidelijke regels hebben maar af en toe naar plaatjes moeten kijken, deze "Team + Regelboek"-aanpak het ideale evenwicht is.

Pure AI (die alles probeert te leren vanaf nul) is vaak een "black box"—je weet niet waarom het een beslissing neemt en het kan onbetrouwbaar zijn.
Pure Regels (hard-coded logica) zijn rigide en moeilijk aan te passen.
TreeAgent combineert het beste van beide: het volgt de logica van de expert strikt (zodat je weet waarom het een beslissing heeft genomen), maar gebruikt AI alleen voor de onderdelen die "ogen" vereisen (het bekijken van de afbeeldingen).

De Keerzijde:
Het systeem is slechts zo goed als het regelboek. Als de regel van de expert er net naast zit, volgt het systeem deze getrouw op. Ook maakt de "Visuele Detective" (de AI die naar de foto's kijkt) nog steeds fouten, vooral bij lastige bosfoto's die het nog niet eerder heeft gezien. Maar door een stemmechanisme te gebruiken, hebben ze deze fouten tot een minimum beperkt.

Kortom, TreeAgent is een snelle, transparante en aanpasbare assistent die bosbouwexperts in staat stelt hun werk op te schalen van een paar bomen naar miljoenen bomen, zonder het vermogen te verliezen om uit te leggen waarom een boom op een bepaalde manier is gelabeld.

Technische Samenvatting: TreeAgent – Een Generaliseerbaar Multi-Agent Framework voor Geautomatiseerde Bias-Labeling in de Bosbouw

1. Probleemstelling

In de bosbouw-remote sensing is nauwkeurige schatting van boomhoogte cruciaal voor de aardse koolstofboekhouding en het klimaatbeleid. Echter, drie primaire databronnen—veldmetingen, luchtgebaseerde LiDAR-puntenwolken en uit LiDAR afgeleide Canopy Height Models (CHM's)—wijken systematisch van elkaar af en vertonen verschillende foutmodi. Het corrigeren van deze biases vereist domeinexperts die individuele bomen handmatig moeten labelen op basis van complexe diagnostische regels die zeven typen bias onderscheiden. Dit proces is traag (3–5 minuten per boom), inconsistent tussen annotatoren en schaalt niet naar continentale inventarisaties. Bov�elijk bevat de door deze experts gegenereerde "referentie"-data vaak ruis door variabiliteit tussen experts, wat een flessenhals vormt voor het trainen van supervised Machine Learning (ML) modellen.

De kernuitdaging is het automatiseren van dit labelingsproces met behoud van de interpreteerbaarheid en getrouwheid van door experts gedefinieerde regels, zonder te vertrouwen op end-to-end deep learning-modellen die structurele logica weggooien of single-prompt Large Language Models (LLM's) die een gebrek aan betrouwbaarheid vertonen.

2. Methodologie

Het Decoupled Declarative Decision (D3) Framework

De auteurs stellen het Decoupled Declarative Decision (D3) framework voor, dat de vraag wat een beslissing is (de logica) scheidt van hoe deze wordt uitgevoerd. Dit framework maakt zero-modification generalisatie mogelijk over diverse door experts gedefinieerde beslissingsstructuren.

Logic Primitive Inventory (LPI): Een vaste, eindige vocabulaire van atomaire executie-primitieven ( $V$ $V$ ) verdeeld in drie typen:
- Deterministische Nodes ( $V_{det}$ ): Worden opgelost via gesloten vorm rekenkundige predicaten over tabelvormige metrieken (bijv. hoogteverschillen).
- VLM Nodes ( $V_{vlm}$ ): Worden opgelost door een Vision-Language Model agent te bevragen op beeldmodaliteiten (bijv. kroonoverlap).
- Exit Nodes ( $V_{exit}$ ): Beëindigen de executie en geven een klasse-label terug.
Neural Rule Transpiler (NRT): Een LLM-gebaseerde component die gestructureerde natuurlijke taal expertregels ( $\rho$ ) compileert naar een getypeerde, uitvoerbare beslissingsgraaf ( $T$ ) over de LPI. De NRT zorgt ervoor dat de output een geldige JSON-structuur is die voldoet aan het LPI-schema.
Orchestrator: Een regel-agnostische engine die de gecompileerde beslissingsgraaf doorloopt. Het evalueert deterministische nodes direct en delegeert perceptuele nodes aan de VLM-agent. De orchestrator bevat geen hard-coded expertregels, waardoor het systeem kan adapteren aan nieuwe regels door simpelweg de configuratie te hercompileren.

TreeAgent Implementatie

TreeAgent is de instantiatie van D3 voor bosbouw-bias labeling.

VLM Agent: Voor nodes die visueel oordeel vereisen (bijv. detectie van kroonoverlap of grond-outliers), gebruikt het systeem een Vision-Language Model. Om stochasticiteit te beperken, voert de agent $K=3$ onafhankelijke inferentie-oproepen uit bij temperatuur $\tau=0.2$ en aggregeert de resultaten via meerderheidsstemming.
Input Modaliteiten: De VLM ontvangt gestructureerde tabeldata en twee specifieke visuele inputs: (1) een vogelvlucht CHM-venster met kroonpolygonen en stamlocaties, en (2) een twee-panelen LiDAR-transect dwarsdoorsnede (N-Z en O-W) gekleurd door de LiDAR-klasse.
Prompt Engineering: Het systeem test verschillende prompt-strategieën, inclusief Chain-of-Thought redeneren en expert-framing, om het vermogen van de VLM te optimaliseren om LiDAR-specifieke rendering-conventies te interpreteren.

Baselines

De studie vergelijkt TreeAgent met:

Supervised ML Baselines: Een suite van tabelvormige modellen (LightGBM, XGBoost, Random Forest, CatBoost, TabPFN) getraind op handmatig ontworde features die de boomhoogtebronnen en de lokale terreincontext samenvatten.
Point Cloud Modellen: Een PointNet-architectuur getraind end-to-end op ruwe gecropte puntenwolken.
Menselijke Annotatie: De referentiestandaard, waarbij de tijdskosten en variabiliteit worden opgemerkt.

3. Belangrijkste Bijdragen

Het D3 Framework: Een nieuwe architectuur die de expert-classificatielogica ontkoppelt van de executie. Het introduceert een gesloten Logic Primitive Inventory en een LLM-gebaseerde Neural Rule Transpiler die natuurlijke taalregels compileert naar gevalideerde, auditeerbare beslissingsgrafen.
TreeAgent Systeem: Een multi-agent systeem dat de zeven-klasse bias diagnostiek van een bosbouwekspert encodeert. Het maakt gebruik van een majority-vote VLM-agent om de perceptuele nodes binnen de beslissingsgraaf te behandelen, waardoor de brug wordt geslagen tussen symbolische regels en visuele perceptie.
Empirische Evaluatie: Een rigoureuze evaluatie op expert-gelabelde bomen van twee uitgesloten NEON-sites (WREF en SRER), die aantoont dat TreeAgent de supervised ML-baselines significant overtreft terwijl de annotatietijd drastisch wordt verminderd.

4. Resultaten

Prestatie-metrieken

TreeAgent: Bereikte een 67,6% Macro-F1 score op de zeven-klasse bias taxonomie met een gemiddelde runtime van 0,040 minuten per boom.
Supervised ML Baseline (LightGBM): Bereikte 36,2% Macro-F1 ondanks uitgebreide feature engineering, klasse-imbalans correctie en hyperparameter tuning.
Menselijke Annotatie: Vereist ongeveer 5,0 minuten per boom.

Gevoeligheid en Robuustheid

Regeltrouw (Rule Fidelity): De nauwkeurigheid van het systeem is sterk afhankelijk van de getrouwheid van de geëncodeerde regel aan de werkelijke annotatieprocedure van de expert. Variaties in de "No Difference" predicaat (bijv. strikte vs. niet-strikte ongelijkheid, verschillende normalisaties) veroorzaakten schommelingen in de Macro-F1 scores tussen 21,9% en 67,6%. Het hoofdzakelijke resultaat (67,6%) werd bereikt met een regel die strikt overeenkwam met de annotatieprocedure die werd gebruikt om de grondwaarheid te genereren.
VLM Prestaties: De prestaties van de VLM-agent varieerden per promptversie. De "V1" prompt (het toevoegen van systeemcontext) bereikte 100% recall voor kroonoverlap detectie met 25% specificiteit, wat een balans vormt tussen het vangen van echte overlappingen en het voorkomen van valse alarmen.
Geografische Generalisatie: De supervised ML-baseline presteerde slecht op de geografische split (trainen op OSBS, testen op WREF/SRER), met een daling naar 14,2% Macro-F1 op de SRER-site. TreeAgent behield een hogere prestatie, wat suggereert dat het beter generaliseert wanneer het wordt gestuurd door expliciete expertregels.

Geobserveerde Beperkingen

VLM Fouten: De dominante bron van labelingsfout is de VLM-agent, met name in klassen die visueel oordeel vereisen. Algemene VLMs worstelen met gespecialiseerde LiDAR-rendering conventies.
Drempelwaarde Brittleheid (Threshold Brittleness): Deterministische regels kunnen broos zijn bij randvoorwaarden. Twee bomen die nominaal onder een "No Difference" regel vielen, werden verkeerd geclassificeerd omdat hun metingen zich op de grens van een 2% tolerantie bevonden, wat wijst op een spanning tussen harde symbolische drempels en perceptueel oordeel.

5. Betekenis en Claims

Het artikel claimt dat agentic orchestratie van VLMs met expert priors een levensvatbaar pad biedt naar schaalbare, interpreteerbare annotatie in domeinen waar grondwaarheid duur is en expertredenering gestructureerd is maar soms perceptueel oordeel vereist.

Kosten en Efficiëntie: TreeAgent reproduceert de door experts gedefinieerde labelingsprocedures tegen een fractie van de kosten (0,040 min vs. 5 min per boom) terwijl het een hogere overeenstemming behoudt met expert-referenties dan conventionele supervised ML.
Interpreteerbaarheid en Controleerbaarheid: In tegen tegenstelling tot end-to-end modellen is elke beslissing in TreeAgent herleidbaar naar de specifieke expert-regel node die de beslissing produceerde. Dit behoudt de controleerbaarheid die vereist is voor hoogwaardige wetenschappelijke workflows.
Generaliseerbaarheid: Het D3-framework staat regelwijzigingen toe via configuratie-edits in plaats van code her-engineering, waardoor het aanpasbaar is aan evoluerende wetenschappelijke standaarden.
Scope: Hoewel gedemonstreerd in de bosbouw, stelt de auteur dat D3 een algemeen recept biedt voor wetenschappelijke labelingsworkflows waarbij de expertlogica gestructureerd en evoluerend is. Ze waarschuwen dat het systeem geen vervanging is voor expert-review in kritieke inventarisaties, aangezien VLM-fouten op perceptuele nodes kunnen doorwerken naar downstream schattingen, en het systeem de biases overneemt die aanwezig zijn in de geëncodeerde expertregels.