Fusing Perceptual Vision Experts with Multimodal Large Language Models for Explainable Plant Disease Diagnosis: From Benchmark Imagery to Real-World Robotic Field Validation

Elk jaar stelen plantziekten een enorm deel van de wereldwijde voedselvoorraad, wat de levensonderhoud van boeren en de stabiliteit van wereldwijde voedselmarkten bedreigt. Decennialang hebben wetenschappers geprobeerd computers te gebruiken om deze ziekten vroegtijdig op te sporen, waarbij ze vertrouwen op kunstmatige intelligentie om naar foto's van bladeren te kijken en te identificeren wat er mis is. Echter, een eenvoudig computerprogramma dat perfect werkt in een laboratorium, faalt vaak wanneer het een echt blad in een veld ziet, waar het licht verandert, de achtergrond rommelig is en de bladeren elkaar overlappen. Bovendien, zelfs wanneer een computer de juiste ziekte raadt, heeft een boer meer nodig dan alleen een naam; ze moeten weten hoe ernstig de situatie is, hoe snel ze moeten handelen en wat het hen zal kosten als ze niets doen. Dit nieuwe onderzoek pakt beide problemen aan door een systeem te creëren dat de scherpe ogen van gespecialiseerde beelddetectoren combineert met het redeneervermogen van geavanceerde taalmodellen, waarbij het niet alleen wordt getest op internetfoto's, maar op beelden die zijn vastgelegd door robots die door werkelijke velden bewegen.

De onderzoekers bouwden een team van digitale experts om dit probleem op te lossen. Eerst trainden ze twee verschillende soorten computer vision-modellen, wat programma's zijn die ontworpen zijn om patronen in afbeeldingen te herkennen. Eén model werd getraind om naar specifieke texturen te kijken, terwijl het andere model was ontworpen om structuren en vormen breder te begrijpen. Deze twee modellen fungeren als de eerste verdedigingslinie; ze onderzoeken een foto van een blad en brengen elk hun eigen vermoeden over welke ziekte aanwezig is. In veel gevallen zijn ze het eens, maar soms zijn ze het oneens, vooral wanneer de afbeelding wazig is of de ziekte moeilijk te zien is. Dit is waar het tweede deel van het systeem in beeld komt. De onderzoekers voegden twee grote taalmodellen toe, dit zijn krachtige systemen van kunstmatige intelligentie die getraind zijn op enorme hoeveelheden tekst en afbeeldingen om context en redenering te begrijpen. Deze modellen kijken niet alleen naar de foto; ze lezen ook de voorspellingen van de twee visuele experts en overwegen de specifieke zakelijke context, zoals de waarde van het gewas en de urgentie van de situatie. Hun taak is om als een rechter op te treden, de bewijslast van de twee visuele experts af te wegen en te beslissen welke waarschijnlijk correct is, of dat ze beiden ongelijk hebben, om zo een definitieve diagnose te geven.

Om te zien of dit systeem daadwerkelijk werkt, testte het team het op drie zeer verschillende datasets. De eerste was een collectie foto's gevonden op het internet, die de rommelige, onvoorspelbare omstandigheden vertegenwoordigen waar boeren dagelijks mee te maken krijgen. De andere twee datasets waren veel groter en realistischer: duizenden afbeeldingen gemaakt door een autonome robot die door tomaat- en aardappelvelden bewoog bij een onderzoekstation in North Carolina. Deze door robots vastgelegde afbeeldingen werden continu gemaakt terwijl de robot langs de rijen reed, waardoor een stroom van gegevens ontstond die precies lijkt op wat een echt monitoringsysteem zou zien. De onderzoekers ontdekten dat op de internetfoto's, waar de twee visuele experts in 42 procent van de gevallen van mening verschilden, het taalmodel-rechter de nauwkeurigheid van de diagnose aanzienlijk verbeterde. Het loste de conflicten succesvol op, waardoor het succespercentage steeg van ongeveer 6 hers 64 procent naar bijna 69 procent. Het systeem was bijzonder goed in het afhandelen van de moeilijke gevallen waar de visuele experts onzeker waren, wat bewees dat een tweede mening van een redeneermodel waardevol is wanneer het visuele bewijs onduidelijk is.

Echter, het verhaal veranderde toen het systeem werd getest op de echte robotdata. In deze gecontroleerde veldomgevingen waren de twee visuele experts al zo nauwkeurig dat ze het in meer dan 95 procent van de gevallen eens waren over de diagnose. Omdat ze het bijna altijd eens waren, had de taalmodel-rechter weinig kans om in te grijpen en een fout te corrigeren. In deze gevallen bleef de prestatie van het systeem extreem hoog, maar bood de extra laag van redenering geen grote verbetering omdat er nauwelijks meningsverschillen waren om op te lossen. Dit onthulde een cruciaal inzicht: de waarde van de taalmodel-rechter hangt volledig af van hoe vaak de visuele experts van mening verschillen. Wanneer de experts zelfverzekerd en op één lijn zitten, bevestigt de rechter simpelweg hun beslissing. Wanneer de experts in de war zijn, wordt de rechter essentieel.

De onderzoekers ontdekten ook iets verrassends over hoe deze verschillende modellen van kunstmatige intelligentie zich gedragen wanneer ze worden gevraagd een risico in te schatten. Ze programmeerden het systeem om een aanbeveling uit te voeren die een risiconiveau bevat, zoals "kritiek" of "laag", samen met een voorgesteld behandelplan. Ze ontdekten dat de twee taalmodellen die ze testten, zeer verschillende persoonlijkheden hadden. Eén model was consistent goed gekalibreerd en kenmerkte een ziekte pas als "kritiek" wanneer die ziekte ook daadwerkelijk in het veld aanwezig was met een vergelijkbaar percentage. Het andere model was echter veel alarmistischer; het markeerde gewassen veel vaker als kritiek dan de werkelijke prevalentie van de ziekte rechtvaardigde. Dit verschil was geen fout in de wiskunde, maar een fundamentele eigenschap van het model zelf. De onderzoekers toonden aan dat als een boer het alarmistische model zou gebruiken, hij geld zou verspillen aan onnodige behandelingen, terwijl het goed gekalibreerde model een veel betrouwbaarder gids bood voor besluitvorming.

Misschien wel de belangrijkste les uit dit onderzoek kwam voort uit het observeren van wat er gebeurde toen het taalmodel besloot beide visuele experts te negeren en een eigen gok te wagen. In de weinige gevallen waarin de rechter beide visuele experts overrulde om een volledig onafhankelijke diagnose te geven, stortte de nauwkeurigheid van het systeem in. Het model verklaarde vol vertrouwen een ziekte die er niet was, of miste een ziekte die er wel was, wat leidde tot een foutpercentage dat veel slechter was dan wanneer het simpelweg de visuele experts had vertrouwd. Deze bevinding stelt een duidelijke regel vast voor het bouwen van deze systemen: het taalmodel moet fungeren als een scheidsrechter om geschillen tussen de visuele experts te beslechten, niet als een vervanging voor hen. Als de scheidsrechter zelf probeert het spel te spelen, faalt het systeem.

De studie concludeert dat deze hybride aanpak een veelbelovende weg voorwaarts biedt voor landbouwtechnologie, maar dat dit gepaard gaat met specifieke voorwaarden. Het systeem werkt het beste wanneer het wordt gebruikt om echte onzekerheid op te lossen, en het vereist een zorgvuldige selectie van het taalmodel om te voorkomen dat het te alarmistisch wordt. De onderzoekers merkten ook op dat hoewel het systeem uitzonderlijk goed presteerde op de door robots vastgelegde veldgegevens, de afbeeldingen op een manier zijn genomen die het voor de computer gemakkelijker kan maken om ze te herkennen dan een werkelijk willekeurige snapshot die een boer zou maken. Toekomstig werk zal dit moeten aanpakken door het systeem te testen op nog diversere data en de modellen beter te af te stemen om de specifieke risico's van verschillende gewassen beter te begrijpen. Uiteindelijk laat dit onderzoek zien dat het combineren van de gespecialiseerde vaardigheden van beelddetectoren met de redeneerkracht van taalmodellen een instrument kan creëren dat niet alleen plantziekten identificeert, maar ze ook uitlegt op een manier die boeren helpt om betere, meer geïnformeerde beslissingen te nemen over hun gewassen.