Multi-Scale ViT Inference with Habitat-Fit Priors and kNN Retrieval for Multi-Species Plant Identification

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een plaats delict, is je "plaats delict" een vierkant stukje wilde weide, ongeveer zo groot als een kleine eettafel. Je taak is om elke enkele soort plant te benoemen die daar groeit. Stel je nu voor dat de enige trainingshandleiding die je ooit hebt gezien, bestaat uit foto's van perfecte, geïsoleerde bloemen of bladeren op een witte achtergrond. Je hebt nog nooit een rommelige, drukke weide gezien in je trainingsdata. Dit is de uitdaging van multi-species plantidentificatie: uitzoeken wie wie is in een chaotische menigte, terwijl je alleen individuen in isolatie hebt bestudeerd.

Om dit aan te pakken, gebruiken wetenschappers Vision Transformers (ViTs), die als superintelligente digitale ogen werken die een afbeelding opdelen in kleine puzzelstukjes om te begrijpen wat ze zien. Ze gebruiken ook k-Nearest Neighbors (kNN), een methode die werkt als een "zoekmachine voor gelijken": als je een foto van een blad laat zien, vindt het systeem de meest vergelijkbare foto's in zijn database en zegt: "Hé, deze lijken precies op die ene!" Ten slotte gebruiken ze priors, wat simpelweg geïnformeerde gissingen zijn op basis van de regels van de wereld, zoals weten dat cactussen niet in de Arctische gebieden groeien of dat bepaalde mossen alleen in hoge bergen leven. Dit artikel vertelt het verhaal van een team dat deze hulpmiddelen combineerde om het "rommelige weide"-puzzel op te lossen, waarbij ze een chaotische groene brij veranderden in een precieze lijst van soorten.

De Gereedschapskist van de Detective: Hoe het Team de Rommelige Weide Oploste

Het team, bekend als DS@GT ARC, nam deel aan de PlantCLEF 2026 competitie, een wedstrijd met hoge inzet om planten te identificeren in hoogresolutiefoto's van vierkante percelen van 0,5 meter. Deze foto's zijn enorm groot — ongeveer 3.000 bij 3.000 pixels — waardoor ze te groot zijn om in één keer in een standaard computereenheid te voeden. De oplossing van het team draaide niet om het bouwen van een groter, complexer brein; het ging erom een slimmere detective zijn die weet hoe hij naar de aanwijzingen moet kijken.

De Strategie: Inzoomen en Uitzoomen
Stel je voor dat je een menigte mensen probeert te identificeren door naar de hele groep te kijken vanuit een helikopter. Je ziet misschien een zee van hoofden, maar je kunt niet zien wie er een rode hoed draagt. Als je te ver inzoomt, zie je slechts één persoon en mis je de context. De eerste truc van het team was Multi-Scale Tiling. Ze hakten elke enorme foto in kleinere vierkanten (tegels) op verschillende zoomniveaus: sommige uitgezoomd (3x3 raster), andere ingezoomd (6x6 raster). Dit gaf hen 86 verschillende "gezichten" van dezelfde weide. Ze draaiden hun hoofd-AI-model, een gefinetuned DINOv2 ViT-L/14 (een krachtig digitaal oog getraind op miljoenen afbeeldingen), over elke enkele tegel. Vervolgens gebruikten ze een "max pooling"-regel: als elke tegel een specifieke plant met een hoge mate van vertrouwen spotte, kreeg de hele foto de credits voor die plant. Dit zorgde ervoor dat ze kleine, verborgen bloemen niet misten omdat ze klein waren in het grote plaatje.

De "Zoekmachine voor Gelijken"
Het AI-model is geweldig, maar soms raakt het in de war. Om het te helpen, voegde het team een kNN Retrieval System toe. Denk aan dit als een enorme bibliotheek van 860.000 plantenfoto's. Wanneer de AI naar een tegel kijkt, vraat hij ook aan de bibliotheek: "Waar lijkt dit op?" De bibliotheek geeft de top 20 meest vergelijkbare afbeeldingen terug. Als de AI onzeker is, maar de bibliotheek zegt: "Dit lijkt exact op een Geum reptans", dan mengt het team dat advies in het uiteindelijke antwoord. Het is alsoals het krijgen van een tweede mening van een ervaren botanicus die miljoenen planten heeft gezien.

De "Habitat Fit"-regel: De Ultieme Realiteitscheck
Het krachtigste deel van hun oplossing was geen nieuw algoritme, maar een reeks regels gebaseerd op geografie. Ze realiseerden zich dat het feit dat een plant ergens zou kunnen groeien, niet betekent dat hij er ook echt zou moeten groeien. Ze introduceerden Habitat-Fit Demotion.

• Geografie: Als een foto genomen was in Zuidwest-Europa, verlaagden ze automatisch de kans op planten die alleen in de tropen of de Arctische gebieden groeien.
• Hoogte: Als de foto genomen was op zeeniveau, verlaagden ze de kans op planten die alleen op hoge bergtoppen groeien.
  Dit fungeerde als een filter dat zachtjes tegen de AI fluisterde: "Hé, die cactus is onwaarschijnlijk hier; misschien zie je wel een rotssteen." Deze stap maakte alleen al het grootste verschil in hun nauwheid, wat bewees dat weten waar je bent net zo belangrijk is als weten wat je ziet.

De Tijdreiziger: Temporele Fusie
De testfoto's waren niet slechts eenmalige momentopnames; veel werden van dezelfde plek genomen op verschillende momenten van het jaar. Het team gebruikte dit in hun voordeel. Als een plek in de lente en zomer werd bezocht, en de lentefoto een bloem liet zien die de zomerfoto miste (omdat deze was afgestorven), dan combineerden ze de bewijslast. Het is als het oplossen van een mysterie door het alibi van een verdachte van drie verschillende dagen te controleren. Als het bewijs consistent is over de bezoeken heen, vertrouwen ze het meer. Als de bezoeken erg verschillend zijn (zoals een weelderige zomer versus een kale winter), gebruiken ze een speciale "gelijkenis"-controle om er zeker van te zijn dat ze niet in de strijd van de seizoenen worden gelokt.

Wat Niet Werkte (En Waarom Dat Er Toe Doet)

Het team gokte niet zoma van aan; ze probeerden veel fancy ideeën uit en gooiden ze weg wanneer ze niet werkten. Dit is net zo belangrijk als de succesverhalen.

• De "Synthetische" Valstrik: Ze probeerden nep-trainingsdata te creëren door digitale plantdelen (pseudo-quadraten) met elkaar te mengen om een nieuw type decoder te leren. Dit faalde volledig. De AI raakte in de war omdat de nepdata er niet uitzag als de echte, rommelige weiden.
• De "Cross-Region" Fout: Ze probeerden de AI te onderwijzen met een enorme dataset van Europese landschappen (LCAUS) die niet hetzelfde was als de specifieke planten van de competitie. De AI leerde de verkeerde lessen en presteerde slechter.
• De "Segmentatie" Glitch: Ze probeerden een tool te gebruiken die individuele planten uit de achtergrond snijdt (SAM 3) om schonere afbeeldingen te krijgen. Dit hielp niet omdat de AI getraind was op rastervierkanten, niet op deze vreemd gevormde uitsneden. De mismatch veroorzaakte meer ruis dan signaal.

De Eindscore

Het systeem van het team, dat de multi-scale zoom, de zoekmachine voor gelijken en de strikte habitatregels combineerde, behaalde een macro-F1-score van 0,43902 op de private leaderboard, waarmee ze derde plaats in de competitie verdienden. Interessant genoeg scoorde een van hun niet-geselecteerde configuraties zelfs hoger (0,45777), maar zij konden die score pas zien nadat de competitie was afgelopen.

Het artikel suggereert dat voor dit specifieke, rommelige probleem, de beste aanpak niet noodzakelijkerwijs een complexer neuraal netwerk is. In plaats daarvan waren de winnaars degenen die zorgvuldig ontwierpen hoe ze naar de data keken (multi-scale), de juiste "cheat codes" gebruikten (geografische en hoogte-priors), en wisten wanneer ze de fancy nieuwe trucjes moesten negeren die niet pasten bij de regels van de echte wereld. Ze bewezen dat de slimste zet soms is om evenveel naar de omgeving te luisteren als naar de afbeelding.