Multi-Scale ViT Inference with Habitat-Fit Priors and kNN Retrieval for Multi-Species Plant Identification

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Ihr „Tatort“ ist kein Verbrechensszenario, sondern ein quadratisches Stück Wildwiese, etwa so groß wie ein kleiner Esstisch. Ihre Aufgabe ist es, jede einzelne Pflanzenart zu benennen, die dort wächst. Stellen Sie sich nun den Clou vor: Das einzige Trainingshandbuch, das Sie je gesehen haben, enthält Bilder von einzelnen, perfekten Blumen oder Blättern, isoliert auf einem weißen Hintergrund. Sie haben noch nie eine chaotische, überfüllte Wiese in Ihren Trainingsdaten gesehen. Dies ist die Herausforderung der Multi-Species-Pflanzenidentifikation: herauszufinden, wer wer ist in einer chaotischen Menge, wenn man nur Einzelstücke in Isolation studiert hat.

Um dieses Problem anzugehen, nutzen Wissenschaftler Vision Transformer (ViTs), die wie superintelligente digitale Augen funktionieren, die ein Bild in winzige Puzzleteile zerlegen, um zu verstehen, was sie sehen. Sie verwenden auch k-Nearest Neighbors (kNN), eine Methode, die wie eine „Ähnlichkeitssuche“ funktioniert: Wenn man ihr das Bild eines Blattes zeigt, findet sie die ähnlichsten Bilder in ihrer Datenbank und sagt: „Hey, diese sehen genau wie dieses hier aus!“ Schließlich nutzen sie Priors, was einfach fundierte Vermutungen basierend auf den Regeln der Welt sind, wie zum Beispiel das Wissen, dass Kakteen nicht in der Arktis wachsen oder dass bestimmte Moose nur in hohen Bergen gedeihen. Dieser Text erzählt die Geschichte eines Teams, das diese Werkzeuge kombiniert hat, um das „messy meadow“-Rätsel zu lösen und ein chaotisches Grün in eine präzise Liste von Arten zu verwandeln.

Das Werkzeugset des Detektivs: Wie das Team die wilde Wiese löste

Das Team, bekannt als DS@GT ARC, nahm am PlantCLEF 2026 Wettbewerb teil, einem hochkarätigen Wettstreit zur Identifizierung von Pflanzen in hochauflösenden Fotos von 0,5-Meter-Quadratplots. Diese Fotos sind riesig – etwa 3.000 mal 3.000 Pixel – was sie zu groß macht, um sie auf einmal in ein Standard-Computergehirn einzuspeisen. Die Lösung des Teams bestand nicht darin, ein größeres, komplexeres Gehirn zu bauen; es ging darum, ein klügerer Detektiv zu sein, der weiß, wie man nach den Hinweisen sucht.

Die Strategie: Reinzoomen und Rauszoomen
Stellen Sie sich vor, Sie versuchen, eine Menschenmenge zu identifizieren, indem Sie die ganze Gruppe aus einem Helikopter heraus betrachten. Sie sehen vielleicht ein Meer aus Köpfen, können aber nicht erkennen, wer einen roten Hut trägt. Wenn Sie zu nah heranzoomen, sehen Sie nur eine einzige Person und verpassen den Kontext. Der erste Trick des Teams war Multi-Scale Tiling (Multi-Skalen-Kachelung). Sie zerschnitten jedes riesige Foto in kleinere Quadrate (Kacheln) auf verschiedenen Zoomstufen: einige weit herausgezoomt (3x3 Gitter), andere nah herangezoomt (6x6 Gitter). Dies gab ihnen 86 verschiedene „Ansichten“ derselben Wiese. Sie ließen ihr Haupt-KI-Modell, ein fein abgestimmtes DINOv2 ViT-L/14 (ein leistungsstarkes digitales Auge, das auf Millionen von Bildern trainiert wurde), über jede einzelne Kachel laufen. Dann verwendeten sie eine „Max-Pooling“-Regel: Wenn irgendeine Kachel eine bestimmte Pflanze mit hoher Konfidenz identifizierte, erhielt das gesamte Foto die Punktzahl für diese Pflanze. Dies stellte sicher, dass sie keine winzigen, versteckten Blumen übersahen, nur weil diese im großen Bild klein waren.

Die „Ähnlichkeitssuche“
Das KI-Modell ist gut, aber manchmal wird es verwirrt. Um dem zu helfen, fügte das Team ein kNN-Retrieval-System hinzu. Betrachten Sie dies als eine riesige Bibliothek von 860.000 Pflanzenfotos. Wenn die KI eine Kachel betrachtet, fragt sie gleichzeitig die Bibliothek: „Wem ähnelt das?“ Die Bibliothek liefert die 20 ähnlichsten Bilder zurück. Wenn die KI unsicher ist, aber die Bibliothek sagt: „Das sieht exakt aus wie eine Geum reptans“, mischt das Team diesen Rat in die endgültige Antwort ein. Es ist wie eine Zweitmeinung von einem erfahrenen Botaniker, der Millionen von Pflanzen gesehen hat.

Die „Habitat-Passung“-Regel: Der ultimative Realitätscheck
Der mächtigste Teil ihrer Lösung war kein neuer Algorithmus, sondern ein Satz von Regeln basierend auf der Geografie. Sie erkannten, dass nur weil eine Pflanze in einem Foto sein könnte, das nicht bedeutet, dass sie dort auch sein sollte. Sie führten eine Habitat-Fit Demotion (Abwertung der Habitat-Passung) ein.

• Geografie: Wenn ein Foto in Südwesteuropa aufgenommen wurde, senkten sie automatisch die Wahrscheinlichkeit für Pflanzen, die nur in den Tropen oder der Arktis wachsen.
• Höhe: Wenn das Foto auf Meereshöhe aufgenommen wurde, stuften sie Pflanzen ab, die nur auf hohen Gebirgspitzen wachsen.
  Dies wirkte wie ein Filter, der der KI leise zuflüsterte: „Hey, dieser Kaktus ist hier unwahrscheinlich; vielleicht siehst du stattd imm einen Stein.“ Dieser Schritt allein machte den größten Unterschied in ihrer Genauigkeit aus und bewies, dass das Wissen darüber, wo man sich befindet, genauso wichtig ist wie das Wissen darüber, was man sieht.

Der Zeitreisende: Temporale Fusion
Die Testfotos waren nicht nur einmalige Schnappschüsse; viele wurden desselben Ort zu verschiedenen Zeiten des Jahres aufgenommen. Das Team nutzte dies zu seinem Vorteil. Wenn ein Ort im Frühling und Sommer besucht wurde und das Frühlingsfoto eine Blume zeigte, die das Sommerfoto vermissen ließ (weil sie bereits abgestorben war), kombinierten sie die Beweise. Es ist wie das Lösen eines Rätsels, indem man das Alibi eines Verdächtigen von drei verschiedenen Tagen überprüft. Wenn die Beweise über die Besuche hinweg konsistent sind, vertrauen sie ihnen mehr. Wenn die Besuche sehr unterschiedlich aussehen (wie ein üppiger Sommer vs. ein kahler Winter), verwenden sie einen speziellen „Ähnlichkeitscheck“, um sicherzustellen, dass sie nicht von den wechselnden Jahreszeiten getäuscht werden.

Was nicht funktionierte (Und warum das wichtig ist)

Das Team hat nicht nur geraten; sie haben viele ausgeklügelte Ideen ausprobiert und verworfen, wenn sie nicht funktionierten. Das ist genauso wichtig wie die Erfolgsgeschichten.

• Die „Synthetische Falle“: Sie versuchten, künstliche Trainingsdaten zu erstellen, indem sie digitale Pflanzenteile (Pseudo-Quadrats) mischten und kombinierte, um einen neuen Typ von Decoder zu lehren. Dies scheiterte völlig. Die KI wurde verwirrt, weil die künstlichen Daten nicht wie die echten, chaotischen Wiesen aussah.
• Der „Cross-Region“-Fehler: Sie versuchten, die KI mit einem massiven Datensatz europischer Landschaften (LUCAS) zu trainieren, der jedoch nicht dieselben spezifischen Pflanzen des Wettbewerbs enthielt. Die KI lernte die falschen Lektionen und schnitt schlechter ab.
• Der „Segmentierungs“-Fehler: Sie versuchten, ein Werkzeug einzusetzen, das einzelne Pflanzen vom Hintergrund abschneidet (SAM 3), um sauberere Bilder zu erhalten. Dies half nicht, da die KI auf Gittersystemen trainiert wurde, nicht auf diesen seltsam geformten Ausschnitten. Der Mismatch verursikte mehr Rauschen als Signal.

Das Endergebnis

Das finale System des Teams, das das Multi-Scale-Zooming, die Ähnlichkeitssuche und die strengen Habitat-Regeln kombinierte, erreichte einen Macro-F1-Score von 0,43902 auf dem privaten Leaderboard und sicherte sich damit den dritten Platz im Wettbewerb. Interessanterweise erzielte eine ihrer nicht ausgewählten Konfigurationen sogar einen höheren Wert (0,45777), aber sie konnten diesen Wert erst nach Ende des Wettbewerbs sehen.

Das Paper legt nahe, dass für dieses spezifische, chaotische Problem der beste Ansatz nicht unbedingt ein komplexeres neuronales Netzwerk ist. Stattdessen waren die Gewinner diejenigen, die sorgfältig planten, wie sie die Daten betrachten (Multi-Scale), die richtigen „Cheat-Codes“ verwendeten (geografische und Höhen-Priors) und wussten, wann sie auf ausgeklügelte neue Tricks verzichten mussten, die nicht zu den Regeln der realen Welt passten. Sie bewiesen, dass die klügste Entscheidung manchmal darin besteht, ebenso sehr auf die Umgebung zu hören wie auf das Bild selbst.