Descriptron-GBIF Annotator: A browser-based platform for crowdsourced morphological annotation of biodiversity images to help accelerate morphology based biodiversity data

Dit artikel introduceert de Descriptron-GBIF Annotator, een browsergebaseerd platform dat burgers in staat stelt om via AI-ondersteuning en gestructureerde ontologieën morfologische annotaties toe te voegen aan biodiversiteitsafbeeldingen, waarmee een schaalbare oplossing wordt geboden voor het tekort aan gestructureerde morfologische data en een feedbacklus wordt gecreëerd met professionele taxonomen.

De kern

Stel je voor dat er een enorme bibliotheek is met miljarden foto's van dieren, planten en schimmels. Deze foto's zijn gemaakt door musea en wetenschappers en staan online, beschikbaar voor iedereen. Maar er is een groot probleem: hoewel we de foto's hebben, weten we vaak niet precies wat we op die foto's zien. Is dat een poot? Een vleugel? Wat voor kleur of textuur heeft het? Zonder deze details zijn de foto's als een boek zonder tekst: mooi om naar te kijken, maar je kunt er geen verhaal uit halen.

Dit artikel introduceert een nieuwe, slimme oplossing voor dit probleem: de Descriptron-GBIF Annotator.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Digitale Kleurplaat" voor iedereen

Stel je een digitale kleurplaat voor, maar dan met foto's van echte dieren in plaats van tekeningen.

• Geen installatie nodig: Je hoeft geen zware software te downloaden. Je opent gewoon je webbrowser (zoals Chrome of Safari), net als wanneer je een website bezoekt.
• De foto's: Het programma haalt direct foto's op uit een gigantische wereldwijde database (GBIF).
• De AI-assistent: Dit is het magische deel. Als je op de foto klikt, helpt een slimme computer (een AI genaamd SAM2) je om direct de vorm van een poot of vleugel te "omlijnen". Het is alsof de computer voor je de contouren schetst, en jij hoeft alleen maar te bevestigen of het klopt.

2. De "Reisgids" voor dieren

Niet elk dier is hetzelfde. Een mier ziet er anders uit dan een vogel of een paddenstoel.

• Het programma heeft een enorme bibliotheek van "sjablonen" (of reisgidsen). Als je een foto van een kever opent, ziet het programma: "Ah, dit is een kever!" en toont het direct de juiste gids voor kevers.
• In deze gids staan vakjes voor specifieke delen: "kop", "vleugels", "pootjes". Jij vult deze in met simpele keuzes (bijvoorbeeld: "glad" of "ruw", "zwart" of "bruin").
• Dit zorgt ervoor dat iedereen, van een schoolkind tot een hobbyist, dezelfde taal spreekt over de details van het dier.

3. Twee lagen: De "Burgers" en de "Experts"

Het systeem werkt als een team van twee, die elkaar helpen:

• Laag 1 (De Publieke Annotator): Dit is het programma dat iedereen kan gebruiken. Miljoenen mensen kunnen samenwerken om duizenden foto's te beschrijven. Het is als een gigantisch gezamenlijk puzzelstukje leggen.
• Laag 2 (De Professionele Werkbank): Dit is een geavanceerde versie voor echte experts (taxonomen). Ze gebruiken de gegevens die de "burgers" hebben verzameld om de AI nog slimmer te maken.
• De Feedback-lus: De experts maken de AI slimmer, en die slimmere AI helpt de burgers weer sneller en beter. Het is een cyclus waarbij iedereen wint.

4. Waarom is dit zo belangrijk?

Vroeger moesten alleen experts met jarenlange studie de details van een dier beschrijven. Dat gaat veel te langzaam; er zijn meer soorten dan er experts zijn.

• Met dit systeem kunnen we duizenden foto's per dag analyseren door de kracht van de menigte (crowdsourcing) te combineren met slimme computers.
• De resultaten worden niet alleen opgeslagen als een lijstje, maar als een dubbelklikbare kennisnetwerk. Dit betekent dat computers de informatie echt kunnen begrijpen en gebruiken om nieuwe soorten te ontdekken of bedreigde soorten te beschermen.

Samenvattend

Dit project is als het bouwen van een gemeenschappelijke taal voor de natuur. Het maakt het mogelijk dat een kind in zijn slaapkamer, een bioloog in een museum en een computerprogramma samenwerken om de geheimen van de natuur te ontcijferen. Het verandert een stapel saaie foto's in een levendige, digitale encyclopedie die voor iedereen toegankelijk is.

Kortom: Iedereen kan nu helpen om de wereld van de biodiversiteit te beschrijven, met een beetje hulp van een slimme computer.

Technische samenvatting

Probleemstelling

De biodiversiteitscrisis vereist nieuwe benaderingen voor taxonomische beschrijvingen die verder gaan dan de capaciteit van professionele taxonomen. Er bestaat een groeiende kloof tussen het aantal onbeschreven soorten (geschat op 80% van de wereldwijde soorten, met name bij "donkere taxa" zoals bepaalde geleedpotigen) en het aantal gespecialiseerde experts.
Hoewel het Global Biodiversity Information Facility (GBIF) meer dan 2,7 miljard waarnemingsrecords heeft, bestaat de beschikbare data voor de meeste exemplaren voornamelijk uit locatie, datum en taxonomische toewijzing. Er ontbreekt gestructureerde morfologische informatie. Bestaande burgerwetenschapsplatforms (zoals iNaturalist en Notes from Nature) focussen op waarnemingen of labeltranscriptie, maar bieden geen hulpmiddelen voor niet-specialisten om gestructureerde morfologische observaties toe te voegen aan de miljoenen hoogwaardige specimenbeelden die al beschikbaar zijn.

Methodologie

De auteurs introduceren de Descriptron-GBIF Annotator, een browsergebaseerd platform dat volledig client-side draait als één enkel HTML-bestand (ong. 270 KB). Dit vereist geen installatie, compilatie of server-side verwerking.

Architectuur en Integratie:

• GBIF en Zenodo BioSysLit: De tool haalt direct beelden op via de GBIF Occurrence API (ondersteuning voor paginatie, autocompletie van soorten) en integreert met Zenodo's Biodiversity Literature Repository (BioSysLit) voor het annoteren van figuren uit taxonomische publicaties.
• AI-ondersteuning (SAM2): Het systeem gebruikt het Segment Anything Model 2 (SAM2) voor AI-ondersteunde segmentatie. De architectuur is gesplitst: een FastAPI-backend (optioneel) encodeert de afbeelding één keer en retourneert embeddings; de browser voert de decoder uit via onnx-runtime-web voor real-time maskervoorherspellingen op basis van gebruikersinput (punten, bounding boxes).
• Morfologische Templates: Er is een bibliotheek met 25 morfologische sjablonen die alle grote takken van meercellig leven bestrijken (bijv. insecten, gewervelden, schimmels, planten). Dit omvat 124 gestandaardiseerde weergaven (zoals lateraal, dorsaal, ventraal, frontaal).
• Ontologie-koppeling: Anatomische regio's zijn gekoppeld aan formele ontologieën (UBERON, Hymenoptera Anatomy Ontology, Plant Ontology). Dit omvat 335 unieke CURIE's en 745 mogelijke instanties voor annotatie, met gecontroleerde vocabulaires voor eigenschappen (textuur, kleur, setae-dichtheid, etc.).
• Tools: De interface biedt tools voor puntselectie, bounding boxes, penseel, gum, sleutelpunten, lijnen (voor naden) en een schaalbalk-calibratiehulpmiddel voor fysieke metingen.

Tweelaags Architectuur:
Het systeem is ontworpen als de eerste laag (publiek) van een tweelaags model:

1. Tier 1 (Public): De browser-annotator voor crowdsourcing.
2. Tier 2 (Professional): De Descriptron Portal, een GPU-versnelde werkplek voor taxonomen met geavanceerde tools (fine-tuning van SAM2, geometrische morfometrie, automatische beschrijvingen via GPT-4).
   Een bidirectionele dataflow via COCO JSON zorgt voor een feedbacklus: publieke annotaties trainen de professionele AI-modellen, en expert-gevalideerde data verbetert de publieke tool.

Belangrijkste Bijdragen

1. Eerste Tool voor Gestructureerde Morfologische Crowdsourcing: Het is het eerste publieke instrument dat niet-specialisten in staat stelt gestructureerde, ontologie-gekoppelde morfologische data toe te voegen aan GBIF-afbeeldingen.
2. Zero-Installatie Implementatie: Door het gebruik van een enkel HTML-bestand en client-side AI (ONNX), is de drempel voor gebruik extreem laag.
3. Uitgebreide Ontologie-integratie: Koppeling aan UBERON en domeinspecifieke ontologieën zorgt voor semantische interoperabiliteit.
4. Nieuwe Exportformaten: Ondersteuning voor Darwin Core JSON, COCO JSON (voor computer vision training), Traits CSV, en een innovatieve JSON-LD kennisgrafiek die exemplaren verbindt met anatomische regio's en morfologische kenmerken.
5. Directe Publicatie via Zenodo: Een ingebouwde pijplijn stelt gebruikers in staat annotaties direct te publiceren als citeerbare datasets met DOI's, volledig compliant met FAIR-principes (Findable, Accessible, Interoperable, Reusable).
6. Mobiel Responsive Design: De interface past zich automatisch aan voor tablets en telefoons, met een compacte toolbar die direct naast het canvas wordt weergegeven.

Resultaten

• Functionaliteit: De tool is operationeel en toegankelijk via https://descriptrongbifannotator.org. Het ondersteunt annotatie van beelden van zowel GBIF als Zenodo BioSysLit.
• Performance: De SAM2-decoder voert inferentie uit in minder dan 100ms op moderne hardware, wat interactieve exploratie mogelijk maakt.
• Data-uitvoer: Het systeem genereert succesvol gestructureerde datasets in meerdere formaten. De JSON-LD export creëert een machine-leesbare kennisgrafiek die exemplaren, taxa, anatomische regio's en kenmerken koppelt via formele identifiers.
• Educatieve en Onderzoeksvalue: De tool fungeert als een interactieve gids voor morfologie voor studenten en verzamelt gestandaardiseerde data die computergestuurd kan worden geaggregeerd voor onderzoek.

Betekenis en Toekomstperspectief

De Descriptron-GBIF Annotator adresseert een kritieke lacune in de biodiversiteitsinformatica: de overvloed aan beelden versus het gebrek aan gestructureerde morfologische data. Door het burgerwetenschapsmodel (zoals bij iNaturalist) te koppelen aan geavanceerde computer vision en ontologieën, creëert het een schaalbare oplossing voor de taxonomische crisis.

Toekomstige ontwikkelingen:

• Uitbreiding van het morfologische vocabulaire via het extraheren van kenmerken uit gepubliceerde beschrijvingen met Large Language Models (LLM).
• Ontwikkeling van een "model zoo" met voorgeprogrammeerde SAM2 LoRA-adapters voor specifieke, verwaarloosde taxa.
• Integratie met de iNaturalist API voor veldobservaties.
• Implementatie van WebGPU voor het draaien van zwaardere modelvarianten direct in de browser.
• Verdere integratie met andere morfologie-ontologie-initiatieven zoals Phenoscript.

Samenvattend transformeert dit ecosysteem statische specimenafbeeldingen in rijke, machine-leesbare morfologische bronnen, waarbij publieke participatie en professionele expertise in een positieve feedbacklus werken om de taxonomie te versnellen.