Descriptron-GBIF Annotator: A browser-based platform for crowdsourced morphological annotation of biodiversity images to help accelerate morphology based biodiversity data

Il paper presenta il Descriptron-GBIF Annotator, una piattaforma browser-based e senza installazione che sfrutta l'intelligenza artificiale e la scienza partecipativa per accelerare la raccolta di annotazioni morfologiche strutturate da immagini di biodiversità, colmando il divario tra la vasta disponibilità di immagini di esemplari e la scarsità di dati morfologici organizzati.

L'essenziale

Immagina di avere una biblioteca immensa, piena di milioni di foto di animali, piante e insetti conservati nei musei di tutto il mondo. Queste foto sono bellissime e dettagliatissime, ma per la stragrande maggioranza di esse, le informazioni sono come se fossero scritte su un foglio di carta bianco: sappiamo solo dove sono state prese e quando, ma non sappiamo cosa c'è scritto dentro l'immagine. Non sappiamo se quel insetto ha le antenne pelose, se le ali hanno certe venature o di che colore è il suo guscio.

Gli scienziati esperti (i tassonomi) sono pochi e molto occupati. Non riescono a guardare tutte queste foto e descrivere ogni dettaglio. È come se avessimo un oceano di immagini, ma poche persone capaci di leggerle.

Cos'è il "Descriptron-GBIF Annotator"?

Questo strumento è come un gioco interattivo online che chiunque può usare, anche senza installare nulla sul computer. È un "traduttore" che trasforma le foto statiche in dati intelligenti.

Ecco come funziona, spiegato con delle metafore semplici:

1. Il "Foglio di Traccia" Intelligente (I Template)

Immagina di dover disegnare un volto umano. Se ti dessi un foglio bianco, potresti sbagliare a posizionare gli occhi o la bocca. Ma se ti dessi un foglio di traccia (un foglio trasparente con il contorno del viso già disegnato), ti basterebbe colorare le parti giuste.
Il Descriptron fa esattamente questo: quando carichi una foto di un insetto, il programma riconosce di che tipo è e ti mostra un "foglio di traccia" digitale con le parti del corpo già etichettate (es. "zampa", "ala", "testa"). Tu devi solo cliccare sulle parti che vuoi descrivere.

2. L'Assistente Robot (L'Intelligenza Artificiale)

Fino a poco tempo fa, per isolare una parte di un'immagine (ad esempio, staccare le ali dallo sfondo) serviva un artista esperto con un pennello digitale. Ora, il programma usa un robot assistente chiamato SAM2.
Tu fai un piccolo punto sulla zampa dell'insetto e il robot dice: "Ah, capito! È una zampa!" e colora automaticamente tutta la zampa per te. Se sbagli, puoi cancellare con una gomma digitale. È come avere un assistente che ti aiuta a colorare dentro le righe, rendendo il lavoro velocissimo e facile anche per chi non è un esperto.

3. La "Cassetta degli Attrezzi" per Tutti (Citizen Science)

Il progetto si basa sull'idea che tutti possiamo contribuire. Non serve essere un biologo.

• Per gli studenti: È come un libro di testo interattivo. Imparano i nomi delle parti del corpo mentre giocano.
• Per gli appassionati: Possono aiutare la scienza a casa propria, da qualsiasi browser.
• Per gli scienziati: Ricevono milioni di dati strutturati che prima erano invisibili.

4. Il Sistema a Due Livelli (La Scala)

Il progetto è diviso in due parti che lavorano insieme come una scala:

• Il primo livello (Pubblico): È il gioco online dove tutti caricano le foto e le descrivono. Più persone giocano, più dati si accumulano.
• Il secondo livello (Professionale): È un laboratorio super-potente per gli scienziati. Qui usano i dati raccolti dal pubblico per "addestrare" i robot (l'Intelligenza Artificiale) a diventare ancora più bravi.
• Il ciclo magico: Più il pubblico aiuta, più l'IA diventa intelligente. Più l'IA diventa intelligente, più il gioco diventa facile e preciso per il pubblico. È un cerchio virtuoso.

5. Il "Passaporto" dei Dati (Export e Zenodo)

Quando finisci di descrivere un insetto, il programma non ti dà solo una foto colorata. Ti dà un passaporto digitale (un file di dati) che dice esattamente: "Questa è la zampa di questo insetto, è di colore rosso, ha 3 peli, e misura 2 millimetri".
Questi dati vengono poi inviati a un archivio globale (Zenodo) con un numero unico, così chiunque nel mondo può usarli per fare ricerche, come se fossero un pezzo di un grande puzzle scientifico.

In sintesi

Il Descriptron-GBIF Annotator è un ponte che collega la gente comune alla scienza avanzata. Trasforma le foto dei musei da "immagini silenziose" in "libri parlanti" pieni di informazioni, aiutando a risolvere la crisi della biodiversità coinvolgendo milioni di persone in un gioco utile per il futuro del nostro pianeta.

È come se avessimo un esercito di volontari digitali che, con l'aiuto di un robot, sta scrivendo il dizionario di tutte le forme di vita sulla Terra, una foto alla volta.

Sommario tecnico

Titolo: Descriptron-GBIF Annotator: Una piattaforma browser per l'annotazione morfologica crowdsourced

1. Il Problema

La crisi della biodiversità richiede approcci tassonomici scalabili, ma esiste un divario critico tra il numero di specie da descrivere (si stima che l'80% rimanga ancora sconosciuto) e la disponibilità di tassonomi professionisti.

• Dati non strutturati: Sebbene il Global Biodiversity Information Facility (GBIF) abbia mobilizzato oltre 2,7 miliardi di record di occorrenze, la maggior parte di questi dati si limita a località, date e assegnazioni tassonomiche, mancando di informazioni morfologiche strutturate.
• Paradosso delle immagini: Milioni di immagini ad alta risoluzione di esemplari sono accessibili pubblicamente, ma non esistono strumenti diffusi che permettano a non specialisti di contribuire con osservazioni morfologiche strutturate su queste immagini.
• Limiti delle piattaforme esistenti: Piattaforme di citizen science come iNaturalist o Notes from Nature si concentrano su identificazioni di occorrenza o trascrizione di etichette testuali, non sull'annotazione morfologica dettagliata.

2. Metodologia

Il paper presenta il Descriptron-GBIF Annotator, un tool browser-based che funge da primo livello di un'architettura a due livelli, progettato per colmare il divario tra dati grezzi e conoscenza strutturata.

• Architettura Tecnica:

  • Zero-Installazione: L'applicazione è un singolo file HTML (~270 KB) contenente tutto il codice (markup, CSS, JS). Non richiede installazione, compilazione o elaborazione lato server per l'utente.
  • Integrazione Dati: Si connette direttamente alle API di GBIF (per occorrenze e immagini) e a Zenodo BioSysLit (per immagini estratte da pubblicazioni tassonomiche).
  • AI-Assisted Segmentation: Utilizza il modello SAM2 (Segment Anything Model 2). L'architettura è divisa: un backend FastAPI esegue l'encoder SAM2.1-Tiny una volta per immagine per generare embedding, mentre il browser esegue il decoder ONNX (tramite onnx-runtime-web) per prevedere le maschere in tempo reale in risposta a prompt dell'utente (punti, box, pennelli).
  • Template Morfologici e Ontologia: Il sistema include una libreria di 25 gruppi tassonomici (es. Formicidae, Coleoptera, Aves, Fungi) con 124 viste standardizzate. Ogni regione anatomica è collegata a termini formali di ontologie come UBERON, HAO (Hymenoptera Anatomy Ontology) e PO (Plant Ontology), supportando 335 CURIE uniche e 745 possibili menzioni ontologiche.
  • Strumenti di Annotazione: Include strumenti per segmentazione (punti, box, pennello, gomma), keypoints, linee (per suture/solchi), calibrazione della scala e modalità di modifica delle maschere.

• Flusso di Lavoro (Workflow):

  1. Ricerca e caricamento dell'immagine (da GBIF o Zenodo).
  2. Rilevamento automatico del template morfologico basato sulla classificazione tassonomica.
  3. Annotazione assistita da AI (SAM2) e correzione manuale.
  4. Assegnazione di attributi morfologici controllati (es. texture, colore, venatura).
  5. Esportazione e pubblicazione.

3. Contributi Chiave

• Interoperabilità e Formati di Esportazione: Il sistema supporta quattro formati chiave:
  • Darwin Core JSON: Per metadati di occorrenza e misurazioni strutturate.
  • COCO JSON: Per maschere di segmentazione e keypoints, pronto per l'addestramento di modelli di visione artificiale (Detectron2, OpenCV).
  • Traits CSV: Per analisi statistiche.
  • Knowledge Graph (JSON-LD): Un formato innovativo che collega esemplari, regioni anatomiche e tratti morfologici tramite ontologie formali, creando un grafo di conoscenza linked data.
• Pipeline di Pubblicazione Zenodo: Integrazione nativa per depositare le annotazioni come dataset citabili con DOI direttamente dal browser, garantendo tracciabilità e conformità ai principi FAIR.
• Architettura a Due Livelli (Two-Tier Architecture):
  • Tier 1 (Pubblico): Descriptron-GBIF Annotator per il crowdsourcing.
  • Tier 2 (Professionale): Descriptron Portal, una workbench GPU-accelerata per tassonomi che offre fine-tuning di modelli AI, morfometria geometrica e descrizioni automatizzate.
  • Feedback Loop: Le annotazioni pubbliche (Tier 1) generano dati di addestramento per migliorare i modelli AI del Tier 2; le annotazioni validate dagli esperti (Tier 2) possono essere reimportate nel Tier 1 per migliorare gli strumenti pubblici.

4. Risultati

• Copertura Tassonomica: Il sistema copre 25 gruppi principali (dai funghi ai mammiferi) con 124 viste standardizzate, garantendo prospettive cardinali (es. laterale, dorsale, ventrale, frontale) per ogni gruppo.
• Usabilità: L'interfaccia è responsive (mobile-friendly) e permette l'uso su tablet e smartphone, adattando gli strumenti di annotazione allo spazio disponibile.
• Validazione Scientifica: Il progetto dimostra che l'annotazione morfologica complessa, precedentemente riservata a software desktop e esperti, può essere democratizzata attraverso interfacce guidate da template e assistenza AI.
• Generazione di Knowledge Graph: Ogni sessione di annotazione produce un frammento strutturato di un grafo di conoscenza che collega Specimen, Taxon, Image, AnatomicalRegion e MorphologicalTrait, pronto per l'integrazione in ecosistemi di dati collegati (Linked Data).

5. Significato e Impatto

Il Descriptron-GBIF Annotator rappresenta un cambiamento di paradigma nella bioinformatica della biodiversità:

• Risoluzione della "Crisi Tassonomica": Offre una soluzione scalabile per estrarre dati morfologici strutturati dalle enormi quantità di immagini già esistenti, coinvolgendo una vasta base di cittadini scienziati (studenti, hobbisti, educatori).
• Ponte tra Citizen Science e AI: Ispirandosi a modelli come Notes from Nature, trasforma la raccolta di dati da semplice trascrizione a osservazione morfologica strutturata, creando un ciclo virtuoso dove i dati pubblici alimentano l'IA professionale e viceversa.
• Accessibilità e Sostenibilità: La natura "zero-install" e l'uso di modelli ONNX nel browser riducono drasticamente le barriere all'ingresso e i costi infrastrutturali.
• Futuro della Tassonomia: Il progetto getta le basi per un futuro in cui le descrizioni delle specie possono essere parzialmente automatizzate e validate collettivamente, accelerando la scoperta e la descrizione della biodiversità globale.

Il codice sorgente è open source e disponibile su GitHub, mentre l'applicazione è accessibile pubblicamente all'indirizzo indicato nel paper.