A Registry-Bound LLM Pipeline for Evidence-Grounded Trait Extraction across Tropical Plants, Aquatic Species, and Exotic Pets

Sintesi Tecnica: Una Pipeline di LLM Vincolata a un Registro per l'Estrazione di Tratti Basata su Evidenze

Definizione del Problema
I tratti strutturati delle specie (ad es. tolleranza alla luce, tossicità, metodi di propagazione) sono essenziali per applicazioni a valle che vanno dalla modellazione delle nicchie ecologiche alla conformità normativa. Tuttavia, la produzione di tali record su scala tramite cura manuale è impraticabile per dataset massivi e trans-dominio come la Tropical Species Encyclopedia, che copre circa 410.000 piante tropicali coltivate, specie acquatiche e animali esotici. Sebbene i Large Language Models (LLM) offrano una via per la scalabilità, essi introducono criticità relative alla fiducia: valori allucinati, mancanza di fondamento nelle evidenze, errori di fuori vocabolario (OOV) del registro e fiducia non calibrata. Inoltre, il testo di base è esso stesso generato da un LLM (Hop 1), creando una pipeline a due hop in cui il processo di estrazione (Hop 2) deve essere rigorosamente verificabile per garantire che dati critici per la sicurezza (ad es. tossicità, stato CITES) non vengano pubblicati come fatti autorevoli senza verifica.

Metodologia: Il Framework Vincolato al Registro
Il documento propone un framework a quattro meccanismi per rendere l'estrazione dei tratti derivata da LLM verificabile e operativa su larga scala. La pipeline elabora il substrato della Tropical Species Encyclopedia, dove ogni record di specie contiene sette sezioni biologiche canoniche in lingua cinese (morfologia, distribuzione, ecc.).

1. Registro a Vocabolario Chiuso Versionato: Uno schema rigoroso definisce 39 chiavi di tratto in quattro domini (universale, piante, acquatico, animali domestici) e cinque tipi di valore (testo, enum, multi_enum, int, range). Ogni valore ammesso deve conformarsi a questo schema tipizzato. Quattro chiavi sono contrassegnate come "red-zone" (critiche per la sicurezza: tossicità per umani/animali, pericoli fisici, stato CITES).
2. Citazioni di Evidenza Verbatim per Riga: L'LLM è tenuto a estrarre una evidence_quote che deve apparire come una sottostringa esatta nel testo della sezione biologica di origine. Ciò impedisce al modello di fabbricare evidenze.
3. Etichette di Fiducia Assegnate dal Modello: Il modello assegna un livello di fiducia (Alta, Media o Bassa). I candidati a bassa fiducia vengono indirizzati a ritorni nulli e scartati; solo le righe ad alta e media fiducia vengono persistite.
4. Preservazione Multi-Versione: Il sistema preserva tutte le esecuzioni di estrazione sotto una chiave univoca di (species_id, trait_key, model_version). Ciò consente l'analisi della cronologia e della divergenza tra modelli senza sovrascrivere le estrazioni precedenti.

Pipeline di Estrazione e Filtraggio
La pipeline utilizza il modello mimo-v2.5 tramite un'API compatibile con OpenAI. Il processo prevede tre percorsi di esito distinti per le celle candidate:

• Ammissione: Supera sia il filtro di verifica della sottostringa (la citazione dell'evidenza esiste nel testo sorgente) che quello di conformità al registro (chiave e valore sono validi).
• Rifiuto:
  • Non supportato da sottostringa/evidenza: La citazione non è presente verbatim nella sorgente (9,46% dei candidati).
  • Registro-OOV/Enum: La chiave o il valore violano il vocabolario chiuso o i limiti di tipo (0,09% dei candidati).
• Astensione: Il modello restituisce esplicitamente null quando non può supportare un'affermazione, invece di indovinare (37,47% dei candidati). Questo è trattato come una caratteristica, non come un fallimento.

Risultati Chiave
Applicata a 409.880 specie pubblicabili, la pipeline ha eseguito 706.220 run e ha persistito 5.489.881 record di tratti (copertura del 99,985% della popolazione target).

• Distribuzione della Fiducia: L'81,57% dei record è ad Alta fiducia; il 18,43% è a Media fiducia. I tratti della "red-zone" mostrano un tasso di Alta fiducia superiore (87,82%) a causa della loro dipendenza da segnali lessicali espliciti piuttosto che dall'inferenza.
• Livelli di Validazione:
  • Livello 1 (Automatico, Popolazione Totale): La verifica della sottostringa conferma che il 90,12% delle righe dotate di evidenza contiene una citazione verbatim dalla sorgente. Questo sale al 93,49% escludendo il tratto cites_appendix_in_bio, che trae evidenza da campi strutturati anziché dalla prosa.
  • Livello 2 (Manuale, n=100): Un audit stratificato di righe non appartenenti alla red-zone ha confermato che 100/100 citazioni di evidenza supportano semanticamente i valori asserti (Limite inferiore 96,30%).
  • Livello 3 (Manuale, n=50): Un audit di validità di facciata delle righe red-zone (tossicità) ha prodotto 50/50 Accetto (Limite inferiore 92,86%).
• Divergenza: Tra le 2.064 coppie specie-tratto estratte da più versioni del modello, il 73,5% ha prodotto valori identici. Le divergenze erano largamente cosmetiche (ad es. l'ordine in liste multi-enum) piuttosto che contraddittorie.

Significatività e Rivendicazioni
Il documento inquadra esplicitamente il proprio contributo come un framework metodologico piuttosto che una rivendicazione di correttezza per singolo record.

• Substrato Pronto per l'Audit: Il deposito è posizionato come una risorsa "pronta per l'audit". Non sostiene la correttezza del 100%; tutti i 5,5 milioni di righe sono attualmente contrassegnati come pending in attesa di revisione umana. Il valore risiede nella macchina di provenienza (citazioni di evidenza, etichette di fiducia, versionamento) che consente ai consumatori a valle di stratificare la fiducia in base al loro specifico caso d'uso.
• Scalabilità del Rigore: Il lavoro dimostizza che una pipeline di estrazione basata su registro e fondata sulle evidenze può operare alla scala di milioni di record mantenendo una stretta aderenza allo schema e al testo sorgente, gestendo efficacementmente il problema della "fiducia per riga" inerente all'estrazione da LLM.
• Trasparenza: Pubblicando i contatori dei rifiuti, i tassi di astensione e i campioni di audit, il paper fornisce un rendiconto trasparente del comportamento della pipeline, distinguendo tra fallimento del modello, caratteristiche del protocollo (astensione) e problemi infrastrutturali.

Limitazioni e Ambito
Gli autori dichiarano esplicitamente cosa non è stato validato:

• Fedeltà di Hop-1: La qualità del testo del substrato a monte (generato da un altro LLM) non è oggetto di validazione in questo studio.
• Correttezza per Singolo Record: Non viene fatta alcuna affermazione sulla correttezza fattuale di un singolo record di tratto senza cura umana.
• Accordo tra Valutatori: Il coefficiente κ di Cohen non è stato calcolato; i campioni di audit sono pubblicati per consentire la revisione cieca esterna.
• Validazione Cross-Family: L'accordo tra modelli è osservato solo su un piccolo campione di opportunità; uno studio controllato cross-family è differito.

Il documento conclude che il framework a quattro meccanismi consente con successo la produzione di un dataset di tratti massivo, strutturato e verificabile, spostando l'onere della verifica finale ai consumatori a valle dotati degli strumenti di provenienza necessari.