Riepilogo Tecnico: Distribird

1. Definizione del Problema

La calibrazione bayesiana di modelli basati su processi (ad es. in agricoltura, idrologia o epidemiologia) richiede la specifica di una distribuzione a priori per ogni parametro del modello. Sebbene le distribuzioni a priori informative — derivate dalla letteratura scientifica — siano statisticamente superiori alle distribuzioni uniformi non informative, esse vengono raramente utilizzate nella pratica. La barriera non è la mancanza di conoscenza, ma il costo proibitivo della raccolta, lettura e sintesi manuale di decenni di letteratura per costruire tali distribuzioni.

I recenti Large Language Models (LLM) offrono una potenziale soluzione automatizzando la ricerca e la sintesi della letteratura. Tuttavia, l'uso diretto di prompt agli LLM per generare distribuzioni a priori introduce criticità fondamentali per i flussi di lavoro scientifici:

• Mancanza di Tracciabilità: Gli LLM spesso generano distribuzioni a priori con estrema sicurezza senza citare le fonti, rendendo impossibile la verifica.
• Allucinazione: I modelli possono fabbricare distribuzioni a priori per parametri non empirici (ad es. costanti di regolazione del software) o errori tipografici.
• Privacy dei Dati: Gli LLM basati su cloud richiedono la trasmissione di descrizioni dei parametri e dettagli di modellazione non pubblicati a terze parti.

Il problema centrale è l'assenza di uno strumento scalabile, affidabile e completamente locale che automatizzi la costruzione di distribuzioni a priori basata sulla letteratura, mantenendo la piena provenienza e rifiutando le richieste fuori ambito.

2. Metodologia: Il Sistema Distribird

Distribird è un'applicazione web agentica e una libreria Python progettata per automatizzare la costruzione di distribuzioni a priori informate dalla letteratura. Opera interamente su hardware locale utilizzando modelli open-weight, garantendo che nessun dato lasci la macchina del ricercatore.

2.1 Architettura Core

Il sistema si basa su una pipeline multi-agente LangGraph che orchestra un flusso di lavoro stateful con tre cicli di feedback e routing condizionale. La pipeline elabora un ParameterInput (nome, descrizione, unità, contesto del dominio e limiti fisici) attraverso le seguenti fasi:

1. Arricchimento e Controllo di Validità:

   • Il sistema tenta innanzitutto di riconoscere il parametro. Se l'LLM non riconosce il nome o determina che la quantità è non empirica (ad es. una variabile latente), attiva un meccanismo di Early-Skip (salto anticipato).
   • Questo bypassa le fasi costose di ricerca ed estrazione (risparmiando l'80–95% del tempo di esecuzione) e classifica la richiesta come Likely_Invalid (probabilmente non valida) o Suspicious (sospetta), impedendo la generazione di distribuzioni a priori infondate.

2. Strategia di Ricerca Progressiva:

   • Pianificazione dell'Ambito (Scope Planning): Un nodo classifica la specificità della richiesta (alta, media, bassa) per determinare un'ampiezza di ricerca iniziale (rigida, mista o ampia).
   • Ricerca Parallela: Il sistema interroga Semantic Scholar e OpenAlex in parallelo per articoli ad accesso aperto. Agenti opzionali possono eseguire ricerche sul deep web, con risultati cross-verificati per prevenire citazioni allucinate.
   • Ampliamento del Dominio (Ciclo B): Se la ricerca iniziale rigorosa non produce valori rilevanti sufficienti, il sistema amplia automaticamente l'ambito della ricerca (ad es. da "mais in Europa Centrale" a "mais a livello globale") e riesegue la ricerca, accumulando evidenze anziché scartare i risultati precedenti.

3. Recupero del Testo Integrale ed Estrazione:

   • Recupero a Livelli (Tiered Fetching): Il sistema tenta di recuperare i testi completi attraverso una cascata di fonti (risolutori di URL, mirror ad accesso aperto, convertitori DOI) prima di ricorrere a un browser stealth opzionale e pesante (Camoufox) per contenuti protetti da paywall.
   • Preservazione della Struttura: I PDF vengono convertiti in Markdown per preservare le strutture delle tabelle, garantendo che i valori numerici siano estratti con le relative unità di misura e le etichette di riga/colonna intatte.
   • Estrazione: L'LLM estrae i valori numerici dal testo completo.

4. Sintesi Consapevole della Rilevanza:

   • Giudizio di Rilevanza: Ogni valore estratto viene valutato da un LLM per rilevanza di dominio (Alta, Media, Bassa).
   • Gate di Qualità: La pipeline valuta la quantità e la qualità dei valori estratti. Se le evidenze sono scarse, attiva il Raffinamento della Ricerca (Ciclo A) o il Raffinamento dell'Estrazione (Ciclo C) per trovare dati migliori.
   • Fitting della Distribuzione:
     • ≥5 Valori: Adatta cinque distribuzioni candidate (Normale, Troncata Normale, Gamma, Log-Normale, Beta) e seleziona la migliore tramite il Criterio di Informazione di Akaike (AIC).
     • 2–4 Valori: Utilizza il metodo del moment matching con una deviazione standard ampliata per prevenire l'overfitting.
     • 1 Valore: Centra una Troncata Normale sul valore con incertezza derivata dalla fonte.
     • 0 Valori: Ricorre a una Troncata Normale ampia e non informativa.
   • Pesatura: I valori sono pesati in base alla dimensione del campione e al punteggio di rilevanza (Alta=1.0, Media=0.6, Bassa=0.25).

5. Output e Provenienza:

   • Il sistema restituisce un PipelineResult contenente la distribuzione adattata, il livello di confidenza e una catena di provenienza completa (query di ricerca, articoli recuperati, valori estratti e razionale del fitting).
   • I formati includono JSON, codice Python eseguibile (SciPy) e script R.

2.2 Vincoli Tecnici

• Esecuzione Locale: Tutte le chiamate LLM utilizzano modelli open-weight (Qwen3.6 27B, Gemma 4 31B, Mistral Small 4 119B) quantizzati per l'esecuzione su GPU locale (ad es. NVIDIA H100).
• Controllo del Budget: Un IterationBudget limita il numero totale di chiamate LLM (default 30) per garantire la terminazione.
• Riproducibilità: Seed fissi e impostazioni di temperatura specifiche per il task garantiscono output deterministici per lo stesso input.

3. Contributi Chiave

1. Automazione delle Distribuzioni a Priori Informate dalla Letteratura: Distribird è un sistema che automatizza completamente il processo dalla descrizione del parametro alla distribuzione di probabilità adattata utilizzando la letteratura scientifica, mirando specificamente ai modelli basati su processi.
2. Guardrail di Validità: A differenza degli LLM standard, Distribird rileva ed esclude esplicitamente le richieste fuori ambito (errori tipografici, parametri non empirici) tramite un meccanismo di early-skip e un classificatore di validità terminale, prevenendo la generazione di distribuzioni a priori "sicure ma infondate".
3. Full Provenance (Provenienza Completa): Ogni distribuzione a priori è tracciabile fino a specifici articoli e valori estratti. Il sistema esporta una traccia di audit completa, affrontando la natura "black box" della scienza generata dagli LLM.
4. Operatività Locale e Riservata: L'intero workflow gira su hardware locale con modelli open-weight, garantendo che i dettagli di modellazione non pubblicati non vengano mai trasmessi a fornitori terzi.
5. Logica di Ricerca Progressiva: Il sistema regola dinamicamente l'ampiezza della ricerca in base alle evidenze iniziali, bilanciando la necessità di specificità con quella di trovare dati sufficienti.

4. Risultati della Valutazione

Gli autori hanno valutato Distribird su 24 parametri attraverso dieci domini scientifici utilizzando tre modelli locali open-weight, confrontando l'intera pipeline contro un baseline di LLM a singolo prompt (una richiesta diretta di una distribuzione a priori senza ricerca bibliografica).

• Qualità della Prior (Accuratezza): L'intera pipeline corrisponde al baseline a singolo prompt in termini di accuratezza della stima puntuale, ma non lo supera. Gli autori osservano che questo è previsto, poiché entrambi i metodi si basano in ultima analisi sulla stessa base di conoscenza (i dati di addestramento dell'LLM rispetto alla letteratura che esso recupera).
• Robustezza all'Allucinazione: La pipeline completa ha rifiutato con successo di produrre distribuzioni a priori per tutti i cinque parametri testati fuori ambito (fabbricati o non empirici). Al contrario, il baseline a singolo prompt ha generato distribuzioni a priori sicure e infondate per questi parametri in 11 casi su 30 modello-parametro.
• Tracciabilità: Ogni distribuzione a priori prodotta da Distribird era collegata a fonti specifiche, mentre il baseline restituiva distribuzioni senza alcuna base tracciabile.
• Operatività Locale: Il sistema è stato eseguito con successo interamente su hardware locale senza trasmettere dati sensibili.

5. Significato e Rivendicazioni

L'articolo sostiene che per i flussi di lavoro scientifici, la provenienza, la robustezza contro la fabbricazione e la privacy dei dati sono più critiche di un miglioramento marginale nell'accuratezza della stima puntuale.

Distribird non pretende di essere un estimatore "più intelligente" di un LLM ben istruito tramite prompt. Inveve, rivendica di essere uno strumento affidabile. Il suo significato risiede nel rendere la costruzione delle distribuzioni a priori basata sulla letteratura:

• Scalabile: Automatizzando un processo che precedentemente richiedeva giorni di lettura manuale.
• Auditabile: Fornendo una catena di evidenza difendibile per ogni distribuzione a priori.
• Sicura: Impedendo l'uso di distribuzioni a priori per parametri che mancano di supporto empirico.
• Privata: Consentendo l'uso di dettagli di modellazione proprietari o non pubblicati senza esporli a fornitori esterni di IA.

Gli autori concludono che queste proprietà rendono Distribird adatto al serio lavoro scientifico, dove la capacità di verificare e difendere una distribuzione a priori è un prerequisito per il suo utilizzo.