Budget-Sensitive Discovery Scoring: A Formally Verified Framework for Evaluating AI-Guided Scientific Selection

Questo lavoro introduce il Budget-Sensitive Discovery Score (BSDS), un framework formalmente verificato per valutare strategie di selezione scientifica sotto vincoli di budget, dimostrando tramite un caso studio sul drug discovery che i modelli linguistici (LLM) non offrono alcun valore aggiunto rispetto a un classificatore ML tradizionale.

L'essenziale

Immagina di essere un cacciatore di tesori in un oceano immenso pieno di 40.000 isole. La tua missione è trovare le poche isole che contengono un tesoro reale (i farmaci che funzionano), ma hai un budget limitato: puoi visitare solo poche centinaia di isole prima di rimanere senza carburante.

Il problema è che non tutte le isole sembrano promettenti. Alcune sembrano oro, ma sono solo sabbia. Altre sembrano sabbia, ma nascondono oro.

Fino a poco tempo fa, per decidere quali isole visitare, gli scienziati usavano due metodi principali:

1. L'intuito umano (o l'IA generativa): Chiedevano a un "esperto" (in questo caso, un'intelligenza artificiale avanzata come un LLM) di guardare una mappa e dire: "Vai lì!".
2. Il vecchio metodo statistico: Usavano un algoritmo matematico semplice (una "macchina da caccia" addestrata sui dati passati) per ordinare le isole dalla più probabile alla meno probabile.

Ma c'era un grosso problema: come facevamo a sapere chi era davvero il migliore?
I vecchi metodi di valutazione erano come guardare la classifica generale di un torneo di calcio: ti dicono chi ha segnato più gol in totale, ma non ti dicono chi ha giocato meglio quando il tempo era scaduto e dovevi fare l'ultima giocata decisiva. Inoltre, non tenevano conto del fatto che sbagliare un'ispezione costa soldi (carburante sprecato) e perdere un tesoro costa opportunità.

La Soluzione: Il "Punteggio di Scoperta Sensibile al Budget" (BSDS)

Gli autori di questo paper hanno creato un nuovo metro di giudizio, chiamato BSDS (e il suo riassunto, DQS). Immaginalo come un giudice severo e matematicamente perfetto che osserva ogni cacciatore di tesori.

Questo giudice non guarda solo "quanti tesori hai trovato". Guarda tre cose contemporaneamente:

1. Quanti tesori veri hai trovato? (Recall).
2. Quante volte hai sprecato carburante visitando isole vuote? (Falsi positivi).
3. Quante isole hai lasciato senza nemmeno guardarle perché eri confuso? (Astensione).

La cosa rivoluzionaria è che questo giudice è stato verificato da un computer matematico (usando un software chiamato Lean 4). È come se avessimo scritto le regole del gioco in un linguaggio che il computer non può interpretare male: è impossibile che il punteggio sia sbagliato.

L'Esperimento: Chi vince la gara?

Gli scienziati hanno messo alla prova 39 diversi "cacciatori" (strategie diverse) su un database reale di molecole per l'HIV. Tra questi c'erano:

• I "Cacciatori LLM": Intelligenze Artificiali generative (come ChatGPT, Claude, ecc.) che dovevano indovinare quali molecole funzionassero basandosi solo sulla loro descrizione chimica (SMILES), sia senza aiuto (zero-shot) sia con qualche esempio (few-shot).
• I "Cacciatori Classici": Algoritmi statistici semplici e collaudati (Random Forest).
• I "Cacciatori Ibridi": Tentativi di mescolare i due mondi.

I Risultati Sorprendenti (La Morale della Favola)

Ecco cosa è emerso, tradotto in parole semplici:

1. Il "Vecchio Saggio" vince: Il vincitore assoluto non è stata l'IA generativa più potente e costosa. È stato il semplice algoritmo statistico (Random Forest) che ordinava le molecole in base alle probabilità calcolate.

   • Analogia: È come se in una gara di guida, il pilota che usa una vecchia mappa cartacea e un GPS semplice avesse battuto il pilota che usava un'auto volante con intelligenza artificiale avanzata. L'IA generativa, da sola, non è riuscita a capire meglio della statistica di base.

2. L'IA Generativa è confusa: Quando le IA generative (LLM) hanno provato a scegliere le molecole da sole, hanno fatto quasi peggio del caso (come tirare a sorte). Quando hanno provato a "riordinare" la lista fatta dall'algoritmo classico, hanno peggiorato le cose invece di migliorarle.

   • Analogia: È come se avessi un esperto che ha già fatto una lista dei migliori ristoranti della città. Se chiedi a un turista (l'LLM) di rivedere quella lista basandosi solo sulla sua opinione, il turista probabilmente confonderà le cose, aggiungendo ristoranti cattivi o togliendo quelli buoni.

3. Il "Reranking" non aiuta: L'idea di usare l'LLM per prendere la lista dell'algoritmo classico e migliorarla (Rerank) non ha funzionato. L'LLM ha aggiunto "rumore" invece di "segnale".

4. La verifica matematica è fondamentale: Il nuovo sistema di punteggio (BSDS) ha rivelato cose che i vecchi metodi non vedevano. Ad esempio, due strategie potevano avere lo stesso punteggio "classico" (come l'AUROC), ma il nuovo punteggio ha mostrato che una delle due stava sprecando molti più soldi in esperimenti falliti.

Perché è importante?

Questo studio ci dice due cose fondamentali per il futuro della scienza:

• Non tutto ciò che è "intelligente" è utile: Avere un'IA che parla fluentemente e genera testi scientifici plausibili non significa che sappia fare il lavoro di selezione pratica quando i soldi sono pochi. Per ora, i metodi statistici semplici e addestrati sui dati sono ancora i re della selezione.
• Dobbiamo misurare in modo diverso: Non possiamo più usare le vecchie regole per valutare le nuove IA. Dobbiamo usare metriche che tengano conto del budget (quanto costa sbagliare) e della certezza (quando è meglio non rispondere).

In sintesi, gli scienziati hanno costruito un righello perfetto per misurare chi è davvero bravo a trovare farmaci. E con questo righello, hanno scoperto che, per ora, la "vecchia scuola" statistica batte ancora le nuove IA generative nella caccia ai tesori chimici.

Sommario tecnico

1. Il Problema: Il Vuoto nella Valutazione della Scoperta Scientifica

La scoperta scientifica moderna (es. scoperta di farmaci, screening di materiali, sicurezza dei veicoli autonomi) dipende sempre più da sistemi di Intelligenza Artificiale per selezionare candidati da sottoporre a costose validazioni sperimentali. Tuttavia, il documento identifica tre lacune critiche nei metodi di valutazione attuali:

• Mancanza di consapevolezza del budget: Le metriche standard (come AUROC, F1, Enrichment Factor) integrano le prestazioni su tutti i punti di funzionamento, nascondendo le performance reali al budget specifico (es. quanti campioni possono essere testati fisicamente?).
• Costi asimmetrici degli errori: Un falso positivo (selezionare un composto inattivo) spreca risorse sperimentali costose, mentre un falso negativo (mancare un composto attivo) rappresenta un costo opportunità difficile da quantificare. Le metriche attuali non bilanciano adeguatamente questi costi.
• Assenza di modelli per l'astensione: Non esiste una metrica che premi un sistema che sceglie astenendosi (non fare una previsione) su candidati ambigui, preferendo il silenzio al rischio di errori costosi.
• Impatto degli LLM: I Large Language Models (LLM) generano proposte scientifiche plausibili, ma non esiste un framework rigoroso per determinare se aggiungano valore reale rispetto a modelli ML tradizionali già addestrati.

2. Metodologia: Il Framework BSDS/DQS

Gli autori introducono un nuovo framework di valutazione formalmente verificato, composto da due metriche principali:

A. Budget-Sensitive Discovery Score (BSDS)

Il BSDS è una metrica calcolata a ogni livello di budget ($B$) che penalizza congiuntamente:

1. Falsi Scoperte (FDR): Pesate da un parametro $\lambda$ (costo del falso positivo).
2. Eccessiva Astensione (Coverage Gap): Pesata da un parametro $\gamma$ (costo di non valutare un candidato).

La formula è definita come:
$$BSDS(B) = HR@B - \lambda \cdot FDR@B - \gamma \cdot (1 - Cov@B)$$
Dove $HR$ è il tasso di recupero (recall) e $Cov$ è la frazione di candidati per cui è stata presa una decisione definitiva.

B. Discovery Quality Score (DQS)

Il DQS è la media del BSDS su tutto lo spettro dei budget possibili. Questo impedisce ai proponenti di "barare" scegliendo un budget specifico in cui performano bene (cherry-picking), fornendo una statistica riassuntiva robusta.

Verifica Formale:
Un aspetto cruciale del lavoro è che il framework è formalmente verificato. Venti teoremi che definiscono le proprietà del BSDS (limitatezza, monotonicità, dominanza dell'oracolo, ecc.) sono stati controllati machine-checking utilizzando l'assistente di prova Lean 4. Questo garantisce che la metrica sia matematicamente corretta per definizione, indipendentemente dal comportamento inaffidabile degli LLM valutati.

3. Sperimentazione e Setup

Lo studio applica il framework a un caso di studio di ampio interesse: la scoperta di farmaci anti-HIV.

• Dataset: MoleculeNet HIV (41.127 composti, 3.5% attivi) e altri benchmark (Tox21, ClinTox, ecc.) per la generalizzazione.
• Propositori Valutati: 39 strategie diverse, incluse:
  • Baseline: Selezione casuale e "Greedy-ML" (Random Forest che seleziona i top-B basandosi sulla probabilità predetta).
  • Varianti Meccaniche: 11 varianti che simulano primitive di ragionamento (retrieval, prior knowledge, ensemble).
  • LLM: 28 configurazioni di LLM (ChatGPT-5.2, Claude, Gemini, Llama, ecc.) in modalità Zero-shot (solo SMILES) e Few-shot (con esempi), sia in modalità diretta che di Rerank (affinamento delle predizioni ML).
• Metodologia: 1.000 repliche bootstrap, split casuali e split basati su scaffold (per testare la generalizzazione su nuove serie chimiche).

4. Risultati Chiave

L'analisi ha prodotto cinque scoperte fondamentali:

1. Il Baseline ML Semplice Vince: La strategia più semplice, un Random Forest (RF) che seleziona i candidati con la probabilità più alta (Greedy-ML), ottiene il miglior DQS (-0.046). Sorprendentemente, l'aggiunta di strati di riordinamento (reranking) tramite reti neurali (MLP) o l'ottimizzazione diretta della funzione di perdita BSDS peggiora le prestazioni rispetto al RF base.
2. Gli LLM Non Aggiungono Valore Marginale: Nessun LLM (né in modalità zero-shot, né few-shot, né con riordinamento) supera il baseline Greedy-ML.
   • In modalità Direct (solo SMILES), gli LLM performano quasi come la selezione casuale o peggio.
   • In modalità Rerank, gli LLM migliorano leggermente rispetto alla modalità diretta ma degradano comunque la classifica originale fornita dal RF, aggiungendo "rumore" invece di segnale ortogonale.
3. Rivelazione di Trade-off Nascosti: BSDS/DQS distinguono tra proponenti che hanno metriche standard identiche (es. stesso AUROC e Enrichment Factor). Ad esempio, sette proponenti basati sullo stesso RF hanno lo stesso AUROC, ma DQS molto diversi, rivelando differenze nel compromesso precisione-recall-astensione invisibili alle metriche tradizionali.
4. Generalizzazione Robusta: La gerarchia dei proponenti (con il RF in testa) si mantiene coerente su cinque dataset MoleculeNet con prevalenze variabili (da 0.18% a 46.2%) e si estende anche a un dominio non farmaceutico (sicurezza dei veicoli autonomi), sebbene con una correlazione leggermente inferiore dovuta al cambio di dominio.
5. Insensibilità ai Parametri: La classifica dei proponenti rimane stabile su una griglia di 63 combinazioni diverse dei parametri di penalità ($\lambda, \gamma$), confermando che i risultati non sono un artefatto della scelta specifica dei parametri.

5. Significato e Implicazioni

• Criticità degli LLM nella Scienza: Il lavoro suggerisce che, nel contesto attuale di selezione di candidati per la scoperta di farmaci, gli LLM non possiedono la capacità di ragionamento strutturale necessaria per superare modelli ML classici addestrati su dati chimici specifici. L'uso di SMILES grezzi senza strumenti esterni (come simulazioni di docking o retrieval di letteratura) è insufficiente.
• Importanza della Valutazione Formale: L'uso di Lean 4 per verificare la metrica fornisce una garanzia di correttezza matematica, essenziale quando si valutano sistemi opachi come gli LLM.
• Guida per la Pratica: Il framework BSDS/DQS fornisce agli scienziati un modo rigoroso per valutare le strategie di selezione sotto vincoli di budget reali, spostando l'attenzione dalla semplice "accuratezza del modello" all'"efficienza della scoperta".
• Futuro: Le strategie promettenti per migliorare gli LLM includono l'uso di Chain-of-Thought, Retrieval-Augmented Generation (RAG) con database chimici e l'integrazione di strumenti di simulazione, piuttosto che il semplice prompting o il few-shot learning.

In sintesi, il paper dimostra che per compiti di selezione ad alto costo e basso budget, un approccio classico e ben addestrato (Random Forest) è attualmente superiore alle complesse architetture di LLM, e che è necessario un nuovo paradigma di valutazione (BSDS) per misurare correttamente il valore reale di queste tecnologie.