Sintesi Tecnica: TadA-Bench

Definizione del Problema

Il campo dell'IA per la scoperta scientifica si sta spostando verso flussi di lavoro "agenti" (agentic), in cui i modelli partecipano attivamente a processi decisionali iterativi anziché limitarsi a un adattamento passivo di dataset statici. Nell'ingegneria proteica, ciò implica sistemi capaci di leggere le cronologie dei laboratori wet-lab, analizzare i dati e dare priorità ai candidati per esperimenti futuri. Tuttavia, i benchmark esistenti spesso non riescono a valutare la capacità di un modello di generalizzare dai round sperimentali passati a quelli futuri. I benchmark standard si affidano tipicamente a divisioni casuali dei dati, che testano l'interpolazione (predire all'interno di distribuzioni note) piuttosto che il compito critico della scoperta in round futuri (classificare varianti che emergono solo nei round sperimentali successivi). Manca un benchmark riproducibile e su larga scala che preservi la struttura cronologica delle reali campagne di evoluzione diretta per testare se i modelli possano dare priorità ai risultati futuri del wet-lab basandosi sulle evidenze passate registrate.

Metodologia

1. Costruzione del Benchmark: TadA-Bench

Gli autori introducono TadA-Bench, un benchmark di replay wet-lab a dati fissi derivato da 31 round di evoluzione diretta di TadA (adenosina deaminasi).

• Scala: Il dataset copre circa un milione di varianti osservate tramite Next-Generation Sequencing (NGS).
• Viste (Views): Fornisce viste allineate di sequenze di DNA, RNA e proteine, consentendo la valutazione di modelli linguistici genomici, di trascritti e proteici sullo stesso esperimento sottostante.
• Protocollo: Il benchmark definisce un compito di "replay di round futuri". I modelli vengono addestrati su varianti e misurazioni di round precedenti ($D_{\le k}$) e valutati sulla loro capacità di classificare varianti che appaiono solo in round successivi ($D_{> k}$). Nel caso principale, i modelli si addestrano sui round 1–27, validano sul round 28 e testano sui round 29–31. Le divisioni sono disgiunte dal punto di vista della sequenza per prevenire la memorizzazione.

2. Integrazione dei Dati: Seq2Graph

Un contributo metodologico centrale è Seq2Graph, una pipeline basata su grafi progettata per unificare le misurazioni di arricchimento multi-round rumorose in etichette di attività coerenti.

• Sfida: I dati grezzi di selezione contengono effetti di batch, stime di arricchimento rumorose e incoerenze locali a coppie attraverso i 31 round.
• Meccanismo:
  • Costruzione del Grafo: All'interno di ogni round, le varianti sono classificate per arricchimento del conteggio delle letture (read-count). Viene costruito un grafo diretto dove gli archi collegano varianti adiacenti nella lista ordinata, pesati dai rapporti di arricchimento locale.
  • Ancoraggio: Le varianti che compaiono in più round (sovrapposizioni di sequenza) agiscono come "ancore" per connettere i grafi di classificazione locale attraverso la campagna.
  • Eliminazione delle Incoerenze: La pipeline formula la rimozione di cicli contraddittori (es. $A > B > C > A$) come un problema di Weighted Feedback Arc Set. Viene utilizzata un'euristica greedy per rimuovere gli archi a bassa confidenza, trasformando il grafo in un Grafo Aciclico Diretto (DAG).
  • Assegnazione dell'Attività: Una scala di attività è ancorata a una variante di riferimento (TadA8e = 1.0). I punteggi sono propagati nel dominio logaritmico (rapporti moltiplicativi) dal riferimento a tutti gli altri nodi tramite il percorso con il minor numero di archi.
• Output: Questo produce etichette di attività relativa definite dalla sequenza per le viste DNA, RNA e proteica, senza inferire l'ascendenza biologica o alberi di lignaggio.

3. Framework di Valutazione

La valutazione tratta i modelli linguistici biologici come un "modulo di classificazione" per un ciclo agente.

• Modelli: Lo studio valuta modelli DNA (Evo 2, Nucleotide Transformer), modelli RNA (OmniGenome) e modelli proteici (ESM2, ProtTrans, ESMC).
• Protocolli:
  • Encoder Congelato (Frozen Encoder): La valutazione primaria congela l'encoder pre-addestrato e addestra una testa di regressione a valle.
  • Controlli di Adattamento: Include il fine-tuning completo e il prompt tuning per escludere artefatti del protocollo.
  • Metriche: Correlazione di rango di Spearman ($\rho$), Recall@10% e nDCG@10.
  • Modalità Scoperta (Discovery Mode): Valuta la prioritizzazione dei candidati sotto budget finiti (96 e 384 varianti, simulando le dimensioni standard delle piastre).

Risultati Chiave

1. Il Gap dei Round Futuri

I modelli linguistici biologici rappresentativi mostrano un netto divario di prestazioni tra l'interpolazione e la scoperta in round futuri:

• Interpolazione (Divisione Casuale): Con una divisione casuale 8:1:1, i modelli proteici raggiungono forti correlazioni di Spearman ($\rho \approx 0.8$), indicando che lo spazio delle etichette è apprendibile.
• Scoperta in Round Futuri: Sotto la divisione cronologica fissa, le prestazioni degradano drasticamente. Le correlazioni di Spearman scendono a $\rho \approx 0.03$–$0.05$ attraverso le viste DNA, RNA e proteica.
• Adattamento: Il fine-tuning completo e il prompt tuning non riescono a colmare questo divario (miglior $\rho$ osservato $\approx 0.06$), suggerendo che la difficoltà risieda nella capacità delle rappresentazioni di dare priorità alle evidenze future, non solo nella testa di regressione.

2. Prioritizzazione in Modalità Scoperta

In un setting di "modalità scoperta" dove solo un numero limitato di candidati (es. 96) può essere testato:

• I modelli non riescono ad arricchire le vere varianti ad alta attività del futuro.
• I tassi di hit per i primi 5% dei candidati sono vicini al caso casuale (circa il 3–5% rispetto al 5% atteso), indicando che gli attuali modelli non possono identificare efficacemente varianti promettenti per il prossimo round sperimentale.

3. Copertura Evolutiva vs Densità Locale

Gli autori hanno investigato se la composizione dei dati di addestramento influenzi la performance nei round futuri:

• Densità: Semplicemente aumentare il numero di campioni dagli stessi round evolutivi (sottocampionamento casuale) produce rendimenti decrescenti.
• Copertura: I subset che danno priorità alla copertura evolutiva (selezionando varianti da round diversi o massimizzando la similarità con il set di validazione target) superano i subset più grandi e densi da round limitati.
• Conclusione: Su TadA-Bench, coprire ampie regioni evolutive o funzionali è più informativo per la scoperta nei round futuri rispetto all'aumento della densità locale dei dati.

4. Robustezza

• Validazione Biologica: Assay ortogonali a basso throughput con reporter GFP su chiavi varianti hanno mostrato un forte accordo ($\rho > 0.99$) con le etichette derivate da NGS ad alto throughput.
• Robustezza Computazionale: Le analisi di bootstrapping (sottocampionamento di round o sequenze) hanno confermato che la pipeline Seq2Graph produce punteggi stabili ($\rho > 0.90$), validando la coerenza delle etichette.

Significato e Rivendicazioni

Il paper posiziona TadA-Bench come un substrato riproducibile per testare la componente di "classificazione" (ranking) dei futuri sistemi di ingegneria proteica agentici prima che vengano implementati in costose campagne wet-lab a ciclo chiuso.

• Esporre un Collo di Bottiglia: Il benchmark rivela che gli attuali modelli fondazione biologici, pur essendo efficaci nell'interpolazione, faticano significativamente nel compito specifico di classificare varianti che emergono in round sperimentali futuri. Questo è identificato come un collo di bottiglia concreto per i flussi di lavoro di ingegneria proteica iterativa.
• Design del Benchmark: Si sostiene che i benchmark per la scoperta proteica debbano preservare la struttura della campagna (cronologia e coerenza tra i round) piuttosto che trattare tutte le varianti come punti dati indipendenti. La distinzione tra "densità locale" e "copertura evolutiva" è evidenziata come un principio di design critico.
• Ambito: Gli autori dichiarano esplicitamente che TadA-Bench isola il problema della classificazione. Non valuta le politiche di pianificazione, l'uso di strumenti o l'esecuzione autonoma, ma fornisce un test stabile a dati fissi per verificare se le rappresentazioni possano utilizzare la storia sperimentale registrata per dare priorità a candidati futuri.

Gli autori rilasciano i dati, il codice e i protocolli di base su Hugging Face e GitHub per consentire confronti riproducibili dei modelli su questa specifica traiettoria sperimentale registrata.