🧬 biology

Entropy, Disagreement, and the Limits of Foundation Models in Genomics

Lo studio dimostra che l'elevata entropia delle sequenze genomiche limita l'efficacia dei modelli fondazionali, causando distribuzioni di output quasi uniformi, disaccordi tra modelli e instabilità delle rappresentazioni, suggerendo che l'addestramento auto-supervisionato basato esclusivamente sulle sequenze potrebbe non essere applicabile ai dati genomici.

Autori originali: Maxime Rochkoulets, Lovro Vrček, Mile Šikić

Pubblicato 2026-04-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Maxime Rochkoulets, Lovro Vrček, Mile Šikić

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo

🧬 Il Problema: Perché i "Geni" non capiscono come le "Parole"?

Immagina di avere due studenti molto intelligenti:

Marco, che studia la lingua italiana (testi umani).
Luca, che studia il codice genetico (sequenze di DNA).

Entrambi usano lo stesso metodo di studio: leggono milioni di frasi (o sequenze di DNA) e cercano di indovinare qual è la parola (o il nucleotide) successiva. L'obiettivo è che diventino così bravi da capire le regole nascoste della lingua o della biologia, diventando dei "geni" universali.

Finora, Marco (il modello linguistico) è diventato un brillante scrittore. Luca (il modello genetico), invece, sembra avere dei problemi: non riesce a imparare bene e spesso sbaglia. Gli scienziati si sono chiesti: "Perché Luca non riesce a fare lo stesso lavoro di Marco?".

Questo articolo cerca la risposta a questa domanda.

🔍 L'Indizio: Il "Rumore" (Entropia)

Gli autori del paper hanno scoperto che la differenza sta nel livello di "rumore" o imprevedibilità dei dati che studiano.

Le parole umane (Marco): Quando leggi una frase come "Il gatto si è seduto sul...", sai quasi al 100% che la prossima parola sarà "divano" o "tappeto". C'è una logica forte. È come se Marco avesse un manuale di istruzioni chiaro.
Il DNA (Luca): Il DNA è molto più caotico. Se vedi una sequenza di DNA, è molto difficile prevedere cosa verrà dopo. È come se Luca dovesse indovinare la prossima parola in un libro dove le parole sono messe a caso. In termini scientifici, il DNA ha un'alta entropia (alta imprevedibilità).

🎲 Cosa succede quando si prova a indovinare?

Gli scienziati hanno fatto un esperimento curioso: hanno creato 5 copie identiche di Marco e 5 copie identiche di Luca. Hanno dato loro lo stesso libro da studiare, nello stesso ordine, ma con pesi iniziali leggermente diversi (come se avessero iniziato a studiare in giorni diversi).

Ecco cosa è successo:

Marco e i suoi amici: Quando dovevano indovinare la parola successiva, tutti e 5 i modelli di Marco erano d'accordo. Dicevano tutti: "È quasi sicuramente 'divano'". Erano sicuri di sé.
Luca e i suoi amici: Quando dovevano indovinare la prossima parte di DNA, i 5 modelli di Luca erano in totale disaccordo. Uno diceva "A", l'altro "C", un altro "G". E la cosa peggiore? Ognuno di loro era incerto. Per loro, ogni opzione sembrava ugualmente probabile. Era come se avessero un'opinione molto debole e confusa.

L'analogia: Immagina di chiedere a 5 esperti di cucina di indovinare il prossimo ingrediente in una ricetta.

Se la ricetta è "Pasta al pomodoro", tutti diranno "Pomodoro" (bassa entropia).
Se la ricetta è un piatto casuale fatto di ingredienti scelti a caso dal frigorifero, ognuno dirà una cosa diversa e nessuno sarà sicuro (alta entropia).

🧠 Il Segreto nel Cervello: Dove imparano?

Gli autori hanno guardato "dentro" il cervello di questi modelli (i loro strati interni) per vedere dove memorizzavano le informazioni.

Marco (Testo): Impara le regole della grammatica e le relazioni tra le parole. È come se il suo cervello si concentrasse sul capire il contesto (es: "Il verbo deve concordare con il soggetto").
Luca (DNA): Sembra che il suo cervello non capisca le relazioni tra le parti. Invece, memorizza solo i singoli pezzi, come se stesse imparando a memoria una lista di numeri a caso senza capire la logica. Non usa la parte del cervello dedicata al "pensiero complesso" (l'attenzione tra le parole), ma si blocca sulla semplice memorizzazione dei singoli simboli.

💡 La Conclusione: Non è colpa del metodo, è la natura del dato

Il messaggio principale di questo studio è un po' sconvolgente per chi lavora nel campo:

Forse, il modo in cui stiamo cercando di insegnare l'intelligenza artificiale al DNA è sbagliato.

Fino ad ora, abbiamo trattato il DNA esattamente come trattiamo le parole umane: "Leggiamo sequenze e cerchiamo di indovinare la prossima parte". Ma il paper dice: "Aspetta, il DNA non è una lingua umana. È troppo caotico e imprevedibile per essere imparato solo guardando le sequenze da solo".

È come se cercassimo di insegnare a un bambino a suonare il violino facendogli ascoltare solo rumori di fondo: non imparerà mai la melodia, perché il "rumore" è troppo forte e la "musica" (le regole biologiche) è nascosta in modo diverso.

In sintesi

Il DNA è troppo imprevedibile rispetto alle parole umane.
Questo fa sì che i modelli di intelligenza artificiale siano incerti e in disaccordo tra loro quando provano a imparare dal DNA.
I modelli non riescono a capire le relazioni tra le parti del DNA, ma si limitano a memorizzare pezzi isolati.
La lezione: Forse non possiamo creare "geni" universali per la biologia usando solo i metodi che funzionano per le lingue umane. Dobbiamo trovare un approccio completamente nuovo.

Titolo: Entropia, Disaccordo e i Limiti dei Modelli Fondamentali in Genomica

Fonte: LMRL Workshop at ICLR 2026
Autori: Maxime Rochkoulets, Lovro Vrčcek, Mile Šikić

1. Il Problema

I Modelli Fondamentali Genomici (GFMs) hanno mostrato risultati misti rispetto ai loro omologhi nel campo dell'elaborazione del linguaggio naturale (NLP). Mentre modelli come BERT o RoBERTa hanno rivoluzionato l'NLP, l'efficacia dei GFMs addestrati in modo auto-supervisionato (predizione di token mascherati) è stata recentemente messa in discussione. Spesso, soluzioni specializzate e più piccole superano le rappresentazioni (embedding) dei GFMs in compiti a valle, offrendo al contempo vantaggi in termini di velocità e costo.
Il problema centrale affrontato dal paper è la mancanza di una spiegazione teorica sul perché questi modelli falliscano nel sviluppare capacità fondamentali e rappresentazioni robuste dai dati genomici, nonostante l'uso di architetture e metodologie di addestramento simili a quelle di successo nel linguaggio naturale.

2. Metodologia

Gli autori hanno condotto un esperimento controllato per isolare l'impatto della natura dei dati (testo vs DNA) mantenendo costanti tutti gli altri fattori.

Architettura e Setup: Sono stati addestrati 3 ensemble, ciascuno composto da $N=5$ $N = 5$ modelli Transformer encoder (architettura BERT, 90M parametri).
- Ensemble 1: Addestrato su testo inglese (tokenizzazione BPE).
- Ensemble 2: Addestrato su sequenze di DNA (tokenizzazione BPE).
- Ensemble 3: Addestrato su sequenze di DNA (tokenizzazione k-mer non sovrapposto).
Controlli Rigorosi: Tutti i modelli condividono la stessa architettura, lo stesso numero di parametri, lo stesso vocabolario (4096 token), la stessa quantità di dati (5 miliardi di token) e lo stesso ordine deterministico di iterazione sui dati. Le uniche variabili sono il dominio dei dati (testo vs DNA) e, in parte, lo schema di tokenizzazione.
Analisi: Gli autori hanno analizzato tre aspetti chiave:
1. Le distribuzioni di output e il disaccordo tra i modelli dell'ensemble.
2. La stabilità degli embedding statici (primo strato di embedding).
3. Il flusso dell'informazione di Fisher empirica attraverso i livelli del modello.

3. Contributi Chiave

Il lavoro introduce due concetti fondamentali per spiegare il fallimento dei GFMs:

Il ruolo dell'Entropia: Dimostra che l'alta entropia delle sequenze genomiche (dal punto di vista della predizione di token non visti) è il fattore limitante principale, impedendo ai modelli di apprendere distribuzioni confidenti e interpretabili.
Analisi dell'Informazione di Fisher: Fornisce una prova empirica che i modelli genomici falliscono nel sfruttare le relazioni inter-token (meccanismo di attenzione), concentrando invece l'informazione di apprendimento negli strati di embedding statici, suggerendo una forma di memorizzazione piuttosto che di apprendimento di grammatica.

4. Risultati Principali

A. Disaccordo dell'Ensemble e Distribuzioni di Output

Alta Entropia: I modelli su DNA mostrano una divergenza KL rispetto alla distribuzione uniforme molto più bassa (circa 3 bit per BPE, <1 bit per k-mer) rispetto ai modelli su testo (>10 bit). Ciò indica che i modelli genomici producono distribuzioni quasi uniformi, riflettendo un'alta incertezza.
Falso Accordo: A prima vista, i modelli genomici sembrano concordare sulle distribuzioni di output. Tuttavia, applicando il nucleus sampling (riducendo la massa di probabilità considerata), il disaccordo tra i modelli DNA esplode.
Interpretazione: L'apparente accordo è dovuto al fatto che tutti i modelli assegnano probabilità simili a tutti i token (distribuzione piatta), non perché hanno imparato la "vera" tokenizzazione. Al contrario, i modelli su testo convergono verso distribuzioni stabili e concordate.

B. Embedding Statici e Robustezza

Disaccordo negli Spazi di Embedding: Analizzando il primo strato di embedding (statico), i modelli genomici mostrano un disaccordo significativo rispetto ai modelli su testo, anche se addestrati sugli stessi dati.
Metriche: Le metriche di sovrapposizione Jaccard, correlazione di Spearman e similarità coseno sono significativamente peggiori per il DNA.
Implicazione: L'alta entropia dei dati, combinata con l'inizializzazione casuale dei pesi, impedisce ai modelli di convergere verso lo stesso stato di embedding. Questo riduce la riproducibilità e rende le analisi basate su embedding statici inaffidabili per la genomica.

C. Informazione di Fisher Empirica

Concentrazione dell'Informazione:
- Testo: L'informazione di Fisher è concentrata negli strati Transformer, indicando che il modello sta imparando attivamente le relazioni complesse tra i token tramite l'attenzione.
- DNA: L'informazione di Fisher è dominata dagli strati di embedding statici.
Conclusione: I modelli genomici sembrano non sfruttare il meccanismo di attenzione per catturare relazioni inter-token. Invece, tendono a memorizzare l'identità dei token stessi, fallendo nell'apprendere la "grammatica" o le relazioni strutturali del DNA.

5. Significato e Conclusioni

Il paper conclude che l'approccio attuale di addestramento auto-supervisionato basato sulla predizione di token non visti potrebbe essere intrinsecamente insufficiente per i dati genomici a causa della loro alta entropia e bassa informazione contestuale rispetto al linguaggio naturale.

Implicazioni Teoriche: Le differenze tra testo e DNA non sono solo di scala, ma fondamentali dal punto di vista dell'informazione. L'ipotesi che i modelli possano apprendere una "grammatica" biologica nascosta semplicemente scalando l'addestramento su sequenze grezze è messa in discussione.
Implicazioni Pratiche: I risultati suggeriscono che le attuali metodologie per i GFMs potrebbero richiedere una revisione radicale. Potrebbe essere necessario integrare dati biologici esterni (struttura, funzione, annotazioni) o cambiare l'obiettivo di addestramento, poiché l'apprendimento puramente sequenziale non riesce a generare rappresentazioni robuste e generalizzabili.
Robustezza: L'uso di diversi schemi di tokenizzazione (BPE vs k-mer) ha avuto un impatto minimo sui risultati, confermando che il problema risiede nelle proprietà fondamentali dei dati genomici e non nella loro rappresentazione superficiale.

In sintesi, il lavoro fornisce una spiegazione teorica basata sull'entropia e sull'analisi dell'informazione di Fisher per il fallimento dei modelli fondazionali genomici, invitando la comunità a ripensare le strategie di addestramento per questo dominio.