🧬 biology

In Search of Manifolds Inside Protein Language Models: A Largely Negative Report

Questo articolo investiga sistematicamente l'ipotesi del manifold nei modelli linguistici proteici (pLM) attraverso una batteria completa di diagnostica geometrica e topologica, concludendo che, diversamente dai modelli fondativi per le singole cellule, le rappresentazioni dei pLM sono prevalentemente ad alta dimensionalità e lineari piuttosto che organizzate attorno a manifold a bassa dimensionalità.

Autori originali: Olivia Denvis

Pubblicato 2026-07-22

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Olivia Denvis

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo

Immagina di cercare di comprendere una biblioteca massiccia e caotica. In questa biblioteca, ogni singolo libro è una proteina, le minuscole macchine molecolari che costruiscono e gestiscono tutte le forme di vita. Per molto tempo, gli scienziati hanno utilizzato programmi per computer super intelligenti, chiamati "modelli linguistici proteici", per leggere questi libri. Questi programmi sono come detective digitali che hanno letto miliardi di sequenze proteiche e hanno imparato a prevedere come si ripiegano, cosa fanno e come potrebbero cambiare.

Ma ecco la grande domanda: come "pensa" effettivamente il computer riguardo a queste proteine? Quando il computer guarda una proteina, vede un mucchio disordinato di dati o vede una forma nascosta e fluida? Gli scienziati hanno un'idea preferita chiamata "ipotesi del manifold". Pensala in questo modo: immagina un enorme foglio di carta stropicciato che fluttua in una stanza tridimensionale. Anche se il foglio fluttua nello spazio 3D, se fossi una formica che cammina su di esso, il mondo sembrerebbe piatto e bidimensionale. L'"ipotesi del manifold" suggerisce che, anche se il cervello del computer è enorme e complesso (ad alta dimensione), l'informazione importante sulle proteine potrebbe in realtà nascondersi su una superficie liscia e a bassa dimensione, come quel foglio di carta piatto. Questa idea è stata un successo in altri campi, come lo studio di come le cellule crescono e cambiano, dove gli scienziati hanno trovato queste "strade" lisce e a bassa dimensione lungo le quali le cellule viaggiano. La grande domanda è: anche questi computer che rilevano le proteine possiedono queste strade lisce e nascoste all'interno dei loro cervelli?

Una ricercatrice di nome Olivia Denvis ha deciso di intraprendere una caccia al tesoro per trovare queste strade nascoste all'interno dei modelli linguistici proteici. Non ha solo tirato a indovinare; ha costruito una "batteria di rilevamento" massiccia, che è come un metal detector super avanzato e un mappatore tutto in uno. Ha testato questo strumento su diversi modelli proteici, inclusa la famosa famiglia ESM-2 (che varia da piccoli 8 milioni di parametri a un gigante da 3 miliardi) e altri come ProtBERT e ProtT5. Ha utilizzato una varietà di trucchi ingegnosi per vedere se i dati fossero effettivamente seduti su una superficie liscia e a bassa dimensione. Ha controllato se i dati avessero una specifica "dimensione intrinseca" (un modo elegante per chiedere: quante direzioni servono davvero per descriverli?), ha cercato di appiattire i dati su mappe 2D per vedere se emergevano schemi, e ha persino cercato loop topologici (come il buco in una ciambella) che avrebbero provato che i dati avevano la forma di un oggetto specifico.

Il risultato di questa caccia al tesoro? Un rapporto largamente negativo. La caccia al tesoro è tornata a mani vuote.

Denvis ha scoperto che l'idea di una strada liscia e a bassa dimensione all'interno di questi modelli proteici è probabilmente sbagliata. Invece di trovare un foglio di carta piatto che fluttua in una stanza 3D, ha scoperto che i dati sono in realtà sparsi attraverso uno spazio vasto e ad alta dimensione. Quando ha misurato la "dimensione intrinseca" (il numero di direzioni necessarie per descrivere i dati), non era un numero piccolo e gestibile come 2 o 3. Per il modello di medie dimensioni (ESM-2 650M), la dimensione era intorno a 63, e per il gigante da 3 miliardi di parametri, è balzata a 88. Ancora più significativo, man mano che rendeva i modelli più grandi e intelligenti, la dimensione aumentava, non diminuiva. Se ci fosse stata una singola strada liscia, la dimensione sarebbe rimasta la stessa o sarebbe diventata più semplice con il miglioramento dei modelli. Invece, i modelli sembravano utilizzare sempre più direzioni per memorizzare le informazioni, suggerendo che la struttura è complessa e "ad alta dimensione" piuttosto che una semplice curva.

Ha anche provato a usare gli strumenti di "creazione di mappe" del computer per appiattire i dati in 2D, proprio come facciamo con i dati delle singole cellule. Ma quando lo ha fatto, l'informazione utile è stata distrutta. Era come cercare di appiattire una torta complessa e multistrato per farla diventare un pancake; il sapore (l'informazione biologica) è andato perduto. Quando ha testato queste mappe appiattite per vedere se potevano prevedere cose come la stabilità o la struttura proteica, hanno performato terribilmente. In effetti, il metodo più semplice — guardare i dati grezzi ad alta dimensione con una linea retta (una sonda lineare) — è stato quello che ha funzionato meglio. Il computer non aveva bisogno di una strada curva e a bassa dimensione; aveva bisogno di un'autostrada ampia e piatta con decine di corsie.

Inoltre, ha cercato "loop" o buchi nei dati, che indicherebbero una forma specifica come una ciambella o un cerchio. Non ne ha trovati. I dati erano topologicamente "triviali", ovvero erano solo un grande ammasso solido senza forme interessanti. Ha anche scoperto che i cluster di proteine che sembravano formare gruppi ordinati sulle mappe 2D erano in realtà un'illusione. Quando ha rimosso l'influenza di cose semplici come la lunghezza della proteina o gli ingredienti di base (gli amminoacidi), i gruppi si sono sfaldati. Il "manifold" che la gente pensava di vedere era solo un riflesso di questi fatti basilari e noiosi, non di una struttura profonda e nascosta.

Per assicurarsi che i suoi strumenti non fossero rotti, li ha testati su cose che sapeva avere queste strade lisce, come una forma sintetica a "Swiss roll" e dati reali da singole cellule. I suoi strumenti hanno funzionato perfettamente lì, trovando le basse dimensioni e i loop. Questo ha dimostrato che i suoi metodi erano validi; il problema non erano gli strumenti, ma i dati proteici stessi.

Quindi, cosa significa tutto questo? Si scopre che i modelli linguistici proteici non sono come le mappe lisce e continue dello sviluppo cellulare. Inve al fine, sono più simili a una biblioteca vasta e ad alta dimensione dove ogni libro è organizzato da un mix complesso di lunghezza, composizione e storia familiare. L'informazione è presente, ed è incredibilmente utile, ma non è nascosta su una semplice superficie a bassa dimensione. È sparsa attraverso uno spazio ad alta dimensione, e cercare di forzarla in una semplice mappa 2D significa in realtà scartare i dettagli più importanti. L'articolo conclude che, per i modelli proteici, dovremmo smettere di cercare strade lisce e curve e iniziare ad apprezzare le ampie autostrade ad alta dimensione su cui viaggiano realmente.

Sintesi Tecnica: Alla ricerca di varietà nei modelli linguistici proteici

Problema
L'ipotesi della varietà (manifold hypothesis) postula che i dati ad alta dimensionalità si concentrino vicino a una varietà a bassa dimensionalità e variazione fluida. Questo quadro ha organizzato con successo l'interpretazione delle rappresentazioni neurali nei modelli fondativi per la singola cellula, dove processi biologici continui (es. differenziazione, cicli cellulari) si manifestano come strutture a bassa dimensionalità recuperabili e loop topologici. Tuttavia, rimane aperto il quesito se i modelli linguistici proteici (pLM), addestrati su spazi di sequenze discreti e combinatori, interiorizzino analoghe strutture a bassa dimensionalità. Gli autori indagano se gli spazi di attivazione ad alta dimensionalità dei pLM ammettano una struttura globale a bassa dimensionalità sfruttabile o se la metafora della "varietà" sia inappropriata per i dati di sequenza proteica.

Metodologia
Gli autori hanno assemblato una completa "batteria di rilevamento delle varietà" e l'hanno applicata uniformemente a sette modelli linguistici proteici: la famiglia ESM-2 (da 8M a 3B parametri), ProtBERT e ProtT5. L'analisi ha utilizzato embedding a livello di residuo e mediati per sequenza derivanti da 40.000 sequenze estratte da UniRef50, con controllo dell'omologia tramite clustering MMseqs2.

La batteria di rilevamento comprendeva quattro famiglie diagnostiche:

Stima della Dimensione Intrinseca (ID): Utilizzo di TwoNN, stimatori di massima verosimiglianza (MLE) e rapporti di partecipazione PCA per determinare se la dimensionalità sia stabile e significativamente inferiore alla larghezza ambiente.
Apprendimento di Varietà Non Lineari: Applicazione di Isomap, LLE, mappe di diffusione e UMAP per valutare se la proiezione dei dati su coordinate a bassa dimensionalità preservi la struttura dei vicinati locali (misurata tramite trustworthiness e connettività geodetica).
Analisi dei Dati Topologici: Calcolo dell'omologia persistente (Vietoris–Rips) per rilevare caratteristiche topologiche robuste (es. loop) oltre il livello del rumore, validate contro modelli nulli bootstrap.
Controllo dei Confound (Variabili di Confondimento): Regressione di lunghezza della sequenza, composizione amminoacidica, idrofobicità e omologia per determinare se l'apparente raggruppamento sia guidato da covariate triviali.

Fondamentalmente, la batteria è stata validata su controlli positivi con strutture di varietà note: uno Swiss roll (varietà 2D), un dataset del ciclo cellulare di singola cellula (loop topologico) e un toro sintetico. Le prestazioni a valle sono state valutate confrontando i linear probe sugli embedding grezzi rispetto a probe addestrati su coordinate di varietà non lineari attraverso quattro task: predizione della struttura secondaria, classificazione dell'omologia remota, regressione della stabilità e localizzazione subcellulare.

Risultati Chiave
Lo studio giunge a una conclusione ampiamente negativa riguardo l'esistenza di varietà a bassa dimensionalità nei pLM:

Dimensione Intrinseca Alta e Instabile: La dimensione intrinseca delle rappresentazioni dei pLM è elevata in termini assoluti (es. TwoNN $\approx$ 63 per ESM-2 650M) e cresce monotonicamente con la dimensione del modello (da 22 per 8M a 88 per 3B). A differenza di una vera varietà, la dimensione stimata non si stabilizza attraverso le scale di vicinato; essa deriva verso l'alto all'aumentare della dimensione del vicinato ( $k$ ).
Fallimento delle Coordinate Non Lineari: Le coordinate di varietà non lineari non superano mai le prestazioni dei linear probe sugli embedding grezzi. Di fatto, forzare gli embedding in spazi non lineari a bassa dimensionalità (es. UMAP 2D) degrada catastroficamente le prestazioni sui task a valle (es. l'accuratezza dell'omologia remota scende da 0.30 a 0.15). Le prestazioni si saturano solo utilizzando 64–128 dimensioni lineari, suggerendo che la struttura utile sia di dimensionalità moderata ed elevata e lineare.
Topologia Trivial: L'omologia persistente non recupera alcun loop robusto ( $H_1$ ) negli embedding dei pLM; tutte le caratteristiche rientrano nel livello del rumore. Ciò contrasta nettamente con i controlli positivi, dove la batteria ha recuperato con successo le attese strutture topologiche (loop).
Struttura Guidata dai Confound: L'apparente raggruppamento delle famiglie proteiche in visualizzazioni 2D (es. UMAP) è in gran parte un artefatto di variabili confondenti. Dopo aver rimosso tramite regressione la lunghezza della sequenza, la composizione amminoacidica e l'omologia, il coefficiente di silhouette delle famiglie crolla da 0.31 a 0.05 (vicino al caso casuale).
Validazione sui Controlli: La batteria di rilevamento ha identificato correttamente le dimensioni, l'alta trustworthiness e la topologia attesa nello Swiss roll, nel ciclo cellulare e nel toro, confermando che i risultati negativi per i pLM sono dovuti alle proprietà dei dati e non a un fallimento metodologico.

Contributi Chiave

Batteria Sistematica: Gli autori forniscono una batteria di rilevamento delle varietà rigorosamente validata e aperta per le rappresentazioni dei transformer, testata sia su casi sintetici che su controlli biologici positivi.
Risultati Negativi: Riportano un insieme coerente di risultati negativi che indicano che le rappresentazioni dei pLM sono ad alta dimensionalità, dipendenti dalla dimensione e prive di dimensioni di varietà stabili rispetto alla scala o di una topologia robusta.
Analisi dei Confound: Lo studio dimostra che l'apparente organizzazione a bassa dimensionalità delle famiglie proteiche nello spazio dei pLM è guidata principalmente dalla lunghezza della sequenza, dalla composizione e dall'omologia, piuttosto che da una varietà geometrica curva.
Distinzione Teorica: Il lavoro mette a confronto i pLM con i modelli fondativi per la singola cellula, sostenendo che la natura discreta, combinatoria e strutturata per omologia dello spazio delle sequenze proteiche differisce fondamentalmente dai processi di sviluppo continui che generano varietà a bassa dimensionalità nei dati della singola cellula.

Significatività e Rivendicazioni
Gli autori concludono che le rappresentazioni dei modelli linguistici proteici sono meglio descritte come ad alta dimensionalità e prevalentemente lineari piuttosto che come varietà a bassa dimensionalità. Sostengono che il risultato negativo non sia una deficienza dei modelli, ma un riflesso fedele del dominio sottostante: lo spazio delle sequenze proteiche è discreto e disperso in cluster definiti dall'omologia, privo degli assi continui che renderebbero necessaria la compressione su una varietà a bassa dimensionalità.

L'implicazione pratica è un monito contro l'interpretazione di grafici 2D UMAP o t-SNE degli embedding dei pLM come rivelatori di varietà biologiche; tali grafici riflettono in gran parte covariate triviali. Per l'analisi quantitativa, gli autori suggeriscono che strumenti lineari ad alta dimensionalità (probe, PCA, autoencoder sparsi) siano più appropriati per la geometria delle rappresentazioni proteiche rispetto alle tecniche di apprendimento di varietà non lineari. Il paper non afferma che i pLM siano geometricamente poco interessanti, ma piuttosto che la specifica e forte forma dell'ipotesi della varietà non è valida per essi.

Articoli simili