Geometric Representations of Knowledge Inside Biological Large Language Models: an Empirical Analysis

Immagina di avere una biblioteca gigante e magica dove ogni libro è una singola cellula vivente del corpo umano. Per anni, gli scienziati hanno cercato di leggere questi libri per capire come funziona il nostro corpo, ma il testo è disordinato e difficile da decifrare. Recentemente, è stato inventato un nuovo tipo di "super-lettore" chiamato Modello di Linguaggio di Grandi Dimensioni Biologico (o Biological LLM). Questi sono programmi per computer addestrati su milioni di "libri" cellulari per individuare schemi, proprio come la tastatura del tuo telefono impara a prevedere la prossima parola che scriverai.

La grande domanda che gli scienziati si sono posti è: questi super-lettori organizzano la conoscenza in modo ordinato e lineare? Nei modelli linguistici comuni (quelli che scrivono saggi o chiacchierano con te), i ricercatori hanno scoperto che idee come "re" e "regina" si trovano su una linea retta, e gli opposti sono solo a un semplice passo di distanza l'uno dall'altro. È come una mappa perfettamente organizzata dove ogni concetto ha la sua strada ben definita. Gli scienziati speravano che questi super-lettori biologici avessero la stessa mappa ordinata e lineare per cose come "sano vs malato" o "in crescita vs a riposo". Se così fosse stato, significherebbe che potremmo facilmente modificare il pensiero del computer per comprendere malattie o sviluppo. Ma, come stiamo per vedere, la mappa all'interno di questi modelli biologici è un po' più simile a un sentiero boscoso, sinuoso e collinare che a una strada cittadina dritta.

---

La Mappa all'interno della Macchina: Un Bosco, non un'Autostrada

In questo studio, una ricercatrice di nome Olivia Denvis ha deciso di immergersi profondamente in quattro di questi super-lettori biologici (chiamati scBERT, Geneformer, scGPT e UCE) per vedere se possiedono davvero quella disposizione ordinata e lineare. Li ha trattati come esploratori, inviandoli in un enorme dataset di 420.000 cellule con note dettagliate su cosa siano, dove vivano e cosa stiano facendo. Ha poi confrontato le "mappe" interne dei modelli con gli strumenti tradizionali e affidabili che gli scienziati usano da decenni, come semplici trucchi matematici chiamati PCA.

Ecco cosa ha scoperto: i modelli hanno una mappa, ma non è la l'autostrada nitida e dritta che tutti speravano.

1. La Mappa è Compatta, ma Affollata
Per prima cosa, i ricercatori hanno controllato quanto spazio utilizzano i modelli per memorizzare le informazioni. Immagina un enorme magazzino (la dimensione completa del modello) che potrebbe contenere 1.280 scaffali. Lo studio ha scoperto che i modelli utilizzano effettivamente solo circa 12 o 26 scaffali per memorizzare la loro conoscenza. Questo è uno spazio a bassa dimensionalità, il che è positivo perché significa che i modelli sono efficienti. Tuttavia, lo spazio è "anisotropo", un modo elegante per dire che è a forma di cono lungo e stretto piuttosto che di una palla rotonda. I modelli più piccoli erano ancora più compressi in questo cono stretto, suggerendo che potrebbero essere un po' "strizzati" nel loro modo di pensare.

2. Le Cose Facili sono Diritte, le Cose Difficili sono Curve
Quando la ricercatrice ha chiesto ai modelli di identificare cose semplici, come "Questa cellula è di un maschio o di una femmina?" o "Fa parte del sistema immunitario?", i modelli sono stati straordinari. Potevano tracciare una linea retta per separare questi gruppi, proprio come i modelli linguistici. Infatti, per queste categorie facili, i modelli erano quasi perfetti.

Ma ecco il colpo di scena: quando ha chiesto loro di occuparsi delle cose più interessanti — come "Questa cella è malata?" o "Qual è un sottotipo specifico?" o "A che punto è il suo sviluppo?" — le linee rette hanno smesso di funzionare. La conoscenza era ancora presente, ma era aggrovigliata in curve.

• La Prova: Quando la ricercatrice ha provato a usare una semplice linea retta per prevedere il tempo di sviluppo di una cellula, ha ottenuto solo circa il 61% della risposta corretta. Ma quando ha lasciato che il computer seguisse il percorso naturale e curvo dei dati (come camminare lungo un sentiero sinuoso invece di tagliare attraverso un campo), l'accuratezza è balzata all'80%.
• Il Punto Chiave: I modelli conoscono le cose complesse, ma le memorizzano in un modo curvo e non lineare che le semplici linee rette non riescono a raggiungere facilmente. Questo è diverso dai modelli linguistici, dove anche le idee complesse spesso risiedono su linee rette.

3. Il "Volante" è un po' Traballante
Nei modelli linguistici, se vuoi cambiare il significato di una parola (come trasformare "felice" in "triste"), puoi semplicemente aggiungere un vettore specifico (una direzione) e funziona perfettamente. La ricercatrice ha provato questo con i modelli biologici. Ha cercato di "guidare" l'identità di una cellula aggiungendo un vettore di direzione.

• Il Risultato: Ha funzionato, ma solo il 54% - 66% delle volte. Era meglio di un lancio di moneta, ma molto lontano dal controllo perfetto visto nei modelli linguistici. A volte, cercare di cambiare una cosa finiva per cambiare involontariamente qualcos'altro. Le direzioni per diverse idee erano in parte parallele, ma non perfettamente, e solo debolmente allineate.

4. I Modelli Concordano tra Loro, non con la "Verità"
La ricercatrice ha anche controllato se tutti e quattro i modelli pensassero nello stesso modo. Erano moderatamente simili tra loro (circa il 55% - 74% di somiglianza), il che è positivo. Ma quando li ha confrontati con lo "Standard d'Oro" della conoscenza biologica (una mappa dettagliata di come i tipi cellulari sono correlati nella realtà), i modelli erano simili solo per il 36% - 45%.

• La Sorpresa: I modelli assomigliavano più agli strumenti matematici classici (PCA) di quanto non assomigliassero alla vera realtà biologica. Essi sono approdati a una visione condivisa e semplificata dei dati, più vicina alla matematica di base che alla complessa realtà della biologia.

5. La Conoscenza "Profonda" è nel Mezzo
Infine, ha osservato dove risiede questa conoscenza all'interno degli strati del modello (il suo "cervello").

• Identità Semplice: Sapere "che tipo di cellula" sia diventa più forte man mano che si scende in profondità nel modello.
• Stato di Malattia: La consapevolezza se una cellula sia malata ha raggiunto il picco negli strati centrali e poi è svanita man mano che il modello diventava più profondo.
• Effetti Batch: I modelli sono stati bravi nell'ignorare il rumore tecnico (come quale macchina ha scattato la foto) negli strati iniziali, ma non l'hanno dimenticato completamente.

Il Verdetto Finale

Quindi, qual è il verdetto? I Modelli di Linguaggio di Grandi Dimensioni Biologici sono reali, e possiedono una mappa geometrica della conoscenza. Ma non è la mappa pulita, lineare e perfettamente organizzata che abbiamo visto nei modelli linguistici. Inveve, è una mappa "parzialmente linearizzata e a bassa dimensionalità".

I modelli sono bravi nelle cose facili (come distinguere una cellula maschile da una femminile), ma per le cose difficili e clinicamente importanti (come la malattia o lo sviluppo), la conoscenza è curva e aggrovigliata. Gran parte della conoscenza "a linea retta" che i modelli possiedono è in realtà ciò che potevamo già ottenere con semplici strumenti matematici tradizionali. Le nuove cose che i modelli hanno imparato sono presenti, ma sono nascoste nelle curve, rendendole più difficili da leggere e da usare.

Lo studio conclude che, sebbene questi modelli siano utili, non sono la rivoluzione magica della "linea retta" che alcuni speravano. La vera sfida per il futuro non è solo costruire modelli più grandi, ma costruire strumenti migliori per leggere i percorsi curvi e sinuosi dove si nascondono i segreti biologici più importanti.