Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions

Lo studio rivela che l'affidabilità dei grandi modelli linguistici nelle scienze dei materiali dipende criticamente dal tipo di output richiesto, mostrando come il fine-tuning migliori la coerenza per i compiti simbolici ma non per quelli numerici, e che l'estrazione diretta degli embedding intermedi può superare i limiti delle risposte testuali, pur evidenziando significative variazioni di prestazioni nel tempo che minacciano la riproducibilità scientifica.

L'essenziale

Immagina di avere un gruppo di 25 chef robot (i modelli di linguaggio o LLM) e di voler vedere quanto sono bravi a cucinare piatti di scienza dei materiali. Alcuni chef sono famosi e costosi (come GPT-4), altri sono open-source e gratuiti (come Llama).

Gli scienziati di questo studio hanno messo alla prova questi chef su quattro compiti diversi:

1. Indovinare la struttura di un cristallo (es: "Di che forma è questo sale?").
2. Completare una frase su un materiale (es: "Il titanato di bario ha la proprietà...").
3. Prevedere un numero preciso come il "bandgap" (un valore energetico).
4. Prevedere un altro numero come la "costante dielettrica" (quanto un materiale trattiene l'elettricità).

Ecco cosa hanno scoperto, spiegato con parole semplici e metafore:

1. La differenza tra "Parole" e "Numeri"

Il risultato più importante è che il modo in cui rispondono cambia tutto, a seconda se devono usare parole o numeri.

• Il compito delle Parole (Simbolico):
  Immagina di chiedere a uno chef: "Quali sono gli ingredienti per fare una torta?".

  • Prima della lezione (Base): Lo chef è confuso. Risponde cose a caso, cambia risposta ogni volta che glielo chiedi e spesso sbaglia. È come se non sapesse nemmeno cosa sia una torta.
  • Dopo la lezione (Fine-tuning): Lo chef impara la ricetta. Ora risponde sempre la stessa cosa, corretta e precisa. La confusione sparisce.
  • Conclusione: Per le domande di conoscenza, l'addestramento funziona benissimo: insegna al robot cosa sapere.

• Il compito dei Numeri (Numerico):
  Ora chiedi: "Quanti grammi di zucchero servono?".

  • Prima della lezione: Lo chef è super sicuro di sé, ma sbaglia. Ti dice "100 grammi" con un tono di voce fermo e deciso, ma in realtà ne servono 200. È un "allucinazione sicura": sembra un esperto, ma non lo è.
  • Dopo la lezione: Lo chef impara a dire "200 grammi", quindi sbaglia meno. MA rimane un po' incerto su come scriverlo (a volte scrive "200", a volte "200.0", a volte "duecento").
  • Conclusione: Per i numeri, l'addestramento migliora la precisione, ma il robot rimane un po' "nervoso" nel modo in cui esprime il numero. Non puoi fidarti ciecamente della sua sicurezza.

2. Il "Collo di Bottiglia" della Testa (LLM Head Bottleneck)

Gli scienziati hanno fatto un esperimento curioso: invece di leggere la risposta scritta dal robot, hanno guardato direttamente i suoi pensieri interni (i dati nascosti prima che il robot scriva la risposta).

• Per il "Bandgap" (un tipo di energia): Hanno scoperto che i pensieri interni del robot contengono la risposta perfetta, molto meglio di quanto il robot riesca a scriverla. È come se il robot sapesse la risposta esatta, ma quando prova a parlarla, inciampa e la dice male. Chiamano questo il "collo di bottiglia della testa": la mente è brillante, la bocca è goffa.
• Per la "Costante Dielettrica": Qui la situazione è diversa. I pensieri interni non sono così bravi come la risposta scritta. Sembra che per certi numeri complessi, il robot debba davvero "pensare" mentre scrive, non basta guardare i suoi ricordi interni.

3. Come imparano i robot? (Non capiscono, ma associano)

Quando il robot impara a collegare un materiale a una proprietà (es: "Il PZT è piezoelettrico"), non sta imparando la fisica dietro il fenomeno. Sta imparando a indovinare le associazioni.
È come se un bambino imparasse che "il ghiaccio è freddo" non perché ha studiato la termodinamica, ma perché ha letto mille volte che le parole "ghiaccio" e "freddo" appaiono insieme nei libri. Se chiedi al robot su un materiale rarissimo che non ha mai visto, sbaglia, perché non ha mai visto quelle parole insieme prima.

4. Il problema della "Memoria che cambia" (Stabilità nel tempo)

Infine, hanno guardato i modelli che si usano online (come GPT-4). Hanno notato una cosa spaventosa per la scienza: il modello cambia senza dirlo.
Hanno testato lo stesso modello per 18 mesi. A volte, senza che nessuno lo notasse, l'azienda che lo gestisce lo aggiorna "dietro le quinte".

• Risultato: La performance può variare dal 9% al 43% in un solo giorno!
• Metafora: È come se andassi in un ristorante che ti serve la stessa pasta ogni settimana, ma un giorno il cuoco cambia segretamente la ricetta. Se fai una ricerca scientifica basata su quel ristorante, i tuoi risultati di oggi non saranno uguali a quelli di domani. Questo rende difficile fare scienza riproducibile.

In sintesi

Questo studio ci dice che:

1. I robot sono bravissimi a imparare fatti (parole) se li addestriamo, ma sono insicuri quando devono dare numeri precisi.
2. A volte i robot sanno la risposta nei loro "pensieri" ma non riescono a scriverla bene.
3. Non capiscono davvero la scienza, ma sono bravissimi a imitare i pattern che hanno letto.
4. Se usi i robot online per la scienza, devi stare attento: potrebbero cambiare "cervello" da un giorno all'altro senza avvisarti.

È un promemoria importante: questi strumenti sono potenti, ma vanno usati con cautela, specialmente quando servono numeri precisi o risultati che devono durare nel tempo.

Sommario tecnico

Titolo e Contesto

Il lavoro, condotto da ricercatori del MIT (Vineeth Venugopal, Soroush Mahjoubi, Elsa Olivetti), valuta l'affidabilità e la codifica della conoscenza nei Modelli Linguistici di Grande Dimensione (LLM) applicati alla scienza dei materiali. L'obiettivo è colmare il divario tra l'adozione rapida degli LLM in questo settore e la comprensione fondamentale del loro comportamento, specialmente riguardo alla riproducibilità e alla natura delle loro previsioni.

1. Il Problema

Nonostante l'uso crescente degli LLM per l'estrazione di dati, la previsione di proprietà e la pianificazione di sintesi, rimangono domande critiche irrisolte:

• Come viene codificata la conoscenza nei modelli e varia in base al compito?
• Il fine-tuning risolve realmente le lacune di conoscenza o apprende solo pattern statistici?
• Qual è la differenza di comportamento tra compiti simbolici (es. classificazione) e numerici (es. regressione di proprietà)?
• Gli LLM soffrono di "allucinazioni confidenti" (risposte precise ma errate) e come influisce questo sulla loro affidabilità quantitativa?
• Quanto sono stabili le prestazioni nel tempo, specialmente per i modelli serviti via API?

2. Metodologia

Gli autori hanno condotto una valutazione su larga scala coinvolgendo 25 LLM (sia open-weight che proprietari) e oltre 200 configurazioni (base e fine-tuned).

• Compiti Valutati:
  1. Predizione del Bandgap (Regressione numerica).
  2. Predizione della Costante Dielettrica (Regressione numerica).
  3. Classificazione del Sistema Cristallino (Compito simbolico/classificazione).
  4. Completamento del Knowledge Graph (MatKG) (Compito simbolico/link prediction).
• Dataset: Dati derivati da Materials Project (bandgap e dielettrico) e letteratura scientifica (MatKG).
• Tecniche di Analisi:
  • Fine-tuning: Utilizzo di LoRA (Low-Rank Adaptation) e QLoRA per addestrare i modelli.
  • Analisi dell'Entropia di Risposta: Calcolata su 10 run di inferenza indipendenti per misurare la consistenza dell'output.
  • Sondaggio degli Embedding (Probing): Estrazione degli stati nascosti da ogni layer del transformer per addestrare regressori supervisionati, verificando se l'informazione predittiva è presente internamente ma non verbalizzata.
  • Studio Longitudinale: Monitoraggio delle prestazioni dei modelli GPT su un periodo di 18 mesi.

3. Risultati Chiave

A. La Modalità di Output Determina il Comportamento

È stata scoperta un'asimmetria fondamentale nel modo in cui i modelli falliscono e migliorano:

• Compiti Simbolici (Classificazione/Link Prediction): I modelli base mostrano alta entropia e bassa accuratezza (mancanza di convergenza). Il fine-tuning riduce drasticamente l'entropia e aumenta l'accuratezza, insegnando al modello a convergere su risposte verificate.
• Compiti Numerici (Regressione): I modelli base mostrano bassa entropia ma bassa accuratezza ("allucinazioni confidenti"): generano numeri precisi e coerenti che sono però lontani dalla verità. Il fine-tuning migliora l'accuratezza (riducendo l'RMSE), ma non risolve necessariamente la falsa sicurezza; l'entropia può addirittura aumentare o variare in modo incoerente.

B. Il "Collo di Bottiglia della Testa" (LLM Head Bottleneck)

L'analisi degli embedding rivela che per alcuni compiti numerici (in particolare il bandgap), le rappresentazioni interne dei layer intermedi contengono più informazioni predittive di quanto il modello riesca a esprimere tramite la generazione di testo.

• I sondaggi (probes) sugli embedding raggiungono prestazioni pari o superiori alla generazione di testo fine-tunata.
• Questo effetto è dipendente dalla proprietà: è forte per il bandgap, ma debole o assente per la costante dielettrica, dove la conoscenza non è accessibile tramite gli embedding standard.

C. Meccanismi di Apprendimento nel Knowledge Graph

Per il completamento del MatKG, le prestazioni non dipendono dalla comprensione fisica delle relazioni, ma dalla frequenza distribuzionale.

• Le prestazioni sono correlate alla frequenza con cui un'entità appare come risposta in contesti di addestramento diversi.
• Il modello apprende associazioni statistiche basate sulla vicinanza contestuale ("you shall know a word by the company it keeps") piuttosto che su una comprensione fisica delle proprietà dei materiali.

D. Instabilità Temporale e Riproducibilità

Lo studio longitudinale su 18 mesi ha mostrato variazioni di prestazioni tra il 9% e il 43% per i modelli GPT (es. GPT-4o ha mostrato un 43% di variazione).

• Aggiornamenti silenziosi degli endpoint API, cambi di quantizzazione o versioni del modello causano drift significativi, rendendo difficile la riproducibilità scientifica a lungo termine senza il controllo delle versioni esatte.

4. Contributi Principali

1. Distinzione Modale: Dimostrazione che la natura dell'output (simbolico vs numerico) richiede strategie di valutazione e interpretazione dell'incertezza completamente diverse.
2. Identificazione del Collo di Bottiglia: Evidenza che per compiti numerici specifici, l'estrazione di embedding potrebbe essere più efficiente e accurata della generazione di testo, suggerendo nuove architetture per l'inferenza.
3. Analisi dell'Entropia: Svelamento che l'entropia bassa nei compiti numerici non garantisce affidabilità (a differenza dei compiti simbolici), avvertendo contro l'uso dell'entropia come unico indicatore di incertezza per le previsioni quantitative.
4. Avvertenza sulla Riproducibilità: Fornitura di dati empirici sull'instabilità temporale dei modelli API, raccomandando l'uso di modelli open-weight con checkpoint fissi per applicazioni scientifiche critiche.

5. Significato e Implicazioni

Questo studio fornisce linee guida pratiche per l'informatica dei materiali:

• Per la Predizione Numerica: Non bisogna fidarsi ciecamente della coerenza dell'output (bassa entropia) come indicatore di accuratezza. L'estrazione di embedding potrebbe essere una via alternativa più robusta per proprietà come il bandgap.
• Per la Conoscenza Scientifica: Gli LLM attuali non possiedono una vera comprensione fisica, ma costruiscono rappresentazioni distribuzionali basate sulla co-occorrenza nei dati di addestramento.
• Per la Ricerca: È necessario adottare protocolli rigorosi per il versioning dei modelli API e considerare l'uso di modelli open-weight per garantire la riproducibilità a lungo termine degli esperimenti scientifici.

In sintesi, il paper mette in guardia contro l'adozione acritica degli LLM come "scatole nere" predittive, evidenziando la necessità di comprendere i meccanismi interni (embedding vs testa di generazione) e le limitazioni intrinseche legate alla modalità di output e alla stabilità temporale.