💬 NLP

Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors

Il paper propone un metodo per rappresentare e confrontare i modelli linguistici tramite vettori di log-verosimiglianza o PMI su coppie prompt-risposta, consentendo di analizzare la struttura globale delle distribuzioni condizionali, le relazioni con le prestazioni e gli effetti composizionali delle modifiche ai prompt.

Autori originali: Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

Pubblicato 2026-03-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una stanza piena di 552 chef diversi (i modelli di linguaggio, o LLM). Ognuno di loro ha un suo stile, una sua ricetta segreta e un modo unico di cucinare. Il problema è: come fai a capire chi è simile a chi, chi è bravo a fare la pasta e chi invece è un disastro, senza dover assaggiare ogni singolo piatto che preparano?

Fino a poco tempo fa, per confrontarli, dovevi farli cucinare (generare testo) e poi assaggiare il risultato. Ma questo è lento, costoso e a volte il risultato dipende dal caso (come quando un chef è stanco o distratto).

Questo articolo propone un metodo geniale e più intelligente: invece di farli cucinare, analizziamo il loro "fiuto" per gli ingredienti.

Ecco come funziona, spiegato con metafore semplici:

1. La Mappa dei "Profumi" (Log-Likelihood Vectors)

Immagina che ogni modello abbia un naso superpotente. Se gli mostri un'immagine di una pizza e gli chiedi "Cosa c'è qui?", il modello non deve necessariamente dire "Pizza". Basta che calcoli quanto è probabile che la parola "Pizza" appaia in risposta a quella domanda.

Gli autori hanno creato una mappa gigante dove ogni chef è un punto.

Se due chef hanno un "fiuto" molto simile (cioè calcolano le probabilità in modo quasi identico per le stesse domande), sono vicini sulla mappa.
Se sono diversi, sono lontani.

Questa mappa non è solo un disegno carino: la distanza tra due punti sulla mappa corrisponde quasi esattamente a quanto sono diversi i loro modi di pensare (una misura matematica chiamata divergenza KL). È come dire: "Se questi due chef sono vicini, se uno sa fare la pizza, probabilmente anche l'altro la sa fare bene".

2. La Differenza tra "Cosa mi piace" e "Cosa mi aspetti" (Condizionale vs. PMI)

Qui c'è un trucco importante.

Il metodo vecchio (Log-Likelihood semplice): È come chiedere a un chef: "Quanto ti piace la parola 'Cielo'?". Se al chef piace molto la parola "Cielo" in generale, la segnerà come un punto alto, anche se non c'entra nulla con la domanda.
Il metodo nuovo (Log-Likelihood Condizionale): Chiedi: "Quanto è probabile che tu dica 'Cielo' se ti chiedo 'Com'è il tempo?'?". Questo è molto più preciso.

Ma c'è di più. Gli autori hanno introdotto una versione ancora più raffinata chiamata PMI (Mutual Information).
Immagina che il modello abbia un "rumore di fondo" (le sue preferenze personali). Il metodo PMI è come mettere un filtro anti-rumore. Sottrae ciò che il modello ama in generale, per isolare solo ciò che ama in risposta alla tua domanda specifica.

Risultato: Se usi il filtro PMI, la mappa ti mostra meglio quali chef sono stati addestrati con quali libri di ricette. Se un chef è stato addestrato su ricette italiane, sulla mappa PMI si raggrupperà vicino ad altri chef italiani, anche se il loro stile di cottura è diverso.

3. Il "Spostamento della Domanda" (Prompt Shift)

Questa è la parte più magica. Immagina di avere un chef che sa cucinare bene.

Se gli dici "Fammi una pizza", lui si sposta in un punto della mappa.
Se gli dici "Fammi una pizza, pensaci passo dopo passo" (aggiungendo una frase magica), lui si sposta in un punto leggermente diverso.
Se gli dici "Ripeti la domanda e poi pensaci", si sposta di nuovo.

Gli autori hanno scoperto che questi spostamenti sono additivi. È come se ogni frase magica fosse un "vettore" (una freccia) che spinge il modello in una direzione precisa.

La freccia "Pensa passo dopo passo" + la freccia "Ripeti" = La freccia "Pensa passo dopo passo E ripeti".

Questo significa che possiamo prevedere come si comporterà un modello con una domanda complessa, semplicemente sommando gli effetti delle piccole modifiche che abbiamo già testato, senza doverlo far lavorare davvero!

In sintesi, cosa ci dice questo studio?

Non serve assaggiare tutto: Possiamo mappare e confrontare centinaia di intelligenze artificiali guardando solo come "pensano" alle risposte, senza farle generare testo.
La mappa è una bussola: Ci dice quali modelli sono simili, quali sono addestrati sugli stessi dati e quali sono più bravi in certi compiti.
Possiamo prevedere il futuro: Se sappiamo come un modello reagisce a una piccola modifica nella domanda, possiamo prevedere matematicamente come reagirà a una domanda più complessa.

È come avere una mappa stellare per l'intelligenza artificiale: invece di guardare le stelle (i testi generati) e cercare di indovinare le costellazioni, misuriamo la gravità (le probabilità) che tiene insieme le stelle, creando una mappa precisa e prevedibile del loro comportamento.

1. Il Problema

Con la rapida proliferazione di modelli linguistici su larga scala (LLM), esiste un bisogno crescente di framework sistematici per confrontare il comportamento di diversi modelli. Le sfide principali includono:

Limiti dei metodi esistenti: Le tecniche attuali si basano spesso su:
- Interni del modello: Confronto di pesi o attivazioni (difficile da armonizzare tra architetture diverse).
- Testi generati: Confronto basato su embedding di risposte generate (influenzato dalla casualità della generazione e dalla variabilità degli embedding).
- Distribuzioni incondizionate: Metodi precedenti (es. Oyama et al., 2025b) usano vettori di log-verosimiglianza su testi generati senza prompt, ignorando la natura condizionale $p(y|x)$ degli LLM.
Mancanza di un approccio condizionale: Gli LLM operano come modelli di probabilità condizionale. È fondamentale poter mappare e confrontare le distribuzioni $p(y|x)$ (risposta data un prompt) piuttosto che solo $p(y)$ , per analizzare compiti come il dialogo e la risposta a domande.

2. Metodologia

Gli autori propongono un framework che rappresenta gli LLM come punti in uno spazio euclideo basato su vettori di log-verosimiglianza condizionale.

A. Vettori di Log-Likelihood Condizionale

Per un dataset predefinito di coppie prompt-risposta $D = \{(x_s, y_s)\}_{s=1}^N$ , ogni modello $p_i$ è caratterizzato da un vettore $\ell_i \in \mathbb{R}^N$ :
$\ell_{is} = \log p_i(y_s | x_s)$
Questo vettore cattura direttamente la distribuzione di risposta condizionata all'input. Per rimuovere la varianza media, viene utilizzato un vettore centrato $\xi_i = \ell_i - \bar{\ell}_i$ .

B. Distanza e Divergenza KL

Il paper dimostra teoricamente che la distanza euclidea quadrata tra i vettori centrati di due modelli approssima la divergenza di Kullback-Leibler (KL) tra le loro distribuzioni condizionali medie sulla distribuzione degli input:
$KL(p_i, p_j) \approx \frac{1}{2N} \| \xi_i - \xi_j \|^2$
Questo rende le distanze nello spazio delle mappe interpretabili come differenze reali nelle distribuzioni di probabilità.

C. Vettori PMI (Pointwise Mutual Information)

Per isolare l'effetto della dipendenza tra prompt e risposta (rimuovendo il contributo della distribuzione incondizionata), gli autori introducono i vettori PMI:
$\Delta \ell_{is} = \log p_i(y_s | x_s) - \log p_i(y_s)$
Dove $\log p_i(y_s)$ è approssimato calcolando la log-verosimiglianza della risposta senza il prompt. Questo vettore enfatizza la struttura di dipendenza specifica tra input e output.

D. Analisi dello "Prompt Shift"

Il framework permette di studiare come le modifiche al prompt spostino la posizione del modello nello spazio. Vengono analizzate trasformazioni come:

Aggiunta di una frase "Chain-of-Thought" (CoT).
Ripetizione del prompt.
Combinazione delle due.
Gli autori ipotizzano e verificano una componibilità additiva di questi spostamenti: lo spostamento indotto da una trasformazione composta è approssimativamente la somma degli spostamenti delle singole trasformazioni.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su una raccolta di 552 modelli (fino a 70B parametri) utilizzando dataset come Tulu3 e Infinity-Instruct.

Struttura Globale Significativa: Le mappe ottenute tramite t-SNE mostrano che modelli della stessa famiglia architetturale (es. Llama, Mistral, Qwen) si raggruppano coerentemente. Inoltre, la posizione spaziale correla con le prestazioni medie sui benchmark (Open LLM Leaderboard v2).
Prompt Shift e Componibilità: Le visualizzazioni confermano che le modifiche ai prompt causano spostamenti sistematici e prevedibili. La relazione additiva ( $v_{rep+cot} \approx v_{cot} + v_{rep}$ ) è stata verificata con errori relativi medi molto bassi (circa 0.08), suggerendo che è possibile prevedere l'effetto di prompt complessi sommando gli effetti delle singole operazioni.
Validazione della Distanza KL: La distanza stimata dai vettori di log-verosimiglianza mostra una forte correlazione (Spearman $\rho = 0.94$ ) con la divergenza KL calcolata tramite stime Monte Carlo su risposte generate, validando l'approssimazione teorica.
Efficacia dei Vettori PMI: Le mappe basate sui vettori PMI riescono a riflettere più chiaramente le differenze legate ai dati di training rispetto alle mappe condizionali standard. Ad esempio, i modelli addestrati su un dataset specifico tendono a raggrupparsi più strettamente quando valutati su quel medesimo dataset nelle mappe PMI.

4. Contributi Chiave

Framework per Mappe Condizionali: Introduzione di un metodo per mappare le distribuzioni condizionali $p(y|x)$ degli LLM, estendendo i precedenti lavori sulle distribuzioni incondizionate.
Interpretabilità della Distanza: Dimostrazione che le distanze nello spazio dei vettori log-verosimiglianza approssimano la divergenza KL condizionale.
Analisi dello Shift dei Prompt: Identificazione di spostamenti sistematici indotti dalle modifiche ai prompt e scoperta della loro componibilità additiva, offrendo un modo per analizzare e prevedere l'impatto di operazioni composte sui prompt.
Introduzione dei Vettori PMI: Proposta di una rappresentazione che sottrae la componente incondizionata, rivelando differenze legate ai dati di training in modo più nitido in alcuni contesti.

5. Significato e Implicazioni

Questo lavoro offre un nuovo paradigma per il confronto degli LLM, spostando il focus dalle caratteristiche interne o dai testi generati casuali alla distribuzione di probabilità condizionale stessa.

Selezione e Analisi dei Modelli: Fornisce uno strumento visivo e quantitativo per selezionare modelli in base alla loro vicinanza a certi comportamenti o architetture.
Predizione delle Prestazioni: La componibilità additiva suggerisce la possibilità di prevedere come un modello risponderà a prompt complessi o modifiche non osservate, senza dover eseguire costose generazioni di testo.
Comprensione dei Dati di Training: L'uso dei vettori PMI offre una lente per analizzare quanto un modello sia "allineato" o influenzato dai suoi dati di training specifici rispetto al dataset di valutazione.

In sintesi, il paper stabilisce un "spazio condiviso" geometrico dove il comportamento degli LLM può essere analizzato, confrontato e predetto in modo rigoroso e interpretabile, basandosi sulla teoria dell'informazione e sulla probabilità condizionale.