💬 NLP

Production and Perception in LLMs: A Token Probability Approach

Questo studio dimostra che i grandi modelli linguistici esibiscono un'asimmetria produzione-percezione distinta nelle loro distribuzioni di probabilità dei token, in cui la sola formulazione del prompt induce probabilità significativamente diverse per il testo generato rispetto al testo rivalutato, un fenomeno che si replica attraverso diverse architetture di modelli e decade man mano che il contesto della sequenza si accumula.

Autori originali: Anna Marklová, Jiří Milička, Martina Vokáčová, Rudolf Rosa

Pubblicato 2026-07-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Anna Marklová, Jiří Milička, Martina Vokáčová, Rudolf Rosa

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un robot poeta super intelligente. Gli chiedi di scrivere una poesia su un riccio, e lui lo fa. Ma ecco il colpo di scena: questo robot non si limita a "pensare" e poi "parlare" come un essere umano. Utilizza lo stesso identico circuito cerebrale per leggere ciò che hai scritto e per scrivere le proprie parole. È come una strada a senso unico dove l'auto percorre entrambe le direzioni usando lo stesso motore.

A causa di questo, gli scienziati si sono chiesti: il robot ha davvero una differenza tra "scrivere" una poesia e "leggere" una poesia? O è solo lo stesso processo al contrario?

La Grande Scoperta: L'Effetto "Role-Play"

I ricercatori hanno scoperto che sì, il robot agisce in modo diverso, ma non perché abbia sentimenti o intenzioni. Cambia il suo comportamento in base al prompt — ovvero, il modo specifico in cui gli chiedi di fare qualcosa.

Pensa al robot come a un attore che interpreta un ruolo.

Scenario A (Produzione): Dici: "Per favore, scrivi una poesia su un riccio". Il robot indossa il cappello da "Scrittore". Inizia a generare parole e assegna un certo livello di fiducia (probabilità) a ogni parola che sceglie.
Scenario B (Percezione): Prendi la stessa identica poesia che il robot ha appena scritto e dici: "Ecco una poesia su un ricciolo. Per favore, valuta la poesia". Il robot indossa il cappello da "Lettore/Critico". Non genera nuove parole; invece, rivaluta le parole che ha appena visto.

Lo studio ha misurato quanto la "fiducia" del robot in ogni parola sia cambiata tra questi due scenari.

Il Risultato: Quando il robot passava dalla modalità "Scrittore" alla modalità "Lettore", la sua fiducia nelle parole cambiava significamente. La differenza era enorme. Infatti, il divario tra il modo in cui il robot "scriveva" la poesia e il modo in cui la "leggeva" era circa 1,8 volte più grande del divario tra due modi diversi di chiedere di scrivere la poesia.

Per metterlo in numeri:

Quando al robot veniva chiesto di scrivere in due modi leggermente diversi (ad esempio, "Scrivi una poesia" rispetto a "Vorrei che scrivessi una poesia"), la differenza nelle sue scelte di parole era minima (circa 0,010).
Ma quando passava dal scrivere al leggere, la differenza balzava a 0,034.

Questo suggerisce che semplicemente cambiare la "cornice" della richiesta — dire al robot di essere un creatore invece di un critico — è sufficiente a far lavorare diversamente la sua matematica interna, anche se utilizza le stesse parti cerebrali per entrambi i compiti.

Cosa il Robot NON Sta Facendo

L'articolo è molto chiaro su cosa questo non sia.

Non è dovuto al fatto che il robot abbia improvvisamente acquisito intenzioni o un'anima simili a quelle umane. Il robot non "vuole" davvero scrivere o "vuole" leggere.
Non è dovuto al fatto che il robot sia migliore in un compito rispetto all'altro.
Non è solo un errore causato dalle parole specifiche usate nel prompt. I ricercatori hanno testato questo aspetto utilizzando quattro modi diversi per chiedere una poesia e tre modi diversi per chiedere una valutazione. L'effetto si è verificato ogni singola volta, indipendentemente da come fosse formulata la richiesta.

La Regola della "Prima Impressione"

C'è un altro dettaglio interessante su quando questo accade. La differenza tra "scrivere" e "leggere" è più forte proprio all'inizio della poesia.

Immagina che il prompt sia una voce forte che urla istruzioni all'inizio di una gara.

All'inizio (Token 1–10): La voce del "Lettore" è molto forte e la fiducia del robot cambia molto.
Man mano che la poesia procede: Il robot inizia a leggere le proprie parole. La storia che sta raccontando (il contesto) inizia a sovrastare l'istruzione originale. La differenza tra le modalità "Scrittore" e "Lettore" diventa sempre più piccola man mano che la poesia si allunga.

I ricercatori hanno modellato questo decadimento e hanno scoperto che lo "shock" iniziale del prompt svanisce, ma una piccola parte della differenza rimane anche alla fine.

Quanto ne sono Sicuri?

Il team non ha solo tirato a indovinare; ha analizzato 1.089 poesie diverse (circa 93.000 parole in totale) utilizzando cinque diversi modelli di robot (tra cui Llama-3.1-8B, EuroLLM-9B e altri).

Hanno riscontrato l'effetto in tutti e cinque i modelli, inclusi sia i modelli base "grezzi" che quelli addestrati per essere assistenti utili.
La differenza era così costante che gli intervalli dei risultati per la "scrittura" e la "lettura" non si sovrapponevano affatto.

Tuttavia, gli autori avvertono che questo suggerisce una differenza funzionale, non che il robot abbia una mente simile a quella umana. Notano che, sebbene la differenza sia statisticamente reale e misurabile, non sappiamo ancora se sia "abbastanza grande" da significare che il robot stia davvero pensando come un essere umano che distingue tra parlare e ascoltare.

In Conclusione

Questo studio dimostra che, anche se i Large Language Models utilizzano un unico motore simmetrico sia per leggere che per scrivere, il modo in cui vi parlate cambia il modo in cui elaborano le parole.

Se dici al robot di essere un poeta, lui pensa in un modo. Se gli dici di essere un critico, pensa in un altro. È un po' come un camaleonte: i "colori" interni del robot (le sue distribuzioni di probabilità) cambiano per adattarsi al ruolo che gli viene assegnato, provando che il contesto della conversazione conta tanto quanto le parole stesse.

Sintesi Tecnica: Produzione e Percezione negli LLM: Un Approccio Basato sulla Probabilità dei Token

Problema
Nella psicolinguistica umana, esiste un'asimmetria ben documentata tra la produzione del linguaggio (codificare un messaggio con un intento) e la percezione (inferire il significato dal contesto). Tuttavia, rimane poco chiaro se i Large Language Models (LLM) esibiscano una distinzione funzionalmente analoga. A differenza delle precedenti architetture encoder-decoder che mantenevano percorsi separati per l'input e l'output, i contemporanei modelli decoder-only si affidano a un unico meccanismo sottostante — la predizione del token successivo — sia per l'elaborazione dell'input che per la generazione dell'output. Questa simmetria architettonica suggerisce che gli LLM potrebbero mancare di una distinzione fondamentale tra produzione e percezione. Inoltre, precedenti studi comportamentali che tentavano di misurare questa distinzione tramite prompting metalinguistico (ad esempio, chiedendo ai modelli di giudicare o valutare un testo) hanno prodotto risultati incoerenti, spesso fallendo nel replicare le asimmetrie tipiche degli esseri umani.

Metodologia
Per affrontare queste limitazioni, gli autori propongono un cambio metodologico: misurare la distinzione produzione-percezione direttamente attraverso le distribuzioni di probabilità dei token anziché fare affidamento su giudizi metalinguistici generati. Citando Hu e Levy (2023), gli autori sostengono che le risposte valutative indotte da prompt divergono dalle probabilità sottostanti del modello; pertanto, la misurazione diretta della probabilità offre un segnale più pulito dello stato interno del modello.

Il design sperimentale prevede i seguenti passaggi:

Generazione: Un modello base (Llama-3.1-8B) genera una sequenza di token (poesie su 1.089 temi animali) sotto un prompt di produzione primario (ad esempio, "Per favore, scrivi una poesia su X"). Le probabilità dei token ( $p_0$ ) vengono registrate durante questa generazione.
Rivalutazione (Controllo): La stessa sequenza di token generata viene rivalutata token per token sotto un prompt di produzione riformulato (ad esempio, "Vorrei che scrivessi una poesia su X"). Questo produce le probabilità ( $p_1$ ) per la condizione Produzione–Produzione (prod-prod).
Rivalutazione (Sperimentale): La stessa sequenza di token viene rivalutata sotto un prompt orientato alla percezione (ad esempio, "Ecco una poesia su X, per favore valutala"). Questo produce le probabilità ( $p_2$ ) per la condizione Produzione–Percezione (prod-perc).
Analisi: Lo studio quantifica la divergenza tra $p_0$ $p_{0}$ e $p_1$ $p_{1}$ rispetto a $p_0$ $p_{0}$ e $p_2$ $p_{2}$ utilizzando:
- Correlazioni di Pearson per ogni poesia.
- Distanza media assoluta per ogni poesia ( $|p_0 - p_1|$ vs. $|p_0 - p_2|$ ).
- Analisi temporale che modella il decadimento di queste distanze durante i primi 100 token utilizzando una funzione di decadimento esponenziale ( $y = ae^{-bx} + c$ ).

L'esperimento è stato replicato attraverso molteplici variazioni di prompt (4 prompt di produzione, 3 di percezione) ed esteso a quattro modelli aggiuntivi (EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3 e Qwen2.5-7B-Instruct), coprendo sia le varianti base che quelle istruite (instruction-tuned).

Risultati Chiave

Divergenza Sistematica: Lo studio rileva una divergenza costante e sostanziale nelle probabilità dei token quando il framing cambia da produzione a percezione. La distanza media assoluta nella condizione prod-perc è circa 1,8 volte maggiore rispetto alla condizione prod-prod nel modello primario (Llama-3.1-8B), con intervalli di confidenza al 95% non sovrapponibili.
Specificità del Framing: La condizione di controllo prod-prod mostra correlazioni vicine al valore massimo (near-ceiling), indicando che una semplice riformulazione del prompt non altera significativamente le probabilità. La divergenza osservata è specifica del cambiamento di framing comunicativo (produttore vs interprete).
Dinamiche Temporali: L'effetto è più forte all'inizio della sequenza. La divergenza decade man mano che il contesto generato si accumula, seguendo un pattern di decadimento esponenziale. Tuttavia, l'entità iniziale della divergenza nella condizione prod-perc è circa 8 volte maggiore rispetto alla condizione prod-prod, e le curve non convergono completamente entro la finestra di 100 token per tutti i modelli.
Generalizzabilità: L'asimmetria si replica in tutti i cinque modelli testati (sia base che istruiti), con distanze prod-perc che superano le distanze prod-prod con fattori compresi tra 1,53× e 2,11×. Ciò suggerisce che l'effetto non è un artefatto di una specifica architettura di modello o dell'assenza di allineamento (RLHF).

Significatività e Rivendicazioni
L'articolo rivendica diverse scoperte significative:

Distinzione Funzionale nelle Architetture Decoder-Only: Nonostante il design a parametri condivisi e decoder-only che teoricamente preclude percorsi separati di produzione e percezione, il solo framing del prompt è sufficiente a indurre un'asimmetria funzionalmente significativa nelle distribuzioni di probabilità. Ciò sfida l'assunto che gli LLM trattino l'elaborazione dell'input e dell'output in modo identico in ogni contesto.
Validazione Metodologica: Lo studio valida l'uso della misurazione diretta della probabilità dei token rispetto al prompting metalinguistico per investigare distinzioni di tipo cognitivo negli LLM. Evitando la generazione di testo valutativo, il metodo isola l'effetto del framing sulle rappresentazioni interne del modello senza confonderlo con la capacità del modello di "parlare di" un linguaggio.
Robustezza dell'Effetto: La distinzione produzione-percezione non è un artefatto di una specifica formulazione del prompt o di una singola famiglia di modelli; persiste attraverso diversi modelli, dimensioni, architetture (base vs istruite) e combinazioni di prompt.

Limitazioni
Gli autori osservano che lo studio è limitato all'intervallo di 7–9 miliardi di parametri e a un singolo dominio creativo (poesia). Riconoscono che, sebbene esista una differenza statisticamente affidabile, l'entità di tale differenza rispetto al comportamento umano rimane una questione interpretativa aperta. Inoltre, lo studio ha utilizzato le probabilità dell'ultimo layer; ricerche future potrebbero indagare se tale divergenza sia uniforme attraverso i vari layer interni o concentrata in profondità specifiche.