🤖 AI

The Value of a Prompt: An LLM-Relative Kolmogorov-Complexity Approach

Questo articolo propone una metrica stimabile efficientemente per quantificare il valore economico dei prompt forniti ai Large Language Models definendolo come informazione mutua algoritmica basata su una nuova complessità di Levin–Kolmogorov relativa all'LLM ( $pKt$ ), la quale cattura quanto un prompt riduca lo sforzo computazionale o aumenti la probabilità di generare un artefatto target.

Autori originali: Rafael Pass

Pubblicato 2026-08-18

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Rafael Pass

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nell'economia moderna dell'intelligenza artificiale, sta emergendo un nuovo tipo di valuta, che non si misura in dollari o token, ma nella qualità delle domande che poniamo. I modelli linguistici di grandi dimensioni sono diventati motori potenti capaci di generare dimostrazioni, scrivere codice o progettare nuovi materiali, eppure non operano nel vuoto. Richiedono una scintilla da parte di un essere umano, un prompt, per iniziare il proprio lavoro. Per anni, l'industria si è concentrata quasi esclusivamente sull'output: quanto è buona la storia, quanto è corretto il codice, quanto è elegante il design. Ma man mano che queste macchine diventano più capaci, la questione economica centrale si sta spostando. Non si tratta più solo di ciò che la macchina può produrre, ma di quale valore rimanga nell'input umano che l'ha guidata. Se una persona fornisce un suggerimento, una critica o una soluzione parziale, quanto ha effettivamente aiutato quell'input specifico la macchina a raggiungere il suo obiettivo?

Questo è un problema difficile perché un breve e intelligente suggerimento può valere più di un'istruzione lunga e confusa, e un suggerimento errato può essere peggio di nessun suggerimento affatto. Contare semplicemente le parole o i caratteri in un prompt non riesce a catturarne il vero valore. Per risolvere questo problema, i ricercatori si sono rivolti a un campo della matematica chiamato teoria dell'informazione algoritmica, che tradizionalmente misura la complessità di un oggetto chiedendosi quanta informazione sia necessaria per descriverlo. I ricercatori in questo studio si sono posti una nuova domanda: cosa succederebbe se misurassimo la complessità non rispetto a un computer perfetto e teorico, ma rispetto al modello di intelligenza artificiale specifico che sta svolgendo il lavoro? Si sono resi conto che per dare davvero valore al contributo di un essere umano, dobbiamo tenere conto del processo di "pensiero" della macchina stessa. I modelli moderni spesso si fermano per generare una catena di ragionamento prima di dare una risposta, e un buon prompt potrebbe risparmiare alla macchina il tempo di pensare troppo a lungo, o potrebbe indirizzare quel pensiero in una direzione più produttiva.

I ricercatori hanno sviluppato un nuovo modo per misurare questo valore trattando il prompt come uno strumento che riduce lo sforzo necessario affinché la macchina abbia successo. Hanno immaginato uno scenario in cui una macchina cerca di ricreare un risultato specifico, come una dimostrazione matematica, prima da sola e poi con il suggerimento di un essere umano. Hanno misurato la differenza non solo in base a quanto fosse più probabile che la macchina ottenesse la risposta corretta, ma in base a quanto "tempo di pensiero" fosse stato risparmiato. Nel loro framework, i passaggi di ragionamento interno della macchina sono trattati come un percorso casuale che essa deve percorrere. Un prompt prezioso è quello che rende il percorso corretto molto più breve o molto più ovvio, riducendo efficacementmente il numero di passi che la macchina deve compiere per trovare la soluzione. Hanno definito questo valore in termini di "costo in token", che è un modo per contare lo sforzo computazionale impiegato dalla macchina. Se un prompt rende il lavoro della macchina due volte più facile, esso ha un certo valore; se lo rende mille volte più facile, il valore è molto più alto.

Per testare le loro idee, il team ha condotto una serie di esperimenti utilizzando un set standard di problemi di matematica della scuola elementare. Hanno chiesto a un modello linguistico di grande scala di risolvere questi problemi, fornendo a volte il primo passo della soluzione come suggerimento e a volte lasciandolo partire da zero. Hanno scoperto che guardare semplicemente la probabilità che il modello ottenga la risposta corretta non era sufficiente. In diversi casi, fornire il primo passo corretto inizialmente faceva sembrare la risposta finale meno probabile all'inizio, perché il modello non aveva ancora attivato il proprio processo di ragionamento. Tuttavia, una volta che il modello è stato lasciato "pensare" e generare i propri passaggi di ragionamento, il suggerimento si è rivelato incredibilmente prezioso. Ha guidato il processo di pensiero del modello in modo così efficace che quest'ultimo ha raggiunto la risposta corretta molto più velocemente e con molto meno sforzo rispetto a quanto avrebbe fatto da solo. Ciò ha dimostrato che il vero valore di un prompt risiede spesso nel modo in cui modella il ragionamento interno della macchina, non solo nelle parole immediate che produce.

Lo studio ha anche rivelato che il valore di un prompt non è un numero singolo e fisso. Dipende dal percorso specifico che la macchina intraprende. A volte un suggerimento aiuta la macchina in molte situazioni, ma in casi rari, potrebbe condurla in un vicolo cieco. I ricercatori hanno scoperto che osservando l'esito "mediano" — il risultato tipico piuttosto che il caso migliore o peggiore — potevano ottenere una misura affidabile del valore. Hanno scoperto che per alcuni problemi, un suggerimento corretto da parte di un essere umano era in realtà dannoso o inutile per il modello specifico che stavano testando, suggerendo che ciò che sembra una buona idea per una persona potrebbe essere ridondante o confuso per un'intelligenza artificiale. Ciò evidenzia che il valore dell'input umano è profondamente legato alla macchina specifica con cui sta comunicando e al modo in cui quella macchina elabora le informazioni.

In definitiva, questo lavoro fornisce un modo rigoroso per quantificare il contributo di un essere umano in un'epoca in cui le macchine svolgono il lavoro pesante. Si va oltre l'idea che la macchina sia l'unico creatore e riconosce che il ruolo dell'essere umano è quello di fornire il percorso efficiente attraverso il vasto spazio delle possibilità. Misurando quanto un prompt faccia risparmiare in termini di tempo di pensiero ed effort della macchina, possiamo iniziare a comprendere il vero valore economico della guida umana. I ricercatori hanno dimostrato che questo valore può essere calcolato e stimato, offrendo una nuova lente attraverso cui osservare la partnership tra uomo e macchina. Man mano che l'intelligenza artificiale diventa più integrata nelle nostre vite, comprendere il valore dei prompt che le diamo sarà essenziale per sapere dove viene svolto il vero lavoro e chi merita il credito per i risultati.

Sintesi Tecnica: Il Valore di un Prompt: Un Approccio alla Complessità di Kolmogorov Relativa agli LLM

1. Definizione del Problema

Man mano che i Large Language Models (LLM) diventano centrali nella creazione di artefatti preziosi (dimostrazioni, codice, design, ipotesi), sorge una questione economica critica: come misuriamo il valore dell'input umano (il prompt) fornito al modello?

Le metriche tradizionali, come il conteggio dei token, non riescono a catturare il valore perché un breve suggerimento può essere decisivo, mentre un prompt lungo può essere irrilevante. Una misura robusta deve soddisfare due criteri:

Difficoltà Comparativa: Deve confrontare la difficoltà di produrre un artefatto $z$ con e senza il prompt $p$ .
Compromesso Computazionale: Deve tenere conto del fatto che un modello senza prompt può compensare "pensando" più a lungo. Pertanto, la misura deve addebitare questo lavoro computazionale aggiuntivo, accreditando il prompt non solo per l'aumento della probabilità dell'output, ma per la riduzione dello sforzo computazionale necessario per trovarlo.

La complessità di Kolmogorov (informazione algoritmica) esistente è incomunicabile e ignora il tempo computazionale. Le varianti limitate dalle risorse sono spesso difficili da calcolare. Inoltre, l'informazione mutua classica non gestisce naturalmente il processo di "pensiero" (Chain of Thought) inerente ai moderni LLM.

2. Metodologia

Il paper propone una nozione di complessità di Levin-Kolmogorov probabilistica relativa all'LLM, denotata come $\tilde{pKt}$ , per definire il valore del prompt. L'approccio evolve dai modelli senza pensiero ai modelli con fasi di pensiero esplicite.

2.1 LLM Senza Pensiero (Warm-up)

Per i modelli autoregressivi che generano l'output direttamente senza una fase separata di pensiero:

Complessità Relativa all'LLM: La macchina di Turing universale è sostituita da un LLM specifico $M$ . Un "programma" è definito come una stringa binaria che rappresenta la casualità del campionamento (un intervallo diedico) che forza il modello a produrre una specifica stringa $z$ .
Complessità A-Priori: Per rendere questo operazione efficientemente calcolabile, l'autore utilizza la log-probabilità dell'output: $\tilde{K}_M(z|y) = -\log_2 P_M(z|y)$ .
Valore del Prompt: Definito come la differenza nella complessità a-priori: $\tilde{Val}_M(p; z) = \tilde{K}_M(z) - \tilde{K}_M(z|p)$ . Questo è equivalente al rapporto di verosimiglianza (Informazione Mutua Puntuale), indicando quante volte $z$ è più probabile con il prompt $p$ rispetto a senza.

2.2 LLM con Pensiero

I moderni LLM spesso generano una "rotta di pensiero" $H$ (Chain of Thought) prima di emettere l'artefatto finale $z$ . Ciò introduce due sfide:

Casualità del Pensiero: La rotta di pensiero $H$ è stocastica. Semplice mediare su tutte le possibili rotte di pensiero può essere influenzato da percorsi rari ma altamente riusciti.
Risparmio Computazionale: Un buon prompt potrebbe non solo aumentare la probabilità a un costo fisso; potrebbe anche eliminare la necessità di lunghe sequenze di pensiero.

La Soluzione Proposta:

Complessità di Levin del Pensiero Realizzato: Per una fissa rotta di pensiero realizzata $H$ , la complessità di $z$ è definita minimizzando la somma della lunghezza della descrizione (log-probabilità di $z$ dato $H$ ) e del logaritmo del costo del prefisso di pensiero.
$\tilde{Kt}^\kappa_M(z | y; H) := \min_{t} \left( -\log_2 P_M(z | y H_{\le t} \text{EOT}) + \log_2 \kappa(t) \right)$
Qui, $\kappa(t)$ è una funzione di costo equivalente ai token per $t$ token di pensiero. La minimizzazione su $t$ permette al modello di interrompere il pensiero precocemente se la probabilità di successo è sufficientemente alta da compensare il costo.
Complessità Probabilistica ( $\tilde{pKt}$ ): Poiché $H$ è casuale, l'autore definisce la complessità come la mediana (o il $\delta$ -quantile) delle complessità del pensiero realizzato su molteplici rollouts di campionamento. Ciò evita la sensibilità a percorsi di pensiero rari o "fortunati".
$\tilde{pKt}^\kappa_{M,\delta}(z | y) := \text{med}_\delta \left[ \tilde{Kt}^\kappa_M(z | y; H_y) \right]$
Valore del Prompt: Il valore finale è la differenza in queste complessità probabilistiche:
$\tilde{Val}^\kappa_{M,\delta}(p; z) = \tilde{pKt}^\kappa_{M,\delta}(z) - \tilde{pKt}^\kappa_{M,\delta}(z | p)$

3. Contributi Chiave

Framework di Complessità Relativa all'LLM: Il paper adatta la complessità di Kolmogorov e Levin alla specifica architettura degli LLM, trattando il modello stesso come la macchina di riferimento e la sua casualità di campionamento come il nastro del programma.
Gestione del "Pensiero": Introduce un metodo innovativo per valorizzare i prompt per i modelli con Chain of Thought, trattando la rotta di pensiero realizzata come il nastro casuale e minimizzando un obiettivo di tipo Levin (lunghezza della descrizione + log tempo) sul prefisso di pensiero.
Stimabilità Efficiente: A differenza della classica complessità di Kolmogorov limitata dalle risorse, la misura proposta è stimabile efficientemente. Il paper fornisce un protocollo per stimare la mediana della complessità usando un numero polinomiale di rollout, con limiti di errore ad alta probabilità.
Interpretazione Economica (Costo dei Token): L'autore dimostra un teorema fondamentale: $2^{\tilde{pKt}}$ $2^{\tilde{p K t}}$ corrisponde esattamente al costo mediano dei token per riprodurre l'artefatto in uno specifico esperimento.
- Se un prompt ha un valore di $b$ bit, significa che riprodurre l'artefatto senza il prompt costa tipicamente $2^b$ volte di più in unità equivalenti ai token rispetto alla riproduzione con il prompt.
Distinzione dal Lavoro Precedente: Il paper chiarisce che, mentre la componente "senza pensiero" si allinea con l'Informazione Mutua Puntuale (PMI) e le recenti metriche di "contributo umano" (es. Xie et al.), la gestione esplicita della computazione e del pensiero è il contributo innovativo.

4. Risultati Sperimentali

L'autore ha valutato la misura su 12 problemi dal dataset GSM8K (problemi matematici per la scuola elementare) utilizzando il modello DeepSeek-R1-Distill-Qwen-1.5B.

Il Pensiero Inverte i Verdetto: In diversi casi, fornire un primo passo corretto (il prompt) ha inizialmente reso la risposta finale meno probabile a $t=0$ (senza pensiero). Tuttavia, una volta incorporato il processo di pensiero, il valore del prompt è diventato positivo. Ciò dimostra che una metrica basata solo sulla probabilità e priva di pensiero può fornire un verdetto qualitativo opposto rispetto alla metrica proposta che considera il pensiero.
Accelerazione vs. Guida (Steering): I risultati hanno distinto tra prompt che semplicemente "accelerano" il calcolo (permettendo al modello di raggiungere uno stato ottimale più velocemente, il che è prezioso sotto i costi di "pensiero generato" ma meno sotto i costi di "prefisso-prefill") e prompt che "guidano" il modello verso uno stato fondamentalmente migliore (preziosi sotto entrambe le convenzioni di costo).
Correttezza $\neq$ Valore: Una soluzione parziale corretta da un riferimento umano non è sempre stata preziosa. In alcuni casi, era ridondante o induceva continuazioni sfavorevoli, risultando in un valore del prompt negativo o trascurabile.
Dipendenza dalla Distribuzione: Il valore di un prompt variava significativamente attraverso diversi quantili ( $\delta$ ) della distribuzione dei rollout, indicando che un prompt può aiutare alcune "traiettorie di pensiero" mentre ne ostacola altre.

5. Significato e Rivendicazioni

Il paper sostiene di fornire una misura del valore del prompt che sia teoricamente fondata, facilmente stimabile ed economicamente interpretabile.

Fondamento Teorico: Collega la teoria dell'informazione algoritmica all'economia degli LLM, offrendo una definizione formale di "valore" che tiene conto sia della verosimiglianza che dello sforzo computazionale.
Significato Operativo: Collegando la misura della complessità al costo mediano dei token per la riproduzione, il paper sostiene che il valore del prompt non è una metrica astratta, ma un concreto risparmio economico.
Modestia: L'autore dichiara esplicitamente che la misura tassa la descrizione dell'artefatto dichiarato. Se la definizione dell'artefatto è difettosa (es. include rumore casuale), la misura del valore rifletterà ciò. Notano inoltre che il framework attualmente valuta un singolo prompt in un contesto fisso e non cattura ancora pienamente il valore di strategie conversazionali adattive a più turni o il costo della formulazione dell'input umano stesso.

In sintesi, il paper postula che in un'era di abbondante generazione tramite IA, il valore del contributo umano risiede nella riduzione del carico computazionale del modello per raggiungere un determinato risultato, e che questa riduzione può essere quantificata rigorosamente utilizzando la complessità di Levin relativa all'LLM.