📊 statistics

Why is prompting hard? Understanding prompts on binary sequence predictors

Questo articolo indaga le sfide del prompting inquadrandolo come la ricerca di sequenze di condizionamento ottimali su predittori di sequenza, rivelando attraverso esperimenti controllati e analisi di modelli all'avanguardia che i prompt ottimali sono spesso controintuitivi, difficili da identificare anche con una ricerca esaustiva e frequentemente subottimali quando si utilizzano metodi standard basati su dimostrazioni.

Autori originali: Li Kevin Wenliang, Anian Ruoss, Jordi Grau-Moya, Marcus Hutter, Tim Genewein

Pubblicato 2026-05-12

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Li Kevin Wenliang, Anian Ruoss, Jordi Grau-Moya, Marcus Hutter, Tim Genewein

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un pappagallo super-intelligente e altamente addestrato. Questo pappagallo ha letto milioni di libri, guardato innumerevoli film e ascoltato ogni programma radiofonico mai creato. Sa prevedere la parola successiva in una frase meglio di chiunque altro. Questo è il tuo modello di IA.

Ora, vuoi che questo pappagallo esegua un trucco specifico: raccontare una barzelletta, scrivere una poesia triste o risolvere un problema matematico. Lo fai fornendogli un prompt—poche parole di istruzione o un esempio per metterlo in moto.

Questo articolo pone una domanda semplice ma profonda: Perché è così difficile trovare le parole perfette da dare al pappagallo? A volte, le istruzioni che funzionano meglio sembrano completamente strane, prive di senso o persino "sbagliate" per un umano. Perché un prompt che sembra nonsenso funziona meglio di un'istruzione chiara e logica?

Gli autori hanno deciso di smettere di indovinare e iniziare a testare. Hanno costruito un piccolo mondo controllato per capire cosa succede realmente nel cervello del pappagallo.

L'esperimento: Il pappagallo del lancio della moneta

Invece di utilizzare un'IA reale e complessa, hanno creato un semplice "pappagallo" che comprende solo Testa e Croce (come un lancio di moneta).

L'addestramento: Hanno insegnato a questo pappagallo mostrandogli migliaia di lanci di moneta. Ma ecco il punto cruciale: non gli hanno mostrato solo monete equilibrate. Gli hanno mostrato monete con bias diversi. Alcune monete cadevano su Testa il 20% delle volte, altre il 90%, e alcune erano un misto di entrambe. Il pappagallo ha imparato a indovinare il lancio successivo basandosi sul pattern osservato durante l'addestramento.
Il compito: Ora, volevano che il pappagallo si comportasse come una moneta specifica che cade su Testa il 70% delle volte. Hanno chiesto: "Qual è la migliore sequenza di Teste e Croci da mostrare al pappagallo affinché inizi a indovinare il 70% di Teste?"

La grande sorpresa: I prompt "sbagliati" funzionano meglio

Potresti pensare che il modo migliore per insegnare al pappagallo a indovinare il 70% di Teste sia mostrargli una lunga lista con il 70% di Teste e il 30% di Croci. Sembra logico, vero?

L'articolo ha scoperto che spesso questo è sbagliato.

In molti casi, il prompt ottimale (quello che funziona davvero meglio) era una sequenza che non assomigliava per nulla al compito.

L'analogia: Immagina di voler insegnare a uno studente abituato a studiare in una biblioteca silenziosa a studiare in una mensa rumorosa. Potresti pensare che mostrargli una registrazione di una mensa rumorosa sia il modo migliore per prepararlo. Ma l'articolo ha scoperto che a volte, il modo migliore per metterlo nelle condizioni giuste è mostrargli una sequenza di silenzio che inganna sottilmente il suo cervello facendogli aspettarsi il rumore.
La realtà: Il prompt "migliore" dipende interamente da come è stato addestrato il pappagallo (la sua distribuzione di pre-addestramento). Se il pappagallo è stato addestrato su una miscela specifica di bias delle monete, le "parole magiche" per farlo comportare in un certo modo potrebbero essere una sequenza di sole Teste, o un bizzarro mix di 10 Teste e 2 Croci. Per un umano che guarda solo il compito, questo sembra un errore. Ma per il pappagallo, è la chiave perfetta che sblocca il comportamento corretto.

Perché è così difficile capirlo?

L'articolo evidenzia tre ragioni principali per cui trovare queste "parole magiche" è un incubo:

1. Il problema della "ricetta nascosta"
Il comportamento del pappagallo è plasmato da una "ricetta" segreta (la distribuzione di pre-addestramento) che solitamente non conosciamo.

Analogia: Immagina di dover sintonizzare una radio su una stazione specifica. Non sai come suona la stazione e non sai come è costruita la radio. Gesti semplicemente la manopola. A volte, girarla verso la posizione "ovvia" ti dà solo fruscii. Devi girarla verso una posizione strana e casuale per ottenere un suono chiaro. Senza conoscere il cablaggio interno della radio, non puoi spiegare perché quella posizione strana funziona.

2. Il problema del "paesaggio piatto"
Gli autori hanno visualizzato la ricerca del miglior prompt come una camminata su un paesaggio collinare.

Analogia: Stai cercando la vetta più alta (il miglior prompt). In un mondo perfetto, c'è una sola cima montuosa netta ed è facile da trovare. Ma negli esperimenti di questo articolo, il "paesaggio" è spesso un altopiano piatto. Ci sono centinaia di prompt diversi che sono quasi ugualmente buoni.
La conseguenza: Se provi a trovare il miglior prompt usando una piccola quantità di dati (come un piccolo batch di test), potresti accidentalmente scegliere un prompt "abbastanza buono" che in realtà è diverso dal vero migliore. Se esegui il test di nuovo con un batch leggermente diverso, potresti scegliere un diverso prompt "abbastanza buono". Questo rende i risultati inaffidabili e difficili da interpretare.

3. La trappola della "dimostrazione dell'esperto"
Un modo popolare per insegnare all'IA è mostrarle esempi di un esperto che esegue il compito (ad esempio, "Ecco come gioca un grande maestro di scacchi").

La scoperta: L'articolo ha dimostrato che mostrare esempi di esperti è spesso meno efficace rispetto all'uso di un prompt strano e ottimizzato.
Analogia: Immagina di voler che un robot giochi a scacchi perfettamente. Potresti mostrargli 100 partite giocate da un Grande Maestro. Oppure, potresti dargli un codice strano e breve che forza il suo cervello in "modalità Grande Maestro". L'articolo ha scoperto che quel codice strano funziona spesso meglio delle 100 partite. Gli esempi degli esperti sono troppo "tipici" e non tengono conto dei bias specifici dell'addestramento del robot.

E l'IA reale (come i chatbot)?

Gli autori hanno testato queste idee su veri Modelli Linguistici di grandi dimensioni (come GPT-2 e Gemma) utilizzando recensioni di film.

Hanno trovato gli stessi pattern: i migliori prompt per generare una recensione "positiva" non erano sempre parole che suonavano positive. A volte, erano parole brevi, strane o persino che suonavano negative che in qualche modo innescavano la risposta corretta.
Hanno anche scoperto che per trovare in modo affidabile il miglior prompt, è necessaria una quantità enorme di dati (migliaia di esempi), non solo i piccoli batch (circa 200) che le persone usano solitamente. Con piccoli batch, stai semplicemente indovinando.

La conclusione

L'articolo conclude che il prompting è difficile perché stiamo cercando di guidare una macchina senza conoscerne la storia completa.

Il prompt "migliore" è relativo: Non esiste un prompt "migliore" universale. Il miglior prompt dipende dai bias specifici e nascosti dei dati di addestramento dell'IA.
L'intuizione fallisce: Ciò che sembra logico per un umano (mostrare all'IA ciò che si vuole) spesso fallisce perché non tiene conto della "matematica" interna dell'IA.
L'affidabilità è bassa: A meno che non si cerchi esaustivamente e non si utilizzino dataset massicci, i prompt che si trovano potrebbero essere indovinate fortunate che non funzionano in modo coerente.

In breve, l'articolo suggerisce che la "magia" del prompting non riguarda solo scrivere buone istruzioni; riguarda l'hacking dei bias statistici nascosti dell'IA in modi che spesso appaiono completamente controintuitivi per noi.

Riepilogo Tecnico: Comprensione dei Prompt sui Predittori di Sequenze Binarie

Enunciato del Problema

I modelli all'avanguardia, come i Large Language Models (LLM), possono essere condizionati tramite prompt per eseguire compiti diversificati. Tuttavia, trovare prompt efficaci è difficile e, anche quando vengono individuati prompt ad alte prestazioni, questi sono spesso controintuitivi o "eccentrici". Il problema centrale affrontato è la mancanza di una comprensione fondamentale del perché i prompt ottimali si comportino in modo controintuitivo, del perché sia difficile identificarli in modo affidabile e del perché euristiche comuni (come l'uso di dimostrazioni di esperti) spesso falliscano.

Il documento ipotizza che il prompting sia fondamentalmente un problema di ricerca della migliore sequenza di condizionamento su un predittore di sequenze vicino all'ottimo. La difficoltà nasce dal fatto che il prompt ottimale dipende fortemente dalla distribuzione di pre-addestramento (la meta-distribuzione dei dati su cui il modello è stato addestrato), che è tipicamente sconosciuta all'utente. Di conseguenza, i prompt che sono ottimali per un compito specifico possono apparire atipici o subottimali se osservati esclusivamente attraverso la lente della distribuzione del compito.

Metodologia

Gli autori propongono un quadro empirico rigoroso e controllato per studiare il prompting da una prospettiva di meta-apprendimento bayesiano.

Generatori di Dati Sintetici (DG): Invece di affidarsi a dati linguistici naturali complessi dove la verità fondamentale è sfuggente, gli autori progettano generatori di dati sintetici di sequenze binarie. Questi includono:
- Bernoulli DG Condizionalmente Indipendenti (CIB-DG): Modelli in cui le sequenze sono generate sulla base di un bias latente $\tau$ estratto da una distribuzione a priori $p_\tau$ .
- DG Complessi: Compresi processi di commutazione, modelli gerarchici e modelli a tema per simulare strutture non i.i.d.
- Decisore Bandit: Un compito bandit di Bernoulli a due bracci in cui l'obiettivo è indurre un specifico "livello di abilità" ( $\tau$ ) in un agente per massimizzare i rendimenti.
Predittori: Il quadro valuta due tipi di predittori:
- Predittori Bayes: Predittori teoricamente ottimali derivati analiticamente per i DG sintetici.
- Predittori Neurali: Modelli autoregressivi (RNN, LSTM, Transformer) addestrati tramite meta-apprendimento su campioni provenienti dai DG di pre-addestramento per approssimare il predittore Bayes.
Ricerca del Prompt:
- Prompt Ottimali Teorici ( $s^*$ ): Trovati tramite ricesa esaustiva sullo spazio dei prompt per minimizzare la perdita logaritmica attesa sotto la distribuzione del compito $q$ . Ciò fornisce una verità fondamentale numericamente garantita.
- Prompt Ottimali Empirici ( $\hat{s}$ ): Trovati ottimizzando i prompt su dataset finiti estratti da $q$ , simulando i vincoli reali dell'ingegneria dei prompt.
Metriche: Lo studio analizza la "proporzione corretta" (affidabilità nel trovare $s^*$ ), il "paesaggio della perdita" (piattezza intorno all'ottimo) e l'interpretabilità dei prompt rispetto alle distribuzioni del compito e di pre-addestramento.

Contributi Chiave

Quadro Rigoroso: È stato stabilito un quadro formale per analizzare le sequenze di condizionamento ottimali, comprendendo definizioni di ottimalità, disegni sperimentali e tecniche di visualizzazione.
Risultati della Ricerca Esaustiva: Sono stati raccolti oltre 250.000 prompt ottimali numericamente garantiti. Lo studio rivela che i prompt ottimali sono spesso atipici per il compito; potrebbero non assomigliare a campioni della distribuzione del compito, ma sono invece progettati per sfruttare i bias nella distribuzione di pre-addestramento sconosciuta.
Analisi dell'Affidabilità: È stato dimostrato che l'identificazione di prompt ottimali è inaffidabile anche con dataset finiti. Aumentare la dimensione del dataset ( $N$ ) non migliora sempre l'affidabilità; in alcuni casi, porta a risultati incoerenti a causa di paesaggi di perdita piatti dove molti prompt subottimali hanno prestazioni simili.
Apprendimento in Contesto vs. Prompt Ottimali: È stato dimostrato che il prompting tramite dimostrazioni di esperti (una strategia comune di apprendimento in contesto) è spesso subottimale rispetto ai prompt teoricamente ottimali. In un compito bandit, le dimostrazioni di esperti hanno prodotto rendimenti inferiori rispetto ai prompt che inducevano specifici livelli di abilità latente attraverso pattern di ricompensa controintuitivi.
Validazione con LLM: Il quadro è stato adattato a LLM reali (GPT-2, Gemma-3, Gemini 2.5 Pro) utilizzando recensioni di film IMDB. I risultati sulle sequenze binarie (ad esempio, la difficoltà di identificare prompt ottimali con dimensioni di batch piccole e la prevalenza di prompt brevi e non intuitivi) erano coerenti con i risultati ottenuti su modelli reali.

Risultati Chiave

Atipicità dei Prompt Ottimali: In uno scenario in cui un modello è pre-addestrato su una miscela di bias di moneta e ha il compito di generare il 70% di teste, il prompt ottimale non era una sequenza del 70% di teste. Invece, era spesso una sequenza di tutti uno (o altri conteggi estremi) che concentrava più rapidamente la credenza a posteriori sul bias target, data la specifica miscela di pre-addestramento.
Lunghezza e Spazio di Ricerca: Contrariamente all'intuizione secondo cui prompt più lunghi sono sempre migliori, lo studio ha rilevato che la lunghezza del prompt ottimale non aumenta monotonicamente con la lunghezza della sequenza del compito. Prompt più brevi appaiono spesso ottimali perché lo spazio di ricerca per prompt più lunghi è vasto e la ricerca esaustiva viene raramente eseguita nella pratica.
Il Ruolo della Distribuzione di Pre-addestramento: L'interpretabilità di un prompt è condizionata dalla conoscenza della distribuzione di pre-addestramento. Senza questa conoscenza, i prompt ottimali appaiono come "babbuini" o sequenze eccentriche.
Le Demonstration di Esperti sono Subottimali: Nell'esperimento bandit, i prompt derivati da dimostrazioni di esperti (campionamento di Thompson) hanno performato peggio rispetto ai prompt ottimali. I prompt ottimali utilizzavano pattern di ricompensa specifici (ad esempio, un singolo fallimento seguito da una serie di successi) per segnalare livelli di abilità elevati in modo più efficace rispetto alle tipiche traiettorie degli esperti.
Affidabilità e Dimensione del Batch: L'ottimizzazione empirica è altamente sensibile alla dimensione del dataset. Piccole dimensioni del batch (ad esempio, $N=200$ , comuni nella letteratura) producono prompt inaffidabili. È necessaria una $N$ molto più grande (ad esempio, $N \approx 1700$ per gli LLM) per ottenere una probabilità del 50% di identificare il prompt ottimale.

Significato e Affermazioni

Il documento afferma di compiere un primo passo verso la comprensione dei prompt ottimali da una prospettiva statistica ed empirica. Sostiene che la natura controintuitiva del prompting non è semplicemente un difetto delle architetture attuali, ma una conseguenza fondamentale del meta-apprendimento bayesiano su distribuzioni di pre-addestramento sconosciute.

Insight Fondamentale: La difficoltà nel prompting nasce dal fatto che il prompt ottimale deve "hackerare" i priori di pre-addestramento per indirizzare il modello, piuttosto che semplicemente imitare la distribuzione del compito.
Limitazioni: Gli autori sono modesti nelle loro affermazioni, notando che i token binari sono semplificazioni drastiche del linguaggio naturale. Sebbene i risultati offrano intuizioni fondamentali, non predicono definitivamente i comportamenti esatti dei modelli all'avanguardia su larga scala. Lo studio si concentra sulla fase di pre-addestramento e non tiene pienamente conto degli effetti post-addestramento (ad esempio, RLHF) o di specifiche sfumature architetturali.
Implicazione: Il lavoro suggerisce che gli approcci euristici attuali all'ingegneria dei prompt (basati sull'intuizione o su ricerche su piccola scala) stanno probabilmente perdendo le vere soluzioni ottimali, che sono spesso nascoste nella complessa interazione tra il compito e la distribuzione di pre-addestramento nascosta.

In sintesi, il documento fornisce una base teorica ed empirica per spiegare perché i prompt "buoni" sono difficili da trovare e perché spesso appaiono strani, attribuendo questi fenomeni alla necessità statistica di allinearsi a una meta-distribuzione di pre-addestramento sconosciuta.