Nel mondo dell'intelligenza artificiale, i grandi modelli linguistici sono spesso trattati come strumenti universali: poni una domanda e loro forniscono una risposta. Per anni, i ricercatori hanno saputo che il modo in cui si pone quella domanda, le parole specifiche, la formattazione o lo stile del prompt, può cambiare drasticamente il risultato. Un prompt che può far sembrare brillante un modello potrebbe far sembrare sciocco un altro, e persino piccoli cambiamenti insignificanti nel testo possono rimescolare le classifiche di quale modello sia il "migliore". Questo fenomeno, noto come interazione prompt-modello, è stato ampiamente documentato in compiti come la risoluzione di problemi matematici o la scrittura di codice. Tuttavia, rimaneva un mistero persistente: questa sensibilità appartiene alla complessa meccanica che il modello usa per eseguire i compiti, o è una proprietà fondamentale di come il modello elabora l'informazione stessa? Per rispondere a questo, gli scienziati avevano bisogno di osservare il modello quando non stava facendo nulla. Avevano bisogno di osservare la macchina in uno stato di pura esistenza priva di compiti, spogliata di istruzioni, obiettivi o della pressione di essere corretta.

Un team di ricercatori indipendenti ha intrapreso un'indagine su questo punto rimuovendo interamente il compito. Invece di chiedere a un modello di risolvere un problema, gli hanno fornito una breve sequenza di testo e hanno osservato cosa accadeva quando il modello era costretto a prevedere la parola successiva, poi la parola dopo quella, in un ciclo continuo. Poiché il modello non stava campionando casualmente, ma stava invece seguendo una regola deterministica e rigorosa per scegliere la parola successiva più probabile, il processo era simile a una palla che rotola giù da una collina finché non si stabilizza in una valle. In alcuni casi, la palla rotolava in una singola valle stabile e restava lì per sempre; in altri, poteva incastrarsi in un ciclo o vagare senza meta. I ricercatori hanno misurato quanto spesso le previsioni del modello si stabilizzavano in quello stato stabile, una metrica che hanno chiamato frazione di punto fisso. Hanno poi testato come questo comportamento cambiasse aggiungendo un breve prefisso di testo, solo nove parole o token, prima che la sequenza iniziasse. L'obiettivo era semplice: vedere se un piccolo frammento di testo extra potesse alterare fondamentalmente la traiettoria interna del modello, anche quando il modello non stava cercando di raggiungere nulla.

I risultati sono stati sorprendenti e hanno sfidato le aspettative degli stessi ricercatori. Hanno scoperto che l'interazione tra il prompt e il modello raggiungeva questa lettura priva di compiti con tutta la sua forza. Aggiungere solo nove token di testo di condizionamento era sufficiente per spostare la lettura misurata attraverso quasi l'intero intervallo possibile. Per alcuni modelli, questa piccola aggiunta trasformava un pattern di previsione caotico e erratico in uno perfettamente stabile. Per altri, faceva l'esatto opposto, distruggendo un precedente pattern stabile e mandando le previsioni in un ciclo. L'effetto era così potente da poter cambiare interamente la classificazione strutturale del comportamento di un modello. Per mettere questo in prospettiva, i ricercatori hanno confrontato questo spostamento con l'impatto del fine-tuning delle istruzioni, un massiccio processo di addestramento che tipicamente aumenta le prestazioni di un modello sui benchmark standard di oltre sessanta punti. Mentre quel training pesante spostava significativamente la performance del modello nei compiti, lasciava questa specifica lettura strutturale completamente invariata. Al contrario, un semplice prefisso di nove parole poteva ribaltare la lettura del modello da un estremo all'altro. Ciò ha dimostrato che l'interazione prompt-modello non è solo un vezzo del modo in cui i modelli seguono le istruzioni; è un fatto strutturale profondo di come un modello legge un frammento di testo.

I ricercatori hanno poi cercato di spiegare perché ciò accadesse, proponendo cinque fattorizzazioni specifiche come possibili spiegazioni. Si sono chiesti se la causa fosse la lunghezza del testo aggiunto, o se il contenuto, che fosse prosa semplice o codice formattato, fosse il motore principale. Hanno anche considerato se l'effetto fosse universale, ovvero se spingesse sempre i modelli nella stessa direzione, o se fosse un tratto specifico di certi tipi di modelli, come quelli addestrati a seguire le istruzioni. Hanno testato queste idee rigorosamente, partendo da piccoli gruppi di modelli per poi ampliare il campione includendo architetture e tipi di testo più diversificati. Tutte e cinque le fattorizzazioni proposte sono fallite sotto l'ampliamento del campione. L'effetto non era semplicemente legato a quanto fosse lungo il testo; infatti, la relazione non era fluida o prevedibile, con alcuni modelli che reagivano selvaggiamente a una singola parola extra mentre altri la ignoravano. Anche il contenuto del testo non è riuscito a spiegare il pattern; ciò che funzionava per un modello spesso falliva per un altro, e la direzione del cambiamento si invertiva a seconda della specifica combinazione di testo e modello. Persino l'idea che i modelli addestrati alle istruzioni sarebbero resistiti a questi cambiamenti si è rivelata falsa quando hanno testato una varietà più ampia di testi.

Ciò che è rimasto dopo la dissoluzione di tutte queste spiegazioni è stata una realtà semplice e ostinata: l'effetto apparteneva alla coppia specifica di prompt e modello, non a uno dei due individualmente. Un singolo prefisso fisso di nove parole poteva spingere quattro modelli diversi verso uno stato di totale stabilità, mentre spingeva altri due modelli verso il caos totale. Lo stesso testo che faceva sì che le previsioni di un modello si bloccassero in posizione causava il collasso di un altro. Questo comportamento sopravviveva anche quando i ricercatori utilizzavano testi comuni nel mondo reale, dimostrando che non era solo un artefatto derivante dall'uso di parole strane o casuali. I ricercatori hanno anche esaminato la meccanica interna dei modelli, specificamente quanta attenzione il modello prestasse al primissimo token della sequenza. Una teoria popolare suggeriva che i primi token agiscano come un "sink" (pozzo), assorbendo l'attenzione del modello e dettando l'esito. Tuttavia, quando hanno misurato questo, la teoria non è riuscita a predire la direzione del cambiamento. In alcuni modelli, il sink di attenzione aumentava e la stabilità cresceva; in altri, il sink di attenzione aumentava ma la stabilità crollava. La spiegazione meccanica era vera per il testo del mondo reale, ma crollava completamente per gli input casuali usati nella loro sonda, suggerendo che i ricercatori stessero operando al di fuori del regime in cui quella teoria meccanica si applica.

Lo studio conclude che l'unità di spiegazione per questo fenomeno è la coppia prompt-modello stessa. Non esiste una singola regola riguardante la lunghezza del testo, il contenuto o il tipo di modello che possa predire come un modello specifico reagirà a un prompt specifico. I ricercatori hanno scoperto che i loro stessi tentativi di trovare una regola universale erano spesso ostacolati da un errore sottile: applicare un criterio rigido a una quantità che non aveva spazio per variare. Ad esempio, inizialmente pensavano di aver trovato una direzione universale in cui tutti i modelli si muovevano nello stesso modo, solo per rendersi conto che il loro piccolo campione aveva nascosto le eccezioni. Ampliando il loro campione e rifiutandosi di accettare pattern che non potevano fallire, hanno garantito l'onestà delle loro scoperte. L'immagine finale è di una profonda specificità. Il modo in cui un modello legge un frammento di testo non è una proprietà generica del modello, né è una proprietà generica del testo. È un'interazione unica che emerge solo quando quel testo specifico incontra quel modello specifico. I ricercatori invitano la comunità scientifica a continuare a testare questo fenomeno, e la questione rimane aperta: finché un nuovo fattore non potrà sopravvivere allo stesso rigoroso ampliamento del campione, la risposta rimane che l'interazione è un evento specifico per la coppia, resistente a una semplice categorizzazione.