Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models
Questo articolo presenta una valutazione controllata utilizzando il corpus sintetico "Book of Veyra" su cinque modelli, rivelando che l'aderenza alle istruzioni crolla quando il numero di regole supera le 80 indipendentemente dal formato, mentre la performance nel contesto lungo è caratterizzata da un brusco degrado del richiamo e da tassi di rifiuto piuttosto che da allucinazioni, senza alcun vantaggio consistente del markdown rispetto al testo semplice.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un robot super intelligente come svolgere un lavoro. Hai alcune leve da tirare per farlo lavorare meglio. Una leva è il formato: puoi scrivere le tue istruzioni come un elenco ordinato, un paragrafo noioso, una tabella elegante o solo testo semplice. Un'altra leva è la scala: quante istruzioni dai in una volta e quanta informazione di base (come un libro gigante) chiedi di ricordare mentre lavora. Per molto tempo, le persone hanno discusso su quale stile di scrittura fosse il migliore, assumendo che il robot li avrebbe compresi perfettamente a prescindere da quante regole aggiungevi o quanto fosse spesso il libro. Ma nel mondo dell'Intelligenza Artificiale, specificamente con i Large Language Models (il tipo di IA che scrive storie e risponde a domande), c'è un crescente sospetto che queste leve non funzionino in isolamento. Se dai al robot troppe regole, o gli chiedi di ricordare troppo, lo stile della tua scrittura potrebbe improvvisamente smettere di contare o, peggio, potrebbe iniziare a rompersi in modi strani. Questo articolo pone una domanda semplice ma complicata: il modo in cui formatti le tue istruzioni aiuta davvero, o si perde semplicemente nel rumore quando il compito diventa enorme?
I ricercatori dietro questo studio, Netanel Eliav dal Machine Human Intelligence Lab, hanno deciso di smettere di indovinare e iniziare a testare. Hanno costruito un universo fittizio gigante chiamato "Il Libro di Veyra". Pensalo come a una massiccia enciclopedia inventata contenente 8.780 cose uniche e fittizie — come sistemi solari, gilde e creature strane — ognuna con fatti specifici su di esse. Poiché il libro è stato creato da un programma per computer e non leggendo internet, l'IA non poteva averlo memorizzato in precedenza; doveva effettivamente leggere le pagine fornite per trovare le risposte. Hanno preso questo stesso libro e lo hanno scritto in quattro modi diversi: come un elenco Markdown (con intestazioni in grassetto e punti elenco), come testo semplice (solo le parole), come prosa fluida (come una storia) e come tabella. Poi, hanno messo questo libro davanti a cinque diversi modelli di IA e hanno condotto due esperimenti massicci.
Per prima cosa, hanno testato l'Esecuzione delle Istruzioni (Instruction Following). Hanno dato all'IA un elenco di regole da seguire mentre scriveva un breve saggio. Sono partiti con 10 regole e ne hanno aggiunte altre fino a 160 regole tutte in una volta. Volevano vedere se l'IA fosse ancora in grado di seguire tutte le regole perfettamente man mano che l'elenco si allungava, e se scrivere quelle regole in un formato elenco elegante aiutasse più che scriverle in un paragrafo. Il risultato è stato un crash brutale. Indipendentemente da come fossero scritte le regole, una volta che l'elenco raggiungeva circa 80 regole, la capacità dell'IA di seguirle tutte perfettamente scendeva a zero. Non importava se le regole erano in una tabella o in un elenco; l'IA semplicemente rinunciava a fare tutto correttamente. Sorprendentemente, dove posizionavi le regole contava più di come apparivano. Mettere le regole nel "system prompt" (le istruzioni nascoste nel cervello del robot) rispetto al "user turn" (il messaggio della chat) cambiava significativamente i risultati, ma in modi diversi per diversi robot. Per alcuni modelli, mettere le regole nella chat aiutava; per altri, le danneggiava. Non c'era un "migliore" universale su dove metterle.
In secondo luogo, hanno testato Memoria e Onestà con il Libro di Veyra. Hanno fornito all'IA frammenti del libro che andavano da 2.000 parole a un massiccio volume di 512.000 parole. Hanno chiesto all'IA di ricordare fatti specifici, di controllare se l'IA avrebbe mentito per concordare con un'affermazione falsa (sycophancy), o se avrebbe inventato fatti che non c'erano (allucinazione). I risultati sono stati affascinanti. Fino a circa 64.000 o 128.000 parole, l'IA ricordava tutto perfettamente, indipendentemente dal formato. Ma una volta superata quella soglia, le cose si sono fatte complicate. L'accuratezza non è svanita lentamente; è crollata, e come è crollata dipendeva interamente dal formato e dal modello di IA specifico. Per un modello, il testo semplice era terribile a 128k parole, mentre elenchi e tabelle funzionavano benissimo. Per un altro, il contrario era vero. Non c'era un unico "miglior" formato.
Ecco la sorpresa più grande: l'IA non ha iniziato a inventare bugie o ad accordarsi con affermazioni false più spesso man mano che il libro diventava più lungo. In realtà, il tasso di invenzione di fatti era pari a zero, e l'accordo con le bugie rimaneva molto basso. Invece, l'IA ha iniziato a fare qualcos'altro di completamente diverso: rifiutarsi di rispondere. Man mano che il libro si avvicinava al limite di memoria del modello, l'IA diceva semplicemente "Non lo so" o "Non posso rispondere a questa domanda", rifiutandosi di rispondere fino al 90% delle volte. Non stava diventando confusa e mentendo; stava venendo sopraffatta e si stava spegnendo.
L'articolo ha anche esaminato il costo. Alcuni formati, come le tabelle, occupano più "token" (la valuta che l'IA usa per misurare la lunghezza del testo) rispetto al testo semplice. Quando i ricercatori hanno regolato i punteggi per vedere quale formato offrisse il miglior rapporto tra accuratezza e token spesi, i vincitori sono cambiati di nuovo. A volte, un formato che sembrava leggermente meno accurato era in realtà un affare migliore perché era più economico da leggere.
La conclusione principale è che non puoi semplicemente scegliere un "miglior" formato come Markdown o una Tabella e assumere che funzionerà sempre. L'articolo dimostra che il formato è inutile se non consideri anche la scala. Se hai troppe istruzioni (circa 80 o più), il formato non conta perché l'IA incontra un muro. Se hai un contesto enorme (oltre 128k parole), il formato conta molto, ma il "migliore" cambia a seconda del modello di IA che stai utilizzando. Gli autori concludono che il modo in cui falliamo di cui dovremmo preoccuparci non è l'IA che mente; è l'IA che si arrende e rifiuta di rispondere quando il compito diventa troppo grande. Hanno rilasciato tutti i loro strumenti e il falso "Libro di Veyra" in modo che chiunque possa testare questi limiti stesso, perché le regole del gioco sembrano cambiare per ogni nuovo robot che incontrate.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.