Your Prompt Is Not the Only Prompt: How Much Do LLMs Weight Structured-Output Schema Descriptions?
Questo articolo dimostra che, sebbene i prompt di sistema rimangano generalmente la scelta predefinita più sicura per il posizionamento delle istruzioni, le descrizioni degli schemi sono un canale di istruzione potente e dipendente dal modello che può sovrascrivere i prompt, rendendo critica la progettazione unificata degli schemi e la validazione empirica per ottimizzare le prestazioni dell'output strutturato.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un robot molto intelligente, ma un po' letterale, come smistare un mucchio di giocattoli mescolati. Hai due modi per dargli istruzioni: puoi parlargli direttamente (come un insegnante che tiene una lezione), oppure puoi consegnargli un modulo speciale con delle caselle da compilare, dove le istruzioni sono scritte proprio accanto alle caselle stesse. Questo è il mondo dei "Large Language Models" (LLM), ovvero i cervelli che stanno dietro a molti strumenti di intelligenza artificiale moderni. Di solito, le persone pensano che il "parlato" (il prompt) sia dove risiedono le vere regole, e che il "modulo" (lo schema di output strutturato) sia solo un noioso modello da seguire. Ma ultimamente, gli sviluppatori si sono chiesti: il robot legge davvero le note scritte sul modulo, o le ignora semplicemente per ascoltare solo l'insegnante? Questa domanda è importante perché, se mettiamo le nostre regole più importanti nel posto sbagliato, il robot potrebbe smistare i giocattoli completamente in modo errato, rompendo le app e gli strumenti su cui facciamo affidamento ogni giorno.
Una ricercatrice di nome Sin-Ying (Alina) Lin ha deciso di risolvere questo dibattito con un esperimento astuto. Invece di discutere, ha organizzato un gioco in cui un robot doveva smistare brevi messaggi in quattro categorie segrete, usando nomi inventati come "tomil" e "varek" affinché il robot non potesse indovinare le risposte basandosi sulla conoscenza del mondo reale. Poi ha giocato a un gioco di "sedie musicali" con le istruzioni, spostando le stesse identiche definizioni dalla lezione dell'insegnante (il system prompt) alle note sul modulo (la descrizione dello schema), e a volte mettendole persino nella casella della chat dell'utente.
Ciò che ha scoperto è stato un po' una sorpresa: le orecchie del robot non hanno tutte la stessa dimensione. Per alcuni modelli, come GPT-4.1 e GPT-5.4 (senza modalità di pensiero speciale), la voce dell'insegnante era sovrana. Quando le definizioni venivano spostate sul modulo, questi robot si confondevano e la loro precisione scendeva di circa 11 o 13 punti percentuali. Sembravano pensare: "Il modulo serve solo per essere compilato; le vere regole sono nel discorso!". Tuttavia, per altri modelli, come Claude Haiku 4.5, il modulo era in realtà il capo. Quando le istruzioni sul modulo venivano cambiate in modo errato, le prestazioni di questo robot crollavano dal 52,5% di precisione a un misero 7%. Si è scoperto che per alcuni robot, le note sul modulo sono così forti da coprire le corrette istruzioni dell'insegnante.
Il documento ha anche scoperto un "trucco magico" per correggere i robot che ignoravano il modulo. Aggiungendo un passaggio obbligatorio in cui il robot doveva scrivere il proprio ragionamento in una casella prima di poter scegliere la risposta finale, la prestazione è aumentata di 15 o 24 punti percentuali. Era come se costringere il robot a "mostrare il proprio lavoro" lo rendesse più attento alle regole scritte sul modulo.
Quindi, la grande conclusione non è che un posto sia sempre migliore dell'altro. Invece, il documento suggerisce che ogni modello di robot ha la propria personalità e ascolta canali diversi con volumi diversi. La scommessa più sicura per ora è mantenere le tue regole più importanti nel prompt di sistema (la voce dell'insegnante), ma devi fare attenzione a non scrivere regole contrastanti sul modulo, o alcuni robot seguiranno quelle sbagliate. La vera lezione è che non puoi limitarti a indovinare; devi testare ogni robot per vedere dove ascolta meglio e, a volte, cambiare semplicemente la forma del modulo per includere un "passaggio di pensiero" è una soluzione più potente che riscrivere interamente le istruzioni.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.