💬 NLP

Impact of Task Phrasing on Presumptions in Large Language Models

Questo studio dimostra che la formulazione del compito influenza significativamente la formazione di presupposti nei modelli linguistici di grandi dimensioni, incidendo sulla loro adattabilità e sul ragionamento logico in compiti decisionali come il dilemma del prigioniero iterato, evidenziando così la necessità critica di una formulazione neutrale per garantire sicurezza e affidabilità.

Autori originali: Kenneth J. K. Ong

Pubblicato 2026-05-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kenneth J. K. Ong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot molto intelligente e colto come giocare a un gioco. Questo robot ha letto milioni di libri, articoli e storie, quindi conosce molto bene le "regole del mondo". Ma ecco il punto critico: a volte, il robot è così bravo a ricordare ciò che di solito vede che smette di guardare ciò che ha effettivamente davanti.

Questo articolo è come una storia investigativa che indaga esattamente su quel problema. L'autore, Kenneth Ong, voleva vedere se i Modelli Linguistici di Grandi Dimensioni (LLM)—i cervelli dietro i chatbot AI—rimangono intrappolati nelle proprie assunzioni quando le regole di un gioco cambiano.

Il Gioco: Una Variazione sul "Dilemma del Prigioniero"

Per testare questo, l'autore ha utilizzato uno scenario classico della teoria dei giochi chiamato Dilemma del Prigioniero Iterato. Pensa a questo come a un gioco tra due sospettati in una stazione di polizia.

Le Regole Normali: Se entrambi restano in silenzio (Cooperano), ricevono una pena breve. Se uno tradisce l'altro (Defetta), il traditore esce libero e quello in silenzio riceve una pena lunga.
La Trappola: L'autore ha creato una versione "ribaltata" del gioco. In questa versione, le ricompense sono invertite. Ora, tradire l'altra persona porta effettivamente a un esito peggiore per te, mentre restare in silenzio è la mossa migliore.

L'obiettivo era semplice: se l'IA è veramente logica, dovrebbe guardare le nuove regole e cambiare la sua strategia. Se si basa solo su "presunzioni" (su ciò che pensa che il gioco dovrebbe essere), continuerà a giocare come prima, anche se le regole sono cambiate.

I Tre Esperimenti: Come è stato Chiesto al Robot di Giocare

L'autore ha condotto tre test diversi, modificando ogni volta il modo in cui erano scritte le istruzioni.

1. Il Test "Citazione di Nomi" (Nominazione Esplicita)

La Preparazione: Il prompt diceva esplicitamente: "Stai giocando al Dilemma del Prigioniero Iterato". Utilizzava le parole "prigioniero", "cooperare" e "defettare".
Il Risultato: L'IA ha fallito completamente. Anche quando le regole erano ribaltate, l'IA continuava a scegliere di "cooperare" (o "defettare", a seconda del modello) esattamente come avrebbe fatto nel gioco originale.
L'Analogia: È come dire a uno chef: "Fammi un classico Wellington di manzo", ma poi consegnargli una ricetta per uno stufato vegetariano. Lo chef, sentendo "Wellington di manzo", ignora la nuova ricetta e inizia a cucinare manzo comunque, perché è ciò che il nome implica. L'IA era così concentrata sul nome famoso del gioco che ha ignorato i numeri effettivi sulla pagina.

2. Il Test "Descrizione Vaga" (Nome Nascosto)

La Preparazione: Il prompt rimuoveva le parole "Dilemma del Prigioniero" ma utilizzava ancora le parole "prigioniero", "cooperare" e "defettare".
Il Risultato: L'IA aveva ancora difficoltà. Sembrava capire che si trattava di un "Dilemma del Prigioniero" solo grazie agli indizi contestuali (le pene detentive e i termini specifici). Si basava ancora sui suoi dati di addestramento piuttosto che sulle nuove regole ribaltate.
L'Analogia: Questo è come descrivere un "Wellington di manzo" senza usare il nome, ma dicendo: "È un famoso piatto britannico con pasta sfoglia e manzo". Lo chef capisce ancora cosa vuoi e ignora le nuove istruzioni.

3. Il Test "Codice Neutro" (Variabili Astratte)

La Preparazione: Il prompt rimuoveva tutto ciò che era familiare. Nessun "prigioniero", nessun "cooperare", nessun "defettare". Invece, utilizzava etichette astratte: "Scelta X" e "Scelta Y", e "perdere dollari" invece di "tempo in prigione".
Il Risultato: Successo! Quando l'IA non poteva fare affidamento sulla sua memoria del gioco famoso, ha effettivamente guardato le nuove regole. Quando le regole erano ribaltate, l'IA cambiava la sua strategia per adattarsi alla nuova matematica.
L'Analogia: Questo è come dare allo chef un elenco di ingredienti e istruzioni senza nominare il piatto. "Mescola farina, burro e manzo". Se cambi le istruzioni in "Mescola farina, burro e tofu", lo chef segue effettivamente la nuova lista perché non è distratto dal nome del piatto.

La Sorprendente Svolta: Pensare Può Peggiorare le Cose

Una delle scoperte più interessanti riguardava il "ragionamento". L'autore ha chiesto all'IA di "pensare passo dopo passo" prima di rispondere.

La Scoperta: Nei primi due test, chiedere all'IA di pensare l'ha resa in realtà più ostinata. L'IA scriveva un lungo paragrafo logico spiegando perché avrebbe dovuto seguire la strategia "Tit-for-Tat" (una famosa strategia per il gioco originale), ignorando completamente il fatto che le regole erano cambiate.
L'Analogia: È come uno studente che ha memorizzato la chiave delle risposte per un test di matematica. Se cambi i numeri nel problema ma gli chiedi di "mostrare il procedimento", potrebbe scrivere una spiegazione logica perfetta del perché la vecchia risposta è corretta, mancando completamente il fatto che la domanda stessa è cambiata.

Il Punto Fondamentale

L'articolo conclude che i modelli AI sono come studenti che hanno studiato troppo per un esame specifico. Conoscono così bene le risposte "standard" che se cambi leggermente la domanda, potrebbero non accorgersene.

Il Problema: Quando diamo all'IA compiti utilizzando nomi o scenari familiari (come il "Dilemma del Prigioniero"), l'IA si basa sulle sue "presunzioni" riguardo a quegli scenari piuttosto che sulle istruzioni specifiche che hai appena dato.
La Soluzione: Per far sì che l'IA segua le effettive regole che le dai, dovresti descrivere il compito in modo neutro e astratto. Non dirle cosa il gioco è; diglielo solo quali sono le regole.

In breve: se vuoi che un'IA si adatti a una nuova situazione, non ricordarle quella vecchia. Parla in "variabili" (X e Y) piuttosto che in "nomi famosi".

1. Enunciato del Problema

Il paper affronta un problema critico di sicurezza e affidabilità nella distribuzione di Modelli Linguistici di Grandi Dimensioni (LLM) per compiti di AI agente: la suscettibilità degli LLM alle "presunzioni" derivate dalla conoscenza pre-addestrata e dalla formulazione del compito.

Il Problema Centrale: Gli LLM sono addestrati su vasti dataset contenenti scenari comuni (ad esempio, il Dilemma del Prigioniero Iterato). Quando viene presentato un compito, spesso fanno affidamento su queste presunzioni interne piuttosto che aderire strettamente ai parametri specifici forniti nel prompt.
Il Rischio: In applicazioni reali dove i parametri del compito possono discostarsi dalle ipotesi standard (ad esempio, strutture di ricompensa alterate), un LLM che fa affidamento su presunzioni può prendere decisioni subottimali o illogiche, anche quando istruito esplicitamente a ragionare.
Domanda di Ricerca: Gli LLM adattano il loro processo decisionale a parametri del compito specifici e alterati, oppure ricorrono a strategie "apprese" associate al nome o al contesto del compito?

2. Metodologia

Gli autori hanno indagato questo fenomeno utilizzando il Dilemma del Prigioniero Iterato (IPD) come caso di studio controllato.

Disegno Sperimentale

Lo studio ha utilizzato due modelli:

GPT-4o (Closed-source)
Mistral-Nemo-Instruct-2407 (Open-source)

Gli esperimenti sono stati condotti sotto due condizioni di matrice di ricompensa:

Matrice Standard: La classica struttura di payoff IPD (Cooperazione/Cooperazione = 1 anno; Difesa/Cooperazione = 0/5 anni, ecc.).
Matrice Invertita: Le ricompense e le penalità sono state invertite (ad esempio, la Difesa Reciproca comporta 1 anno, la Cooperazione Reciproca comporta 3 anni). In una matrice invertita, la strategia logica ottimale si inverte.

Lo studio è stato suddiviso in tre fasi per isolare l'impatto della formulazione:

Esperimento 1 (Contesto IPD Esplicito): Il prompt dichiarava esplicitamente "Stai giocando a un Dilemma del Prigioniero Iterato". I modelli sono stati testati con e senza "Catena di Pensiero" (passaggi di ragionamento).
Esperimento 2 (Contesto Implicito): Il prompt rimuoveva la frase "Dilemma del Prigioniero Iterato" ma manteneva i termini "prigioniero", "cooperare" e "difendersi", insieme alle regole standard di ricompensa.
Esperimento 3 (Formulazione Neutra/Simbolica): Il prompt rimuoveva tutta la terminologia specifica IPD.
- "Prigionieri" $\rightarrow$ "Giocatori"
- "Cooperare/Difendersi" $\rightarrow$ "Scelta X/Y"
- "Anni di prigione" $\rightarrow$ "Dollari persi"
- La matrice di ricompensa era presentata puramente come un insieme di regole per X e Y.

Metriche: La metrica principale era il tasso di difetto (o tasso di selezione equivalente "Y") nel primo turno del gioco.

Ipotesi: Se il modello è logico, il tasso di difetto dovrebbe invertirsi quando la matrice viene invertita. Se il modello fa affidamento su presunzioni, il tasso di difetto rimarrà costante indipendentemente dal cambiamento della matrice.

3. Risultati Chiave

Esperimento 1: Contesto IPD Esplicito

Risultato: Sia GPT-4o che Mistral-Nemo hanno mostrato un tasso di difetto dello 0% sia nelle condizioni Standard che Invertite.
Analisi: I modelli hanno ignorato completamente la matrice di ricompensa invertita. I loro passaggi di ragionamento hanno rivelato che ricorrevano alla strategia "Tit-for-Tat" (iniziare con la cooperazione), un'euristica ben nota per l'IPD standard. Non sono riusciti ad adattarsi agli incentivi alterati.
Osservazione: L'inclusione di passaggi di ragionamento non ha impedito questo fallimento; anzi, i modelli hanno utilizzato il ragionamento per giustificare la loro scelta basata su presunzioni.

Esperimento 2: Contesto Implicito (Termini mantenuti)

Risultato:
- Mistral-Nemo: È rimasto a circa 0% di tasso di difetto in entrambe le condizioni (non si è adattato).
- GPT-4o: Ha mostrato un adattamento parziale. Il tasso di difetto è aumentato dallo 0% (Standard) allo 0,35% (Invertito con ragionamento) e allo 0,70% (Invertito senza ragionamento).
Analisi: GPT-4o ha iniziato a inferire le regole ma ha ancora faticato. Anche con il ragionamento, spesso allucinava le regole o non riusciva a invertire completamente la propria strategia, suggerendo che la presenza di termini come "prigioniero" e "cooperare" attivava ancora forti pregiudizi precedenti.

Esperimento 3: Formulazione Neutra/Simbolica

Risultato: Entrambi i modelli hanno dimostrato un adattamento significativo.
- GPT-4o: Il tasso di difetto è passato da 0,05 (Standard) a 1,00 (Invertito).
- Mistral-Nemo: Il tasso di difetto è passato da 0,11 (Standard) a 0,75 (Invertito).
Analisi: Quando la terminologia specifica IPD è stata rimossa e sostituita con variabili astratte (X/Y), i modelli hanno analizzato con successo la matrice di ricompensa fornita e invertito la propria strategia per allinearsi ai nuovi incentivi.
Sfumatura: GPT-4o ha ancora occasionalmente inferito che "Y" equivaleva a "cooperare" sulla base della struttura, indicando che rimane una certa presunzione residua, ma l'aderenza logica alle regole esplicite del prompt è stata enormemente migliorata.

4. Contributi Chiave

Dimostrazione del Bias da Presunzione: Il paper fornisce prove empiriche che gli LLM spesso danno priorità alla conoscenza pre-addestrata (ad esempio, "Tit-for-Tat è la migliore strategia IPD") rispetto a parametri del compito espliciti e contraddittori.
La "Trappola del Ragionamento": Una scoperta controintuitiva è che il ragionamento a Catena di Pensiero (CoT) non mitiga necessariamente il bias da presunzione. Nell'Esperimento 1, i passaggi di ragionamento sono stati utilizzati per razionalizzare la strategia errata basata su presunzioni, anziché correggerla.
Sensibilità alla Formulazione: Lo studio quantifica come parole chiave specifiche ("Dilemma del Prigioniero", "Cooperare") agiscano come trigger per pregiudizi latenti, mentre una formulazione neutra e simbolica costringe il modello a fare affidamento sul contesto immediato.
Quadro Metodologico: Un disegno sperimentale a tre fasi isola efficacemente l'impatto del contesto semantico dall'aderenza alle regole logiche.

5. Significato e Implicazioni

Sicurezza nell'AI Agente: Per gli agenti AI che operano in ambienti dinamici e reali (ad esempio, sanità, finanza), fare affidamento su ipotesi "standard" può essere pericoloso. Se un agente assume un profilo di rischio standard ma l'ambiente cambia, potrebbe fallire in modo catastrofico.
Migliori Pratiche di Prompt Engineering: Gli autori concludono che, per garantire l'affidabilità, le descrizioni dei compiti dovrebbero essere simboliche e neutre. Evitare riferimenti a scenari ben studiati (come IPD, scacchi o diagnosi mediche specifiche) impedisce al modello di "colmare le lacune" con i suoi dati di addestramento.
Limiti degli LLM Attuali: I risultati suggeriscono che le attuali capacità di ragionamento non sono abbastanza robuste da sovrascrivere forti prior quando il contesto del compito è carico semanticamente. I modelli sono "rigidi contestualmente" piuttosto che "flessibili logicamente" quando vengono evocati concetti familiari.

In sintesi, il paper sostiene che la formulazione del compito è una variabile di controllo critica nella distribuzione degli LLM. Per raggiungere una vera adattabilità, gli sviluppatori devono rimuovere i trigger semantici che invitano alle presunzioni, costringendo il modello a impegnarsi strettamente con i vincoli logici forniti.