💬 NLP

Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation

Questo articolo dimostra che la robustezza dei grandi modelli linguistici alle variazioni dei prompt dipende significativamente dal tipo di compito, con i modelli che esibiscono diversi livelli di stabilità nel rispondere a domande oggettive rispetto a quesiti soggettivi su valori e credenze.

Autori originali: Sadia Kamal, Arefa Patwary, Anthony Marchiafava, Atriya Sen, Sagnik Ray Choudhury

Pubblicato 2026-07-08

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Sadia Kamal, Arefa Patwary, Anthony Marchiafava, Atriya Sen, Sagnik Ray Choudhury

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire cosa pensi di mondo un robot molto intelligente, ma leggermente nervoso. Gli poni una domanda e lui ti dà una risposta. Tu assumi che quella risposta sia un riflesso solido delle sue "credenze".

Questo articolo è come un controllo di realtà. I ricercatori si sono chiesti: "Importa come poniamo la domanda?"

Hanno scoperto che la risposta è un fragoroso SÌ. Infatti, il modo in cui poni una domanda può cambiare completamente la risposta del robot, e questo accade molto più spesso quando la domanda riguarda opinioni (come la politica o i valori) rispetto a quando riguarda fatti (come la matematica o la scienza).

Ecco la suddivisione delle loro scoperte usando analogie semplici:

1. I due tipi di domande

I ricercatori hanno testato i robot con due tipi diversi di "test":

Il Test dei Fatti (Oggettivo): Questi sono come un quiz di matematica. "Quanto fa 2 + 2?" C'è un'unica risposta corretta (4). Se il robot dice "5", è semplicemente sbagliato.
Il Test delle Opinioni (Soggettivo): Questi sono come un test della personalità. "Preferisci l'estate o l'inverno?" Non esiste una singola risposta corretta. Il robot dovrebbe dirti cosa "prova".

2. Il Prompt "Mutante"

I ricercatori non hanno solo posto le domande una volta. Hanno posto la stessa identica domanda in molti modi diversi, come un mago che cambia leggermente il trucco per vedere se il coniglio appare ancora.

Hanno cambiato la formulazione (usando sinonimi).
Hanno cambiato il formato (usando il grassetto, cambiando la spaziatura).
Hanno mescolato l'ordine delle risposte (mettendo "Estate" per prima invece di "Inverno").
Hanno persino aggiunto piccoli errori di ortografia per vedere se il robot si confondeva.

3. La Grande Scoperta: Le opinioni sono "Oscillanti"

Il risultato principale è che i robot erano molto meno stabili quando rispondevano a domande di opinione rispetto alle domande di fatti.

Il Test dei Fatti: Se chiedevi "Quanto fa 2+2?" in dieci modi diversi, il robot diceva quasi sempre "4". Era come una roccia; difficile da spostare.
Il Test delle Opinioni: Se chiedevi "Ti piace l'estate?" in dieci modi diversi, il robot poteva dire "Sì" a una versione e "No" a un'altra. Era come una gelatina; oscillava e cambiava forma a seconda di come lo colpivi.

4. L'Effetto "Cambio di Posto"

I ricercatori hanno scoperto un trucco specifico che faceva perdere la testa ai robot: cambiare l'ordine delle risposte.

Immagina una domanda a scelta multipla dove le risposte sono elencate A, B, C, D.

Se le scambi in modo che l'ordine sia D, C, B, A, il robot spesso sceglie una lettera diversa, anche se le parole sono le stesse.
Questo accadeva molto di più con le domande di opinione. È come se il robot stesse pensando: "Oh, la risposta è in cima ora? Immagino che sia quella che vogliono che io scelga!" piuttosto che pensare davvero al contenuto.

5. Perché questo è importante

L'articolo ci avverte che non possiamo fidarci di una singola risposta di un robot come prova delle sue "credenze".

L'Analogia: Immagina di chiedere a un amico: "Ti piace la pizza?". Lui dice "Sì". Tu annoti questo come un fatto su di lui. Ma poi chiedi la stessa domanda, ma questa volta inserisci "Pizza" come ultima opzione in un menù, e lui dice "No".
La Conclusione: Non puoi dire che il tuo amico "ama la pizza" o "non ama la pizza" basandoti su una sola conversazione. Devi interrogarlo in molti modi diversi per vedere se la sua risposta rimane la stessa.

Il Messaggio Chiave

L'articolo conclude che, se vogliamo sapere cosa "crede" un'IA riguardo alla politica o ai valori, non possiamo limitarci a porre una domanda e accettare la risposta come un dato di fatto. Dobbiamo testarla con molte versioni diverse della domanda. Se il robot cambia idea solo perché abbiamo spostato le parole, allora non sappiamo affatto cosa crede veramente — sappiamo solo come reagisce al modo in cui gli abbiamo chiesto.

In breve: La "personalità" del robot è fragile. Cambia a seconda della forma della domanda, specialmente quando la domanda riguarda i sentimenti piuttosto che i fatti.

Sintesi Tecnica: La Robustezza del Prompt è Dipendente dal Task

Problema
Le attuali valutazioni dei Large Language Models (LLM), in particolare le valutazioni di tipo survey utilizzate per inferire i valori, le credenze o le posizioni politiche di un modello, si basano su un'ipotesi fragile: che un singolo prompt produca una misura stabile e significativa del comportamento del modello. Ricerche precedenti indicano che variazioni minori nel formato del prompt, nella formulazione o nella presentazione delle risposte possono alterare significamente gli output del modello. Questa instabilità è critica per le valutazioni basate su survey, dove le risposte sono spesso interpretate come prova degli atteggiamenti sociali intrinseci o dell'allineamento politico di un modello. Se la risposta di un modello cambia quando il significato del task sottostante rimane costante, la valutazione confonde la capacità del task con la sensibilità al prompt. Questo articolo investiga se tale sensibilità si comporti diversamente per domande oggettive (con risposte corrette fisse) rispetto a domande soggettive (che richiedono opinioni o valori).

Metodologia
Lo studio impiega un framework di test di robustezza unificato attraverso due distinte categorie di dataset e quattro famiglie di modelli istruiti tramite instruction-tuning (Gemma, Llama, Mistral e Qwen).

Dataset:
- Tipo-I (Oggettivo): MMLU, ARC e CulturalBench-Easy. Consistono in domande a scelta multipla con chiavi di risposta fisse.
- Tipo-II (Soggettivo): Political Compass Test, ValueBench e item del World Values Survey (WVS). Consistono in affermazioni basate su opinioni o scale di accordo senza una singola risposta "corretta".
Tassonomia delle Perturbazioni: Gli autori hanno curato un set di variazioni dei prompt progettate per preservare l'intento del task alterando però le caratteristiche superficiali. Esse sono categorizzate in:
- Framing Semantico: Parafrasi, sostituzione lessicale, rumore ortografico ed equivalenza logica.
- Forma Superficiale: Variazione del formato (spaziatura, maiuscole/minuscole, separatori).
- Presentazione della Risposta: Sostituzione delle etichette (cambiare A/B/C/D con simboli/numeri) e rimescolamento delle opzioni (riordinamento delle scelte).
Protocollo Sperimentale:
- Tutti i modelli sono stati eseguiti con decoding deterministico (temperatura 0) per isolare gli effetti del prompt dal rumore di campionamento.
- Gli output sono stati normalizzati in etichette canoniche (A, B, C, D) per garantire la coerenza tra i diversi formati di prompt.
- Metrica: La coerenza della risposta ( $C_i$ ) è stata calcolata come il rapporto tra la risposta più frequente e il numero totale di varianti di prompt valide per un dato item.
- Analisi Statistica: Gli autori hanno utilizzato modelli a equazioni stimate generalizzate (GEE) binomiali per tenere conto della non-indipendenza degli item che compaiono sotto più varianti di prompt correlate. Hanno testato effetti principali e interazioni per modello, dataset, tipo di dataset e categoria di prompt.

Risultati Chiave
L'analisi statistica rivela che la robustezza del prompt non è una proprietà uniforme ma dipende fortemente dall'interazione tra il tipo di domanda, la specifica perturbazione e il modello.

Instabilità Soggettiva vs Oggettiva: I dataset soggettivi (Tipo-II) mostrano una coerenza significativamente inferiore rispetto ai dataset oggettivi (Tipo-I). La coerenza media per i dataset oggettivi è 0,849, rispetto allo 0,787 per i dataset soggettivi. Questo divario è più pronunciato sotto le perturbazioni dell'ordine delle opzioni, dove la coerenza soggettiva scende a 0,328 rispetto allo 0,485 per i task oggettivi.
Sensibilità alla Perturbazione: Non tutte le variazioni del prompt influenzano i modelli allo stesso modo.
- Ordine delle Opzioni: Questa è la fonte più forte di instabilità in tutti i modelli e dataset, riducendo la coerenza media a 0,407.
- Perturbazioni Semantiche: Parafrasi, equivalenza logica e sostituzione lessicale sono comparativamente stabili, con punteggi di coerenza che generalmente superano lo 0,90.
- Formato ed Etichette: La variazione del formato e la sostituzione delle etichette causano un'instabilità moderata, particolarmente nei task soggettivi.
Effetti di Interazione: I modelli GEE confermano interazioni significative tra il tipo di dataset e la categoria di prompt ( $\chi^2 = 175,435, p < 10^{-35}$ ). Ciò indica che i task soggettivi non sono semplicemente meno coerenti in media; sono unicamente sensibili al modo in cui le risposte vengono presentate (ad esempio, ordine e etichette) rispetto ai task oggettivi.
Varianza del Modello: La robustezza varia a seconda del modello. Sebbene Qwen dimostri generalmente una maggiore stabilità sotto il rimescolamento delle opzioni rispetto agli altri modelli, tutti i modelli mostrano una significativa sensibilità a specifici tipi di perturbazione. Nessun modello è robusto in tutti i tipi di dataset e categorie di perturbazione.

Contributi
L'articolo apporta tre contributi primari:

Set di Perturbazioni Curato: Sintetizza una vasta tassonomia di perturbazioni dei prompt da lavori precedenti sulla sensibilità dei prompt, il formattazione a scelta multipla e il bias delle survey, adattandoli per una valutazione unificata tra domini oggettivi e soggettivi.
Test di Robustezza Unificato: Fornisce un confronto diretto della robustezza del prompt tra dataset oggettivi e soggettivi, isolando il rumore generale del prompt dall'instabilità specifica delle indagini basate sui valori.
Evidenza Statistica della Dipendenza dal Task: Utilizzando test statistici raggruppati, lo studio dimostra che la sensibilità al prompt è una funzione congiunta del modello, del dataset, del tipo di dataset e della categoria di perturbazione, piuttosto che un attributo statico del modello.

Significatività e Rivendicazioni
Gli autori sostengono che le loro scoperte rendano necessaria una modifica nel modo in cui vengono condotte le valutazioni degli LLM, in particolare quelle che inferiscono valori o credenze.

Fragilità delle Survey a Singolo Prompt: Una singola risposta indotta da un prompt a una domanda politica o di valore non dovrebbe essere trattata come una misura stabile delle credenze di un modello a meno che non sopravviva alla variazione del prompt.
Interpretazione dell'Instabilità: Per i task soggettivi, la variazione del prompt non è solo rumore; rivela la fragilità della posizione misurata. Un modello può utilizzare la formulazione, la scelta dell'etichetta o l'ordine delle opzioni come segnali su come rispondere, il che significa che la "credenza" è costruita dalla struttura del prompt piuttosto che recuperata da uno stato interno stabile.
Best Practice di Valutazione: L'articolo sostiene che la robustezza debba essere riportata come una relazione tra modello, dataset e categoria di perturbazione, piuttosto che come un singolo punteggio globale. I ricercatori dovrebbero separare le perturbazioni semantiche da quelle superficiali per identificare specifici modi di fallimento (ad esempio, seguire le istruzioni vs bias di posizione) e devono riportare la coerenza attraverso le varianti di prompt anziché affidarsi a un singolo punteggio di accuratezza o di survey.

Lo studio conclude che, per la valutazione di valori e credenze, la robustezza alla variazione del prompt deve diventare una componente standard del design della valutazione, poiché l'attuale affidamento su singoli prompt produce inferenze instabili e potenzialmente fuorvianti sul comportamento del modello.