💬 NLP

Is Large Language Model Performance on Reasoning Tasks Impacted by Different Ways Questions Are Asked?

Questo studio rivela che il formato delle domande, incluso il numero di opzioni e la formulazione specifica, incide significativamente sulle prestazioni dei modelli linguistici di grandi dimensioni in compiti di ragionamento, causando spesso una discrepanza tra l'accuratezza dei passaggi di ragionamento e la correttezza della risposta finale.

Autori originali: Seok Hwan Song, Mohna Chakraborty, Qi Li, Wallapak Tavanapong

Pubblicato 2026-04-29

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Seok Hwan Song, Mohna Chakraborty, Qi Li, Wallapak Tavanapong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un insegnante che cerca di testare quanto sia intelligente un nuovo studente (un'IA) nel risolvere enigmi logici. Vuoi vedere se lo studente comprende davvero la matematica o la logica, o se sta semplicemente indovinando la risposta corretta.

Questo articolo è come un registro scolastico di uno studio in cui i ricercatori hanno sottoposto gli stessi problemi logici a cinque diversi studenti IA, ma hanno posto le domande in tre modi molto diversi:

Stile "Saggio" (Risposta Breve): "Ecco un problema. Risolvilo e dimmi la risposta."
Stile "Scelta Multipla": "Ecco un problema. Scegli la risposta corretta tra queste 5 o 11 opzioni."
Stile "Vero o Falso": "Ecco un problema e una risposta specifica. Questa risposta è Vero o Falso?"

I ricercatori volevano sapere: Il modo in cui poni la domanda cambia le prestazioni dell'IA?

Ecco i punti principali, spiegati in modo semplice:

1. L'Effetto "Gioco d'Azzardo"

La sorpresa maggiore è stata che ottenere la risposta finale corretta non significa sempre che l'IA abbia svolto il lavoro corretto.

L'Analogia: Immagina uno studente che sostiene un test a scelta multipla. Potrebbe non sapere come fare i calcoli, ma indovina "C" e ha ragione. Se guardi solo il foglio delle risposte, ha preso il 100%. Ma se guardi i suoi fogli di brutta, ha scritto sciocchezze.
La Scoperta: L'IA spesso "indovina" la lettera giusta in una domanda a scelta multipla anche quando i suoi passaggi di ragionamento sono sbagliati. Al contrario, a volte l'IA fa i calcoli perfetti ma sceglie la lettera sbagliata alla fine perché si confonde tra le opzioni.
La Lezione: Se controlli solo la risposta finale, potresti pensare che l'IA sia più intelligente di quanto non sia realmente.

2. Il Problema del "Menu" (Scelta Multipla)

Quando i ricercatori hanno fornito all'IA una lista di opzioni tra cui scegliere, il numero di opzioni e le parole usate hanno fatto molta differenza.

Troppe Scelte: Quando la lista è passata da 5 opzioni a 11 opzioni, le prestazioni dell'IA sono spesso peggiorate. È come se venissero offerte 5 gusti di gelato contro 50; l'IA si è sentita sopraffatta e ha iniziato a indovinare di più.
L'Opzione "Qualcos'altro": I ricercatori hanno aggiunto un'opzione strana chiamata "Qualcos'altro" (o "Nessuna delle precedenti").
- Se "Qualcos'altro" era la risposta corretta, l'IA spesso faticava a sceglierla, anche se aveva fatto i calcoli giusti. Sembrava preferire scegliere un numero specifico, anche se quel numero era sbagliato.
- L'IA sembrava avere anche un pregiudizio verso la "poltrona preferita". Sceglieva più spesso l'opzione prima o l'ultima, indipendentemente dal fatto che fosse corretta.

3. La "Trappola" Sì/No (Vero o Falso)

Quando si ponevano domande "Vero o Falso", le parole specifiche usate cambiavano i risultati.

Vero vs Falso: L'IA era generalmente più brava a dire "Vero" quando la risposta era corretta che a dire "Falso" quando la risposta era sbagliata. Sembrava avere un pregiudizio verso l'assenso.
La Formulazione: Cambiare il prompt da "Vero o Falso" a "Sì o No" rendeva l'IA significativamente meno capace in alcuni compiti. È come se una persona rispondesse "Sì" a "Vuoi andare?" ma esitasse su "È vero che vuoi andare?". L'IA è sensibile a questi piccoli spostamenti linguistici.

4. La "Confusione Istruzioni"

I ricercatori hanno cercato di aiutare l'IA aggiungendo istruzioni come: "Risolvi prima il problema, poi decidi se è Vero o Falso".

Il Risultato: A volte questo aiutava, ma spesso confondeva l'IA o ne peggiorava le prestazioni. A volte l'IA si concentrava così tanto sull'istruzione da dimenticare la logica effettiva del problema.

Riassunto: Cosa Dovremmo Imparare?

L'articolo conclude che non possiamo guardare solo il punteggio finale per giudicare l'intelligenza di un'IA.

Se poni all'IA una domanda a scelta multipla, potrebbe "barare" indovinando la lettera giusta senza comprendere la logica.
Se le poni una domanda Vero/Falso, le parole specifiche che usi possono ingannarla rendendola meno accurata.
Per sapere davvero se un'IA è intelligente, devi controllare il suo "foglio di brutta" (i suoi passaggi di ragionamento), non solo la bolla finale che ha compilato.

I ricercatori hanno creato un nuovo set di test (un benchmark) per aiutare gli sviluppatori futuri a comprendere queste stranezze, assicurandosi che quando testiamo l'IA, non stiamo testando solo quanto sia brava a indovinare, ma quanto sia brava a pensare.

1. Enunciato del Problema

Sebbene i Modelli Linguistici di grandi dimensioni (LLM) siano valutati estesamente su compiti di ragionamento utilizzando benchmark diversificati, manca una comprensione di come il formato della domanda (Risposta Breve, Scelta Multipla, Vero/Falso) influenzi le prestazioni del modello. I benchmark esistenti spesso trattano questi formati come intercambiabili, eppure fattori come il numero di opzioni, la posizione della risposta corretta e scelte lessicali specifiche possono introdurre bias o alterare il processo di ragionamento.

Gli autori mirano a rispondere a cinque specifiche Domande di Ricerca (RQ):

I tipi di domanda influenzano l'accuratezza della Selezione Finale (FS)?
I tipi di domanda influenzano l'Accuratezza del Ragionamento (la correttezza dei passaggi intermedi)?
Quali sono i modelli delle uscite errate tra i diversi tipi di domanda?
Quali fattori specifici nelle Domande a Scelta Multipla (MCQ) influenzano le prestazioni?
Quali fattori specifici nelle Domande Vero/Falso (TFQ) influenzano le prestazioni?

2. Metodologia

Dataset e Compiti

Lo studio valuta gli LLM su due distinti compiti di ragionamento:

Ragionamento Quantitativo: Utilizzando il dataset GSM8K (problemi matematici verbali di scuola elementare).
Ragionamento Deduttivo: Utilizzando un sottoinsieme modificato del dataset bAbI (QA fattoidi con fatti di supporto).
Volume dei Dati: Sono stati selezionati casualmente 300 problemi da ciascun dataset. Per bAbI, sono stati aggiunti due fatti irrilevanti a ciascun problema per aumentare la complessità.

Trasformazione del Tipo di Domanda

Ogni problema è stato convertito in tre formati:

Domande a Risposta Breve (SAQ): Il modello genera i passaggi di ragionamento e la risposta finale.
Domande a Scelta Multipla (MCQ): Il modello seleziona da un elenco di opzioni.
- Numero di Opzioni: Testato con 5 opzioni e 11 opzioni.
- Opzione Speciale: Inclusa un'opzione "Qualcos'altro" (SEO) per testare se i modelli possono selezionare una risposta al di fuori dei valori numerici forniti.
- Posizionamento della Risposta Corretta: Testate tre distribuzioni: Uniforme (U), Uniforme escludendo SEO (U-SEO), e Solo SEO (oSEO).
- Distrattori: Le risposte errate sono state generate con specifici margini di errore (deviazione del 5% o 20%) o generazione casuale di equazioni.
Domande Vero/Falso (TFQ): Il modello giudica un'affermazione.
- Formati: Formato "Domanda" ("La risposta è X?") vs. Formato "Affermazione" ("La risposta è X.").
- Correttezza: Testato sia con "Vero" che con "Falso" come verità fondamentale.
- Istruzioni: Testato con e senza un'istruzione di "risolvere prima" prima di rispondere.
- Formulazione: Testato "Vero/Falso" vs "Sì/No".

Modelli Valutati

Sono stati testati cinque LLM:

Closed-source: GPT-4o, GPT-3.5-turbo.
Open-source: Llama-3 8B, Llama-3.2 1B, Gemma 7B.
Configurazione: Decodifica greedy (temperature = 0), impostazione zero-shot.

Metriche di Valutazione

Accuratezza della Selezione Finale (FS): Corrispondenza automatica delle stringhe dell'output finale rispetto alla verità fondamentale.
Accuratezza del Ragionamento: Valutazione manuale dei passaggi intermedi di ragionamento. È stato applicato un criterio rigoroso: tutti i passaggi di ragionamento devono essere corretti affinché il ragionamento sia considerato corretto.

Analisi Statistica

È stato utilizzato il test dei ranghi con segno di Wilcoxon appaiato bilaterale per determinare la significatività statistica ( $p < 0.05$ ) tra i tipi di domanda.

3. Contributi Chiave

Progettazione Completa del Benchmark: Un disegno sperimentale innovativo che varia sistematicamente il numero di opzioni MCQ (5 vs 11), le posizioni delle risposte corrette e la formulazione delle TFQ, colmando lacune nella letteratura precedente.
Scomposizione delle Metriche: Lo studio separa esplicitamente l'Accuratezza del Ragionamento dall'Accuratezza della Selezione Finale, rivelando che non sempre sono correlate.
Risultati Empirici: Identificazione di bias specifici negli LLM, come la sensibilità alla parola "Qualcos'altro", la posizione delle risposte corrette e la formulazione delle TFQ.
Open Source: Gli autori hanno reso pubblicamente disponibili il loro codice e il benchmark.

4. Risultati Chiave

RQ1 & RQ2: Impatto del Tipo di Domanda sull'Accuratezza

Correlazione FS vs Ragionamento: Non esiste una correlazione coerente tra accuratezza del ragionamento e accuratezza della selezione finale.
- Osservazione: I modelli spesso indovinano la risposta finale corretta nonostante un ragionamento difettoso (specialmente in MCQ e TFQ). Viceversa, i modelli a volte derivano un ragionamento corretto ma non riescono a selezionare l'opzione corrispondente (ad esempio, a causa di errori di formattazione o incomprensione di "Qualcos'altro").
Varianza delle Prestazioni: Esistono differenze significative nell'accuratezza FS tra i tipi di domanda.
- SAQ vs MCQ: Le SAQ generalmente superano le MCQ, in particolare quando "Qualcos'altro" è la risposta corretta.
- SAQ vs TFQ: Le TFQ con "Falso" come risposta corretta spesso producono un'accuratezza FS più elevata rispetto alle SAQ per alcuni modelli, suggerendo che i modelli possono indovinare "Falso" più facilmente che derivare il numero esatto.

RQ3: Modelli delle Uscite Errate

Lo studio ha identificato modelli di fallimento distinti:

Buon Indovinello: I modelli espongono passaggi di ragionamento errati ma indovinano la risposta finale corretta (comune nelle TFQ).
Prossimità: I modelli calcolano un valore vicino alla risposta corretta e selezionano l'opzione più vicina, anche se il calcolo era leggermente impreciso.
Incomprensione SEO: I modelli faticano a selezionare "Qualcos'altro" anche quando il loro ragionamento indica che la risposta non è nell'elenco; spesso forzano la selezione dell'opzione numerica più vicina.
Mancata Selezione: I modelli completano correttamente il ragionamento ma non riescono a emettere il token di selezione finale.

RQ4: Fattori che Influenzano le Prestazioni MCQ

Numero di Opzioni: L'aumento delle opzioni da 5 a 11 generalmente riduce l'accuratezza FS, in particolare per i modelli più piccoli (ad es. Gemma, Llama-1B). Ciò suggerisce che i modelli potrebbero indovinare piuttosto che calcolare.
Posizione della Risposta Corretta: I modelli performano meglio quando la risposta corretta non è "Qualcos'altro" (U-SEO). Le prestazioni calano significativamente quando "Qualcos'altro" è l'unica opzione corretta (oSEO).
Scelta Lessicale: Sostituire "Qualcos'altro" con "Nessuna delle precedenti" ha migliorato significativamente l'accuratezza FS per GPT-3.5, indicando sensibilità alla formulazione delle opzioni.

RQ5: Fattori che Influenzano le Prestazioni TFQ

Domanda vs Affermazione: Il formato Affermazione ("La risposta è X") generalmente produce un'accuratezza FS più elevata rispetto al formato Domanda ("La risposta è X?").
Vero vs Falso: I modelli generalmente performano meglio quando "Vero" è la risposta corretta, sebbene alcuni modelli (GPT-3.5, Llama-8B) abbiano mostrato una migliore accuratezza FS con "Falso" nei compiti quantitativi.
Formulazione (Sì/No vs Vero/Falso): Sostituire "Vero/Falso" con "Sì/No" ha causato un calo statisticamente significativo delle prestazioni (fino a ~26%) per GPT-3.5, a meno che non fosse fornita un'istruzione di "risolvere prima".

5. Significato e Implicazioni

Validità del Benchmarking: Lo studio mette in discussione l'affidabilità dei benchmark attuali. Un punteggio elevato di un modello sulle MCQ potrebbe riflettere l'indovinare o il matching di pattern piuttosto che capacità di ragionamento genuine.
Strategia di Valutazione: I ricercatori non dovrebbero fare affidamento esclusivamente sull'accuratezza della Selezione Finale. Valutare l'Accuratezza del Ragionamento è cruciale per comprendere se un modello sta effettivamente risolvendo il problema o sta semplicemente selezionando l'opzione giusta.
Prompt Engineering: La formulazione specifica delle opzioni ("Nessuna delle precedenti" vs "Qualcos'altro") e il formato delle TFQ influenzano significativamente le prestazioni. Sono necessari prompt standardizzati e attentamente progettati per una valutazione equa.
Direzioni Future: I futuri benchmark dovrebbero tenere conto del bias delle opzioni, del numero di scelte e della formulazione specifica delle istruzioni per garantire che misurino il ragionamento e non il bias di selezione.

In conclusione, il documento dimostra che il modo in cui viene posta una domanda altera fondamentalmente le prestazioni degli LLM, spesso disaccoppiando la capacità di ragionare dalla capacità di selezionare la risposta corretta. Ciò rende necessaria un'approccio più sfumato alla valutazione degli LLM e alla progettazione dei benchmark.