🤖 AI

Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking

Questo articolo introduce MT-InfoSeek, una suite di valutazione controllata che dimostra come, sebbene i grandi modelli linguistici possano riconoscere la necessità di informazioni aggiuntive in compiti multi-turno sottospecificati, essi sottostimino sistematicamente la quantità necessaria, non riescano a identificare query minime sufficienti e fatichino con l'ordinamento delle query, rivelando un divario distinto tra le loro capacità di ricerca di informazioni e le attuali metriche di valutazione.

Autori originali: Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

Pubblicato 2026-08-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un medico seduto di fronte a un paziente che dice solo: "Ho un dolore". Per fare una diagnosi, il medico non può tirare a indovinare; deve porre domande specifiche per colmare i dettagli mancanti. Il dolore è acuto o sordo? Dove si trova esattamente? Da quanto tempo dura? Nel mondo dell'intelligenza artificiale, i grandi modelli linguistici vengono spesso testati sulla loro capacità di rispondere alle domande, ma sono raramente testati sulla loro capacità di sapere quando non hanno abbastanza informazioni per rispondere affatto. Questa è una lacuna critica. Un'IA capace dovrebbe riconoscere quando una situazione è incompleta, capire esattamente cosa manca e chiederlo prima di offrire una conclusione. Se tira a indovinare troppo presto, rischia di essere con sicurezza errata.

Ricercatori dell'Università di Harvard e di Google DeepMind hanno costruito un nuovo modo per testare questa specifica abilità. Hanno creato un ambiente controllato in cui un'intelligenza artificiale riceve un puzzle con pezzi mancanti. Il puzzle potrebbe essere un problema matematico con un numero nascosto, un enigma logico con un fatto mancante o uno scenario medico con un sintomo non chiesto. L'obiettivo per l'IA non è solo risolvere il puzzle, ma navigare nel processo di porre le domande giuste nell'ordine giusto finché la risposta non diventa chiara. I ricercatori volevano vedere se questi modelli potessero agire come un investigatore esperto che sa esattamente quali prove siano necessarie, o se si sarebbero affrettati a trarre una conclusione con indizi insufficienti.

Il team ha sviluppato una suite di test chiamata MT-INFOSEEK, che contiene oltre 5.000 problemi distinti in cinque diversi campi: matematica, logica, biologia, medicina e cultura generale. In questi test, l'IA riceve un punto di partenza deliberatamente incompleto. Ad esempio, in un test medico, l'IA potrebbe sapere che un paziente ha un dolore pelvico, ma non sapere da quanto tempo dura il dolore o se la paziente sia incinta. L'IA deve quindi intraprendere una conversazione, ponendo una domanda alla volta a un "oracolo" — un sistema che fornisce la risposta vera alla domanda. L'IA deve decidere quando smettere di chiedere e dare la sua risposta finale. I ricercatori hanno misurato il successo non solo in base al fatto che la risposta finale fosse corretta, ma in base al fatto che l'IA avesse effettivamente raccolto abbastanza informazioni da rendere quella risposta certa.

I risultati hanno rivelato una debolezza significativa nei modelli attuali. Sebbene i sistemi di IA riconoscessero generalmente di essere in mancanza di informazioni, sottostimavano costantemente quanto ne avessero bisogno. Quando i ricercatori hanno creato problemi che richiedevano due pezzi di informazione mancante per essere risolti, i modelli spesso ipotizzavano che ne mancasse solo uno. Nei puzzle logici, i modelli erano circa quattro volte più propensi a sottostimare l'informazione mancante piuttosto che a sovrastimarla. Inoltre, faticavano a identificare le domande specifiche che avrebbero effettivamente risolto il problema. Anche quando i ricercatori dicevano ai modelli esattamente quante domande dovevano porre, i modelli spesso non riuscivano a scegliere il set di domande corretto. Ponevano domande irrilevanti o smettevano di chiedere troppo presto, lasciando il puzzle irrisolto.

Lo studio ha esaminato anche l'ordine in cui venivano poste le domande. In campi come la medicina, la sequenza delle informazioni è importante. Un medico deve determinare se un dolore è acuto o cronico prima di decidere quali test ordinare successivamente. I ricercatori hanno scoperto che quando i modelli di IA ponevano le domande giuste ma nell'ordine sbagliato, la loro accuratezza finale diminuiva significativamente. Ciò suggerisce che sapere cosa chiedere è solo metà della battaglia; sapere quando chiederlo è altrettanto importante. Inoltre, i ricercatori hanno scoperto che un modello poteva recuperare da una prima domanda sbagliata. Se un modello poneva una domanda inutile all'inizio ma poi continuava a porre domande rilevanti nei turni successivi, poteva comunque raggiungere la soluzione corretta. Tuttavia, molti modelli non riuscivano a persistere, spesso fermandosi dopo pochi turni anche quando non avevano raccolto abbastanza prove.

Forse la scoperta più sorprendente è stata che la capacità di un modello di porre buone domande è separata dalla sua capacità di dare una buona risposta. I ricercatori hanno testato questo aspetto prendendo una conversazione in cui l'IA aveva raccolto tutte le informazioni necessarie e chiedendo poi a un modello diverso di risolvere il puzzle basandosi solo su quella conversazione. Hanno scoperto che alcuni modelli potevano risolvere il puzzle perfettamente quando ricevevano l'intero set di fatti, anche se avevano fallito nel raccogliere quei fatti da soli. Questo significa che il fallimento non risiedeva nel ragionamento o nella conoscenza del modello, ma nel processo di ricerca dell'informazione. I modelli non erano scarsi nel risolvere i problemi; erano scarsi nel sapere cosa non sapevano.

I ricercatori hanno concluso che le valutazioni attuali dell'intelligenza artificiale sono incomplete. Misurare solo l'accuratezza finale della risposta di un modello nasconde il fatto che il modello potrebbe aver raggiunto quella risposta tirando a indovinare o ignorando le informazioni mancanti. Per comprendere veramente quanto bene un'IA interagisca con il mondo, dobbiamo misurare la sua capacità di riconoscere l'incertezza, identificare ciò che manca e acquisire quell'informazione mancante passo dopo passo. Questo nuovo framework fornisce un modo per fare esattamente questo, mostrando che, sebbene i modelli odierni siano potenti, mancano ancora del senso intuitivo di un esperto umano che sa quando smettere di tirare a indovinare e iniziare a chiedere.

Riassunto Tecnico: Gli LLM sanno cosa chiedere e quando? Valutazione della ricerca di informazioni multi-turno

1. Definizione del Problema

Il documento affronta la capacità dei Large Language Models (LLM) di operare in condizioni di sottospecificazione nelle interazioni multi-turno. A differenza dell'ambiguità (dove l'intento dell'utente è poco chiaro), la sottospecificazione si verifica quando il compito dell'utente è chiaramente definito ma manca di informazioni sufficienti per determinare una risposta univoca. Un modello capace deve riconoscere che il proprio contesto è insufficiente, identificare le specifiche informazioni mancanti necessarie per risolvere il target, acquisirle attraverso query sequenziali e rispondere solo una volta che le informazioni acquisite determinano univocamente la risposta.

I metodi di valutazione attuali spesso confondono la capacità di un modello di generare una risposta corretta con la sua capacità di cercare informazioni. Il successo finale del compito può essere raggiunto tramite congetture o facendo affidamento su conoscenze pregresse piuttosto che su una genuina acquisizione di informazioni. Gli autori formalizzano questa sfida come la risoluzione di un Problema di Soddisfacimento di Vincoli (CSP) $k$ -sottospecificato, dove $k$ rappresenta il numero di variabili congiuntamente richieste per determinare la variabile target.

2. Metodologia: Framework MT-INFOSEEK

Gli autori introducono MT-INFOSEEK, una suite di valutazione controllata composta da 5.251 problemi e 9.006 istanze di task in cinque domini: matematica, logica, biologia, medicina e cultura generale (tramite il gioco delle 20 domande).

2.1 Formalizzazione

Un problema è definito come una tupla $P = \langle X, D, C, A, Y \rangle$ :

$X$ : Insieme di variabili con domini $D$ .
$C$ : Vincoli logici.
$A$ : Assegnazione parziale osservata (contesto iniziale).
$Y$ : Variabile target.
Sottospecificazione: Il problema è sottospecificato se $Y$ non è determinato univocamente da $A$ e $C$ .
Insieme Sufficiente Minimo ( $k$ -MSS): Un sottoinsieme di variabili non assegnate $S$ di dimensione $k$ tale che la conoscenza dei loro valori determini univocamente $Y$ , e nessun sottoinsieme più piccolo sia sufficiente.
Istanza del Task: Una specifica realizzazione $(P, y)$ dove $y$ è il valore reale nascosto di $Y$ .

2.2 Protocolli di Valutazione

Il framework valuta i modelli lungo tre assi, separando la ricerca di informazioni dalla generazione della risposta:

$k$ -Predizione: Dato $P$ , il modello predice il grado di sottospecificazione ( $\hat{k}$ ).
Identificazione delle Variabili Mancanti: Dato $P$ (e opzionalmente il vero $k$ ), il modello seleziona un insieme sufficiente minimo di variabili.
Risoluzione Sequenziale del Task: Il modello interagisce con un oracle su più turni, interrogando una variabile alla volta, osservando il valore e decidendo quando fermarsi e rispondere.

2.3 Dataset

Domini Strutturati (Logic-Q-MT, GSME-Q-MT/Ext, GeneReg-MT, ClinGuide-MT): Variabili e vincoli sono predefiniti. Il modello seleziona da un insieme finito di variabili interrogabili.
- Logic-Q-MT: Estende i problemi di ragionamento logico a contesti multi-turno.
- GSME-Q-MT/Ext: Problemi di matematica elementare con quantità mascherate; la versione Ext presenta strutture di dipendenza più profonde.
- GeneReg-MT: Reti di regolazione genica booleana dove il modello deve identificare gli stati iniziali per determinare gli stati stazionari.
- ClinGuide-MT: Alberi decisionali diagnostici dove l'ordine delle query è importante a causa delle dipendenze condizionali.
Dominio Non Strutturato (20Q): Il modello genera domande libere di tipo sì/no per dedurre un target nascosto da un insieme di candidati.

2.4 Metriche

Fondamentalmente, il documento introduce la Sufficienza Finale come metrica primaria. Questa misura se le informazioni acquisite (l'insieme di variabili interrogate) determinano univocamente il target, indipendentemente dal fatto che la risposta finale del modello sia corretta. Ciò separa la capacità di cercare informazioni dalla capacità di ragionare per arrivare a una risposta. Altre metriche includono la copertura delle query, la correttezza dell'ordine (in ClinGuide-MT) e l'informatività della domanda (Guadagno di Informazione Atteso Normalizzato in 20Q).

3. Risultati Chiave

La valutazione copre modelli a pesi chiusi e a pesi aperti (es. GPT-5, Gemini-3, Qwen3, gpt-oss).

3.1 Sottostima delle Informazioni Mancanti

I modelli generalmente riconoscono che il contesto è insufficiente (predicono raramente $k=0$ per problemi sottospecificati) ma sottostimano sistematicamente il grado di sottospecificazione.
L'accuratezza cala drasticamente all'aumentare di $k$ . Nello specifico, nei problemi logici (Logic-Q-MT) con $k = 2$ , i modelli sottostimano il grado di informazione mancante circa quattro volte più spesso di quanto lo sovrastimino.

3.2 Fallimento nell'Identificare Insiemi Sufficienti Minimi

Anche quando viene fornito il vero $k$ , i modelli faticano a identificare le variabili specifiche che formano un insieme sufficiente minimo. L'accuratezza dell'insieme esatto è bassa (inferiore a 0,4 per $k=2$ ) e scende ulteriormente per $k$ più elevati.
Stimare quanto informazione manchi non implica sapere quale informazione sia necessaria.

3.3 Dinamiche di Interazione e Recupero

Budget di Turni: Allocare le query su più turni generalmente migliora la sufficienza finale rispetto all'emissione di tutte le query in un unico turno, a patto che il modello non si fermi prematuramente.
Recupero: Una query al primo turno che manca l'insieme sufficiente minimo è spesso recuperabile. Le interazioni in cui la prima query è errata ma il modello continua a cercare variabili rilevanti raggiungono la sufficienza a tassi comparabili a quelli con prime query corrette.
Performance nei Turni Avanzati: Per problemi altamente sottospecificati ( $k \ge 3$ ), il successo dipende meno dalla correttezza dei primi turni e più da un'acquisizione costante di informazioni e dalla correttezza delle query nei turni tardivi.

3.4 L'Importanza dell'Ordine e dell'Integrazione

Dipendenze dall'Ordine: Nei compiti clinici (ClinGuide-MT), interrogare le variabili corrette nel ordine errato riduce significativamente l'accuratezza finale, anche se tutte le informazioni necessarie vengono infine acquisite.
Integrazione delle Evidenze: In 20Q, modelli con simile informatività delle domande (Guadagno di Informazione Atteso) mostrano differenze sostanziali nell'accuratezza finale. Ciò indica che il successo non dipende solo dal porre buone domande, ma dal integrare efficacemente le risposte per restringere lo spazio dei candidati.
Riduzione dell'Entropia: Sebbene i modelli riducano generalmente l'incertezza, spesso si attestano su un plateau nei turni successivi, fallendo nel distinguere tra candidati rimanenti molto simili.

4. Contributi e Significato

Il documento apporta tre contributi primari:

Formalizzazione: Formalizza la ricerca di informazioni multi-turno come risoluzione di CSP $k$ -sottospecificati, fornendo la verità di base per le variabili necessarie e il punto di sufficienza.
Benchmark (MT-INFOSEEK): Introduce una suite di valutazione completa che spazia tra matematica, logica, biologia, medicina e cultura generale, permettendo una variazione controllata del grado di sottospecificazione.
Metodologia di Valutazione: Propone la Sufficienza Finale come metrica per separare la capacità di acquisire informazioni dalla capacità di generare risposte.

Significato:
Gli autori sostengono che le attuali valutazioni degli LLM, che si basano sull'accuratezza finale, non riescono a catturare la competenza interattiva. Un modello può rispondere correttamente indovinando o usando conoscenze pregresse senza mai identificare l'informazione mancante. Misurando se le informazioni acquisite effettivamente determinano il target, MT-INFOSEEK rivela che gli attuali modelli:

Sottostimano la complessità delle informazioni mancanti.
Non riescono a pianificare strategie di query minime.
Spesso si fermano prima di aver acquisito informazioni sufficienti.
Faticano con le dipendenze d'ordine e l'integrazione delle evidenze.

Il documento conclude che la capacità di cercare informazioni su più turni è una capacità distinta dalla generazione di risposte e non è adeguatamente misurata dai benchmark esistenti. Questo lavoro fornisce un quadro diagnostico per comprendere dove i modelli falliscono in contesti interattivi, suggerendo che i futuri miglioramenti debbano concentrarsi sul riconoscimento della sottospecificazione e sulla pianificazione dell'acquisizione sequenziale di informazioni, non solo sulle capacità di ragionamento.