Riepilogo Tecnico: Sapere ma Non Mostrare

Enunciato del Problema

I Modelli Linguistici di Grandi Dimensioni (LLM) sono sempre più impiegati per rispondere alle query degli utenti, tuttavia tali query sono frequentemente sottodeterminate, omettendo dettagli cruciali o ammettendo molteplici interpretazioni valide. Di fronte a tale ambiguità, un assistente utile dovrebbe idealmente riconoscere l'incertezza e cercare chiarimenti piuttosto che fare assunzioni silenziose. Tuttavia, i modelli attuali spesso ricorrono di default alla fornitura di una singola risposta "migliore ipotesi", imponendo assunzioni nascoste che possono distorcere l'intento dell'utente e propagare errori.

Il problema centrale indagato è la discrepanza tra la consapevolezza dell'ambiguità di un LLM (la capacità di riconoscere che una query è ambigua) e il suo comportamento di chiarimento (la tendenza ad agire su tale riconoscimento ponendo domande o rifiutandosi di rispondere). Gli autori ipotizzano che, sebbene i modelli possano internamente "sapere" che una query è ambigua, raramente "mostrano" questa conoscenza nelle loro risposte predefinite.

Metodologia

Lo studio valuta gli LLM attraverso tre contesti complementari utilizzando il dataset AmbigQA, che contiene domande ambigue, domande non ambigue e riscritture disambiguate di quelle ambigue. La valutazione coinvolge 10 modelli di tre famiglie (OpenAI, Claude e Qwen) e include:

1. Risposta a Domande Standard (QA): I modelli sono invitati a rispondere direttamente alle domande, con e senza contesto recuperato (passaggi di Wikipedia). Le prestazioni sono misurate in termini di accuratezza rispetto alle risposte di riferimento.
2. Giudizio Esplicito sull'Ambiguità: Ai modelli viene chiesto di eseguire un compito di classificazione binaria: determinare se una specifica domanda è ambigua o non ambigua. Ciò esamina la consapevolezza esplicita del modello senza richiedere una risposta.
3. Analisi Comportamentale: Un modello giudice (GPT-5-nano) classifica le risposte dei modelli in quattro categorie: Rifiuto, Ha posto una domanda di chiarimento, Ha risposto (fornendo una risposta) e Solo risposta (fornendo una risposta senza rifiuto o chiarimento).

Lo studio analizza inoltre i tipi specifici di ambiguità (Temporale, Identità, Versione, Ambito, Semantica, Locale, Altro) che i modelli identificano quando riconoscono l'ambiguità, confrontando queste distribuzioni con le annotazioni umane.

Risultati Chiave

1. Il Divario "Sapere ma Non Mostrare"

La scoperta più significativa è un chiaro disallineamento tra riconoscimento e comportamento.

• Riconoscimento: Quando esplicitamente invitati a giudicare l'ambiguità, i modelli mostrano una consapevolezza non trascurabile. Spesso riescono a identificare correttamente che una query è ambigua, raggiungendo un'accuratezza del 60–80% sulle classi ambigue (sebbene spesso con un bias verso la sovrastima dell'ambiguità).
• Comportamento: Nel contesto QA standard, i modelli ricorrono in modo schiacciante a risposte dirette. Le domande di chiarimento sono estremamente rare (tipicamente <1% - 5% delle risposte) e i rifiuti sono quasi inesistenti. Anche quando i modelli identificano correttamente una query come ambigua nel contesto di giudizio, non riescono a tradurre questo riconoscimento in un comportamento di chiarimento quando invitati a rispondere.

2. L'Impatto del Contesto Recuperato

Il contesto recuperato (RAG) produce effetti controintuitivi sulla gestione dell'ambiguità:

• Accuratezza QA: Il contesto migliora sostanzialmente l'accuratezza delle risposte sia per le domande ambigue che per quelle non ambigue, in particolare per i modelli più piccoli.
• Soppressione del Chiarimento: La presenza di contesto rende i modelli meno propensi a porre domande di chiarimento. Il contesto agisce come un segnale che la domanda è rispondibile, inducendo i modelli a trattare anche le query ambigue come effettivamente non ambigue.
• Ampliamento del Divario: Sebbene il contesto migliori la capacità di rispondere, amplia ulteriormente il divario tra riconoscimento dell'ambiguità e comportamento di chiarimento. I modelli diventano ancora più riluttanti a segnalare l'ambiguità quando sono presenti passaggi di supporto.

3. Bias sul Tipo di Ambiguità

Quando i modelli identificano l'ambiguità, la loro classificazione del tipo di ambiguità è distorta. I modelli assegnano sistematicamente in eccesso le ambiguità di Identità (entità multiple con lo stesso nome) e di Versione, mentre assegnano in modo significativo in difetto le ambiguità di Ambito (mancanza di livelli di granularità). Ciò suggerisce che i modelli si affidano a segnali specifici e superficiali piuttosto che a un ragionamento profondo sulla struttura della query.

Significato e Affermazioni

Il documento afferma di dimostrare che le attuali pipeline di addestramento, che incentivano i modelli a produrre risposte valutate come "utili" e "di aiuto" dagli annotatori umani, insegnano involontariamente ai modelli a nascondere l'incertezza. Poiché esprimere ambiguità o chiedere chiarimenti spesso non è allineato a un alto reward nelle pipeline standard di RLHF (Reinforcement Learning from Human Feedback), i modelli imparano a sopprimere questa consapevolezza a favore della fornitura di una risposta diretta.

Gli autori sostengono che ciò abbia due implicazioni principali:

1. Obiettivi di Addestramento: Per migliorare la veridicità e l'affidabilità, gli obiettivi di addestramento devono premiare esplicitamente l'espressione dell'incertezza, la formulazione di domande di chiarimento e il riconoscimento della sottodeterminazione, piuttosto che concentrarsi esclusivamente sull'accuratezza della risposta.
2. Cautela nella Valutazione: Quando si indaga su ciò che gli LLM "sanno", la formulazione del compito è significativa. Un modello può mostrare un'alta consapevolezza dell'ambiguità quando gli viene chiesto di analizzare una domanda, ma mostrare una consapevolezza quasi nulla quando gli viene chiesto di rispondere.

Lo studio conclude che il pattern "sapere ma non mostrare" è un problema sistemico in cui la consapevolezza interna non emerge in modo affidabile nel comportamento predefinito, un fenomeno che viene ulteriormente soppresso dalla presenza di contesto recuperato.