Know2Guess: A Contamination-Aware Multi-Zone Benchmark for Knowledge-Boundary Evaluation in Large Language Models

Sintesi Tecnica: Know2Guess

Problematica
La valutazione attuale dei Large Language Models (LLM) spesso confonde la risposta supportata con il tentativo (guessing) non supportato, fallendo nel distinguere tra incertezza epistemica (non sapere) e rifiuto di policy (scegliere di non rispondere). I benchmark esistenti misurano tipicamente l'accuratezza grezza, la veridicità o l'allucinazione in isolamento, oppure si affidano a valutazioni dinamiche che non forniscono un protocollo congelato per separare gli elementi rispondibili dagli ignoti dove è attesa l'astensione. Esiste un rischio di contaminazione dei dati che può gonfiare le metriche di performance, sfumando il confine tra memorizzazione e generalizzazione. Manca un framework unificato che tracci simultaneamente il rischio di contaminazione, distingua tra "astensione produttiva" (identificazione corretta degli ignoti) e "rifiuto di policy", e valuti il comportamento del modello sotto rigorosi protocolli di parsing e variazioni di prompt.

Metodologia
Il documento introduce Know2Guess, un benchmark multi-zona consapevole della contaminazione che contiene 1.200 elementi suddivisi in cinque domini: senso comune, cultura generale, medicina, ragionamento multi-hop e scienza.

• Costruzione delle Zone: Gli elementi sono assegnati a quattro zone congelate in fase di build:
  • Zone A–C (Risposta Attesa): Contengono elementi pubblici reali. La Zona A ha un'alta popolarità di risposte; la Zona B ha una popolarità inferiore; la Zona C consiste in elementi pubblici trasformati (parafrasati, compressi o riordinati) progettati per aumentare la difficoltà del confine preservando la risposta corretta (gold answer).
  • Zona D (Astensione Attesa): Questi sono ignoti sintetici costruiti con sintassi e stili di dominio corrispondenti al pool pubblico reale, ma contenenti entità o eventi non supportati. Sono progettati per testare se un modello può astenersi senza ricorrere al rifiuto di policy.
• Metadati di Contaminazione: Ogni elemento è etichettato con un livello di rischio di contaminazione (basso, medio, alto) basato sulla sovrapposizione lessicale con i corpora noti e sulla salienza della risposta, consentendo un'analisi per segmenti (slice-based analysis).
• Protocollo di Valutazione: I modelli sono valutati sotto due condizioni primarie:
  1. Risposta o Astensione (Answer-or-Abstain): Un prompt strutturato che permette esplicitamente al modello di astenersi in caso di incertezza.
  2. Solo Risposta (Controllo - Answer-Only): Un prompt che istruisce il modello a tentare (guess) in caso di incertezza, impedendo l'astensione.
• Parsing e Metriche: Un parser rigoroso ufficiale estrae le decisioni (RISPOSTA, ASTENSIONE, RIFIUTO) e i punteggi di confidenza. Un parser normalizzato viene utilizzato per l'analisi di robustezza per gestire i difetti di formattazione senza alterare la semantica della decisione.
  • Metrica Primaria: Affidabilità (Reliability), che premia la risposta corretta nelle Zone A–C e l'astensione corretta nella Zona D.
  • Metriche Secondarie: Accuratezza delle risposte, tasso di astensione produttiva, tasso di rifiuto, Errore di Calibrazione Attesa (ECE) e nitidezza del confine (il divario di performance tra elementi rispondibili difficili e ignoti).

Risultati Chiave
Il benchmark è stato valutato su varianti di FLAN-T5, Qwen2.5-Instruct (1.5B, 3B) e Llama-3-8B-Instruct.

• Performance Baseline: I modelli FLAN-T5 hanno dimostrato deboli capacità di astensione produttiva, con FLAN-T5-Base e Large che hanno ottenuto zero astensioni produttive sotto il parser rigoroso.
• Modelli Instruction-Tuned: Modelli più forti (Qwen2.5-3B e Llama-3-8B) hanno mostrato una transizione selettiva dalla risposta all'astensione, ma non hanno risolto il problema.
  • Qwen2.5-3B-Instruct ha ottenuto la massima affidabilità complessiva (0.3657) e un'alta astensione produttiva sulla Zona D (0.9249). Tuttavia, ha incontrato grandi difficoltà sulle Zone A–C (affidabilità ~0.13–0.34) e ha mostrato una scarsa calibrazione (ECE ~0.59).
  • Llama-3-8B-Instruct ha mostrato una maggiore accuratezza sugli elementi pubblici rispondibili, ma è stato meno selettivo sugli ignoti ed è stato più incline al rifiuto di policy su elementi benigni, risultando in una minore affidabilità complessiva (0.3407).
• Esperimenti di Controllo: Rimuovere l'opzione di astensione (controllo Answer-Only) ha causato un crollo netto della affidabilità per tutti i modelli, confermando che il benchmark misura il comportamento decisionale piuttosto che la semplice memoria fattuale.
• Robustezza: Il ranking principale e le conclusioni qualitative sono rimasti stabili sotto la normalizzazione del parser, le variazioni del template del prompt e il riponderamento delle metriche sensibili ai costi.
• Analisi degli Errori: Gli audit qualitativi hanno rivelato che i principali modi di fallimento sono stati l'astensione non necessaria su elementi con risposta attesa (28.3%) e le allucinazioni sicure (24.2%), seguiti dal rifiuto di policy su elementi benigni.

Significatività e Rivendicazioni
Gli autori dichiarano esplicitamente che il benchmark non sostiene che l'affidabilità consapevole dell'astensione sia stata "risolta". Invece, la significatività di Know2Guess risiede nel fornire un protocollo riproducibile per auditare gli LLM attraverso dimensioni distinte ma interagenti: rispondibilità, astensione, rifiuto e contaminazione.

Il documento sostiene che gli attuali modelli mostrano una "transizione selettiva ma incompleta" dalla risposta all'astensione. Sebbene possano astenersi efficacemente sugli ignoti sintetici, falliscono nel calibrare bene sugli elementi difficili con risposta attesa e spesso confondono il rifiuto di policy con la cautela epistemica. Congelando le etichette di build-time e separando il rifiuto dall'astensione, il benchmark offre un protocollo più rigoroso per diagnosticare se un modello sia dotato di conoscenza, eccessivamente sicuro di sé, eccessivamente conservativo o disallineato con la struttura decisionale richiesta per un deployment affidabile. Il dataset e il protocollo sono resi pubblici per facilitare ulteriori audit di questi specifici modi di fallimento.