Riepilogo Tecnico: Il Benchmark CitizenQuery

Problematica

Le "query dei cittadini" — domande da parte del pubblico riguardanti politiche, servizi e orientamenti governativi (ad esempio, sussidi, tasse, immigrazione) — rappresentano un caso d'uso ad alto rischio per i Large Language Models (LLM). Sebbene gli LLM offrano il potenziale per fornire servizi informativi contestualizzati, accessibili e rapidi, il loro dispiegamento nel settore pubblico è ostacolato dal rischio di allucinazione e disinformazione. Risposte imprecise alle query dei cittadini possono portare a gravi, spesso invisibili, ramificazioni negative per gli individui che si affidano a tali consigli. Attualmente, esiste una mancanza di dataset di benchmark standardizzati o suite di valutazione progettati specificamente per misurare le prestazioni degli LLM nel contesto delle query dei cittadini, rendendo difficile per i governi e le parti interessate valutare l'affidabilità dell'integrazione dell'IA nei servizi pubblici.

Metodologia

Curatela del Dataset: CitizenQuery-UK

Gli autori introducono CitizenQuery-UK, un nuovo dataset di benchmark composto da 22.066 coppie sintetiche query-risposta dei cittadini.

• Materiale Sorgente: Il dataset è derivato interamente da informazioni testuali su gov.uk, il sito ufficiale del governo del Regno Unito, che funge da unica fonte di verità autorevole per il benchmark.
• Processo di Generazione:
  • Costruzione del Corpus: Sono state estratte 2.781 pagine di gov.uk, organizzate in una tassonomia a 3 livelli (Pagina principale $\rightarrow$ Domini $\rightarrow$ Sotto-domini).
  • Sintesi delle Query: Per garantire una formulazione naturale, la generazione delle query è stata basata su dati del mondo reale provenienti da forum pubblici online (principalmente Reddit) per imitare input utente colloquiali e ricchi di contesto, evitando la formulazione sterile tipica della generazione sintetica.
  • Modello: Il modello Qwen 2.5 72B-Instruct è stato utilizzato per generare le coppie Q&A, condizionato da specifiche persona (varianti per età, istruzione, alfabetizzazione digitale, professione, reddito e regione) e metadati.
  • Controllo Qualità: Un rigoroso protocollo di annotazione umana che ha coinvolto tre annotatori ha revisionato un campione stratificato per raffinare i prompt di generazione, garantendo che le risposte fossero fattualmente fondate e accessibili. I punteggi di tossicità e bias sono stati generati tramite Cleanlab Studio ma sono stati ritenuti ampiamente irrilevanti per gli obiettivi principali, con una tossicità che rimaneva bassa.
• Struttura del Dataset: Il dataset include 139 sotto-domini distribuiti su 16 domini principali. I prompt sono categorizzati come procedurali, istruttivi, informativi o comparativi. Ogni voce include la query, la risposta attesa (ground truth) ed estesi metadati.

Pipeline di Valutazione

Gli autori propongono una metodologia di valutazione adattata da FActScore e dall'architettura SAFE, composta da tre componenti principali:

1. Rilevamento dell'Astensione (AB):

   • Utilizza un classificatore fine-tuned (LibrAI/longformer-action-ro) per identificare se un modello rifiuta o non è in grado di rispondere a una query.
   • Gli autori hanno adattato lo schema di annotazione standard per trattare i "disclaimer" (etichetta 3) come pass piuttosto che come astensione, riconoscendo che i disclaimer sono standard e incoraggiati nel consiglio governativo.
   • Viene applicata una soglia di confidenza ($AB_{th} = 0.925$) per minimizzare i falsi positivi.

2. Generazione di Fatti Atomizzati (AFG):

   • Scompone sia la risposta attesa ($a_i$) che la risposta generata dal modello ($\hat{a}_i$) in fatti/affermazioni atomiche.
   • Utilizza una strategia di prompting few-shot basata sul recupero con un LLM istruito ($M_{AFG}$) per scomporre le frasi in componenti granulari e verificabili.
   • I fatti atomici per la verità di base sono pre-calcolati per garantire un punto di riferimento fisso.

3. Verifica di Fatti Atomizzati (AFV):

   • Impiega un LLM-as-a-judge ($M_{AFV}$) per verificare se le affermazioni del modello sono supportate dai fatti della verità di base.
   • Metriche:
     • F1@K: Calcola la media armonica di precisione e richiamo rispetto ai fatti della verità di base ($K$). Questo penalizza i modelli per ridondanza (ripetizione di fatti) ed eccessiva verbosità, premiando la densità informativa.
     • Verbosità ($\Delta K$): Misura la differenza tra il numero di affermazioni generate dal modello ($\hat{K}$) e la verità di base ($K$). I valori positivi indicano sovra-generazione; i valori negativi indicano omissione.

Risultati Chiave

Il benchmark ha valutato 11 LLM (inclusi le famiglie Llama, Claude, Gemini, Qwen e OpenAI) sia in condizioni Zero-Shot che Few-Shot.

• Profili di Performance:

  • Fattualità: I punteggi mediani F1@K sono generalmente alti (spesso >0.90), indicando che i modelli rispondono spesso correttamente. Tuttavia, i punteggi medi sono inferiori alle mediane, rivelando una "coda lunga" di scarse prestazioni e un'alta varianza (deviazioni standard compresi tra 0.18 e 0.36).
  • Famiglie di Modelli: I modelli a codice chiuso come Claude-4.5-Haiku hanno mostrato un'alta accuratezza ma anche un'alta verbosità. I modelli a pesi aperti (es. Qwen3-32B, Llama-3.3-70B) si sono dimostrati competitivi rispetto ai modelli a codice chiuso. Kimi-K2-Instruct ha mostrato una minore fattualità ma tassi di astensione più elevati.
  • Impatto del Few-Shot: Contrariamente alle aspettative, fornire esempi few-shot ha generalmente diminuito i punteggi medi F1@K e aumentato la varianza, riducendo leggermente la verbosità. In alcuni casi, i modelli hanno generato meno informazioni, ma tali informazioni erano meno supportate dai fatti.

• Risultati Comportamentali Chiave:

  • Bassa Astensione: I modelli raramente si astengono dal rispondere (tassi <1.5%), anche quando sono incerti.
  • Alta Verbosità: I modelli sovra-generano costantemente informazioni ($\Delta K$ è positivo e significativo, ad esempio +16.63 per Claude-4.5-Haiku in Zero-Shot).
  • Varianza: L'alta deviazione standard suggerisce che, sebbene i modelli siano spesso corretti, i loro modi di fallire sono imprevedibili, ponendo un rischio di affidabilità.

Significato e Rivendicazioni

L'articolo sostiene che CitizenQuery-UK fornisce la prima evidenza-basata di un framework per valutare l'affidabilità degli LLM nei compiti di query dei cittadini. La sua importanza risiede in:

1. Evidenza per l'Adozione nel Settore Pubblico: Offre un meccanismo per i governi per valutare l'accuratezza dell'IA prima dell'integrazione, andando oltre le assunzioni teoriche verso le prestazioni misurate.
2. Evidenziazione del Compromesso "Verbosità vs Affidabilità": I risultati suggeriscono che gli attuali LLM danno priorità alla generazione di informazioni rispetto all'ammissione di incertezza. Nelle query dei cittadini ad alto rischio, questa "voglia di parlare" combinata con l'alta varianza crea un rischio in cui gli utenti possono fidarsi eccessivamente di informazioni imprecise o obsolete.
3. Appello alla Fallibilità Accertata: Gli autori sostengono che un'IA affidabile nel settore pubblico richiede modelli che possano riconoscere i propri limiti (fallibilità) invece di sovra-generare potenzialmente errate affermazioni.
4. Fondamento per la Governance Futura: Costruito interamente su dati aperti, il benchmark pone le basi per suite di valutazione centralizzate che possano guidare le decisioni politiche e di approvvigionamento riguardanti l'IA nel settore pubblico.

Gli autori concludono che, sebbene gli LLM mostrino potenziale, la loro attuale tendenza verso l'alta varianza e la sovra-generazione li rende inadatti al dispiegamento diretto senza miglioramenti significativi nella affidabilità e nei meccanismi per riconoscere l'incertezza.