Technische Samenvatting: De CitizenQuery Benchmark

Probleemstelling

"Burgerqueries"—vragen van het publiek met betrekking tot overheidsbeleid, diensten en begeleiding (bijv. uitkeringen, belastingen, immigratie)—vormen een scenario met hoge inzet voor Large Language Models (LLMs). Hoewel LLM's de potentie bieden om contextbewuste, toegankelijke en snelle informatiediensten te leveren, wordt hun inzet in de publieke sector gehinderd door het risico op hallucinaties en desinformatie. Onnauwkeurige reacties op burgerqueries kunnen leiden tot ernstige, vaak onzichtbare negatieve gevolgen voor individuen die afhankelijk zijn van dergelijk advies. Momenteel is er een gebrek aan gestandaardiseerde benchmark-datasets of evaluatiesets die specifiek zijn ontworpen om de prestaties van LLM's in de context van burgerqueries te meten, wat het voor overheden en belanghebbenden moeilijk maakt om de betrouwbaarheid van AI-integratie in publieke diensten te beoordelen.

Methodologie

Dataset Curatie: CitizenQuery-UK

De auteurs introduceren CitizenQuery-UK, een nieuwe benchmark-dataset bestaande uit 22.066 synthetische burgerquery-antwoordparen.

• Bronmateriaal: De dataset is volledig afgeleid van tekstuele informatie op gov.uk, de officiële Britse overheidswebsite, die dient als de enkele bron van de gezaghebbende waarheid voor de benchmark.
• Generatieproces:
  • Corpusconstructie: 2.781 gov.uk-pagina's zijn gescraped en georganiseerd in een 3-laagse taxonomie (Home page $\rightarrow$ Domeinen $\rightarrow$ Subdomeinen).
  • Query-synthese: Om natuurlijke formuleringen te garanderen, werd de generatie van queries gegrond in real-world data van online publieke fora (voornamelijk Reddit) om colloquiale, contextrijke gebruikersinputs na te bootsen en de steriele formulering die typisch is voor synthetische generatie te vermijden.
  • Model: Het Qwen 2.5 72B-Instruct model werd gebruikt om de Q&A-paren te genereren, geconditioneerd op specifieke persona's (variërend naar leeftijd, opleiding, digitale geletterdheid, beroep, inkomen en regio) en metadata.
  • Kwaliteitsborging: Een rigoureus menselijk annotatieprotocol waarbij drie annotatoren een gestratificeerde steekproef beoordeelden om de generatie-prompts te verfijnen, met als doel te waarborgen dat de antwoorden feitelijk onderbouwd en toegankelijk waren. Toxiciteit en bias-scores werden gegenereerd via Cleanlab Studio maar werden als grotendeels irrelevant beschouwd voor de kerndoelstellingen, waarbij de toxiciteit laag bleef.
• Datastructuur: De dataset bevat 139 subdomeinen binnen 16 hoofddomeinen. Prompts zijn gecategoriseerd als procedureel, instructief, informatief of comparatief. Elke entry bevat de query, het verwachte antwoord (ground truth) en uitgebreide metadata.

Evaluatiepipeline

De auteurs stellen een evaluatiemethodologie voor die is aangepast van FActScore en de SAFE architectuur, bestaande uit drie hoofdonderdelen:

1. Abstention Detection (AB) [Detectie van onthouding]:

   • Maakt gebruik van een fine-tuned classifier (LibrAI/longformer-action-ro) om te identificeren of een model weigert of niet in staat is een query te beantwoorden.
   • De auteurs hebben het standaard annotatieschema aangepast om "disclaimers" (label 3) te behandelen als een pass in plaats van een onthouding, in de erkenning dat disclaimers standaard zijn en worden aangemoedigd bij overheidsadvies.
   • Een betrouwbaarheidsdrempel ($AB_{th} = 0.925$) wordt toegepast om fout-positieven te minimaliseren.

2. Atomised Fact Generation (AFG) [Generatie van geatomiseerde feiten]:

   • Decomponeert zowel het verwachte antwoord ($a_i$) als het door het model gegenereerde antwoord ($\hat{a}_i$) in atomaire feiten/claims.
   • Gebruikt een retrieval-gebaseerde few-shot prompting strategie met een instruct-tuned LLM ($M_{AFG}$) om zinnen af te breken in granulaire, verifieerbare componenten.
   • Atomaire feiten voor de ground truth zijn vooraf berekend om een vast referentiepunt te garanderen.

3. Atomised Fact Verification (AFV) [Verificatie van geatomiseerde feiten]:

   • Gebruikt een LLM-als-rechter ($M_{AFV}$) om te verifiëren of de claims van het model worden ondersteund door de ground truth feiten.
   • Metrics:
     • F1@K: Berekent het harmonisch gemiddelde van precisie en recall ten opzichte van de ground truth feiten ($K$). Dit straft modellen die redundantie vertonen (het herhalen van feiten) en excessieve verbositeit af, en beloont informatiedichtheid.
     • Verbosity ($\Delta K$) [Verbositeit]: Meet het verschil tussen het aantal door het model gegenereerde claims ($\hat{K}$) en de ground truth ($K$). Positieve waarden duiden op over-generatie; negatieve waarden op weglating.

Belangrijkste Resultaten

De benchmark evalueerde 11 LLM's (inclusief de Llama-, Claude-, Gemini-, Qwen- en OpenAI-families) onder zowel Zero-Shot als Few-Shot condities.

• Prestatieprofielen:

  • Feitelijkheid: Mediane F1@K-scores waren over het algemeen hoog (vaak >0.90), wat aangeeft dat modellen vaak correct antwoorden. Echter, de gemiddelde scores waren lager dan de medianen, wat een "long tail" van slechte prestaties en hoge variantie onthulde (standaarddeviaties variërend van 0.18 tot 0.36).
  • Modelfamilies: Closed-source modellen zoals Claude-4.5-Haiku vertoonden een hoge nauwkeurigheid maar ook een hoge verbositeit. Open-weight modellen (bijv. Qwen3-32B, Llama-3.3-70B) presteerden competitief ten opzichte van closed-source modellen. Kimi-K2-Instruct vertoonde een lagere feitelijkheid maar hogere abstention rates.
  • Impact van Few-Shot: Tegen de verwachting in, leidde het verstrekken van few-shot voorbeelden over het algemeen tot een lagere gemiddelde F1@K-score en een hogere variantie, terwijl de verbositeit licht afnam. In sommige gevallen genereerden modellen minder informatie, maar was die informatie minder feitelijk onderbouwd.

• Belangrijkste Gedragsvindingen:

  • Lage Abstention: Modellen onthouden zich zelden van het beantwoorden (rates <1.5%), zelfs wanneer ze onzeker zijn.
  • Hoge Verbositeit: Modellen genereren consistent te veel informatie ($\Delta K$ was positief en significant, bijv. +16.63 voor Claude-4.5-Haiku in Zero-Shot).
  • Variantie: Hoge standaarddeviaties suggereren dat hoewel modellen vaak correct zijn, hun foutmodi onvoorspelbaar zijn, wat een risico vormt voor de betrouwbaarheid.

Betekenis en Claims

Het artikel claimt dat CitizenQuery-UK het eerste bewijs-gebaseerde kader biedt voor het beoordelen van de betrouwbaarheid van LLM's in taken met betrekking tot burgerqueries. De significantie ligt in:

1. Bewijs voor Adoptie in de Publieke Sector: Het biedt een mechanisme voor overheden om de nauwkeurigheid van AI te evalueren vóór integratie, waarbij men verder gaat dan theoretische aannames naar gemeten prestaties.
2. Het "Verbositeit vs. Betrouwbaarheid" Trade-off belichten: De resultaten suggereren dat huidige LLM's prioriteit geven aan het genereren van informatie boven het erkennen van onzekerheid. In scenario's met hoge inzet voor burgers creëert deze "drang om te praten", gecombineerd met hoge variantie, een risico waarbij gebruikers mogelijk te veel vertrouwen op onjuiste of verouderde informatie.
3. Oproep tot Erkenning van Faalbaarheid: De auteurs betogen dat betrouwbare AI in de publieke sector modellen vereist die hun beperkingen kunnen erkennen (faalbaarheid) in plaats van het overmatig genereren van potentieel onjuiste claims.
4. Fundament voor Toekomstige Governance: Volledig gebouwd op open data, legt de benchmark de basis voor gecentraliseerde evaluatiesets die beleid en beslissingen over aanbesteding met betrekking tot AI in de publieke sector kunnen sturen.

De auteurs concluderen dat hoewel LLM's veelbelovend zijn, hun huidige neiging naar hoge variantie en over-generatie hen ongeschikt maakt voor directe inzet zonder significante verbeteringen in betrouwbaarheid en mechanismen voor het erkennen van onzekerheid.