💻 computer science

The CitizenQuery Benchmark: A Novel Dataset and Evaluation Pipeline for Measuring LLM Performance in Citizen Query Tasks

Dieses Paper stellt CitizenQuery-UK vor, einen neuartigen Benchmark-Datensatz aus 22.000 synthetisch generierten Bürgeranfragen basierend auf Informationen der britischen Regierung, und evaluiert 11 Large Language Models hinsichtlich Faktizität, Enthaltung und Verbosität, um kritische Zuverlässigkeitsherausforderungen sowie die Notwendigkeit, die Fehlbarkeit von KI in Anwendungen des öffentlichen Sektors anzuerkennen, hervorzuheben.

Ursprüngliche Autoren: Neil Majithia, Rajat Shinde, Zo Chapman, Prajun Trital, Jordan Decker, Manil Maskey, Elena Simperl, Nigel Shadbolt

Veröffentlicht 2026-02-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Neil Majithia, Rajat Shinde, Zo Chapman, Prajun Trital, Jordan Decker, Manil Maskey, Elena Simperl, Nigel Shadbolt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine ganz normale Person, die versucht, eine verwirrende Regierungsregel zu verstehen, wie zum Beispiel, wie man einen Anspruch auf eine Leistung geltend macht oder ein Steuerformular ausfüllt. Früher hätten Sie vielleicht eine Hotline angerufen oder die Website einer Behörde durchsucht. Heute würden Sie vielleicht einen superintelligenten KI-Chatbot fragen.

Dieses Papier handelt von der Erstellung eines riesigen „Zeugnisses“, um zu testen, wie gut diese KI-Chatbots mit diesen spezifischen Fragen zu britischen Regierungsregeln umgehen können. Die Autoren nennen dieses Zeugnis CitizenQuery-UK.

Hier ist die Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Vertrau mir“-Falle

Stellen Sie sich vor, Sie fragen einen sehr selbstbewussten, schnell sprechenden KI-Assistenten um Rat bei Ihren Steuern. Er gibt Ihnen eine lange, detaillierte Antwort. Aber was wäre, wenn er eine Regel erfunden hat, die gar nicht existiert? In einem normalen Chat wäre das nur ein lustiger Fehler. Aber bei Regierungsregeln könnte ein erfundener Fakt Sie Geld kosten, Sie in Schwierigkeiten mit dem Gesetz bringen oder Ihr Leben ruinieren.

Die Autoren sagen: „Wir können der KI nicht einfach vertrauen, nur weil sie klug klingt. Wir brauchen einen Beweis dafür, dass sie die Wahrheit sagt.“

2. Die Lösung: Den „Test“ erstellen (Der Datensatz)

Um die KI zu testen, braucht man einen Test. Aber man kann nicht einfach Fragen erfinden; sie müssen echt sein.

Die Quelle: Sie nahmen tausende Seiten von gov.uk (der offiziellen Website der britischen Regierung), was wie die „Bibel“ der Regierungsregeln ist.
Die Fragen: Sie haben nicht nur roboterhafte Fragen geschrieben. Sie nutzten echte Beispiele von Menschen, die auf Reddit um Rat fragten, um die Fragen so klingen zu lassen, wie echte Menschen tatsächlich sprechen (chaotisch, spezifisch und manchmal verwirrt).
Die Charaktere: Sie erstellten „Personas“ für die Fragen. Zum Beispiel wird eine Frage über das Elternsein einer „Elternteil“-Persona zugewiesen, nicht einem „Kind“. Dies stellt sicher, dass die KI getestet wird, ob sie den Kontext der fragenden Person versteht.
Das Ergebnis: Sie bauten einen Datensatz aus 22.000 Frage-Antwort-Paaren auf. Betrachten Sie dies als eine massive, 22.000 Fragen umfassende Abschlussprüfung, bei der die „korrekten Antworten“ bereits im offiziellen Text der Regierung festgehalten sind.

3. Das Bewertungssystem: Wie sie die Arbeit prüften

Sie fragten nicht nur: „Hat die KI es richtig gemacht?“ Sie nutzten einen dreistufigen Bewertungsprozess, um super präzise zu sein:

Schritt 1: Der „Schweige-Check“ (Abstention): Sagt die KI „Ich weiß es nicht“, wenn sie sich unsicher ist? Oder rät sie einfach? Die Autoren wollten sehen, ob die KI mutig genug war, zuzugeben, dass sie etwas nicht weiß, oder ob sie zu eifrig war, zu reden.
** Schritt 2: Das Zerlegen (Atomisierung):** Stellen Sie sich vor, die KI schreibt einen langen Absatz. Die Bewerter brachen diesen Absatz in winzige, einzelne Fakten herunter (wie das Zerlegen einer Lego-Burg in einzelne Steine).
Schritt 3: Der „Wahrheitsabgleich“ (Verifizierung): Sie verglichen jeden einzelnen „Stein“ (Fakt), den die KI sagte, mit den „Steinen“ in der offiziellen Regierungsantwort.
- Der Score (F1@K): Sie gaben der KI eine Punktzahl basierend auf zwei Dingen: Hat sie die richtigen Fakten enthalten? Und hat sie nur die richtigen Fakten enthalten (ohne zu viel unnötiges Geschwafel hinzuzufügen)?

4. Die Ergebnisse: Was das Zeugnis aussagte

Sie testeten 11 verschiedene KI-Modelle (wie die von OpenAI, Google, Meta usw.) und fanden einige interessante Dinge heraus:

Das „Geschwätzigkeits“-Problem: Fast alle KIs redeten viel zu viel. Sie waren wie ein Schüler, der, wenn er eine einfache Frage gestellt bekommt, einen ganzen Aufsatz schreibt. Sie fügten zusätzliche Fakten hinzu, die nicht im offiziellen Regierungstext standen. Dies nennt man Verbosity (Schwatzigkeit).
Das „Schweige“-Problem: Die KIs sagten fast nie „Ich weiß es nicht“. Selbst wenn sie falsch lagen, redeten sie weiter. Sie „verweigerten“ die Antwort fast nie.
Der „Long Tail“ der Fehler: Meistens bekamen die KIs die Hauptpunkte richtig. Aber wenn sie falsch lagen, lagen sie sehr falsch. Es ist wie ein Schüler, der bei den leichten Fragen eine Eins schreibt, aber bei den schweren Fragen komplett durchfällt. Das macht die Ergebnisse unvorhersehbar.
Open vs. Closed: Einige der „Open“-Modelle (bei denen der Code öffentlich ist) schnitten genauso gut ab wie die teuren „Closed“-Modelle. Man braucht nicht unbedingt die teuerste KI, um gute Ergebnisse zu erzielen.

5. Die wichtigste Erkenntung

Das Papier kommt zu dem Schluss, dass KIs zwar besser werden, aber derzeit zu eifrig sind zu reden und zu viel Angst haben, zuzugeben, dass sie sich irren, wenn es um hochsensible Regierungsberatung geht.

Wenn eine KI Ihr Wegweiser für Regierungsregeln sein soll, muss sie zwei Dinge lernen:

Sei prägnant: Halte dich an die Fakten auf der Regierungswebsite; erfinde keine zusätzlichen Geschichten.
Sei bescheiden: Wenn du die Antwort nicht weißt, sollte es heißen: „Ich weiß es nicht“, anstatt zu raten.

Die Autoren haben diesen „Test“ (CitizenQuery-UK) gebaut, damit Regierungen und Tech-Unternehmen die KI weiterhin testen können, um sicherzustellen, dass sie sicher und zuverlässig genug wird, um Menschen bei ihren realen Problemen tatsächlich zu helfen. Sie sagen nicht, dass die KI bereit ist, menschliche Berater zu ersetzen; sie sagen: „Hier ist ein Lineal, um zu messen, wie nah wir der Bereitschaft dazu sind.“

Technisches Resümee: Der CitizenQuery-Benchmark

Problemstellung

„Bürgeranfragen“ – Fragen aus der Öffentlichkeit zu Regierungsrichtlinien, Dienstleistungen und Orientierungshilfen (z. B. Sozialleistungen, Steuern, Einwanderung) – stellen einen hochsensiblen Anwendungsfall für Large Language Models (LLMs) dar. Während LLMs das Potenzial bieten, kontextsensitive, zugängliche und schnelle Informationsdienste bereitzustellen, wird ihr Einsatz im öffentlichen Sektor durch das Risiko von Halluzinationen und Fehlinformationen behindert. Ungenaue Antworten auf Bürgeranfragen können zu schwerwiegenden, oft unsichtbaren negativen Auswirkungen für Personen führen, die auf diese Beratung angewiesen sind. Derzeit mangelt es an standardisierten Benchmark-Datensätzen oder Evaluierungssuiten, die speziell darauf ausgelegt sind, die Leistung von LLMs im Kontext von Bürgeranfragen zu messen, was es Regierungen und Stakeholdern erschwert, die Vertrauenswürdigkeit der KI-Integration in öffentliche Dienste zu bewerten.

Methodik

Datensatz-Kuratierung: CitizenQuery-UK

Die Autoren führen CitizenQuery-UK ein, einen neuartigen Benchmark-Datensatz, der aus 22.066 synthetischen Bürgeranfrage-Antwort-Paaren besteht.

Quellenmaterial: Der Datensatz leitet sich vollständig von Textinformationen auf gov.uk ab, der offiziellen Website der britischen Regierung, die als einzige Quelle der autoritativen Wahrheit für den Benchmark dient.
Generierungsprozess:
- Korpus-Konstruktion: 2.781 gov.uk-Seiten wurden gescrapt und in eine 3-schichtige Taxonomie (Startseite $\rightarrow$ Domänen $\rightarrow$ Sub-Domänen) organisiert.
- Abfrage-Synthese: Um eine naturalistische Formulierung zu gewährleisten, wurde die Generierung von Anfragen auf realen Daten aus öffentlichen Online-Foren (primär Reddit) basierend, um kolloquiale, kontextreiche Benutzereingaben nachzuahmen und die sterile Formulierung zu vermeiden, die typisch für rein synthetische Generierung ist.
- Modell: Das Modell Qwen 2.5 72B-Instruct wurde verwendet, um die Q&A-Paare unter Berücksichtigung spezifischer Personas (variierend nach Alter, Bildung, digitaler Kompetenz, Beruf, Einkommen und Region) und Metadaten zu generieren.
- Qualitätssicherung: Ein strenges Protokoll zur menschlichen Annotation durch drei Annotatoren überprüfte eine geschichtete Stichprobe, um die Generierungsprompts zu verfeinern und sicherzustellen, dass die Antworten faktisch fundiert und zugänglich sind. Toxizitäts- und Bias-Scores wurden via Cleanlab Studio generiert, galten jedoch als weitgehend irrelevant für die Kernziele, wobei die Toxizität niedrig blieb.
Datensatzstruktur: Der Datensatz umfasst 139 Subdomänen innerhalb von 16 Hauptdomänen. Prompts sind in prozedural, instruktional, informational oder komparativ kategorisiert. Jeder Eintrag enthält die Anfrage, die erwartete Antwort (Ground Truth) und umfangreiche Metadaten.

Evaluierungs-Pipeline

Die Autoren schlagen eine Evaluierungsmethodik vor, die von FActScore und der SAFE-Architektur adaptiert wurde und aus drei Hauptkomponenten besteht:

Abstention Detection (AB - Erkennung der Verweigerung):
- Nutzt einen fein abgestimmten Klassifikator (LibrAI/longformer-action-ro), um zu identifizieren, ob ein Modell eine Antwort verweigert oder nicht in der Lage ist, eine Anfrage zu beantworten.
- Die Autoren haben das Standard-Annotationsschema angepasst, um „Disclaimer“ (Label 3) als Pass statt als Abstention zu behandeln, da Disclaimer in der Regierungsberatung Standard und erwünscht sind.
- Ein Konfidenzschwellenwert ( $AB_{th} = 0,925$ ) wird angewendet, um falsch-positive Ergebnisse zu minimieren.
Atomised Fact Generation (AFG - Atomisierte Faktengenerierung):
- Zerlegt sowohl die erwartete Antwort ( $a_i$ ) als auch die vom Modell generierte Antwort ( $\hat{a}_i$ ) in atomare Fakten/Behauptungen.
- Verwendet eine retrieval-basierte Few-Shot-Prompting-Strategie mit einem instruct-getunten LLM ( $M_{AFG}$ ), um Sätze in granulare, verifizierbare Komponenten zu zerlegen.
- Die atomaren Fakten für die Ground Truth wurden vorab berechnet, um einen festen Referenzpunkt zu gewährleisten.
Atomised Fact Verification (AFV - Atomisierte Faktenverifizierung):
- Setzt einen LLM-as-a-judge ( $M_{AFV}$ ) ein, um zu verifizieren, ob die Behauptungen des Modells durch die Ground-Truth-Fakten gestützt werden.
- Metriken:
  - F1@K: Berechnet das harmonische Mittel von Präzision und Recall relativ zu den Ground-Truth-Fakten ( $K$ ). Dies bestraft Modelle für Redundanz (Wiederholung von Fakten) und übermäßige Verbosität und belohnt Informationsdichte.
  - Verbosity ( $\Delta K$ ): Misst die Differenz zwischen der Anzahl der vom Modell generierten Claims ( $\hat{K}$ ) und der Ground Truth ( $K$ ). Positive Werte deuten auf Übergenerierung hin; negative Werte auf Auslassungen.

Kernergebnisse

Der Benchmark evaluierte 11 LLMs (einschließlich Llama-, Claude-, Gemini-, Qwen- und OpenAI-Familien) sowohl unter Zero-Shot- als auch unter Few-Shot-Bedingungen.

Leistungsprofile:
- Faktizität: Die medianen F1@K-Scores waren generell hoch (oft >0,90), was darauf hindeutet, dass Modelle oft korrekt antworten. Die Mittelwerte waren jedoch niedriger als die Mediane, was ein „Long Tail“ schlechter Leistung und hohe Varianz offenbart (Standardabweichungen zwischen 0,18 und 0,36).
- Modellfamilien: Closed-Source-Modelle wie Claude-4.5-Haiku zeigten hohe Genauigkeit, aber auch hohe Verbosität. Open-Weight-Modelle (z. B. Qwen3-32B, Llama-3.3-70B) schnitten kompetitiv gegenüber Closed-Source-Modellen ab. Kimi-K2-Instruct zeigte geringere Faktizität, aber höhere Abstentionsraten.
- Impact von Few-Shot: Entgegen den Erwartungen senkte die Bereitstellung von Few-Shot-Beispielen die durchschnittlichen F1@K-Scores im Allgemeinen und erhöhte die Varianz, während sie die Verbosität leicht reduzierte. In einigen Fällen generierten Modelle weniger Informationen, aber diese Informationen waren weniger faktisch gestützt.
Zentrale Verhaltensbefunde:
- Geringe Abstention: Modelle verweigern selten die Antwort (Raten <1,5 %), selbst wenn sie unsicher sind.
- Hohe Verbosität: Modelle neigen konsistent zur Übergenerierung von Informationen ( $\Delta K$ war positiv und signifikant, z. B. +16,63 für Claude-4.5-Haiku in Zero-Shot).
- Varianz: Hohe Standardabweichungen deuten darauf hin, dass Modelle zwar oft korrekt sind, ihre Fehlermodi jedoch unvorhersehbar sind, was ein Zuverlässigkeitsrisiko darstellt.

Bedeutung und Ansprüche

Das Paper behauptet, dass CitizenQuery-UK den ersten evidenzbasierten Rahmen zur Bewertung der Vertrauenswürdigkeit von LLMs bei Bürgeranfragen bietet. Seine Bedeutung liegt in:

Evidenz für die Nutzung im öffentlichen Sektor: Es bietet einen Mechanismus, mit dem Regierungen die KI-Genauigkeit vor der Integration bewerten können, indem sie über theoretische Annahmen hinausgehen und gemessene Leistungen nutzen.
Herausarbeitung des „Verbosity vs. Reliability“-Trade-offs: Die Ergebnisse legen nahe, dass aktuelle LLMs darauf programmiert sind, Informationen zu generieren, anstatt Unsicherheit zuzugeben. In hochsensiblen Bürgeranfragen schafft diese „Redseligkeit“ in Kombination mit hoher Varianz ein Risiko, bei dem Nutzer potenziell ungenauen oder veralteten Informationen übermäßig vertrauen könnten.
Aufruf zur Anerkennung der Fehlbarkeit: Die Autoren argumentieren, dass vertrauenswürdige KI im öffentlichen Sektor Modelle erfordert, die ihre Grenzen (Fehlbarkeit) anerkennen können, anstatt potenziell falsche Behauptungen übermäßig zu generieren.
Fundament für zukünftige Governance: Basierend auf vollständig offenen Daten legt der Benchmark den Grundstein für zentralisierte Evaluierungssuiten, die politische Entscheidungen und die Beschaffung im Bereich der KI im öffentlichen Sektor leiten können.

Die Autoren kommen zu dem Schluss, dass LLMs zwar vielversprechend sind, ihre aktuelle Tendenz zu hoher Varianz und Übergenerierung sie jedoch ohne signifikante Verbesserungen bei der Zuverlässigkeit und den Mechanismen zur Anerkennung von Unsicherheit für den direkten Einsatz ungeeignet macht.