Résumé technique : Le benchmark CitizenQuery

Problématique

Les « requêtes citoyennes » — questions du public concernant les politiques, les services et les orientations gouvernementales (ex. : prestations sociales, impôts, immigration) — représentent un cas d'usage à enjeux élevés pour les modèles de langage de grande taille (LLM). Bien que les LLM offrent le potentiel de fournir des services d'information contextuels, accessibles et rapides, leur déploiement dans le secteur public est entravé par le risque d'hallucination et de désinformation. Des réponses inexactes aux requêtes des citoyens peuvent entraîner des conséquences négatives graves, et souvent invisibles, pour les individus dépendant de ces conseils. Actuellement, il existe un manque de jeux de données de référence standardisés ou de suites d'évaluation spécifiquement conçus pour mesurer la performance des LLM dans le contexte des requêtes citoyennes, ce qui rend difficile pour les gouvernements et les parties prenantes d'évaluer la fiabilité de l'intégration de l'IA dans les services publics.

Méthodologie

Curation du jeu de données : CitizenQuery-UK

Les auteurs introduisent CitizenQuery-UK, un nouveau jeu de données de référence comprenant 22 066 paires requête-réponse synthétiques de citoyens.

• Source de données : Le jeu de données est entièrement dérivé d'informations textuelles provenant de gov.uk, le site officiel du gouvernement britannique, qui sert de source unique de vérité faisant autorité pour le benchmark.
• Processus de génération :
  • Construction du corpus : 2 781 pages de gov.uk ont été extraites (scraping), organisées selon une taxonomie à 3 niveaux (Page d'accueil $\rightarrow$ Domaines $\rightarrow$ Sous-domaines).
  • Synthèse des requêtes : Pour garantir une formulation naturelle, la génération des requêtes s'est appuyée sur des données réelles issues de forums publics en ligne (principalement Reddit) afin de mimer les entrées d'utilisateurs familières et riches en contexte, évitant ainsi la formulation stérile typique de la génération synthétique.
  • Modèle : Le modèle Qwen 2.5 72B-Instruct a été utilisé pour générer les paires Q&A, conditionné par des personas spécifiques (variant selon l'âge, l'éducation, la littératie numérique, la profession, le revenu et la région) et des métadonnées.
  • Assurance qualité : Un protocole rigoureux d'annotation humaine impliquant trois annotateurs a examiné un échantillon stratifié pour affiner les prompts de génération, garantissant que les réponses sont fondées sur les faits et accessibles. Les scores de toxicité et de biais ont été générés via Cleanlab Studio mais ont été jugés largement non pertinents pour les objectifs de base, la toxicité restant faible.
• Structure du jeu de données : Le jeu de données comprend 139 sous-domaines répartis sur 16 domaines principaux. Les prompts sont classés comme procéduraux, instructionnels, informationnels ou comparatifs. Chaque entrée inclut la requête, la réponse attendue (vérité terrain) et des métadonnées étendues.

Pipeline d'évaluation

Les auteurs proposent une méthodologie d'évaluation adaptée de FActScore et de l'architecture SAFE, composée de trois composantes principales :

1. Détection de l'abstention (AB) :

   • Utilise un classificateur affiné (LibrAI/longformer-action-ro) pour identifier si un modèle refuse de répondre ou est incapable de répondre à une requête.
   • Les auteurs adaptent le schéma d'annotation standard pour traiter les « clauses de non-responsabilité » (label 3) comme un succès plutôt que comme une abstention, reconnaissant que les clauses de non-responsabilité sont standard et encouragées dans les conseils gouvernementaux.
   • Un seuil de confiance ($AB_{th} = 0,925$) est appliqué pour minimiser les faux positifs.

2. Génération de faits atomisés (AFG) :

   • Décompose à la fois la réponse attendue ($a_i$) et la réponse générée par le modèle ($\hat{a}_i$) en faits ou affirmations atomiques.
   • Utilise une stratégie de prompting few-shot basée sur la récupération avec un LLM optimisé pour les instructions ($M_{AFG}$) pour décomposer les phrases en composants granulaires et vérifiables.
   • Les faits atomiques pour la vérité terrain sont pré-calculés pour assurer un point de référence fixe.

3. Vérification de faits atomisés (AFV) :

   • Emploie un LLM agissant comme juge ($M_{AFV}$) pour vérifier si les affirmations du modèle sont soutenues par les faits de la vérité terrain.
   • Métriques :
     • F1@K : Calcule la moyenne harmonique de la précision et du rappel par rapport aux faits de la vérité terrain ($K$). Cela pénalise les modèles pour la redondance (répétition de faits) et la verbosité excessive, récompensant la densité informationnelle.
     • Verbosité ($\Delta K$) : Mesure la différence entre le nombre de revendications générées par le modèle ($\hat{K}$) et la vérité terrain ($K$). Les valeurs positives indiquent une sur-génération ; les valeurs négatives indiquent une omission.

Résultats clés

Le benchmark a évalué 11 LLM (incluant les familles Llama, Claude, Gemini, Qen et OpenAI) sous des conditions Zero-Shot et Few-Shot.

• Profils de performance :

  • Exactitude des faits : Les scores médians F1@K étaient généralement élevés (souvent > 0,90), indiquant que les modèles répondent souvent correctement. Cependant, les moyennes étaient inférieures aux médianes, révélant une « longue traîne » de mauvaises performances et une grande variance (écarts-types allant de 0,18 à 0,36).
  • Familles de modèles : Les modèles à code source fermé comme Claude-4.5-Haiku ont montré une grande précision mais aussi une grande verbosité. Les modèles à poids ouverts (ex. : Qwen3-32B, Llama-3.3-70B) ont performé de manière compétitive face aux modèles fermés. Kimi-K2-Instruct a montré une exactitude plus faible mais des taux d'abstention plus élevés.
  • Impact du Few-Shot : Contrairement aux attentes, fournir des exemples en few-shot a généralement diminué les scores moyens F1@K et augmenté la variance, tout en réduisant légèrement la verbosité. Dans certains cas, les modèles ont généré moins d'informations, mais ces informations étaient moins soutenues par les faits.

• Principales découvertes comportementales :

  • Faible abstention : Les modèles s'abstiennent rarement de répondre (taux < 1,5 %), même en cas d'incertitude.
  • Haute verbosité : Les modèles sur-génèrent systématiquement des informations ($\Delta K$ était positif et significatif, ex. : +16,63 pour Claude-4.5-Haiku en Zero-Shot).
  • Variance : La variance élevée suggère que si les modèles sont souvent corrects, leurs modes de défaillance sont imprévisibles, ce qui pose un risque de fiabilité.

Signification et affirmations

L'article affirme que CitizenQuery-UK fournit la première preuve fondée sur des données d'un cadre d'évaluation de la fiabilité des LLM pour les tâches de requêtes citoyennes. Sa signification réside dans :

1. Preuve pour l'adoption dans le secteur public : Il offre un mécanisme pour que les gouvernements évaluent la précision de l'IA avant son intégration, passant des suppositions théoriques à une performance mesurée.
2. Mise en évidence du compromis « Verbosité vs Fiabilité » : Les résultats suggèrent que les LLM actuels privilégient la génération d'informations plutôt que l'aveu d'incertitude. Dans les requêtes citoyennes à enjeux élevés, cette « envie de parler » combinée à une variance élevée crée un risque où les utilisateurs peuvent accorder une confiance excessive à des informations inexactes ou obsolètes.
3. Appel à une faillibilité reconnue : Les auteurs soutiennent qu'une IA de confiance dans le secteur public nécessite des modèles capables de reconnaître leurs limites (faillibilité) plutôt que de sur-générer des affirmations potentiellement incorrectes.
4. Fondation pour une gouvernance future : Construit entièrement sur des données ouvertes, le benchmark pose les bases de suites d'évaluation centralisées qui pourront guider les décisions politiques et d'approvisionnement concernant l'IA dans le secteur public.

Les auteurs concluent que bien que les LLM soient prometteurs, leur tendance actuelle vers une haute variance et une sur-génération les rend inappropriés pour un déploiement direct sans améliorations significatives de la fiabilité et des mécanismes de reconnaissance de l'incertitude.