A Risk-Oriented Verification and Validation Framework for Hallucination Detection in Public-Sector LLM Systems

Résumé technique : Un cadre de vérification et de validation orienté vers le risque pour la détection des hallucinations dans les systèmes de l'IA générative du secteur public

Énoncé du problème
L'article traite du défi critique des « hallucinations » (la génération de contenus fluides mais sans fondement factuel) dans les modèles de langage étendus (LLM) déployés au sein des systèmes administratifs et juridiques du secteur public. Contra| aux applications de consommation, les productions du secteur public ont une portée juridique ; des orientations procédurales erronées, des citations juridiques fausses ou des désignations d'autorité incorrectes peuvent compromettre la certitude juridique, la responsabilité administrative et la confiance civique.

L'auteur soutient que la littérature existante traite principalement l'hallucination comme un problème de précision technique, s'appuyant sur des méthodes de détection centrées sur le modèle (par exemple, l'échantillonnage par auto-cohérence, l'entropie sémantique) ou sur la génération augmentée par récupération (RAG). Ces approches sont souvent mal adaptées au déploiement dans le secteur public car elles supposent fréquemment l'accès aux états internes du modèle, des capacités de réentraînement ou des paramètres d'inférence spécifiques — des conditions rarement remplies lors de l'utilisation d'API de LLM de type « boîte noire ». De plus, les méthodes actuelles se concentrent sur la précision de la détection plutôt que sur les implications de gouvernance de cette détection, échouant à traduire les signaux de risque en décisions opérationnelles (par exemple, quand escalader vers des agents humains).

Méthodologie
L'article propose un cadre de Vérification et Validation (V&V) orienté vers le risque qui recadre l'hallucination non pas comme un problème d'optimisation de modèle, mais comme un risque opérationnel et de gouvernance gérable. La méthodologie est agnostique vis-à-vis du modèle, reposant uniquement sur les sorties observables, les sources faisant autorité externes et les contraintes basées sur des règles, ce qui la rend applicable aux environnements de type « boîte noire ».

Le cadre opère à travers quatre étapes interconnectées :

1. Décomposition administrative par créneaux (Slots) :
   Les réponses du LLM sont décomposées en cinq « créneaux » administrativement significatifs correspondant aux éléments procéduraux :

   • Documents requis
   • Autorité compétente
   • Délai de traitement
   • Frais
   • Base juridique
     Cette décomposition permet une localisation granulaire du risque, reconnaissant que les erreurs dans les créneaux à fort impact (ex: base juridique) sont plus conséquentes que les erreurs dans les créneaux à faible impact (ex: documents justificatifs).

2. Détection de signaux de risque par créneau :
   Trois indicateurs quantitatifs sont calculés pour chaque créneau :

   • Score d'instabilité du créneau (SIS - Slot Instability Score) : Mesure l'instabilité entre les échantillons en générant plusieurs réponses indépendantes à la même requête. Une variance élevée indique une incertitude épistémique.
   • Score de couverture de citation (CCS - Citation Coverage Score) : Évalue si le contenu du créneau est explicitement soutenu par des sources faisant autorité et valides (ex: textes statutaires). Un score de zéro dans des créneaux à haut risque est traité comme un indicateur critique.
   • Score de violation de règle (RVS - Rule Violation Score) : Une vérification binaire par rapport à des contraintes structurelles et juridictionnelles prédéfinies (ex: vérifier si une loi citée existe ou si une autorité a compétence).

3. Agrégation en Indice de Risque d'Hallucination (HRI) :
   Les signaux par créneau sont agrégés en un Indice de Risque d'Hallucination (HRI) composite. Il s'agit d'une somme pondérée où les poids ($w_i$) reflètent l'impact administratif du créneau spécifique. La formule incorpore des coefficients de réglage ($\alpha, \beta, \gamma$) pour équilibrer l'instabilité, le manque de citation et les violations de règles :
   $$HRI = \sum_{i} w_i \cdot (\alpha \cdot SIS_i + \beta \cdot (1 - CCS_i) + \gamma \cdot RVS_i)$$
   L'HRI sert de score de risque opérationnel plutôt que de probabilité de justesse.

4. Flux de décision opérationnelle :
   L'HRI est cartographié vers des états opérationnels prédéfinis basés sur des seuils :

   • PASS (HRI < 0,20) : Livraison directe.
   • WARN (0,20 ≤ HRI < 0,35) : Réponse conditionnelle avec clarification.
   • DEFER (0,35 ≤ HRI < 0,50) : Retrait des affirmations faisant autorité ; isolation des créneaux à haut risque.
   • ROUTE (HRI ≥ 0,50) : Escalade obligatoire vers des agents humains.
   • Règles de priorité (Override Rules) : Des conditions spécifiques (ex: RVS=1 pour la base juridique) déclenchent une escalade immédiate quel que soit le score agrégé, afin de prévenir la fausse assurance résultant d'une agrégation statistique.

5. Artefacts de V&V de type ISO/IEC :
   Le cadre formalise la gestion des hallucinations en artefacts standards d'assurance logicielle, incluant des cas de test avec des objectifs explicites, des préconditions et des critères d'acceptation quantitatifs, garantissant l'auditabilité et la traçabilité.

Contributions clés

• Recadrage de la gouvernance : Déplace le paradigme de la « détection des hallucinations » vers la « gestion du risque d'hallucination », alignant le déploiement des LLM avec les exigences de responsabilité et d'audit du secteur public.
• Compatibilité avec les boîtes noires : Fournit un mécanisme de vérification viable pour les environnements où les modèles ne peuvent être ni réentraînés ni inspectés en interne.
• Quantification granulaire du risque : Introduit l'HRI, une métrique composite qui traduit des signaux techniques hétérogènes en un indice orienté vers la gouvernance, interprétable par les auditeurs et les décideurs.
• Surveillance humaine proportionnelle : Établit un flux de travail où l'intervention humaine est déclenchée proportionnellement aux niveaux de risque, équilibrant l'efficacité opérationnelle et la sécurité institutionnelle.
• Standardisation : Intègre la gestion des hallucinations dans les processus de V&V existants de type ISO/IEC, facilitant l'adoption au sein des cadres de passation de marchés publics et d'assurance qualité.

Résultats et évaluation
L'article présente le cadre à travers des scénarios illustratifs impliquant l'état civil, l'octroi de licences et les demandes d'aide sociale. L'évaluation démontre comment le cadre traite ces scénarios :

• Il identifie avec succès les sorties à haut risque (ex: citations juridiques fabriquées ou autorités incorrectes) qui pourraient passer pour « auto-cohérentes » lors de contrôles traditionnels centrés sur le modèle.
• Il montre comment l'HRI différencie les incohérences informationnelles à faible impact des erreurs procédurales à haut impact, déclenchant les actions appropriées de « DEFER » ou « ROUTE ».
• L'étude valide que le cadre peut intercepter les sorties dangereuses avant qu'elles n'atteignent les canaux officiels, convertissant le comportement opaque du modèle en risques opérationnels quantifiables et contrôlables.

Signification et revendications
L'auteur affirme que la principale importance de son travail réside dans l'offre d'une approche pratique et cohérente avec la gouvernance pour déployer les LLM dans le secteur public sans compromettre la prévisibilité juridique. Il soutient que :

• La confiance repose sur le contrôle, pas sur l'infaillibilité : La confiance institutionnelle dans l'IA ne doit pas reposer sur des promesses de précision parfaite, mais sur des procédures transparentes, auditables, permettant d'identifier et de gérer les défaillances.
• La différenciation du risque est essentielle : Toutes les hallucinations ne se valent pas ; l'approche par créneaux du cadre garantit que les ressources de gouvernance sont concentrées sur les éléments procéduraux les plus conséquents.
• L'intégration est réalisable : En associant les risques d'hallucination aux pratiques standard d'assurance logicielle, le cadre lève les barrières institutionnelles à l'adoption de l'IA, permettant aux agences publiques de tirer parti des LLM tout en respectant les principes établis du droit administratif et de la responsabilité.

L'auteur note modestement que l'étude repose sur des scénarios démonstratifs plutôt que sur un benchmarking quantitatif massif et que le cadre est un complément, et non un remplacement, des stratégies de mitigation au niveau du modèle comme le RAG. Des travaux futurs sont suggérés, notamment le réglage empirique des seuils et l'extension aux contextes multimodaux.