Résumé technique : Gouvernance par les métriques et le cadre govllm

1. Énoncé du problème

Les approches actuelles de conformité à l'IA traitent la conformité comme un verdict binaire, émis au moment de l'audit, plutôt que comme une propriété continue et mesurable des systèmes de production. Cette « fiction de conformité » est structurellement inadaptée aux exigences du Règlement sur l'IA de l'UE, qui impose une surveillance humaine continue et la détection de dérives comportementales émergentes dans les systèmes déployés. Les évaluations statiques (par exemple, une documentation rédigée une fois, des audits périodiques) échouent à capturer la nature dynamique de l'IA générative et à agents, où le comportement évolue avec le contexte, les schémas d'utilisation et les mises à jour des modèles. De plus, les cadres de gouvernance existants manquent souvent d'outils opérationnels pour surveiller la conformité en temps d'exécution, tandis que les cadres d'évaluation existants sont optimisés pour la latence et les coûts plutôt que pour la génération de signaux réglementaires.

Une tension structurelle critique existe : dans les environnements réglementés soumis à des exigences de souveraineté des données (par exemple, l'article 44 du RGPD), le routage de l'évaluation de la conformité via des API externes peut en soi violer les obligations évaluées. Par conséquent, l'évaluation sur site (on-premise) est une nécessité réglementaire, et non simplement une préférence de conception.

2. Méthodologie : Gouvernance par les métriques

L'article introduit la Gouvernance par les métriques, un principe affirmant que la conformité réglementaire doit être traitée comme un signal continu dérivé de l'observabilité de la production, plutôt que comme un verdict d'audit statique. Pour opérationnaliser cela, les auteurs présentent govllm, un cadre d'exécution open-source et sur site.

Composants architecturaux principaux

• Profils de gouvernance : Un ensemble ordonné de critères de conformité (par exemple, transparence, confidentialité des données, non-manipulation) associés à des poids et des seuils minimums. Ces profils traduisent les obligations légales en métriques techniques mesurables.
• Profil-comme-jury : Au lieu d'un juge monolithique unique, le système emploie un panel de juges LLM spécialisés. Chaque critère réglementaire est assigné à un juge LLM spécifique (par exemple, un rôle de délégué à la protection des données mappé à un modèle spécifique). Cette conception impose une séparation générateur/évaluateur pour prévenir les biais d'auto-préférence.
• Pipeline d'évaluation en temps d'exécution :
  • Module de chat : Achemine les invites utilisateur vers les modèles actifs et déclenche une évaluation asynchrone par les juges.
  • Observabilité : Agrège la latence, les taux d'erreur et les données de traçage (via Langfuse).
  • Service d'évaluation : Orchestre l'inférence des juges en utilisant de petits modèles de langage (SLM) s'exécutant localement via Ollama.
  • Gestion du cycle de vie : Implémente un cycle de qualification à quatre zones (Test → Passage humain → Production → Quarantaine). Les modèles sont automatiquement mis en quarantaine si leurs scores de conformité se dégradent en dessous de seuils configurables.
• Routage basé sur les trajectoires : Contrairement au routage standard basé sur la performance instantanée (latence/coût), govllm intègre l'historique des scores. Il peut router vers des modèles dont la trajectoire de conformité s'améliore, même si leur score actuel est inférieur à celui d'un modèle en déclin.

Protocole d'évaluation des juges

Les auteurs valident le cadre en utilisant un corpus de vérité terrain de 49 paires invite/réponse annotées couvrant cinq critères réglementaires (Transparence, Surveillance humaine, Confidentialité des données, Non-manipulation, Injection d'invite). Ceux-ci ont été évalués par quatre SLM (phi4-mini, mistral:7b, gemma3:4b, qwen3:1.7b) s'exécutant entièrement sur site. L'évaluation a testé trois conditions d'ordre des questions (original, inversé, permuté) pour mesurer le biais de position et les modes de défaillance structurels.

3. Contributions clés

Théoriques et architecturales

1. Gouvernance par les métriques : Formalise la conformité comme un signal continu dérivé de l'observabilité de la production.
2. Profil-comme-jury : Propose la transposition computationnelle de panels d'experts humains, où des LLM spécialisés évaluent des rôles réglementaires spécifiques.
3. Cycle de vie de qualification gouverné : Implémente un pipeline test-passage humain-production-quarantaine aligné sur l'article 9 du Règlement sur l'IA (gestion continue des risques) et l'article 14 (surveillance humaine).
4. Porte de conformité : Un mécanisme de politique-as-code qui exclut automatiquement les modèles ne répondant pas aux scores de seuil minimum pour des critères spécifiques du routage.

Empiriques et diagnostiques

5. Variance inter-juges comme signal : Repense le désaccord entre les juges non comme du bruit à supprimer, mais comme un signal d'incertitude réglementaire justifiant une arbitrage humain.
6. Détection d'incohérence intra-juge : Identifie et formalise trois modes de défaillance structurels chez les petits juges réglementaires, observables sans vérité terrain :
   • Biais de vérité : Une tendance systématique à répondre « conforme » (vrai) indépendamment des violations.
   • Dissociation raisonnement/sortie : Produire une raison identifiant une violation tout en renvoyant simultanément un score conforme.
   • Sensibilité à l'architecture de l'invite : Haute sensibilité à l'ordre des questions et au format de sortie (par exemple, biais de choix forcé).
7. Évaluation de validité basée sur une liste de contrôle : Introduit un protocole de liste de contrôle binaire ancré dans des sources jurisprudentielles (CNIL, ANSSI, Règlement sur l'IA de l'UE) pour mesurer la validité du juge indépendamment de sa fiabilité.

4. Résultats expérimentaux

L'étude a évalué quatre SLM (1,7 à 7 milliards de paramètres) sur 49 cas répartis sur trois ordres de questions.

• Performance des modèles : Aucun modèle unique n'a dominé tous les critères. phi4-mini (3,8 milliards) a obtenu le plus haut accord global (69,1 % sur l'ordre original), surpassant le plus grand mistral:7b (51,5 %). Cependant, la robustesse de phi4-mini était conditionnelle ; elle s'est dégradée de manière significative (−25 points de pourcentage) sur le critère data_privacy sous un ordre de questions permuté.
• Spécialisation : Un panel spécialisé (Profil-comme-jury), assignant chaque critère à son juge le plus valide, a surpassé le meilleur juge unique de +3,5 points de pourcentage (72,6 % contre 69,1 %) et la référence de +10,9 points.
• Biais de position : Le biais de position s'est avéré être une propriété structurelle des petits juges, dégradant l'accord jusqu'à 25 points de pourcentage sous permutation de l'ordre des questions. mistral:7b n'a montré aucune sensibilité à l'ordre mais est resté le moins précis dans l'ensemble.
• Modes de défaillance :
  • gemma3:4b a présenté une faible cohérence raison-score (69,1 %), avec des raisons souvent ambiguës ou contradictoires par rapport aux scores.
  • mistral:7b a affiché un motif « éloquent mais faux » : haute cohérence interne (92,7 %) mais faible accord avec la vérité terrain (51,5 %).
  • qwen3:1.7b a montré une forte sensibilité à la position et un calibrage dépendant du contexte.
• Nombre de paramètres : Le nombre de paramètres était un mauvais proxy pour le score de gouvernance (corrélation de Pearson r = −0,39), suggérant que l'étalonnage spécifique au domaine compte plus que la capacité brute dans l'évaluation réglementaire.

5. Signification et revendications

L'article affirme qu'une surveillance réglementaire significative de la conformité est réalisable à l'aide de petits modèles locaux, à condition que :

1. Les juges soient spécialisés par critère plutôt que de reposer sur un seul modèle généraliste.
2. Les juges soient évalués pour leur validité (précision par rapport à la vérité terrain) plutôt que simplement pour leur fiabilité (cohérence).
3. L'architecture de gouvernance traite l'incertitude du juge (variance inter-juges) comme un signal réglementaire pour une escalade humaine, plutôt que comme un défaut à moyenner.

Les auteurs positionnent govllm comme une étape concrète, reproductible et souveraine vers l'opérationnalisation des exigences de surveillance continue du Règlement sur l'IA de l'UE, en particulier pour les systèmes à haut risque où les audits statiques sont insuffisants. Le cadre adresse la « fiction de conformité » en passant des déclarations ponctuelles à des signaux continus et observables dérivés des interactions de production réelles, tout en maintenant la souveraineté des données grâce à une exécution entièrement sur site.

L'article reste modeste dans ses revendications, notant que le corpus de vérité terrain est préliminaire, que la signification statistique est limitée par la taille de l'échantillon, et que les signaux de conformité du cadre sont des estimations statistiques plutôt que des déterminations juridiques. Un travail futur est identifié comme nécessaire pour une validation empirique à grande échelle du routage basé sur les trajectoires et la mesure de la discrimination épistémique entre les familles de modèles.