💬 NLP

Calibration of Structured Ignorance Certificates for Diagnosing Unknown Unknowns in Reasoning Models

Cet article introduit les Certificats d'Ignorance Structurés (SICs), un schéma de sortie au format JSON et une méthodologie d'entraînement associée utilisant un nouveau jeu de données « Inconnu-Inconnu » transdomaine et un ajustement fin par GRPO, ce qui permet aux modèles de raisonnement d'identifier et de structurer explicitement leurs lacunes de connaissances plutôt que de halluciner des réponses, atteignant ainsi une validité élevée et une génération améliorée fondée sur la récupération.

Auteurs originaux : Subramanyam Sahoo

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Subramanyam Sahoo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot très intelligent et très bavard. Ce robot a lu presque tout ce qui existe sur Internet. Mais voici le problème : quand vous lui posez une question dont il ne connaît pas la réponse, il ne dit pas « Je ne sais pas ». Au lieu de cela, il invente avec assurance une histoire qui semble parfaite mais qui est complètement fausse. C'est comme un élève qui, face à un problème de mathématiques qu'il ne sait pas résoudre, écrit simplement un nombre au hasard en espérant que le professeur ne remarquera rien.

Ce document traite de l'apprentissage d'un nouveau super-pouvoir à ce robot : la capacité d'admettre quand il est véritablement démuni, et d'expliquer exactement pourquoi il est démuni.

Voici la décomposition de la manière dont ils y sont parvenus, en utilisant des analogies simples :

1. Le Problème : Les « Inconnus Inconnus » (Unknown Unknowns)

Considérez la connaissance comme une carte.

Les Inconnus Connus (Known Unknowns) : Vous savez qu'il y a un trou dans la carte. Vous savez que vous ne connaissez pas le chemin vers la ville suivante. Le robot peut généralement dire : « Je ne suis pas sûr de cela ».
Les Inconnus Inconnus (Unknown Unknowns) : C'est la partie effrayante. C'est un trou dans la carte dont vous ignoriez même l'existence. Le robot ne réalise pas qu'il lui manque des informations, alors il invente une fausse route pour combler le vide.

Les chercheurs se sont concentrés sur ces « Inconnus Inconnus » — des questions qui mélangent deux domaines différents (comme demander comment la biologie affecte l'économie). Ces questions sont délicates car le robot n'a jamais vu cette combinaison spécifique auparavant, il essaie donc d'inventer une réponse.

2. La Solution : Les « Certificats d'Ignorance Structurés » (SICs)

Au lieu de laisser le robot deviner, les chercheurs lui ont donné un règlement strict. Ils lui ont dit : « Si tu ne connais pas la réponse, tu dois remplir un formulaire spécifique appelé un "Certificat d'Ignorance Structuré" (SIC). »

Il ne s'agit pas seulement de dire « Je ne sais pas ». C'est un formulaire numérique avec quatre cases spécifiques que le robot doit remplir :

La Pièce Manquante : Quel est l'écart de connaissance spécifique qui cause le problème ? (ex : « Je ne sais pas comment le droit spatial s'applique à la physique. »)
Les Outils Manquants : Quels concepts spécifiques aurais-je besoin pour résoudre ceci ? (ex : « J'ai besoin de connaître le Traité de l'espace extra-atmosphérique et la mécanique orbitale. »)
La Requête de Recherche : Si j'avais un moteur de recherche, quels mots exacts taperais-je pour trouver la réponse ?
Niveau de Confiance : À quel point suis-je certain de mon ignorance ?

En le forçant à remplir ce formulaire, le robot cesse d'halluciner (d'inventer des choses) et commence à agir comme un bibliothécaire professionnel qui dit : « Je ne peux pas répondre à cela, mais voici exactement ce que vous devez rechercher pour trouver la réponse ».

3. Comment ils ont entraîné le robot

Pour enseigner ce nouveau comportement au robot, les chercheurs ont dû créer un camp d'entraînement spécial.

Les Questions de Test : Ils ont pris un robot intelligent (Qwen3-14B) et lui ont demandé d'inventer 7 347 questions complexes mélangeant deux sujets différents (comme « Comment un virus affecte-t-il la bourse ? »). C'étaient les questions d'« Inconnus Inconnus ».
Le Système de Récompense : Ils ont utilisé une méthode d'entraînement appelée GRPO (Optimisation de la Politique Relative de Groupe). Imaginez un jeu où le robot gagne des points pour :
- Remplir le formulaire correctement (JSON valide).
- Nommer des concepts spécifiques et utiles (pas des concepts vagues).
- Écrire une requête de recherche qui trouverait réellement la réponse.
- Perdre des points s'il tente d'inventer une réponse.

4. Les Résultats

Après l'entraînement, ils ont testé le robot sur de nouvelles questions complexes qu'il n'avait jamais vues auparavant. Les résultats sont impressionnants :

Taux de réussite de 99,5 % : Le robot a presque toujours suivi les règles et rempli le formulaire correctement au lieu d'inventer des choses.
Meilleures requêtes de recherche : Les « requêtes de recherche » que le robot a écrites étaient bien meilleures que ce que le robot non entraîné aurait pu deviner.
Le Test de « Divergence » : Les chercheurs ont utilisé une astuce ingénieuse pour vérifier si le robot « réfléchissait » réellement à son ignorance. Ils ont posé la même question de différentes manières. Si le robot se contentait de deviner, il donnerait des réponses différentes. S'il admettait véritablement son ignorance, il dirait systématiquement : « Je ne sais pas, voici le formulaire ». Le robot entraîné a réussi ce test, prouvant qu'il avait véritablement appris le comportement.

Résumé

Cette publication montre que nous pouvons entraîner l'IA à cesser de mentir avec assurance lorsqu'elle ne sait pas quelque chose. Au lieu de deviner, l'IA apprend à vous remettre un « Certificat d'Ignorance » qui explique clairement ce qui lui manque et comment trouver la vraie réponse. Cela transforme un « menteur convaincant » en un « guide honnête et utile ».

Résumé technique : Calibrage des certificats d'ignorance structurés pour le diagnostic des « inconnus inconnus » dans les modèles de raisonnement

1. Énoncé du problème

Les grands modèles de langage (LLM) échouent fréquemment d'une manière spécifique lorsqu'ils sont confrontés à des questions dépassant leur distribution d'entraînement : plutôt que de reconnaître leur ignorance, ils produisent des réponses fluides mais incorrectes (hallucinations). Ce problème est particulièrement aigu concernant les « inconnus inconnus » (unknown unknowns) — des lacunes de connaissances que le modèle ne reconnaît même pas comme existantes. Bien que des travaux antérieurs se soient concentrés sur le calibrage de la confiance pour les « connus inconnus » (cas où le modèle reconnaît un domaine mais manque de confiance) ou sur la prédiction sélective (s'abstenir sans explication), il manque des méthodes systématiques pour produire des sorties structurées et exploitables lorsqu'une requête tombe complètement en dehors de la couverture représentationnelle du modèle.

2. Méthodologie

2.1. Construction du jeu de données d'« inconnus inconnus » (UU)

Pour remédier à la rareté des données pour les « inconnus inconnus », les auteurs ont construit un jeu de données de 7 347 questions trans-domaines.

Source : Les questions ont été sélectionnées à partir de sept domaines distincts : physique, biologie, ingénierie, informatique, économie, médical et juridique, provenant de StackExchange et MedQA-USMLE.
Synthèse : À l'aide d'un pipeline qui sollicite Qwen3-14B, les auteurs ont assemblé des paires de questions provenant de domaines différents (21 paires possibles) pour créer de nouvelles requêtes nécessitant une véritable intégration de concepts issus de ces deux champs.
Filtrage : Seuls les échantillons pour lesquels le modèle générateur exprimait une « confiance uu » élevée (> 0,4) que la question était impossible à répondre pour un expert mono-domaine ont été conservés.
Robustesse : Un pipeline de parsing JSON à plusieurs étapes a atteint un taux de succès de 99,3 % dans l'extraction de l'échantillon valide du processus de génération.

2.2. Certificats d'ignorance structurés (SIC)

Le schéma de sortie central est le Certificat d'Ignorance Structuré (SIC), un objet JSON conçu pour transformer l'hésitation vague en métadonnées épistémiques opérationnelles. Un SIC contient quatre champs :

Intersection manquante : Une description en langage naturel de la lacune conceptuelle.
Concepts requis : Des concepts nommés spécifiques à chaque domaine, évalués par un Score de Spécificité du Certificat (CSS).
Requête de recherche : Une chaîne de recherche ciblée destinée à débloquer la réponse, évaluée par ROUGE-L par rapport aux concepts de référence.
Confiance de l'ignorance : Une valeur scalaire dans l'intervalle [0, 1].

2.3. Entraînement via l'Optimisation de Politique Relative de Groupe (GRPO)

Les auteurs ont affiné un modèle de 14 milliards de paramètres (Qwen3-14B) en utilisant des adaptateurs LoRA et une quantification 4-bit.

Algorithme : GRPO a été choisi pour son efficacité mémoire, évitant le besoin d'une fonction de valeur distincte en utilisant des récompenses relatives intra-groupe.
Fonction de récompense : Une récompense composite $R(c, r)$ $R (c, r)$ a été définie pour optimiser trois objectifs :
- Utilité de la recherche (50 %) : Score ROUGE-L entre la requête de recherche générée et les concepts de référence.
- Spécificité des concepts (30 %) : Basée sur le nombre de concepts requis énumérés (saturant à 4).
- Validité du format (20 %) : Récompense binaire pour une sortie JSON valide.
Entraînement : Le modèle a été entraîné pendant 500 étapes sur un seul GPU NVIDIA A100.

2.4. Évaluation via une sonde de divergence de paraphrase

Pour vérifier si l'état interne du modèle reflète le changement épistémique voulu, une « sonde de divergence de paraphrase » a été entraînée.

Hypothèse : L'incertitude interne d'un modèle est révélée par des réponses incohérentes à des paraphrases d'une même question.
Méthode : La sonde génère $K=5$ paraphrases d'une question, calcule les plongements (embeddings) de réponse et extrait des caractéristiques de divergence (divergence moyenne, divergence maximale, etc.).
Classification : Un classificateur de régression logistique a été entraîné pour distinguer les Connus-Connus (KK), les Connus-Inconnus (KU) et les Inconnus-Inconnus (UU).

3. Contributions clés

Jeu de données UU : Un pipeline évolutif pour générer 7 347 questions trans-domaines qui nécessitent l'intégration de connaissances issues de deux domaines distincts, avec un taux de succès de parsing de 99,3 %.
Schéma SIC : Un format de sortie JSON qui force les modèles à nommer explicitement les intersections de domaines manquantes, à énumérer des concepts spécifiques et à proposer des requêtes de recherche, plutôt que de halluciner des réponses.
Entraînement basé sur GRPO : Une approche de fine-tuning utilisant une récompense composite (utilité de recherche, spécificité, validité du format) qui réussit à instaurer des capacités de génération d'ignorance structurée dans un modèle de 14B.

4. Résultats

L'évaluation a été menée sur 735 questions UU non vues.

Adhérence au format : Le modèle a atteint un taux de validité JSON de 99,46 %, démontrant un apprentissage fiable des contraintes structurelles.
Spécificité : Le score moyen de spécificité du certificat (CSS) était de 0,967, indiquant que le modèle génère systématiquement au moins quatre concepts requis par certificat.
Utilité de la recherche : Le score de productivité moyen (SPS, basé sur ROUGE-L) était de 0,178. Bien que modeste, cela reflète la difficulté du chevauchement lexical avec des étiquettes de concepts ouverts.
Changement épistémique : La sonde de divergence de paraphrase a confirmé que les sorties ajustées par SIC présentaient des scores de probabilité d'« inconnus inconnus » plus élevés (moyenne de 0,389) par rapport à la ligne de base aléatoire (0,333), suggérant que le modèle s'est déplacé vers le régime UU.
Ablation : Comparé au modèle de base, le modèle ajusté par SIC montre une amélioration relative de 3,6 % des scores ROUGE-L sur la génération ancrée dans la recherche (0,0436 contre 0,0421), avec 27 % d'échantillons présentant des deltas positifs.

5. Signification et Limites

Signification :
L'article démontre que la « structuration épistémique explicite » est une capacité apprenable et mesurable. En entraînant les modèles à produire des SIC, le cadre permet aux LLM de se dégrader gracieusement aux frontières de la connaissance plutôt que de confabuler. Cela sert de planificateur de pré-récupération pour les systèmes de génération augmentée par récupération (RAG), où le champ « requête de recherche » fournit une chaîne de recherche ciblée ancrée dans un diagnostic explicite de la lacune de connaissance.

Limites :

Précision de la sonde : La sonde de divergence de paraphrase n'a atteint qu'une précision de 44,9 % dans la classification tripartite, la frontière entre KK et KU restant ambiguë.
Couverture des domaines : Le jeu de données UU est limité à sept domaines prédéfinis et peut ne pas couvrir les domaines interdisciplinaires émergents.
Proxy de récompense : La récompense d'utilité de recherche repose sur ROUGE-L par rapport à des chaînes de concepts concaténées, ce qui est un proxy lexical qui peut ne pas capturer l'équivalence sémantique.
Généralisation : Les expériences ont été limitées à une seule famille de modèles de 14B (Qwen3) ; la généralisation à d'autres échelles et architectures reste à tester.
Intégration : L'intégration de bout en bout des sorties SIC dans un pipeline RAG en direct n'a pas été évaluée dans ce travail.

Les auteurs concluent que, bien que le cadre SIC montre des gains mesurables dans la structuration épistémique, les travaux futurs devraient explorer des caractéristiques de sonde plus riches, des taxonomies de domaines étendues, des récompenses basées sur les plongements (embeddings) et des architectures de modèles plus larges.