Certainty-Validity: A Diagnostic Framework for Discrete Commitment Systems

Ce papier propose le cadre Certainty-Validity (CVS) pour évaluer les systèmes à engagement discret, révélant que leur incapacité à dépasser un plafond d'ambiguïté n'est pas un échec mais une fonctionnalité protectrice contre les hallucinations, et plaide pour une optimisation basée sur la validité plutôt que sur la simple précision.

L'essentiel

🧠 Le Dilemme du "Sachant" : Pourquoi être sûr de soi n'est pas toujours une bonne chose

Imaginez que vous avez un élève très intelligent, mais un peu trop confiant.

• Scénario A : Il répond à une question difficile qu'il ne connaît pas en disant : "Je ne suis pas sûr, je ne peux pas répondre."
• Scénario B : Il répond à la même question en criant : "C'est la réponse X !" (alors que c'est faux).

Dans le monde classique de l'intelligence artificielle (IA), les professeurs (les chercheurs) notent ces deux élèves de la même manière : 0/10. Pour eux, une erreur est une erreur. Peu importe si l'élève était humble ou arrogant.

Mais l'auteur de ce papier, Datorien L. Anderson, dit : "Attendez une minute !"
Il y a une différence énorme entre un élève qui admet son ignorance et un élève qui hallucine des réponses. C'est là qu'intervient son nouveau système de notation : le CVS (Certainty-Validity).

---

🏗️ L'Analogie du Bâtisseur de Ponts

Pour comprendre ce papier, imaginons que notre IA est un ingénieur en construction chargé de construire des ponts.

1. Les Données "Propres" (Le sol ferme) :
   Sur certains terrains, le sol est dur et stable. L'ingénieur peut construire un pont solide et dire : "Je suis à 100 % sûr que ce pont tiendra." C'est ce qu'on appelle une Prédiction Confiante et Correcte. Tout va bien.

2. Les Données "Ambiguës" (Le sol boueux) :
   Sur d'autres terrains, le sol est glissant, mouillé et imprévisible.

   • Le comportement sain (CVS élevé) : L'ingénieur regarde le sol, se gratte la tête et dit : "Je ne peux pas construire de pont ici, c'est trop dangereux. Je m'arrête."
     • Résultat : Il ne construit rien. Dans les statistiques classiques, c'est une "erreur" (il n'a pas fait de pont), mais en réalité, c'est une sagesse. Il a évité un désastre.
   • Le comportement dangereux (CVS bas) : L'ingénieur, poussé par la pression de construire plus de ponts, ferme les yeux, saute sur le sol boueux et crie : "C'est un pont solide !"
     • Résultat : Le pont s'effondre. C'est une hallucination. Il est confiant, mais il a tort.

📉 Le Problème du "Plafond de 83 %"

Les chercheurs ont remarqué quelque chose d'étrange avec leurs modèles d'IA. Peu importe combien ils les entraînent, ils s'arrêtent toujours à environ 83 % de réussite.

• L'ancienne théorie : "Nos modèles sont limités. Ils ne peuvent pas être meilleurs."
• La nouvelle théorie (celle de ce papier) : "Non ! Nos modèles sont trop sages."

Le papier explique que ces 17 % d'échecs ne sont pas des échecs. Ce sont des moments où le modèle regarde des données floues (comme un vêtement qui ressemble à la fois à un pull et à une veste, ou un avis de film ambigu) et décide de ne pas répondre pour ne pas se tromper.

C'est comme si un détective disait : "Je ne peux pas résoudre ce crime car il n'y a pas assez de preuves." C'est une bonne réponse, même si elle ne résout pas le cas.

🚨 Le Danger du "Surapprentissage Bénéfique" (Benign Overfitting)

C'est la partie la plus importante du papier.

Quand on force l'IA à continuer d'apprendre sur ces données floues, elle commence à changer de comportement.

• Au début, elle dit : "Je ne sais pas" (Humble).
• Plus tard, elle dit : "Je suis sûr que c'est ça !" (Arrogante).

Le papier montre que l'IA commence à halluciner. Elle ne devient pas plus intelligente, elle devient juste plus confiante dans ses erreurs.
C'est ce qu'ils appellent le passage de "Incertitude Correcte" (je ne sais pas, donc je ne me trompe pas) à "Confiance Incorrecte" (je suis sûr, donc je me trompe gravement).

L'analogie du jeu vidéo :
Imaginez un jeu où vous devez éviter les pièges.

• Un joueur prudent (CVS élevé) s'arrête devant un piège douteux. Il perd un point de temps, mais il ne meurt pas.
• Un joueur confiant (CVS bas) saute dans le piège en pensant que c'est un escalier. Il perd une vie.
  Le papier dit : "Ne regardez pas seulement le score final (la vitesse), regardez si le joueur sait quand s'arrêter."

🎯 La Solution : Le Nouveau Score (CVS)

Au lieu de juste compter le nombre de bonnes réponses (la précision classique), les chercheurs proposent de compter la qualité de la confiance.

Ils utilisent une grille de 4 cases :

1. ✅ Confiant & Correct : "Je sais, et j'ai raison." (Le but ultime).
2. ❌ Confiant & Incorrect : "Je suis sûr, mais j'ai tort." (Le pire scénario : l'illusion).
3. ❓ Incert & Correct : "Je ne suis pas sûr, mais j'ai eu de la chance."
4. 🛑 Incert & Incorrect : "Je ne suis pas sûr, et j'ai tort." (C'est acceptable ! C'est l'honnêteté intellectuelle).

Le message clé : Un bon modèle d'IA ne doit pas essayer de tout savoir. Il doit savoir où il doit s'arrêter.

💡 Conclusion Simple

Ce papier nous apprend que dans le monde de l'IA, l'humilité est une compétence.

• Si un modèle dit "Je ne sais pas" sur une question floue, c'est un bon modèle.
• Si un modèle invente une réponse avec assurance sur une question floue, c'est un mauvais modèle, même s'il a un score de réussite élevé.

Pour construire des IA fiables (surtout pour des choses importantes comme la médecine ou la justice), nous ne devons pas chercher l'IA qui a le score le plus élevé, mais celle qui sait quand elle ne devrait pas répondre. C'est ça, la vraie intelligence : savoir distinguer ce que l'on connaît de ce que l'on ignore.

Résumé technique

Résumé Technique : Certainty-Validity (CVS)

1. Le Problème : Les Limites des Métriques Standard

Les métriques d'évaluation standard en apprentissage automatique (précision, rappel, AUROC, exactitude) reposent sur une hypothèse épistémologique fondamentale : toutes les erreurs sont équivalentes. Une prédiction incorrecte faite avec une forte confiance est pénalisée de la même manière qu'une prédiction incorrecte faite avec incertitude.

L'auteur soutient que cette hypothèse est fausse pour les systèmes à engagement discret (architectures qui sélectionnent des états ternaires : $\{-W, 0, +W\}$ pour représenter un engagement logique ou structurel).

• Le cas de l'incertitude appropriée : Un système qui émet un état neutre (0) face à des données ambiguës se comporte correctement, même si la vérité terrain impose une étiquette binaire.
• Le cas de l'hallucination : Un système qui émet un signal fort ($-W$ ou $+W$) sur des données ambiguës "hallucine" une structure qui n'existe pas.
• Le problème actuel : Les métriques d'exactitude (Accuracy) confondent ces deux comportements, masquant un mode de défaillance critique : le comportement Incorrigé-Certain (Confident-Incorrect, CI).

2. Méthodologie : Le Cadre Certainty-Validity (CVS)

Pour résoudre ce problème, l'article introduit le cadre Certainty-Validity (CVS), une méthode de diagnostic qui décompose les prédictions en une matrice $2 \times 2$ distinguant la certitude (Haute/Basse) de la validité (Correct/Incorrect) :

1. CC (Confident-Correct) : Engagement correct et assuré.
2. CI (Confident-Incorrect) : Échec critique. Hallucination de structure sur des données ambiguës.
3. UC (Uncertain-Correct) : Absence d'engagement sur une donnée correcte (manque de couverture).
4. UI (Uncertain-Incorrect) : État épistémique valide. Le modèle refuse de s'engager sur des données ambiguës et se trompe, mais signale son incertitude.

Hypothèses de recherche :
L'article examine le phénomène du "Plafond d'Ambiguïté à 83%", observé sur plusieurs benchmarks (Fashion-MNIST, EMNIST, IMDB). Deux hypothèses sont testées :

• H1 (Limite de capacité) : L'architecture est incapable de dépasser 83%.
• H2 (Limite d'ambiguïté) : Les 17% restants sont intrinsèquement ambigus (bruit, textures, étiquettes floues) et ne devraient pas être appris par engagement structurel.

Expériences d'ablation :
Pour distinguer H1 de H2, les auteurs ont créé des sous-ensembles de données "propres" en supprimant les classes structurellement ambiguës :

• Fashion-MNIST : Suppression des classes "chemise", "pull" et "manteau" (topologiquement identiques, différenciables uniquement par la texture).
• EMNIST : Utilisation exclusive des chiffres (0-9), éliminant les confusions lettres/chiffres (O/0, I/1).
• IMDB : Filtrage des avis pour ne garder que les sentiments forts (notes $\ge 8$ ou $\le 3$), éliminant l'ambiguïté sémantique des avis mitigés.

3. Résultats Clés

A. Le Plafond de 83% est une propriété du jeu de données, pas de l'architecture

• Sur les données "propres" (sans ambiguïté structurelle), l'architecture atteint des performances bien supérieures : 97% sur Fashion-MNIST (7 classes), 99,59% sur EMNIST (chiffres), et 87,03% sur IMDB (sentiments forts).
• Cela prouve que l'architecture ne "échoue" pas à 83% ; elle atteint la limite de la structure apprenable et refuse de s'engager sur le reste (les 17% ambigus).

B. Le "Pic Platonique" (Platonic Spike)

• Sur les données propres, le modèle présente un écart de généralisation positif dès la première époque (Epoch 1) : la précision de test dépasse largement celle de l'entraînement (ex: +14,69% sur Fashion-MNIST). Cela indique une découverte rapide de la structure sous-jacente avant la mémorisation.
• Sur les données ambiguës (jeux complets), ce pic n'existe pas, et le modèle est immédiatement attiré par le surapprentissage (overfitting).

C. Le Mécanisme du "Surapprentissage Bénin" (Benign Overfitting)
L'analyse CVS révèle une dynamique cachée par la précision standard :

• Migration UI $\to$ CI : Au fur et à mesure que l'entraînement progresse, le modèle ne "apprend" pas mieux les cas ambigus. Au contraire, il convertit des erreurs précédemment marquées comme incertaines (UI) en erreurs certaines (CI).
• Dégradation de l'étalonnage : Même si la précision de test reste stable ou augmente légèrement, le Certainty-Validity Score (CVS) chute drastiquement. Le modèle devient "confiantement faux".
• Exemple IMDB : À l'époque 1, le modèle a une précision de 82,11% mais un CVS élevé (0,52). À l'époque 9, la précision est de 86,30%, mais le CVS s'effondre à 0,15. Le modèle a perdu sa capacité à dire "je ne sais pas".

D. Diagramme de Phase d'Excitabilité
Une visualisation (sur MNIST) montre trois phases :

1. Découverte Structurelle : Test > Train, CVS élevé.
2. État Optimal : Divergence nulle, CVS maximal.
3. Surapprentissage Bénin : Divergence nulle, mais CVS en chute libre (hallucination croissante).

4. Contributions Principales

1. Le Cadre CVS : Une nouvelle méthode d'évaluation qui sépare la fiabilité (Précision d'Engagement) de la conscience de soi (Incertitude Appropriée).
2. Redéfinition de l'Échec : L'erreur UI (Incertitude-Incorrecte) n'est pas un échec, mais un état épistémique valide. Le véritable échec est l'erreur CI (Certaine-Incorrecte).
3. Explication du Plafond de 83% : Ce plafond n'est pas une limite architecturale, mais la proportion de données ambiguës dans les benchmarks standards.
4. Optimisation de l'Arrêt Précoce (Early Stopping) : L'article propose d'arrêter l'entraînement non pas lorsque la précision maximale est atteinte, mais lorsque le CVS commence à décliner, préservant ainsi l'étalonnage épistémique du modèle.
5. Rôle du Paramètre $\tau$ (Gumbel-Softmax) : Il est démontré qu'il ne faut pas refroidir (anneal) la température $\tau$ vers des valeurs très faibles. Un $\tau$ modéré (0,7–0,9) est nécessaire pour maintenir la capacité du modèle à exprimer l'incertitude et éviter la migration UI $\to$ CI.

5. Signification et Implications

• Pour l'Évaluation des Modèles : Les métriques traditionnelles sont inadéquates pour les systèmes de raisonnement discret. Un modèle avec 83% de précision et un CVS élevé est supérieur à un modèle avec 83% de précision et un CVS faible (car ce dernier hallucine).
• Pour la Sécurité (Safety-Critical) : Dans les applications critiques, un modèle qui sait ce qu'il ne sait pas (UI élevé) est préférable à un modèle très précis mais confiant sur ses erreurs (CI élevé). Le cadre CVS permet de router les prédictions incertaines vers une révision humaine.
• Pour la Conception de Jeux (Application transversale) : L'auteur applique le cadre au game design, où CI représente une mauvaise communication marketing (attentes non satisfaites) et UI représente une exploration risquée mais honnête. Minimiser le ratio CI/UI est crucial pour la satisfaction des joueurs.
• Conclusion Philosophique : La "vérité" pour un système de raisonnement discret n'est pas de tout classer, mais de s'engager uniquement lorsque les preuves structurelles sont suffisantes. Le refus de s'engager sur l'ambiguïté est une fonctionnalité, non un bug.

En résumé, ce papier propose un changement de paradigme : passer d'une optimisation aveugle de la précision à une optimisation de la validité épistémique, où la capacité du modèle à reconnaître ses limites est aussi importante que sa capacité à prédire correctement.