Governed Reasoning for Institutional AI
Ce papier propose Cognitive Core, une architecture d'IA gouvernée utilisant des primitives cognitives typées et une vérification humaine conditionnelle pour éliminer les erreurs silencieuses dans les décisions institutionnelles, surpassant ainsi les agents généraux en précision et en fiabilité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Le Problème : Le Chef "Tout-Puissant" mais Imprévisible
Imaginez un restaurant de luxe (l'institution) où l'on doit prendre des décisions vitales : accepter ou refuser une opération médicale, approuver un prêt bancaire, ou valider un permis de construire.
Actuellement, on utilise des intelligences artificielles (les "Agents") qui fonctionnent comme des chefs cuisiniers géniaux mais un peu fous.
- Ils sont très rapides.
- Ils peuvent créer des plats complexes.
- Mais ils travaillent dans leur coin. Si un client (le patient ou l'emprunteur) est mécontent, le chef dit : "C'est bon, c'est prêt !" sans que personne n'ait vérifié la recette.
- Le danger : Parfois, le chef se trompe, mais il est si confiant que personne ne s'en rend compte avant que le plat ne soit servi. C'est ce qu'on appelle une "erreur silencieuse".
De plus, si un critique gastronomique (un autre agent ou un humain) dit "Ce plat est mauvais", le chef a tendance à dire "Ah bon ? Désolé, je vais changer tout le menu" même si son plat était en fait parfait. Il cède à la pression sans réfléchir.
La Solution : "Cognitive Core" (Le Cœur Cognitif)
L'auteur, Mamadou Seck, propose une nouvelle façon de cuisiner pour les décisions importantes. Au lieu d'un seul chef qui fait tout, il imagine une cuisine structurée avec des règles strictes et un inspecteur en chef.
Voici les 4 piliers de cette nouvelle cuisine, expliqués simplement :
1. Les "Outils de Cuisine" Spécifiques (Les Primitives)
Au lieu de laisser le chef faire tout d'un coup, on lui donne une liste d'outils précis qu'il doit utiliser dans l'ordre :
- Récupérer (aller chercher les ingrédients).
- Classer (trier les légumes).
- Vérifier (prouver que les ingrédients sont frais).
- Défier (un autre chef vient goûter et critiquer le plat).
- Réfléchir (le chef se demande : "Est-ce que j'ai vraiment bien fait ?").
Chaque outil a un résultat écrit et signé. On ne peut pas dire "j'ai vérifié" sans montrer la preuve.
2. Le "Miroir Magique" (La Réflexion Méta-cognitive)
C'est l'idée la plus brillante du papier. Imaginez un miroir spécial qui ne regarde pas le plat, mais regarde le chef pendant qu'il cuisine.
- Si un critique dit "Ce plat est trop salé", le miroir demande au chef : "Est-ce que le plat est vraiment trop salé, ou est-ce que le critique est juste de mauvaise humeur ?"
- Si le plat est bon, le miroir dit : "Garde ton plat, ne change rien."
- Si le plat est vraiment mauvais, le miroir dit : "Refais-le."
- Pourquoi c'est important ? Cela empêche le chef de céder à la pression (la "sycophancie") et de changer une bonne décision juste parce qu'on lui a dit de le faire.
3. Les Portes de Sécurité (La Gouvernance)
Dans cette cuisine, on ne sert pas le plat directement. Il doit passer par des portes de sécurité :
- Porte Verte (Auto) : Le plat est simple et parfait. Il passe tout de suite.
- Porte Jaune (Contrôle) : Le plat est bon, mais on envoie un échantillon à un inspecteur pour vérifier au hasard.
- Porte Rouge (Arrêt) : Le chef a hésité, ou il y a eu des critiques contradictoires. Le plat ne sort pas. Il faut qu'un humain (le manager) vienne le valider avec son stylo avant qu'il ne soit servi.
C'est la différence entre "demander à quelqu'un de corriger une erreur après coup" et "empêcher l'erreur de sortir de la cuisine".
4. Le Carnet de Recettes Indélébile (L'Audit)
Tout ce qui se passe est écrit dans un carnet spécial. Si le chef change d'avis, si un outil est utilisé, ou si une porte de sécurité s'ouvre, tout est enregistré avec une empreinte digitale numérique (un code secret).
- Si quelqu'un essaie de raturer une ligne dans le carnet, tout le carnet devient invalide.
- Cela signifie qu'on peut toujours dire exactement pourquoi une décision a été prise, même des années plus tard.
Le Résultat : Qui gagne le concours ?
L'auteur a testé sa nouvelle cuisine contre les méthodes habituelles (les "Agents" classiques) sur 11 cas réels de demandes d'assurance médicale.
- Les Agents classiques : Ils ont eu raison 45% à 55% du temps. Le pire ? Ils ont fait 5 à 6 erreurs silencieuses. Ils ont servi des plats empoisonnés en disant "C'est parfait !".
- La nouvelle cuisine (Cognitive Core) : Elle a eu raison 91% du temps.
- Mais surtout : Zéro erreur silencieuse.
- Quand elle s'est trompée (1 cas sur 11), le système a immédiatement sonné l'alarme (Porte Rouge) et a demandé à un humain de vérifier. Le mauvais plat n'est jamais sorti.
En Résumé
Ce papier dit : "Pour les décisions importantes, l'intelligence ne suffit pas. Il faut de la discipline."
Au lieu de demander à une IA d'être un génie solitaire, il faut lui construire une structure où :
- Elle doit expliquer chaque étape.
- Elle doit se remettre en question avant de céder à la pression.
- Elle doit arrêter de travailler si elle n'est pas sûre d'elle, pour laisser un humain décider.
C'est passer d'un magicien qui fait des tours de passe-passe à un architecte qui construit des ponts solides, où chaque vis est vérifiée avant que le pont ne soit ouvert au public.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.