LLM Enhancement with Domain Expert Mental Model to Reduce LLM Hallucination with Causal Prompt Engineering

Dans le monde de l'intelligence artificielle, les grands modèles de langage sont devenus remarquablement habiles pour lire, écrire et résumer de vastes quantités d'informations. Ils peuvent expliquer des théories scientifiques complexes, rédiger des documents juridiques et même écrire du code. Cependant, ces systèmes présentent un angle mort fondamental : ils ne peuvent travailler qu'avec des connaissances qui ont déjà été écrites et intégrées dans leurs données d'entraînement. Face à une décision qui repose sur une intuition non écrite, un contexte organisationnel spécifique ou une combinaison unique de circonstances qui n'a jamais été enregistrée, le modèle ne se contente pas d'admettre qu'il ne sait pas. Au lieu de cela, il invente souvent une réponse confiante mais fausse, un phénomène connu sous le nom d'hallucination. Il ne s'agit pas d'un bug qui peut être corrigé en cherchant plus de documents ; c'est une limite structurelle. Si la connaissance n'existe pas dans une base de données, la machine ne peut pas la trouver. Pour les décisions à enjeux élevés dans des domaines tels que la médecine, la sécurité nationale ou le financement de la recherche, ce fossé entre ce que la machine sait et ce qu'un expert humain sait peut être dangereux.

Les chercheurs Boris Kovalerchuk et Brent D. Fegley ont proposé une nouvelle façon de combler ce fossé. Plutôt que d'essayer de rendre l'intelligence artificielle plus intelligente ou de lui donner plus de livres à lire, ils suggèrent de construire une carte spécifique et structurée de la manière dont un expert humain réfléchit réellement. Ils appellent cela un Modèle Mental d'Expert. L'idée centrale est de ne plus demander à la machine de deviner la réponse, mais de l'utiliser comme un outil pour aider l'expert à articuler sa propre logique de décision. En transformant le jugement intuitif d'un humain en un ensemble clair de règles étape par étape, le système peut ensuite appliquer ces règles à de nouvelles situations sans jamais avoir besoin d'halluciner. Cette approche traite le problème non pas comme un échec de la mémoire de la machine, mais comme un échec de la capture du processus de raisonnement spécifique de l'humain.

Les chercheurs ont testé cette idée dans trois domaines très différents : décider de postuler pour une subvention de recherche, concevoir un système de cybersécurité et établir un diagnostic clinique. Dans le premier scénario, une équipe de chercheurs devait décider si elle devait passer des mois à rédiger une proposition pour un organisme de financement. La décision dépendait de nombreux facteurs, tels que la capacité de l'équipe à posséder les compétences requises, si le projet correspondait aux objectifs de l'organisme et si l'équipe disposait de suffisamment de temps. Une intelligence artificielle standard pourrait générer une liste de questions à poser, mais elle ne pourrait pas déterminer comment pondérer ces réponses. Si l'équipe disait « oui » pour les compétences mais « non » pour le budget, la machine pourrait supposer que le projet est toujours viable, ou supposer qu'il ne l'est pas. La machine n'avait aucun moyen de savoir que, pour cette équipe spécifique, le budget était un facteur éliminatoire, alors que pour une autre équipe, cela pourrait être un obstacle mineur.

Pour résoudre ce problème, les chercheurs ont utilisé une méthode qui repose sur un principe simple : si une situation est suffisamment bonne pour dire « oui », alors améliorer une partie de cette situation ne devrait pas transformer la réponse en « non ». C'est ce qu'on appelle la monotonicité. Imaginez une équipe d'experts répondant à une série de questions par oui ou par non sur un projet. S'ils décident qu'un projet avec une excellente idée mais sans argent est un « non », alors un projet avec une excellente idée, sans argent, et aussi sans membres d'équipe, doit également être un « non ». En utilisant cette logique, les chercheurs ont pu poser beaucoup moins de questions que ce qui serait normalement requis. Au lieu de poser des questions sur chaque combinaison possible de facteurs — ce qui pourrait se chiffrer en millions pour une décision complexe — ils ont posé un ensemble de questions soigneusement choisies. Les réponses à ces questions leur ont permis d'inférer automatiquement les réponses à des milliers d'autres scénarios.

Dans l'exemple de la proposition de subvention, l'équipe a commencé avec vingt questions potentielles. Une intelligence artificielle a aidé à les organiser en une hiérarchie, regroupant les questions connexes. Ensuite, l'expert humain a répondu à un petit nombre de questions généralisées. Par exemple, au lieu de répondre à chaque détail concernant les ressources, l'expert pourrait répondre à une question large sur la capacité de l'équipe à être prête. Si la réponse était « non », le système savait immédiatement qu'aucun détail supplémentaire n'était nécessaire pour rejeter le projet. Si la réponse était « oui », le système approfondissait les détails spécifiques. En seulement quatre cycles de questions, les chercheurs ont pu cartographier la logique de décision de l'expert pour plus de 60 % de tous les scénarios possibles. Les scénarios restants étaient regroupés autour des cas limites difficiles où la décision est incertaine, ce qui est précisément là où le jugement humain est le plus précieux.

Les chercheurs ont également testé cette méthode en cybersécurité, où les règles sont souvent définies par des normes gouvernementales. Dans ce cas, l'intelligence artificielle pouvait extraire les règles standards d'un document, mais elle avait toujours besoin d'un expert humain pour appliquer ces règles aux données spécifiques d'une organisation particulière. Le système a aidé l'expert à déterminer l'impact d'une brèche de sécurité sur son réseau spécifique, traduisant des préoccupations vagues en un modèle structuré. Dans le troisième domaine, la santé, les chercheurs ont examiné des études passées où des méthodes similaires avaient été utilisées pour diagnostiquer le cancer du sein. Ils ont constaté que lorsque les règles de décision étaient extraites directement des radiologues grâce à cette approche structurée, les modèles résultants étaient plus précis et cohérents que ceux construits uniquement à partir de données. Les modèles pouvaient expliquer pourquoi une décision avait été prise, en remontant à des facteurs spécifiques, ce qui est crucial pour les médecins qui doivent faire confiance au système.

Un aspect critique de ce travail a été de mesurer la fréquence à laquelle l'intelligence artificielle se tromperait si elle était laissée à elle-même. Les chercheurs ont créé des simulations où ils ont comparé les décisions d'un expert humain aux suppositions d'une intelligence artificielle. Ils ont découvert que, bien que le taux d'erreur global puisse paraître faible, les erreurs étaient concentrées dans les cas les plus importants. Lorsque l'expert aurait dit « oui » à un projet, l'intelligence artificielle disait souvent « non », manquant ainsi l'opportunité. Dans certaines simulations, le taux d'erreur pour ces opportunités manquées approchait les 100 %. Cela a révélé que le danger de l'hallucination n'est pas seulement de commettre des erreurs aléatoires ; il s'agit de ne pas reconnaître systématiquement les cas rares et à haute valeur ajoutée qui nécessitent des connaissances spécifiques et non écrites.

Les chercheurs soutiennent que la solution n'est pas d'essayer de rendre l'intelligence artificielle plus humaine, mais d'utiliser l'intelligence artificielle pour aider les humains à encoder leur propre pensée. La machine est excellente pour générer des listes de facteurs, organiser des groupes logiques et vérifier la cohérence. Elle est très mauvaise pour savoir ce qui importe à une équipe ou une organisation spécifique. En combinant les deux, le système crée un outil d'aide à la décision qui est à la fois efficace sur le plan computationnel et ancré dans l'expertise humaine réelle. L'intelligence artificielle gère la partie lourde de la structure et de l'organisation, tandis que l'humain fournit les valeurs et la logique spécifiques qui donnent du sens à la décision.

Cette approche aide également à prévenir un risque subtil appelé homogénéisation cognitive, où tout le monde commence à prendre des décisions de la même manière parce que tout le monde utilise la même intelligence artificielle. Si une organisation s'appuie uniquement sur un modèle générique, elle pourrait perdre sa perspective unique et les enseignements spécifiques qui découlent de sa propre expérience. En construisant son propre Modèle Mental d'Expert, une organisation préserve sa façon de penser distincte. Le modèle devient un enregistrement portable de sa sagesté collective, survivant même si les experts qui l'ont créé quittent l'organisation. Il garantit que le processus de décision reste transparent et responsable, plutôt que d'être une boîte noire produisant des réponses que personne ne peut expliquer.

L'étude ne prétend pas avoir résolu tous les problèmes. La méthode fonctionne mieux lorsque la logique de décision suit le principe selon lequel améliorer une situation ne rend jamais le résultat pire. Elle nécessite également que les experts soient disposés à articuler leurs pensées, ce qui peut être un défi. Dans certains cas, les experts pourraient avoir du mal à répondre à des questions abstraites sans voir les détails spécifiques, et le système doit être assez flexible pour gérer cette incertitude. De plus, bien que la méthode ait été testée dans des simulations et examinée par rapport à des études passées, les chercheurs reconnaissent que des tests supplémentaires en conditions réelles sont nécessaires pour voir comment elle se comporte dans des contextes cliniques réels ou avec de véritables propositions de subvention.

Malgré ces limites, les conclusions offrent une voie claire pour l'utilisation de l'intelligence artificielle dans des domaines critiques. L'idée clé est que la machine ne doit pas être le décideur. Au lieu de cela, elle doit être l'architecte du processus de décision, aidant à construire une structure qui capture le jugement humain avec précision. Ce faisant, elle évite le piège de l'hallucination et fournit un outil qui est à la fois puissant et digne de confiance. Le résultat est un système qui ne remplace pas l'expert, mais amplifie sa capacité à prendre des décisions judicieuses, cohérentes et explicables, même face à des situations complexes et incertaines.