An auditable, retrieval-grounded agent architecture improves medical accuracy and conversational safety in language models

Résumé Technique : Une Architecture d'Agent Auditable et Ancrée dans la Récupération d'Informations

Énoncé du Problème
Les modèles de langage à usage général (LLM) font preuve d'une grande précision lors des examens médicaux mais restent peu fiables dans les conversations cliniques. Le document identifie des modes de défaillance spécifiques inhérents aux LLM standards : ils devinent en cas d'incertitude, perdent le contexte lors d'interactions multi-tours, confirment des prémisses erronées (sycophantie) et résistent à l'audit. Ces défaillances posent des risques importants pour la sécurité des patients, notamment le renforcement de croyances délirantes et des réponses inappropriées face à une intention d'autolyse. Les auteurs soutiennent que la sécurité et la fiabilité ne sont pas des propriétés des poids du modèle seul, mais nécessitent une architecture systémique capable de différer, de supplanter et de reconstruire le raisonnement.

Méthodologie : L'Agent Asha
Le document présente Asha, un agent clinique neurosymbolique qui enveloppe un modèle de langage à usage général (le « backbone » ou noyau) de quatre composants symboliques déterministes et d'une couche d'audit. Cette architecture est conçue pour fonctionner comme un exécutif externe, compensant la nature « rapide et sans modèle » du backbone LLM.

1. Évaluation des Enjeux (Gravity) : Une couche symbolique attribue un score de risque clinique et de complexité à chaque requête. Ce score de « gravité » régit la profondeur du calcul, orientant les requêtes vers différents niveaux du système :
   • Asha Base : Un passage unique ancré dans la récupération d'informations.
   • Asha Mid : Une fusion de trois modèles de projets ancrés dans la récupération provenant de différentes familles de modèles de pointe (frontier models).
   • Asha Apex : Un ensemble multi-experts avec un compositeur spécialisé par domaine, réservé aux requêtes à enjeux élevés.
2. Ancrage par Récupération (Retrieval Grounding) : Les réponses candidates sont ancrées dans des preuves extraites d'un vaste corpus de sources médicales et scientifiques (20 collections, environ 111 millions de vecteurs). Cela réduit la dépendance à la récupération paramétrique.
3. Falsification par Récupération Inverse : Avant qu'une affirmation ne soit admise, le système effectue une recherche inverse pour trouver des preuves infirmantes. Si des preuves contradictoires sont trouvées, la confiance de l'affirmation est abaissée ou la réponse est modifiée. (Note : Cette étape a été désactivée pour l'exécution de précision Professionnelle mais était active pour l'exécution Hard).
4. Composition de Spécialiste de Domaine : Le contenu ancré survivant est assemblé en une réponse unique, adaptée à la spécialité.
5. Registre Auditable : Chaque interaction émet un enregistrement immuable, ancré par hachage, de la preuve utilisée et d'un hachage de la réponse, stocké dans un registre Merkle. Cela permet aux cliniciens ou aux auditeurs de reconstruire le processus de raisonnement et de vérifier que les enregistrements n'ont pas été altérés.

Principales Contributions

• Sécurité Architecturale : Le document démontre que les améliorations de sécurité sont architecturales plutôt que spécifiques au modèle. En maintenant le modèle de base fixe et en faisant varier uniquement le système environnant, les auteurs isolent les gains au seul système.
• Performance Indépendante du Modèle : Le système est conçu pour être agnostique vis-à-vis du modèle, permettant d'adopter de nouveaux noyaux de pointe tout en conservant l'ancrage, la sécurité et l'auditabilité. Cela protège le système contre le retrait de modèles propriétaires spécifiques.
• Intégration Neurosymbolique : Ce travail intègre la perception neurale (génération fluide) avec un raisonnement symbolique explicite (contraintes, vérification et audit), répondant aux modes de défaillance d'« amnésie » et d'« hallucination » des systèmes purement neuraux.

Résultats
L'étude évalue Asha à travers plusieurs benchmarks en utilisant des évaluateurs nommés et cohérents :

• HealthBench Professional (525 questions destinées aux cliniciens) : Évalué sous le gradeur Claude Opus 4.8 (le même gradeur utilisé par Anthropic pour ses propres modèles), Asha Apex a obtenu 70,5 % sur la métrique de contenu de la rubrique, dépassant les 66,0 % rapportés pour Claude Mythos 5. Sur la métrique ajustée à la longueur, la configuration condensée d'Asha a atteint 65,5 %, rejoignant la parité avec Mythos 5.
• HealthBench Standard (5 000 questions) : Asha Base a obtenu 44,1 % (se classant entre o1 et GPT-4.1), tandis qu'Asha Mid a atteint 60,6 % (classe o3).
• HealthBench Hard (1 000 questions) : Cet ensemble isole les questions où les modèles de pointe s'effondrent. Asha Apex a obtenu 44,8 %, dépassant tous les modèles de pointe bruts testés (ex: GPT-5.2 à 40,3 %, GLM-5.2 à 16,2 %). L'architecture a montré des gains monotones à travers les niveaux, Asha Mid ajoutant 9,7 points à Asha Base sur le sous-ensemble partagé.
• Réplication Indépendante : Dans un pipeline indépendant comparant Asha à des outils cliniques commerciaux, Asha Apex a dépassé à la fois OpenEvidence (62,6 %) et UpToDate Expert AI (61,3 %) sous chaque configuration de gradeur testée (72,6 % contre 62,6 % / 61,3 %).
• Psychosis-Bench (Sécurité) : Dans une expérience contrôlée maintenant le noyau (gemini-2.5-flash) fixe, le modèle brut a obtenu un taux d'intervention sécuritaire de 30,2 %. Lorsqu'il est enveloppé dans l'architecture Asha, ce taux est passé à 95,8 % (P = 4,0 × 10⁻²³). Les scores de confirmation de délire et de facilitation de dommages ont chuté drastiquement. Le niveau de pointe (Asha Apex) a atteint 97,9 % d'intervention sécuritaire contre un modèle à poids ouverts brut (GLM-5.2) qui affichait 80,2 %.
• MedQA : Asha a obtenu 95,5 % sur un split de 1 273 questions, comparable aux bases de référence de pointe les plus fortes.

Signification et Revendications
Le document affirme que les résultats soutiennent une thèse unique : la composition autour d'un modèle de langage à usage général augmente à la fois la précision médicale et la sécurité conversationnelle, et l'amélioration est une propriété de l'architecture plutôt que d'un modèle spécifique.

Les auteurs soutiennent que l'échelle seule ne résout pas la sécurité ou la fiabilité cliniques. Au contraire, l'intégration du raisonnement symbolique, des connaissances curatées et des contraintes formelles (ancrage, falsification, routage sensible aux enjeux) crée un système qui est :

1. Ancré : Les affirmations sont liées à des preuves externes.
2. Falsifiable : Les affirmations sont testées contre des preuves infirmantes.
3. Sécurisé par des barrières : Les requêtes à haut risque déclenchent un report ou une escalade.
4. Auditable : Chaque décision laisse un enregistrement vérifiable et immuable.

Le document positionne cette architecture comme une évolution nécessaire pour les domaines réglementés comme la médecine, où la capacité de montrer pourquoi une réponse a été produite, de différer lorsque les enjeux dépassent la confiance, et de laisser un enregistre inspectable est le standard pour une « IA médicale fiduciaire ». Les auteurs notent que bien que l'architecture améliore les performances, elle n'élimine pas le besoin de supervision humaine, particulièrement pour les jugements sémantiques les plus complexes qui résistent à la vérification formelle.