Argumentation for Explainable and Globally Contestable Decision Support with LLMs

Ce papier présente ArgEval, un cadre qui améliore les systèmes d'aide à la décision basés sur les grands modèles de langage en passant d'une contestation locale à une évaluation globale structurée via des ontologies et des cadres d'argumentation partagés, permettant ainsi des recommandations explicables et modifiables, comme démontré dans le contexte des traitements du glioblastome.

L'essentiel

🧠 Le Dilemme : L'Intelligence Artificielle qui "Rêve"

Imaginez que vous avez un assistant très intelligent, disons un chef cuisinier robot (c'est ce qu'on appelle un Grand Modèle de Langage ou LLM). Ce robot a lu des millions de livres de cuisine. Il peut vous proposer un plat délicieux en une seconde.

Mais il y a un problème :

1. Il est opaque : Si vous lui demandez "Pourquoi ce plat ?", il vous donne une réponse qui semble logique, mais en réalité, il a juste deviné le mot suivant. C'est comme s'il vous racontait une histoire qu'il invente sur le moment, sans vraiment savoir pourquoi il a choisi ces ingrédients.
2. Il fait des erreurs (hallucinations) : Parfois, il vous dit que le sucre est un ingrédient pour le poisson, alors que non.
3. C'est dangereux en médecine : Si ce robot conseille un traitement pour une tumeur au cerveau, on ne peut pas se permettre qu'il "invente" une raison. Il faut qu'il soit fiable et qu'on puisse contester son choix si on pense qu'il a tort.

🛠️ La Solution : ArgEval, le "Juge de Paix"

Les auteurs de ce papier (Adam, Matthew et Francesca) ont créé un nouveau système appelé ArgEval. Pour comprendre comment ça marche, utilisons une analogie avec un tribunal.

1. Au lieu de deviner, on construit une "Loi" (L'Ontologie)

Avant même de regarder un patient, le système lit tous les guides médicaux (les lois) et crée une carte des décisions possibles.

• Analogie : Imaginez qu'on rédige un grand livre de règles pour tous les types de tumeurs. Ce livre liste toutes les options de traitement (chirurgie, radiothérapie, chimio) et les conditions pour chacune. C'est la "Constitution" du système.

2. Le Tribunal de chaque Option (Les QBAF)

Pour chaque option de traitement (par exemple : "Chirurgie"), le système ne se contente pas de donner un avis. Il construit un mini-tribunal virtuel.

• Les Avocats : Il y a des arguments "Pour" (ex: "La chirurgie enlève la tumeur") et des arguments "Contre" (ex: "Le patient est trop vieux pour l'opération").
• Les Juges : Chaque argument a un poids. Le système calcule un score final en faisant le débat entre les "Pour" et les "Contre".
• Le Résultat : Au lieu d'une réponse magique, vous obtenez un rapport de tribunal clair : "La chirurgie est recommandée à 80% car l'argument 'tumeur accessible' l'emporte sur 'risque cardiaque'".

3. La Grande Innovation : Le "Contestable Global"

C'est ici que le système change la donne.

• L'ancien système (Local) : Si le robot se trompe sur un patient, vous lui dites "Non, pour ce patient, c'est faux". Le robot corrige ce cas précis, mais il risque de refaire la même erreur demain sur un autre patient. C'est comme si vous corrigiez un élève sur un seul exercice, mais qu'il ne comprenait pas la règle générale.
• Le système ArgEval (Global) : Comme le système repose sur le "Tribunal" (les règles générales), si vous trouvez une erreur, vous pouvez modifier la loi elle-même.
  • Analogie : Si vous remarquez que le tribunal a mal interprété une règle pour un patient, vous modifiez la règle dans le livre de lois. Immédiatement, tous les futurs patients bénéficieront de cette correction. Vous ne corrigez pas juste un cas, vous améliorez tout le système pour tout le monde.

🏥 L'Expérience : Le Cas du Tumeur au Cerveau

Les chercheurs ont testé ce système sur des cas réels de glioblastome (un cancer du cerveau très agressif).

• Le Défi : Un patient de 85 ans avec une tumeur dans une zone sensible du cerveau.
• Le Résultat :
  • Le système a d'abord suggéré une chirurgie (ce qui était dangereux).
  • En regardant le "Tribunal", les médecins ont vu que l'argument "Chirurgie possible" était trop fort par rapport à "Tumeur dans une zone critique".
  • Ils ont ajusté la règle (le poids de l'argument) dans le système global.
  • Résultat immédiat : Le système a corrigé sa recommandation pour ce patient, et tous les autres patients similaires ont aussi reçu la bonne recommandation.

💡 Pourquoi c'est génial ?

1. Transparence totale : On ne vous dit pas juste "Faites ça". On vous montre le débat : "Voici pourquoi on pense que c'est bien, et voici pourquoi on a peur de ça."
2. Économie d'énergie : Le système est très rapide et consomme moins d'énergie que les autres IA, car il ne réinvente pas la roue à chaque fois. Il utilise la "Loi" déjà écrite.
3. Amélioration continue : Plus on l'utilise et plus on le conteste, plus il devient intelligent et juste pour tout le monde, pas juste pour un cas isolé.

En résumé

Imaginez que l'IA actuelle est un magicien qui tire des réponses de son chapeau : on ne sait pas comment il fait, et si on lui dit qu'il s'est trompé, il oublie vite.

ArgEval, c'est un architecte et un juge. Il construit d'abord les plans de la maison (les règles), puis il applique ces plans à chaque situation. Si un mur est mal construit, on modifie les plans pour que toutes les futures maisons soient solides. C'est une IA qui explique ses choix, qui respecte les règles, et qui apprend de ses erreurs pour le bien de tous.

Résumé technique

1. Problématique

L'utilisation des Grands Modèles de Langage (LLM) dans des domaines à haut risque (comme la santé) est entravée par deux défauts majeurs :

• Opacité et imprévisibilité : Les LLMs reposent sur une prédiction stochastique de tokens, ce qui rend leurs processus de décision internes difficiles à expliquer fidèlement et les expose à des hallucinations.
• Limites des approches existantes : Les travaux récents combinant LLMs et argumentation computationnelle (comme ArgLLMs ou ArgRAG) permettent d'expliquer les décisions et de contester des erreurs, mais uniquement de manière locale (cas par cas). Une fois un cas corrigé, la logique sous-jacente reste inchangée, ce qui signifie que le modèle peut répéter la même erreur sur d'autres cas similaires. De plus, ces approches sont souvent limitées à des choix binaires, alors que les décisions réelles sont souvent ouvertes et nuancées.

L'objectif est donc de créer un système de support décisionnel qui soit explicable, fidèle (l'explication reflète le vrai raisonnement) et contestable globalement (une correction sur un cas améliore la logique pour tous les futurs cas).

2. Méthodologie : Le Framework ArgEval

Les auteurs proposent ArgEval, un cadre qui passe d'un raisonnement spécifique à un cas à une évaluation structurée des options de décision générales. Le pipeline se divise en deux phases principales :

A. Traitement de la tâche générale (Construction de l'ontologie et des cadres d'argumentation)

1. Construction d'une Ontologie de Décision : À partir de documents de politiques naturelles (ex: guides cliniques), un LLM extrait une structure hiérarchique des options de décision possibles (entités, relations hiérarchiques).
2. Construction de Cadres d'Argumentation Quantitatifs Bipolaires (QBAF) Généraux : Pour chaque option de décision dans l'ontologie, le système construit un QBAF général.
   • Extraction d'arguments : Le LLM identifie les arguments pour et contre une option, ainsi que leurs conditions d'application (ex: "si l'âge > 65 ans").
   • Estimation des scores de base : Chaque argument se voit attribuer un score d'intrinsèque (force initiale).
   • Formalisation des conditions : Les conditions textuelles sont converties en schémas formels (JSON Schema) pour permettre une vérification automatique.
   • Structure : Le QBAF est un arbre où la racine est l'option de décision, soutenue ou attaquée par des arguments, eux-mêmes attaqués ou soutenus par d'autres arguments (profondeur 1 ou 2).

B. Inférence spécifique au cas

1. Extraction de paramètres : À partir d'une description textuelle d'un cas (ex: dossier patient), un LLM extrait les paramètres structurés nécessaires selon le schéma global.
2. Instantiation du QBAF : Le QBAF général est "instantié" pour le cas spécifique. Les arguments dont les conditions ne sont pas satisfaites par les paramètres du patient sont supprimés, ainsi que leurs relations.
3. Calcul du score : Une sémantique graduelle (DF-QuAD) est appliquée au QBAF instantié pour calculer la force finale de l'argument racine (l'option de décision). Ce score sert de recommandation.
4. Explication : Le QBAF instantié lui-même sert d'explication fidèle, montrant visuellement quels arguments ont été retenus ou rejetés et pourquoi.

C. Contestation Globale

Contrairement aux méthodes précédentes, l'utilisateur peut contester le système à plusieurs niveaux :

• Modifier les scores de base ou ajouter des arguments dans le QBAF général.
• Ajuster l'ontologie de décision.
• Corriger le schéma de paramètres ou les paramètres extraits.
• Impact : Toute modification apportée au QBAF général affecte automatiquement les prédictions pour tous les futurs cas satisfaisant les mêmes conditions, permettant une correction systémique des erreurs.

3. Contributions Clés

• Proposition d'ArgEval : Un nouveau framework pour le support décisionnel qui combine LLMs et argumentation formelle pour offrir une explication fidèle et une contestabilité globale.
• Passage du local au global : Le système ne se contente pas de corriger un cas isolé ; il met à jour la logique décisionnelle partagée, améliorant la robustesse du modèle sur l'ensemble des données.
• Application médicale : Application réussie à la recommandation de traitements pour le glioblastome (tumeur cérébrale agressive), un domaine où l'explicabilité est cruciale.
• Efficacité computationnelle : Le système atteint des performances compétitives avec une fraction du coût de calcul (tokens) des méthodes de base (LLMs purs ou ArgLLMs), car le raisonnement lourd est effectué une seule fois lors de la construction des QBAF généraux.

4. Résultats Expérimentaux

Les expériences ont été menées sur des guides cliniques pour le glioblastome et des vignettes de patients synthétiques.

• Performance : Les variantes d'ArgEval (notamment avec le modèle Qwen3-30B, profondeur 2, sans estimation de score racine et avec schéma d'argumentation) ont atteint un taux de correspondance des étiquettes (LMR) de 0,8818 et un NDCG de 0,9771, surpassant ou égalant les méthodes de base tout en utilisant beaucoup moins de tokens.
• Coût : ArgEval est significativement plus rapide et moins coûteux en tokens que les approches basées sur la génération de QBAF à la volée pour chaque cas (ArgLLMs-O).
• Étude de cas sur la contestation :
  • Un cas initial montrait une mauvaise recommandation (Radiothérapie 60 Gy classée trop haut pour un patient âgé).
  • En ajustant manuellement les scores des arguments dans le QBAF général et en clarifiant les paramètres dans le schéma, la recommandation pour ce cas spécifique est devenue parfaite.
  • Résultat clé : Cette unique contestation a amélioré les performances sur l'ensemble du jeu de données (LMR passant de 0,8009 à 0,8784), démontrant l'efficacité de la contestation globale.

5. Signification et Conclusion

Ce travail démontre qu'il est possible de dépasser les limites des LLMs en haute responsabilité en les couplant à des structures de raisonnement formel (argumentation).

• Fiabilité : La nature structurelle des QBAF garantit que les explications sont fidèles au processus de décision réel du système.
• Contrôle Humain : La capacité de contester globalement permet aux experts humains (médecins, analystes) de corriger les biais ou les erreurs de logique du modèle de manière permanente, transformant le système en un véritable outil d'apprentissage collaboratif.
• Avenir : Bien que testé en oncologie, le cadre est généralisable à d'autres domaines nécessitant des décisions complexes, explicables et auditable.

En résumé, ArgEval propose une voie prometteuse pour rendre l'IA décisionnelle non seulement plus performante, mais aussi plus transparente, contrôlable et adaptable aux besoins réels des experts humains.