Ablation Study of a Fairness Auditing Agentic System for Bias Mitigation in Early-Onset Colorectal Cancer Detection

1. Problématique

L'intégration croissante de l'intelligence artificielle (IA) dans les soins cliniques, notamment pour le dépistage et la stratification des risques, soulève des préoccupations majeures concernant les biais algorithmiques et les risques de sécurité. Les systèmes de décision clinique actuels souffrent souvent d'un manque de transparence et d'une surveillance post-déploiement insuffisante, ce qui peut entraîner des « défaillances silencieuses » (miscalibration, dérive des modèles, biais de sous-groupes).

Le domaine spécifique étudié est le cancer colorectal à début précoce (EO-CRC), diagnostiqué avant 50 ans, où des disparités documentées existent selon la race, l'origine ethnique, le statut socio-économique et le genre. Le problème central identifié est le « goulot d'étranglement de l'expertise » : les systèmes de santé déploient des modèles prédictifs plus rapidement que leur capacité à les auditer rigoureusement. Les audits manuels nécessitent des équipes interdisciplinaires rares, sont lents (mois de travail) et ne peuvent pas distinguer les nuances contextuelles des préjudices (par exemple, sous-traitement vs sur-traitement selon le contexte clinique).

2. Méthodologie

Les auteurs proposent et évaluent un système d'agents IA conçu pour auditer automatiquement les modèles d'apprentissage automatique biomédicaux en vue de détecter et de mitiger les biais.

Architecture du Système

Le système repose sur une architecture à deux agents pilotés par des modèles de langage (LLM) :

1. Agent Expert Domaine (Domain Expert Agent) : Synthétise la littérature clinique pour identifier les populations à risque et les facteurs de disparité (ex. : accès aux soins, facteurs génétiques). Il génère une liste structurée de facteurs de disparité et un résumé narratif.
2. Agent Consultant Équité (Fairness Consultant Agent) : Utilise les sorties de l'Agent 1 pour recommander des métriques d'équité (ex. : equalized odds, false negative rate parity) et des attributs sensibles pertinents pour l'audit du modèle.

Configuration Expérimentale et Ablation

L'étude compare trois configurations pour chaque agent, en utilisant trois modèles LLM pré-entraînés de tailles différentes (8B, 20B et 120B paramètres) :

• LLM seul (Pretrained LLM-only) : Le modèle utilise uniquement ses connaissances internes.
• Agent sans RAG (Agent without RAG) : L'agent utilise le cadre d'orchestration mais n'a pas accès à la récupération de documents externes.
• Agent avec RAG (Agent with RAG) : L'agent utilise la Génération Augmentée par Récupération (RAG) pour interroger une base de connaissances externe (articles PubMed pour l'Agent 1, bibliothèque de métriques d'équité pour l'Agent 2) avant de générer sa réponse.

Les modèles testés sont : Llama 3.1 8B, GPT-OSS 20B et GPT-OSS 120B. L'évaluation se fait via la similarité sémantique (cosinus sur les embeddings de phrases) entre les sorties des agents et des « vérités terrain » (ground truth) rédigées et validées par des experts cliniciens et des chercheurs en équité.

3. Contributions Clés

• Cadre d'audit automatisé : Développement d'une architecture multi-agents capable d'identifier les attributs sensibles et de recommander des métriques d'équité spécifiques au contexte clinique (EO-CRC).
• Étude d'ablation rigoureuse : Analyse quantitative de l'impact de l'échelle du modèle (taille des paramètres) et de l'intégration du RAG sur la qualité des recommandations d'audit.
• Validation par similarité sémantique : Utilisation de références expertes comme benchmark pour évaluer la pertinence des recommandations sans nécessiter de validation clinique directe à chaque étape, servant de proxy pour la qualité.
• Analyse des ressources : Évaluation de la faisabilité de modèles plus petits (8B) couplés au RAG par rapport aux modèles massifs, dans un contexte de contraintes de ressources informatiques.

4. Résultats

Les résultats sont présentés sous forme de scores de similarité sémantique moyens, médians et d'intervalles interquartiles (IQR).

• Impact du RAG sur l'Agent 1 (Expert Domaine) :

  • La configuration Agent avec RAG obtient systématiquement les scores les plus élevés pour tous les modèles (8B, 20B, 120B).
  • Les tests statistiques (Kruskal-Wallis et Wilcoxon) confirment que l'ajout du RAG améliore significativement la performance par rapport au LLM seul et à l'Agent sans RAG.
  • L'outil de récupération est utilisé dans 100 % des exécutions, indiquant que la connaissance externe est cruciale pour l'identification précise des disparités, indépendamment de la taille du modèle.

• Impact du RAG sur l'Agent 2 (Consultant Équité) :

  • Les résultats sont plus variables selon l'échelle du modèle.
  • Pour le modèle 8B, le RAG apporte une amélioration significative.
  • Pour le modèle 20B, aucune différence significative n'est observée entre les configurations, suggérant que ce modèle possède déjà suffisamment de connaissances internes sur les métriques d'équité.
  • Pour le modèle 120B, le RAG améliore significativement la performance par rapport au LLM seul, mais la différence avec l'Agent sans RAG n'est pas toujours statistiquement significative. L'utilisation de l'outil de récupération chute à 85 % pour ce modèle, suggérant que les grands modèles peuvent parfois accomplir la tâche sans aide externe.

• Comparaison des modèles :

  • Le modèle GPT-OSS 120B avec RAG atteint les scores moyens et médians les plus élevés globalement.
  • Cependant, le modèle Llama 3.1 8B avec RAG atteint des performances très compétitives, prouvant qu'un petit modèle bien guidé par la récupération peut rivaliser avec des modèles plus grands.

5. Signification et Conclusion

Cette étude démontre que les systèmes d'agents IA, lorsqu'ils sont couplés à la RAG, peuvent efficacement surmonter le goulot d'étranglement de l'expertise humaine pour l'audit des biais dans l'IA clinique.

• Importance du contexte : L'avantage du RAG est plus marqué pour les tâches nécessitant une connaissance factuelle spécifique et actualisée (comme l'identification des disparités cliniques) que pour les tâches de raisonnement conceptuel (comme la sélection de métriques d'équité) où les grands modèles possèdent déjà une forte connaissance interne.
• Accessibilité et Équité : Les résultats suggèrent que dans des environnements aux ressources limitées, un modèle de taille modeste (8B) combiné à un cadre d'agent et à un outil RAG peut fournir des audits de haute qualité. Cela rend les systèmes d'audit de l'équité plus accessibles aux institutions qui ne peuvent pas déployer des modèles massifs.
• Perspectives futures : L'étude ouvre la voie à l'adoption généralisée de l'audit automatisé des biais, permettant une surveillance plus rapide et continue des modèles cliniques pour garantir une équité de performance entre les différentes populations, en particulier pour des conditions critiques comme le cancer colorectal à début précoce.

En résumé, l'intégration de la RAG dans une architecture d'agents est une stratégie clé pour améliorer la fiabilité et la pertinence contextuelle des systèmes d'IA destinés à la sécurité et à l'équité en santé.