Résumé technique : MedFabric et EtHER

Énoncé du problème

Les modèles de langage de grande taille (LLM) possèdent de fortes capacités sémantiques et de raisonnement, mais hallucinent fréquemment dans des domaines experts comme la médecine. Parmi les différents types d'hallucinations, la fabrication — la génération d'énoncés fluides mais factuellement incorrects — présente le risque le plus élevé dans les domaines à haut enjeu.

Les approches existantes pour détecter les hallucinations médicales se heurtent à deux limitations critiques :

1. Carences de données : Les jeux de données actuels sur les hallucinations médicales (par exemple, Med-HALT, MedHallu) ne capturent pas adéquatement les phénomènes de fabrication. Ils reposent souvent sur la collecte de réponses correctes et incorrectes provenant de sources disparates (humaines vs LLM), créant ainsi des disparités stylistiques et une dérive distributionnelle. Les détecteurs entraînés sur ces jeux de données ont tendance à surajuster à des indices stylistiques superficiels (par exemple, distinguer les styles d'écriture humaine de ceux de l'IA) plutôt qu'à apprendre à identifier les incohérences factuelles réelles.
2. Fragilité des modèles : Les détecteurs existants (basés sur des embeddings ou utilisant un LLM comme juge) performent mal lorsque la similarité structurelle entre la vérité terrain et les échantillons fabriqués est élevée. Les modèles d'embeddings échouent à distinguer les déviations subtiles au niveau des mots, tandis que les évaluateurs LLM en zéro-shot présentent une forte variance et une incohérence dues à l'aléatoire de l'échantillonnage et à la sensibilité aux invites.

Méthodologie

Les auteurs proposent un cadre unifié, centré sur les données, comprenant un nouveau pipeline de génération de jeux de données (MedFabric) et un système de détection modulaire (EtHER).

1. MedFabric : Un pipeline de génération centré sur les données

Pour pallier le manque de données de fabrication réalistes, les auteurs ont développé un pipeline en trois étapes pour générer des fabrications au niveau des mots qui préservent la fidélité syntaxique et stylistique tout en introduisant des déviations factuelles subtiles :

• Alignement stylistique : Les vérités terrain rédigées par des humains sont réécrites par un LLM pour s'aligner sur les distributions stylistiques des LLM, éliminant ainsi le raccourci stylistique « humain vs IA ».
• Fabrication conditionnée par les preuves : Les fabrications sont générées en conditionnant le LLM sur la vérité terrain réécrite et des fragments de preuves spécifiques. Cela garantit que le texte fabriqué reste cohérent sur le plan contextuel tout en introduisant des erreurs factuelles fines (par exemple, changer une espèce de « humain » à « rat »).
• Contrôle de qualité : Un processus d'évaluation en deux étapes garantit que les fabrications générées sont difficiles :
  • Similarité structurelle : Mesurée via le rappel ROUGE-L ; les échantillons avec des scores inférieurs à 0,7 sont rejetés pour garantir que la fabrication n'est pas trop divergente.
  • Difficulté sémantique : Une stratégie d'optimisation de préférence par auto-jeu (SPPO) est utilisée où un agent LLM tente de distinguer la fabrication de la vérité terrain réécrite. Seules les fabrications qui « aveuglent » l'agent (c'est-à-dire qui sont mal classées) sont conservées, garantissant que le jeu de données capture de véritables modes de défaillance.

2. EtHER : Un détecteur modulaire de fabrications au niveau des mots

Pour pallier les limitations des détecteurs existants, les auteurs introduisent EtHER (EvaluaTe Hallucination with TablE decomposition and woRd masking), un cadre conçu pour une évaluation stable, interprétable et au niveau des mots de la factualité. Il se compose de trois modules :

• Décomposition Text2Table : Les énoncés médicaux non structurés sont convertis en tableaux structurés d'entités et de descriptions. Cela décompose les phrases complexes en paires entité-contexte (par exemple, « expression de TGFBI » $\to$ « récidive lymphatique défavorable »), améliorant l'interprétabilité sémantique et réduisant l'ambiguïté contextuelle.
• Masquage et remplissage de mots : Le système génère des versions masquées des tableaux entité-description. Un LLM, guidé par un système de Génération Augmentée par Récupération (RAG) spécifique au domaine, remplit ces masques avec des phrases mot pour mot issues de preuves récupérées. Cela crée des reconstructions appariées permettant une comparaison directe et fine entre la sortie du modèle et les connaissances vérifiées.
• Évaluation hybride de paires de phrases : Pour minimiser l'aléatoire des LLM et améliorer la stabilité, le système adopte une approche hybride :
  1. Filtrage basé sur les embeddings : Les paires de phrases sont encodées pour mesurer la distance sémantique ; les paires dépassant un seuil sont signalées.
  2. Raisonnement basé sur les LLM : Les candidats signalés sont réévalués par un agent LLM pour distinguer les conflits factuels des variations lexicales bénignes.
  3. Agrégation basée sur des règles : Les décisions finales sont agrégées via une couche basée sur des règles pour déterminer la fabrication au niveau de la réponse.

Résultats clés

Les évaluations empiriques sur le jeu de données MedFabric et les benchmarks existants (MedHallu, Vérité terrain réécrite) démontrent ce qui suit :

• Performance supérieure sur les fabrications subtiles : EtHER surpasse les détecteurs de l'état de l'art (y compris SAPLMA, RelD, TSV et GCA) de plus de 15 % sur les benchmarks de fabrication au niveau des mots. Spécifiquement, sur MedFabric (forte similarité structurelle, ROUGE-L $\approx$ 0,77), EtHER atteint un F1 global de 60,6 %, contre une moyenne de 44,3 % pour les autres modèles.
• Rappel amélioré : EtHER récupère près de deux fois plus de fabrications que la moyenne des modèles (68,6 % contre 34,8 %) tout en maintenant des performances comparables sur les réponses véridiques.
• Robustesse à la similarité structurelle : Contrairement aux modèles affinés qui se dégradent fortement à mesure que la similarité structurelle augmente (chutant d'environ 69 % de F1 sur des données à faible similarité à environ 42 % sur MedFabric), EtHER maintient une performance stable (60–70 % de F1) sur des jeux de données présentant des similarités structurelles variables.
• Faible variance : Malgré l'utilisation de multiples étapes de génération, EtHER présente une variance de prédiction comparable à celle des évaluateurs LLM en zéro-shot à étape unique, attribuée à la nature contrainte et précise de ses sous-tâches (masquage et remplissage) qui réduit l'aléatoire autorégressif.

Importance et revendications

L'article revendique l'établissement d'un paradigme unifié pour l'étude et l'atténuation des hallucinations médicales de type fabrication. Ses contributions principales sont :

1. Révélation du biais stylistique : Mettre en évidence que les détecteurs existants reposent souvent sur des motifs stylistiques entre la vérité terrain et les échantillons fabriqués plutôt que sur le contenu factuel, conduisant à une classification fallacieuse.
2. Simulation de données réalistes : Fournir un pipeline de génération de données qui simule des scénarios réalistes de fabrication médicale, aboutissant au jeu de données MedFabric, qui offre un benchmark rigoureux avec une forte similarité structurelle et des décalages sémantiques subtils.
3. Cadre de détection au niveau des mots : Proposer EtHER, un détecteur qui s'aligne sur les fabrications au niveau des mots grâce à un raisonnement structuré et un alignement factuel, offrant une base évolutive pour des systèmes LLM fiables dans des applications médicales à haut enjeu.

Les auteurs positionnent ce travail comme une étape vers la réduction de la charge de travail des experts médicaux dans la vérification des consultations de patients et l'amélioration de la fiabilité des LLM dans des domaines où la précision factuelle est critique.