VerifAI: A Verifiable Open-Source Search Engine for Biomedical Question Answering

Le papier présente VerifAI, un système open-source de réponse aux questions biomédicales qui combine la génération augmentée par la récupération (RAG) avec un mécanisme de vérification post-hoc des affirmations pour garantir la cohérence factuelle et réduire les hallucinations.

L'essentiel

🧐 VerifAI : Le Détective de la Vérité pour les Questions Médicales

Imaginez que vous posez une question complexe sur la santé à un assistant très intelligent, mais un peu trop confiant. Il vous répond avec un texte magnifique, bien structuré, mais qui contient parfois des mensonges subtils ou des faits inventés. C'est le problème des intelligences artificielles actuelles : elles "hallucinent" (elles inventent des choses qui semblent vraies).

VerifAI, c'est comme si on donnait à cet assistant un détective privé et une bibliothèque de référence pour l'accompagner à chaque étape. Ce n'est plus juste un robot qui parle, c'est un système qui vérifie ses propres dires avant de vous les dire.

Voici comment cela fonctionne, en trois étapes simples :

1. Le Bibliothécaire (La Recherche) 📚

Avant de répondre, VerifAI ne se contente pas de deviner. Il envoie un bibliothécaire expert (le module de Récupération d'Information) chercher dans une immense bibliothèque médicale (PubMed, qui contient des millions d'articles scientifiques).

• L'analogie : Imaginez que vous cherchez une recette de cuisine. Au lieu de la recréer de mémoire (ce qui risque de faire rater le plat), le bibliothécaire va chercher les 10 meilleures recettes récentes et les plus fiables dans les livres de cuisine.
• Le résultat : Il ne vous donne pas n'importe quel livre, mais les 10 plus pertinents, en utilisant à la fois des mots-clés précis et une compréhension du sens (comme si le bibliothécaire comprenait votre besoin profond, pas juste vos mots).

2. Le Chef Cuisinier (La Génération) 🍳

Une fois les livres trouvés, un chef cuisinier (le Générateur) prépare le plat (la réponse). Mais il a une règle stricte : il ne doit utiliser que les ingrédients trouvés dans les livres.

• L'analogie : Le chef ne peut pas inventer des épices. S'il dit "j'ai mis du safran", il doit pouvoir montrer le livre où il a lu cette recette.
• La magie : Ce chef est entraîné spécifiquement pour citer ses sources. À chaque phrase qu'il écrit, il ajoute une petite étiquette (un numéro de référence) qui pointe exactement vers le livre d'où vient l'information. Si le livre ne dit rien, il ne le dit pas.

3. Le Contrôleur de Qualité (La Vérification) 🔍

C'est ici que VerifAI change la donne. Avant de servir le plat au client, un inspecteur rigoureux (le Moteur de Vérification) passe en revue chaque phrase du chef.

• L'analogie : L'inspecteur prend la phrase du chef ("J'ai mis du safran") et va relire le livre cité.
  • Si le livre dit bien "safran", l'inspecteur met un feu vert ✅ (C'est vrai).
  • Si le livre dit "curcuma", l'inspecteur met un feu rouge ❌ (C'est un mensonge ou une erreur).
  • Si le livre ne parle pas de safran, l'inspecteur met un feu orange ⚠️ (On ne sait pas, pas assez de preuves).
• Le résultat : Vous voyez la réponse finale avec des couleurs. Le vert rassure, le rouge vous alerte. Vous savez exactement ce qui est prouvé et ce qui est douteux.

🌟 Pourquoi c'est révolutionnaire ?

1. Pas de "magie noire" : Contrairement aux autres IA qui sont des boîtes noires, VerifAI vous montre ses sources. Vous pouvez cliquer sur une phrase et voir le document original. C'est comme si le professeur vous montrait son cahier de notes.
2. Plus intelligent que les géants : L'article montre que ce système, même s'il utilise des modèles plus petits et moins coûteux que les géants comme GPT-4, est plus précis pour vérifier les faits médicaux. C'est comme si un expert local, bien formé, battait un génie polyvalent sur un sujet très pointu.
3. Ouvert à tous : Tout le code, les modèles et les données sont gratuits et publics. N'importe qui peut l'utiliser ou l'améliorer, ce qui est rare pour des outils aussi puissants.

🎯 En résumé

VerifAI, c'est l'histoire d'un système qui dit : "Je ne vais pas seulement vous donner une réponse, je vais vous donner une réponse vérifiée, avec les preuves à l'appui, et je vais vous montrer où j'ai trouvé l'information."

C'est un outil conçu pour les domaines où se tromper est dangereux (comme la médecine), transformant l'IA d'un "conteur de blagues" en un "chercheur de vérité" fiable.

Résumé technique

1. Problématique

L'adoption généralisée des modèles de langage (LLM) dans le domaine biomédical est entravée par le problème des hallucinations : la génération de textes plausibles mais factuellement incorrects ou non étayés. Dans des domaines à haut risque comme la santé, où la véracité des informations est cruciale, cette incertitude crée un fossé de confiance.
Les systèmes existants de Génération Augmentée par Récupération (RAG) améliorent la pertinence en s'appuyant sur des documents externes, mais ils ne garantissent pas l'alignement entre les preuves récupérées et la réponse générée. De plus, la fidélité des citations est souvent faible (seulement 50 % des phrases sont correctement citées, et 75 % de ces citations soutiennent réellement l'affirmation). Il existe donc un besoin urgent d'un système capable de générer des réponses, de les citer précisément et de vérifier automatiquement la validité factuelle de chaque affirmation par rapport aux sources.

2. Méthodologie

VerifAI est un système expert open-source modulaire conçu pour répondre aux questions biomédicales avec une traçabilité complète. L'architecture se compose de trois composants interconnectés :

A. Composant de Récupération d'Information (IR)

• Objectif : Récupérer les résumés scientifiques les plus pertinents de la base de données PubMed (environ 25,5 millions d'abstraits).
• Approche Hybride : Le système combine la recherche lexicale (utilisant OpenSearch avec l'algorithme BM25) et la recherche sémantique (utilisant Qdrant avec des embeddings vectoriels et l'algorithme HNSW).
• Fusion de scores : Les scores des deux méthodes sont normalisés et combinés via une formule pondérée ($Score_{hybride} = \alpha \cdot Score_{lexique} + \beta \cdot Score_{sémantique}$) pour optimiser le rappel et la précision.

B. Composant Génératif (GC)

• Modèle : Un modèle Mistral-7B-Instruct-v0.2 finement ajusté (fine-tuned) spécifiquement pour la tâche de réponse aux questions avec citations.
• Données d'entraînement : Le modèle a été entraîné sur le jeu de données personnalisé PQAref (9 075 questions issues de PubMedQA, accompagnées de 10 abstraits et de réponses générées par GPT-4).
• Technique : Utilisation de QLoRA (4-bit quantization) pour l'ajustement efficace des paramètres.
• Fonctionnement : Le modèle génère des réponses concises où chaque affirmation factuelle est suivie d'une citation explicite (ID PubMed). Il apprend à ne pas halluciner d'ID et à citer uniquement les documents pertinents.

C. Composant de Vérification (VC)

• Objectif : Détecter les hallucinations en vérifiant si chaque affirmation générée (hypothèse) est soutenue, contredite ou non étayée par le document cité (prémisse).
• Approche : Reformulation du problème comme une tâche de déduction textuelle (NLI) à trois classes : Support, Contradiction, Pas de preuve.
• Modèle : Un modèle DeBERTa finement ajusté sur un jeu de données transformé à partir de SciFact et évalué sur HealthVer.
• Interface Utilisateur : Les affirmations sont colorées dynamiquement (vert pour soutenu, jaune/orange pour partiellement soutenu, rouge pour contradictoire, gris pour non référencé).

3. Contributions Clés

1. Stratégie de Fine-Tuning pour SLM : Démonstration que des modèles de langage de petite taille (SLM) comme Mistral-7B, une fois finement ajustés, peuvent atteindre une fidélité de citation comparable, voire supérieure, aux grands modèles (LLM) comme GPT-4, tout en étant plus efficaces en termes de calcul.
2. Supériorité des Discriminateurs NLI Spécialisés : Preuve empirique que des modèles de déduction textuelle spécialisés (DeBERTa) surpassent les modèles génératifs généraux (y compris GPT-4) dans la tâche de vérification des affirmations biomédicales, notamment sur le benchmark HealthVer.
3. Pipeline Open-Source Complet : Publication du premier pipeline de bout en bout open-source intégrant la récupération hybride, la génération consciente des citations et la vérification par déduction textuelle, avec accès au code, aux modèles et aux jeux de données.

4. Résultats

Les évaluations ont été menées sur des benchmarks standards (BioASQ, SciFact, HealthVer) et via une évaluation de bout en bout sur 178 questions biomédicales.

• Récupération (IR) : Le système hybride a atteint un MAP@10 de 42,7 % sur BioASQ, surpassant significativement la recherche PubMed standard (MAP@10 de 19,1 % avec MeSH).
• Génération (GC) :
  • Réduction drastique des ID PubMed hallucinés : de 26 cas (modèle zero-shot) à 3 cas (modèle finement ajusté) sur 908 échantillons.
  • Le modèle finement ajusté cite l'abstrait le plus pertinent dans 98,8 % des cas (contre 77,5 % pour le zero-shot).
  • Similarité sémantique (BERTScore) de 0,90, équivalente à GPT-4 Turbo.
• Vérification (VC) :
  • Le modèle DeBERTa a atteint un F1-score de 0,88 sur SciFact et 0,48 sur HealthVer, surpassant les résultats précédents de l'état de l'art (0,36 F1) et les modèles GPT-4 en mode zero-shot.
  • En évaluation de bout en bout, le composant de vérification a atteint une précision de 84 % en utilisant les abstraits récupérés par le système.
• Comparaison : VerifAI réduit considérablement les citations hallucinées par rapport aux bases de référence zero-shot et offre une traçabilité totale des affirmations.

5. Signification et Impact

VerifAI représente une avancée majeure pour l'IA générative dans les domaines à haut risque.

• Fiabilité et Transparence : En décomposant la réponse en affirmations atomiques et en les vérifiant contre des preuves explicites, le système comble le fossé de confiance entre la génération de texte et la vérité factuelle.
• Efficacité des Petits Modèles : L'article remet en question la nécessité d'utiliser des modèles massifs pour des tâches de vérification, montrant que des modèles plus petits et spécialisés sont plus performants et plus transparents.
• Adaptabilité : L'architecture modulaire permet d'adapter VerifAI à d'autres domaines critiques (droit, finance, politique) en remplaçant simplement les corpus de récupération et les modèles de vérification.
• Science Ouverte : La disponibilité complète du code, des modèles et des jeux de données favorise la reproductibilité et l'auditabilité, des aspects essentiels pour le déploiement de l'IA dans la recherche médicale et la prise de décision clinique.

En conclusion, VerifAI établit un nouveau standard pour les systèmes de question-réponse biomédicaux, prouvant qu'il est possible de concilier la puissance générative de l'IA avec une rigueur factuelle stricte grâce à une architecture de vérification post-hoc robuste.