💬 NLP

VetScore: Risk-Weighted Fact Verification for Veterinary Long-Form QA with Citations

Cet article introduit VetScore, un cadre d'évaluation pondéré par le risque pour les questions-réponses de longue forme en médecine vétérinaire qui évalue la fidélité des affirmations générées par rapport aux extraits sources tout en priorisant les affirmations en fonction de leur potentiel de nuisance, atteignant ainsi un haut niveau d'alignement avec les jugements d'experts.

Auteurs originaux : Ivan Kartáč, Jan Tovarys, Mateusz Lango, Ondřej Dušek

Publié 2026-08-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ivan Kartáč, Jan Tovarys, Mateusz Lango, Ondřej Dušek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective essayant de résoudre un mystère, mais au lieu d'une scène de crime, vous examinez une longue et détaillée histoire écrite par un robot très intelligent, mais parfois trop sûr de lui. Ce robot est une Intelligence Artificielle (IA) qui a lu des milliers de livres et peut répondre à presque toutes les questions que vous lui posez. Cependant, dans le monde de la médecine — qu'il s'agisse des humains ou de leurs amis à poils, plumes et écailles — se tromper sur un fait n'est pas seulement une mauvaise note ; cela peut être dangereux. Si le robot dit qu'un chien a besoin d'une quantité spécifique de médicament, mais qu'il s'est trompé sur le chiffre, le chien pourrait tomber malade.

Pour empêcher le robot d'inventer des faits, les scientifiques lui ont appris à « montrer son travail » en ajoutant des citations, comme de petites notes de bas de page qui renvoient aux livres originaux qu'il a lus. C'est comme si le robot disait : « J'ai lu ceci dans un livre ! » Mais voici la partie délicate : ce n'est pas parce que le robot pointe un livre qu'il a réellement lu la bonne page, ou qu'il a correctement compris la phrase. Parfois, le robot peut pointer un livre sur les chats alors qu'il parle de chiens, ou il peut inventer une phrase qui semble appartenir au livre mais qui n'y figure pas réellement. C'est là que le véritable travail de détective commence : nous avons besoin d'un moyen de vérifier non seulement si le robot a cité une source, mais aussi si l'histoire qu'il a racontée correspond réellement à la source, et à quel point cela serait grave si l'histoire était fausse.

C'est exactement ce que l'article « VETSCORE » s'attaque à résoudre. Les chercheurs, travaillant avec des experts vétérinaires, ont construit un nouvel outil pour noter les réponses générées par l'IA. Ils ont réalisé que toutes les erreurs ne se valent pas. Si le robot se trompe sur une date (comme dire qu'une étude a eu lieu en -2021 au lieu de 2022), c'est agaçant, mais un chien ne sera probablement pas blessé. Mais s'il se trompe sur le dosage d'un médicament pour le cœur, c'est un désastre. Ils ont donc créé un système qui ne se contente pas de compter les erreurs ; il les pondère. Ils décomposent la longue réponse de l'IA en minuscules faits digestes. Ensuite, pour chaque fait, ils posent deux questions : « Le robot a-t-il réellement trouvé cela dans le livre qu'il a cité ? » et « Quel dommage cela pourrait-il causer si c'était faux ? ». Enfin, ils combinent ces réponses en un score unique qui nous indique à quel point les conseils de l'IA sont sûrs et fiables.

L'équipe a testé ce système en demandant à des modèles d'IA de générer des réponses à de vraies questions vétérinaires, puis en demandant à des experts humains (vétérinaires et étudiants) de noter ces mêmes réponses. Ils ont découvert que leur nouvel outil « VETSCORE » était très efficace pour correspondre aux jugements des experts humains, même en utilisant des modèles d'IA plus petits et plus rapides pour effectuer la notation. Les résultats suggèrent qu'en nous concentrant sur le risque d'une erreur plutôt que sur le simple nombre d'erreurs, nous pouvons construire une méthode beaucoup plus sûre pour vérifier l'IA dans des domaines à enjeux élevés comme la médecine vétérinaire. C'est comme avoir un inspecteur de sécurité qui ne se contente pas de compter combien de briques sont mal fixées dans un mur, mais qui vérifie spécifiquement si celles qui soutiennent le toit sont bien sécurisées.

Résumé technique : VETSCORE

Énoncé du problème

Les modèles de langage de grande taille (LLM) sont de plus en plus appliqués à la médecine vétérinaire, pourtant ils produisent fréquemment des résultats potentiellement nocifs ou factuellement inexacts. Bien que des approches récentes préconisent la « génération de texte attribuable » (incluant des citations et des extraits de sources) pour améliorer la fiabilité, la simple présence de citations ne garantit pas que les affirmations générées sont fidèles aux sources fournies. De plus, les méthodes actuelles de vérification des faits traitent toutes les affirmations de la même manière. Dans des domaines à enjeux élevés comme la médecine vétérinaire, il s'agit d'une faille critique : une affirmation non vérifiée concernant le dosage d'un médicament pose un risque de préjudice pour le patient nettement plus élevé qu'une affirmation non vérifiée concernant l'année de publication d'une étude. Les métriques d'évaluation actuelles ne parviennent pas à distinguer ces niveaux de risque, permettant potentiellement à des hallucinations à haut risque de passer inaperçues tout en pénalisant de manière disproportionnée les inexactitudes à faible risque.

Méthodologie : VETSCORE

Les auteurs présentent VETSCORE, un pipeline d'évaluation multi-étapes conçu pour évaluer la fidélité des réponses de type questions-réponses (QA) vétérinaires de format long par rapport à leurs extraits de sources cités, pondérée par le potentiel de préjudice de chaque affirmation. La méthode étend le paradigme standard « décomposition-puis-vérification » avec une notation ajustée au risque.

Le pipeline se compose de quatre étapes distinctes :

Segmentation de la sortie : Le texte généré est divisé en segments basés sur des délimiteurs (lignes vides ou citations précédentes). Chaque segment est associé à ses extraits de sources correspondants.
Décomposition des affirmations : Un LLM décompose chaque segment de texte en affirmations atomiques individuelles. Pour garantir la préservation du contexte (par exemple, la résolution de l'anaphore), le décomposeur est fourni avec le texte précédent de la sortie jusqu'au dernier en-tête.
Mécanisme de double notation :
- Vérification des faits : Un juge LLM évalue si chaque affirmation atomique est soutenue par les extraits de sources fournis. Cela produit un score binaire ( $v_i \in \{0, 1\}$ ), où 1 indique un soutien et 0 indique un manque de soutien ou une contradiction.
- Notation du potentiel de préjudice : Indépendamment, un juge LLM attribue un score de potentiel de préjudice ( $w_i \in [1, 5]$ ) à chaque affirmation. Ce score reflète la gravité du préjudice si l'affirmation était incorrecte et appliquée par un praticien vétérinaire. L'échelle va de 1 (aucune conséquence clinique, ex: métadonnées d'une étude) à 5 (préjudice direct pour le patient, ex: dosage incorrect d'un médicament ou contre-indication).
Agrégation pondérée par le risque : Le score final pour un segment est calculé en agrégeant les scores de vérification et de préjudice. Les auteurs définissent une pénalité locale basée sur le potentiel non vérifié, normalisée par le potentiel de préjudice total du segment. La formule permet de contrôler la contribution des affirmations à haut risque via un exposant $p$ (fixé à 2,426 dans les expériences). Le score de vérification ajusté au risque final est $1 - p_{global}$ , représentant la fraction du potentiel de préjudice total qui est soutenue.

Jeu de données et évaluation

Pour valider VETSCORE, les auteurs ont construit un jeu de données de méta-évaluation :

Entrées : 67 requêtes diverses provenant d'un système de QA vétérinaire de production, couvrant diverses disciplines (gastroentérologie, cardiologie, etc.) et espèces.
Génération : Six LLM différents (incluant GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro et des modèles à poids ouverts) ont généré des réponses avec des citations basées sur des sources PubMed récupérées.
Annotation humaine : Des experts vétérinaires (praticiens et étudiants) ont annoté 1 200 segments contenant 4 986 affirmations. Ils ont effectué deux tâches : la vérification binaire des faits et la notation du potentiel de préjudice de 1 à 5.
Agrégation : En raison d'un accord inter-annotateurs modéré sur la notation du préjudice ( $\alpha = 0,462$ ), les auteurs ont utilisé la théorie de la réponse aux items (spécifiquement le modèle de crédit partiel) pour ajuster la sévérité des évaluateurs et dériver des scores agrégés.

Résultats clés

Les auteurs ont évalué VETSCORE à l'aide de neuf modèles de juges différents (allant de modèles propriétaires comme GPT-5.6 Sol à des modèles plus petits à poids ouverts comme Gemma 4 31B) par rapport aux annotations humaines.

Corrélation avec les experts : VETSCORE a atteint des corrélations de Spearman élevées avec les experts humains. Les corrélations de vérification des faits ont atteint jusqu'à 0,783 (Gemini 3.6 Flash), et les corrélations de potentiel de préjudice ont atteint 0,763 (Gemini 3.1 Pro).
Efficacité des modèles : L'approche modulaire s'est avérée efficace même avec des modèles plus petits. Gemma 4 31B (31 milliards de paramètres) a obtenu des corrélations compétitives avec des modèles propriétaires beaucoup plus grands, suggérant que la méthode ne nécessite pas de LLM massifs pour une évaluation efficace.
Études d'ablation : Le retrait de la composante de potentiel de préjudice (ligne de base de vérification seule) a considérablement réduit la corrélation avec les scores combinés humains en termes absolus, confirmant que la pondération par le risque est essentielle pour la pertinence clinique. L'évaluation conjointe (combinant la vérification et la notation dans un seul prompt) a dégradé les performances par rapport à l'approche modulaire.
Cohérence : Les modèles propriétaires et Gemma 4 31B ont montré une grande cohérence entre les exécutions, tandis que certains modèles à poids ouverts de type Mixture-of-Experts (MoE) ont présenté une variance plus élevée.

Signification et contributions

L'article revendique trois contributions principales :

Pipeline VETSCORE : Un pipeline de vérification efficace, explicable et modulaire qui fournit des scores de fidélité pondérés par le risque spécifiquement pour le QA vétérinaire de format long. Contrairement aux méthodes précédentes, il pénalise explicitement plus lourdement les affirmations à haut risque non vérifiées que celles à faible risque.
Jeu de données validé par des experts : La publication d'un jeu de données de méta-évaluation annoté par des professionnels vétérinaires, qui démontre que l'approche proposée est fortement corrélée au jugement des experts humains.
Faisabilité avec des modèles plus petits : La démonstration que l'approche de décomposition modulaire et de pondération du risque permet une évaluation efficace à l'aide de LLM plus petits et plus efficaces, rendant le système évolutif.

Les auteurs soulignent que VETSCORE répond au besoin spécifique d'une évaluation « informée par le risque » dans les domaines cliniques. En décomposant les sorties et en pondérant les affirmations par le potentiel de préjudice, le système offre une explicabilité fine, permettant aux praticiens d'identifier exactement quelles affirmations à haut risque manquent de support. L'article conclut que bien que la méthode soit actuellement concentrée sur la fidélité basée sur les extraits, son cadre ajusté au risque est une étape critique vers une IA plus sûre et fondée sur des preuves en médecine vétérinaire.