Hallucination Detection Using Evidence Retrieval and Natural Language Inference
Ce document présente TruthLens, un pipeline fondé sur les preuves qui détecte les hallucinations dans les réponses des grands modèles de langage en extrayant des affirmations individuelles, en récupérant des preuves via une approche hybride BM25 et MiniLM, et en les vérifiant avec un modèle NLI DeBERTa-v3, atteignant une précision modérée sur le jeu de données FEVER tout en soulignant les limites de généralisation et de couverture des preuves.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le vaste paysage de l'intelligence artificielle moderne, les grands modèles de langage sont devenus remarquablement habiles dans l'écriture. Ils peuvent composer des essais fluides, répondre à des questions complexes et raconter des histoires cohérentes avec une assurance qui semble souvent indiscernable de l'expertise humaine. Pourtant, sous cette surface polie se cache une faille persistante : ces systèmes génèrent parfois des affirmations qui semblent plausibles mais qui sont factuellement incorrectes, non étayées ou entièrement inventées. Ce phénomène, connu sous le nom d'hallucination, pose un défi important car une seule réponse peut contenir un mélange de faits vrais et de faux. Si un système qualifie l'ensemble d'une réponse de simplement « fausse » ou « vraie », il manque la nuance de savoir quelles parties spécifiques sont dignes de confiance. Pour résoudre cela, les chercheurs se tournent vers une méthode de vérification qui traite chaque phrase comme une affirmation distincte, la vérifiant par rapport à une bibliothèque de faits connus pour voir si les preuves soutiennent, contredisent ou ne font que ne pas aborder l'énoncé.
Une équipe de chercheurs de l'Institut indien de technologie de Roorkee a construit un prototype de système appelé TruthLens pour s'attaquer à ce problème. Plutôt que de deviner si une réponse est vraie, TruthLens agit comme un vérificateur de faits méticuleux qui décompose une réponse longue en phrases individuelles. Pour chaque phrase, le système recherche des passages pertinents dans une immense bibliothèque numérique de textes. Il utilise deux stratégies différentes pour trouver ces passages : l'une recherche des correspondances de mots exacts, tandis que l'autre comprend le sens derrière les mots, même si la formulation est différente. Le système combine ensuite les résultats de ces deux recherches pour choisir le candidat de preuve le plus probable. Enfin, il utilise un modèle de langage spécialisé pour comparer l'affirmation originale à l'évidence choisie, décidant si l'évidence prouve l'affirmation, la contredit ou laisse la question sans réponse.
Les chercheurs ont testé cette approche en utilisant un ensemble de données comprenant près de vingt mille exemples dérivés d'un test de référence standard de vérification des faits. Ils ont d'abord mesuré la capacité de leur système à trouver la bonne preuve. En utilisant uniquement la recherche par correspondance de mots, le système a trouvé la bonne preuve dans environ la moitié des cas. En utilisant la recherche basée sur le sens, il s'est légèrement amélioré. Cependant, lorsqu'ils ont combiné les deux méthodes, le système a localisé avec succès l'évidence pertinente dans 56,51 % des cas lors de sa première tentative, et dans plus de 65 % des cas s'il examinait les cinq ou dix meilleures suggestions. Cette approche hybride s'est avérée être la méthode la plus efficace pour rassembler des preuves potentielles, montant que s'appuyer sur une seule méthode de recherche ne suffit pas pour capturer toute l'information nécessaire.
Une fois que le système a trouvé la meilleure preuve, il devait décider de la signification de cette preuve. Les chercheurs ont testé plusieurs configurations pour voir quel montage produisait les verdicts les plus précis. Ils ont constaté que le fait de fournir la pièce d'évidence unique et la meilleure au modèle de vérification fonctionnait mieux que d'essayer d'agréger plusieurs morceaux d'évidence. Sur un ensemble distinct de deux mille exemples que le système n'avait jamais vus auparavant, cette configuration finale a classé correctement les affirmations 62,25 % du temps. Bien qu'il s'agisse d'une performance solide pour un prototype, les résultats ont également mis en évidence les points où le système éprouve des difficultés. Le modèle était particulièrement bon pour identifier quand une affirmation était soutenue ou contredite, mais il trouvait difficile de distinguer une affirmation qui était simplement non étayée par le texte disponible d'une affirmation qui était réellement fausse. Dans ces cas d'incertitude, le système hésitait souvent, les qualifiant d'« inconnues » plutôt que de rendre un verdict définitif.
L'étude a également révélé que le succès du système est étroitement lié à la qualité et à la portée de l'évidence à laquelle il peut accéder. Les chercheurs ont noté que leur prototype repose sur une collection de textes spécifique et limitée, et qu'il ne peut pas vérifier des affirmations concernant des événements ou des faits qui n'existent pas dans cette bibliothèque. De plus, le système échoue parfois lorsqu'une affirmation nécessite de relier plusieurs morceaux d'information ou de résoudre des références comme les pronoms, ce qui peut confondre l'analyse phrase par phrase. En tentant de tester si leur méthode pouvait fonctionner sur un autre type de jeu de données conçu pour la réponse aux questions générales, les chercheurs ont constaté que le système ne se transférait pas bien, suggérant que les outils construits pour un type spécifique de tâche de vérification des faits peuvent ne pas fonctionner universellement sans ajustements significatifs.
En fin de compte, TruthLens démontre qu'il est possible de construire un pipeline qui décompose les réponses de l'IA et les vérifie par rapport à une base de données de faits, mais cela expose aussi les limites de la technologie actuelle. Le système n'est pas une baguette magique capable de révéler instantanément la vérité absolue de n'importe quelle déclaration ; c'est plutôt un outil qui montre ce qui peut être vérifié compte tenu des preuves disponibles. Il identifie avec succès quand une affirmation est soutenue ou contredite par le texte qu'il peut trouver, mais il admet aussi honnêtement quand l'évidence est manquante ou insuffisante. Les chercheurs concluent que si leur méthode hybride de recherche et de vérification fonctionne, les plus grands obstacles résident encore dans la gestion du raisonnement complexe, la résolution des références obscures et l'extension de la capacité du système à travailler sur différents types de données. Pour l'instant, le système sert de prototype fonctionnel qui offre un aperçu de la manière dont les machines pourraient un jour aider les humains à naviguer dans le déluge d'informations, à condition de nous rappeler que le jugement final nécessite toujours une supervision humaine.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.