Hallucination Span Detection with Input-Side Evidence Alignment
Cet article introduit une nouvelle tâche et une méthode basée sur un encodeur pour détecter les segments hallucinés dans le texte généré par les LLM en exploitant la prédictibilité des jetons fidèles à partir de l'évidence d'entrée afin d'identifier simultanément les hallucinations et de les aligner avec leur source.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les modèles de langage de grande taille ont transformé notre façon d'interagir avec les ordinateurs, agissant comme de puissants moteurs capables de résumer des actualités, de répondre à des questions complexes et de rédiger des documents. Ces systèmes fonctionnent en prédisant le mot suivant dans une phrase en se basant sur des modèles qu'ils ont appris à partir de vastes quantités de textes. Cependant, un défaut persistant mine leur fiabilité : ils inventent parfois des faits. Ce phénomène, connu sous le nom d'hallucination, se produit lorsqu'un modèle génère des informations qui semblent plausibles mais qui sont soit non étayées par le matériel source, soit en contradiction directe avec celui-ci. Pour les utilisateurs s'appuyant sur ces outils pour des tâches critiques, il est difficile de distinguer un résumé utile d'un récit fabriqué. Le défi central ne réside pas seulement dans le fait de savoir qu'une erreur existe, mais dans la capacité à identifier précisément quels mots sont erronés et à trouver la partie spécifique du texte original qui prouve qu'ils sont faux. Sans ce niveau de détail granulaire, la vérification de la véracité d'un document long reste un processus manuel et fastidieux.
Des chercheurs de l'Institut de Science de Tokyo ont développé une nouvelle approche pour résoudre ce problème, en déplaçant l'attention de l'évaluation d'un texte entier vers l'examen de mots individuels. Au lieu de demander à un ordinateur de simplement étiqueter un paragraphe entier comme vrai ou faux, leur méthode agit comme une loupe, scannant la production générée mot après mot pour voir si elle peut être tracée jusqu'à la source. L'équipe s'appuie sur une observation simple mais puissante : si un mot dans le résumé est fidèle au texte original, un ordinateur devrait être capable de le prédire en utilisant uniquement le matériel source comme guide. Inversement, si un mot est une hallucination, il sera impossible de le prédire à partir de la source car l'information n'existe tout simplement pas là. En entraînant un modèle à tester cette prédictibilité, les chercheurs ont créé un système qui non seulement signale les mots inventés, mais met également en évidence la preuve spécifique dans l'entrée qui soutient l'information correcte.
Le processus commence par la décomposition du texte généré en segments significatifs, tels que des phrases ou des propositions, plutôt que de le traiter comme un bloc unique. Le système prend ensuite un mot de l'un de ces segments et le cache temporairement, demandant au modèle de deviner quel devrait être ce mot en se basant uniquement sur le texte d'entrée original. Si le modèle peut deviner le mot caché avec assurance en utilisant la source, le système le marque comme fidèle. Si le modèle peine à faire une supposition, ou si le score de confiance est bas, le système signale le mot comme une hallucination potentielle. Crucialement, parce que le modèle a dû consulter le texte source pour faire sa supposition, il produit naturellement un lien entre le mot de sortie et la partie spécifique de l'entrée qui l'a aidé. Cela crée une carte de preuves, montrant à l'utilisateur exactement où le modèle a trouvé son information ou, dans le cas d'une erreur, où il n'a trouvé aucun support.
Pour tester cette idée, les chercheurs ont utilisé un ensemble de données contenant des milliers d'exemples où des humains avaient déjà identifié quelles parties des réponses générées étaient factuellement incorrectes. Ils ont comparé leur nouvelle méthode aux techniques existantes, y compris celles qui reposent sur des modèles massifs et complexes pour lire et juger le texte. Les résultats ont montré que leur approche plus légère et plus ciblée était exceptionnellement douée pour trouver les erreurs. Alors que d'autres méthodes manquaient parfois totalement les erreurs, ce nouveau système a réussi à identifier la vaste majorité des mots hallucinés, particulièrement ceux qui étaient totalement inventés. Il s'est également avéré efficace pour lier les mots corrects du résumé aux bonnes phrases de la source, fournissant une piste de preuves claire que l'utilisateur peut suivre.
Cependant, l'étude a également révélé une faiblesse spécifique dans la capacité du système à détecter certains types d'erreurs. La méthode a eu des difficultés lorsque l'hallucination était une contradiction directe, comme le changement d'un nombre de « quatre » à « vingt » d'une manière qui reste grammaticalement et contextuellement similaire au texte original. Dans ces cas, le modèle trouvait le contexte environnant si similaire qu'il restait confiant dans sa prédiction, échouant à reconnaître le glissement subtil de sens. Les chercheurs ont noté que, bien que le système excelle à repérer les informations entièrement absentes de la source, il nécessite un perfectionnement supplémentaire pour attraper ces erreurs de plus en plus trompeuses et conflictuelles. Malgré cette limitation, ce travail démontre une avancée significative pour rendre l'intelligence artificielle plus transparente, offrant un moyen pratique de vérifier la véracité du contenu généré par machine en connectant chaque affirmation directement à sa source.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.