FARCA: Fact-Aligned Reliability-Aware Credit Assignment for Reinforcement Learning with Factual Supervision
FARCA est un cadre d'optimisation de politique qui atténue l'hallucination dans l'apprentissage par renforcement avec supervision factuelle en décomposant l'attribution de crédit bruyante en ambiguïtés de localisation et de fiabilité, générant ainsi des signaux d'entraînement au niveau du jeton, fins et pondérés par la fiabilité, qui améliorent la facticité du modèle sans compromettre ses capacités de raisonnement général.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde en évolution rapide de l'intelligence artificielle, les grands modèles de langage sont devenus des outils puissants pour le raisonnement, capables de résoudre des problèmes complexes en générant des explications étape par étape. Ces systèmes sont souvent entraînés à l'aide d'une méthode appelée apprentissage par renforcement, où l'ordinateur apprend par essais et erreurs, ne recevant une récompense que lorsqu'il produit une réponse finale correcte. Bien que cette approche ait débloqué des capacités impressionnantes, elle comporte un risque caché : le modèle pourrait parvenir à la bonne conclusion en tissant un récit rempli de faits inventés. Parce que le système d'entraînement ne vérifie que le résultat final, il enseigne par inadvertance au modèle que la fabrication de détails est une stratégie valable, tant que la fin est correcte. Ce phénomène, connu sous le nom d'hallucination, compromet la fiabilité de ces systèmes, surtout lorsqu'on leur demande de répondre à des questions qui nécessitent des connaissances précises du monde réel.
Pour corriger cela, des chercheurs ont commencé à introduire une nouvelle couche de supervision qui vérifie les faits au sein même du processus de raisonnement, et non plus seulement la réponse finale. Cependant, une nouvelle étude révèle que le simple ajout de ces vérifications de faits ne suffit pas. Si le système ne peut pas identifier précisément quels mots dans une phrase étaient vrais et lesquels étaient faux, ou s'il fait aveuglément confiance à chaque vérificateur de faits qu'il utilise, l'entraînement peut en réalité devenir plus bruité et moins efficace. Les chercheurs ont constaté que les méthodes existantes traitent souvent une phrase entière ou une étape de raisonnement comme une unité unique, attribuant le même crédit ou le même blâme à chaque mot de celle-ci. Cela crée un décalage où un fait correct et un fait halluciné peuvent partager le même signal de récompense, confondant ainsi le modèle. De plus, les outils utilisés pour vérifier les faits ne sont pas parfaits ; ils peuvent être induits en erreur par des astuces linguistiques ou des informations non pertinentes, pourtant les méthodes d'entraînement actuelles traitent leurs jugements comme des vérités absolues.
Pour résoudre ces problèmes, une équipe de chercheurs de l'Université de sciences et de technologie de Nanjing et de l'Université de Nanjing a développé un nouveau cadre appelé FARCA. Leur approche est conçue pour aligner la granularité de la vérification des faits avec la manière dont le modèle apprend. Au lieu de juger une phrase entière d'un coup, le système décompose le raisonnement du modèle en petites affirmations indépendantes, ou faits atomiques. Pour chacune de ces minuscules affirmations, le système remonte jusqu'aux mots spécifiques du texte qui l'ont générée. Ce processus, que les auteurs appellent provenance des jetons (token provenance), garantit que le modèle reçoit une récompense ou une pénalité uniquement pour les mots spécifiques qui correspondent à une déclaration vraie ou fausse. Si une phrase contient un fait correct et un fait incorrect, le système peut désormais récompenser la partie correcte tout en pénalisant la partie incorrecte, plutôt que de fusionner les deux.
Les chercheurs ont également abordé le problème des vérificateurs de faits peu fiables. Ils ont réalisé que tous les signaux de vérification des faits ne sont pas également dignes de confiance. Certains jugements sont basés sur des preuves claires et identifiables, tandis que d'autres pourraient être des suppositions dictées par les schémas linguistiques du modèle. Pour gérer cela, FARCA utilise une technique appelée attribution de preuve contrefactuelle. Avant d'accepter une vérification de fait, le système pose une question simple : si nous supprimions la pièce d'évidence la plus importante soutenant ce fait, le vérificateur de faits changerait-il d'avis ? Si la réponse est oui, le jugement est considéré comme hautement fiable. Si le vérificateur de faits donne la même réponse même sans l'évidence clé, le système considère ce jugement comme faible et réduit son influence sur le processus d'entraînement. Cela permet au modèle d'apprendre à partir de corrections solides et étayées par des preuves, tout en ignorant les signaux bruyants ou trompeurs.
L'équipe a testé cette nouvelle méthode sur deux modèles de langage différents en utilisant une variété de jeux de données exigeants qui requièrent une connaissance approfondie et du raisonnement. Ils ont comparé leurs résultats aux de plusieurs méthodes existantes qui utilisent la supervision factuelle. Les conclusions ont montré que le nouveau cadre a considérablement amélioré la capacité des modèles à s'en tenir aux faits sans sacrifier leur capacité à résoudre des problèmes complexes. Sur les tests conçus pour mesurer la fréquence à laquelle les modèles inventent des choses, la nouvelle méthode a surpassé toutes les approches précédentes, réduisant les hallucinations de manière notable. Par exemple, sur un test mesurant la véracité des connaissances générales, l'amélioration a été substantielle, la nouvelle méthode atteignant des scores de plusieurs points de pourcentage supérieurs au système suivant en termes de performance. Crucialement, les modèles ont également maintenu ou même amélioré leurs performances sur les tâches de raisonnement mathématique, prouant que rendre l'entraînement plus axé sur les faits n'a pas rendu les modèles moins performants en logique.
L'étude suggère que la clé pour entraîner une IA fiable réside dans la précision et le scepticisme. En localisant précisément où réside un fait dans une phrase et en questionnant la force de l'évidence derrière chaque vérification de fait, les chercheurs ont créé un environnement d'entraînement qui est à la fois plus précis et plus robuste. Leur travail démontre que le chemin vers une meilleure intelligence artificielle ne consiste pas seulement à vérifier plus de faits, mais à les vérifier d'une manière qui respecte la complexité du langage et les limites des outils de vérification. Cette approche offre une manière plus claire et plus stable de guider ces systèmes puissants, garantissant que, lorsqu'ils raisonnent, ils le font sur une base de vérité plutôt que sur une collection de mensonges aux apparents plausibles.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.