Neural Diversity Regularizes Hallucinations in Language Models
Ce document introduit la « diversité neurale » comme un troisième axe de mise à l'échelle pour les modèles de langage, proposant la méthode ND-LoRA pour réduire les hallucinations jusqu'à 25,6 % grâce à des représentations parallèles décorrelées et une régularisation de type Barlow Twins, tout en établissant des limites formelles qui lient une corrélation neurale plus faible à une fiabilité plus élevée.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de résoudre une énigme difficile, mais au lieu de poser la question à une seule personne, vous l'interrogez toute une équipe. Si tous les membres de l'équipe pensent exactement de la même manière, ils pourraient tous commettre la même erreur idiote et vous donner ensemble la mauvaise réponse. C'est le problème fondamental des « modèles de langage » modernes — ces programmes informatiques super intelligents qui écrivent des histoires, répondent à des questions et discutent avec nous. Même si ces programmes deviennent plus grands et plus intelligents, ils inventent encore parfois des choses, un bug appelé « hallucination ». Ils peuvent affirmer avec assurance un fait imaginaire ou inventer une histoire qui ne s'est jamais produite.
Pour correr cela, les scientifiques essaient généralement de rendre les modèles plus grands ou de les nourrir avec plus de données, comme si l'on tentait de résoudre un puzzle en achetant une boîte plus grande. Mais ce document suggère une approche différente : au lieu de rendre l'équipe plus grande, rendez ses membres différents. Les auteurs empruntent une idée à la finance appelée « diversification ». Tout comme un investisseur ne place pas tout son argent dans une seule action car si celle-ci échoue, il perd tout, il répartit son argent sur de nombreuses actions différentes. Si une action s'effondre, les autres peuvent rester stables, protégeant ainsi le portefeuille. Le papier demande : pouvons-nous faire la même chose avec des cerveaux informatiques ? Si nous forçons les différentes parties du modèle à penser de manières légèrement différentes et non corrélées, pouvons-nous empêcher qu'elles ne commettent toutes la même erreur en même temps ?
C'est exactement ce que les chercheurs ont entrepris de tester. Ils proposent une nouvelle méthode appelée Neural Diversity (Diversité Neurale), qui agit comme un « coach de diversité » pour le cerveau de l'ordinateur. Au lieu de laisser les voies internes du modèle s'effondrer pour penser de la même façon, ils forcent ces voies à rester distinctes et indépendantes. Ils ont construit un outil appelé ND-LoRA pour faire cela. Considérez cela comme le fait de donner à un seul modèle informatique quatre « chapeaux » différents à porter à la fois. Chaque chapeau représente une manière légèrement différente de traiter la même phrase. Le modèle combine ensuite les réponses de tous les chapeaux.
Les résultats sont très prometteurs. En utilisant cette approche des « quatre chapeaux » et un tour de magie mathématique pour éviter que les chapeaux ne deviennent trop similaires, les chercheurs ont découvert qu'ils pouvaient réduire le nombre de faits inventés jusqu'à 25,6 % sur des tests spécifiques, avec une amélioration moyenne de 14,6 %. Cela s'est produit sans avoir besoin de rendre le modèle informatique plus grand ou de l'entraîner sur plus de données. En fait, cela n'a coûté qu'un tout petit peu plus de puissance de calcul — environ 0,008 % de temps d'entraînement supplémentaire et seulement 1,1 fois la vitesse d'exécution.
Cependant, le document a également découvert un rebondissement : plus de diversité n'est pas toujours meilleure. C'est comme une chorale ; si tout le monde chante une note différente, cela ressemble à du bruit. Si tout le monde chante exactement la même note, c'est ennuyeux et sujet aux erreurs. Il existe un « point d'équilibre » où les voix sont assez différentes pour détecter les erreurs, mais assez similaires pour s'accorder sur la vérité. Les chercheurs ont découvert que ce point d'équilibre change selon ce que fait l'ordinateur. Pour les tâches impliquant une narration créative ou la vérification de faits, avoir des voix plus « différentes » (spécifiquement 4 à 8 flux parallèles) fonctionnait le mieux. Mais pour des tâches de mémoire simples, comme se rappeler un nom spécifique, avoir une seule voix était en fait le plus fiable.
Les auteurs précisent avec prudence que, bien que leurs mathématiques prouvent que cela devrait fonctionner et que leurs expériences sur un petit modèle montrent que cela fonctionne, il s'agit d'une solution spécifique pour un type d'erreur spécifique. Ils soutiennent que les hallucinations sont souvent causées par le fait que les parties internes du modèle restent bloquées dans une boucle d'idées fausses et similaires, plutôt que par un simple manque de connaissances. En brisant cette boucle grâce à la diversité, ils peuvent rendre le modèle plus fiable sans avoir besoin de construire un supercalculateur géant et coûteux. C'est une façon ingénieuse et à faible coût de rendre l'IA un peu moins encline à mentir, prouant que parfois, la meilleure façon d'obtenir une meilleure réponse est de poser plusieurs questions différentes à la fois.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.