On the Role of Citations in Preference Data
Cet article étudie comment les juges humains et les LLM open-source évaluent les citations dans le cadre de la réponse à des questions scientifiques, révélant que les humains préfèrent des citations diverses mais moins nombreuses tandis que les LLM présentent des préférences liées aux citations qui varient selon le modèle et les données, offrant ainsi des perspectives critiques pour améliorer la collecte de données de préférence dans la modélisation de récompense.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde en évolution rapide de l'intelligence artificielle, un type de tâche spécifique est devenu central dans la manière dont ces systèmes apprennent et s'améliorent : demander à un ordinateur de choisir la meilleure de deux réponses. Ce processus, connu sous le nom d'apprentissage par préférence, est le moteur de l'entraînement de l'IA moderne. Lorsqu'un système génère deux réponses différentes à une question, un juge — qu'il s'agisse d'un expert humain ou d'un autre programme d'IA — décide laquelle est supérieure. Ces choix sont ensuite utilisés pour enseigner au système d'origine comment se comporter davantage comme un expert de confiance. Cependant, une pièce cruciale du puzzle est restée obscure : lorsque ces juges examinent des réponses qui incluent des références à des sources extérieures, appelées citations, que recherchent-ils exactement ? Valorisent-ils le nombre pur de sources, la variété de ces sources ou la fraîcheur de l'information ? Comprendre cela est vital car les citations sont censées être un bouclier contre la fabrication, permettant aux utilisateurs de vérifier si une IA dit la vérité. Si les systèmes qui entraînent l'IA ne comprennent pas comment pondérer correctement ces références, les modèles résultants pourraient apprendre à donner la priorité aux mauvaises choses, comme lister de nombreuses sources sans vérifier leur qualité, ou ignorer totalement la crédibilité de l'information.
Une équipe de chercheurs s'est lancée dans l'investigation de cette question exacte en examinant comment les experts humains et les programmes d'intelligence artificielle évaluent des réponses scientifiques qui incluent des citations. Ils se sont concentrés sur un scénario où une IA est interrogée sur une question scientifique complexe et fournit une réponse longue et détaillée appuyée par des références à des articles académiques. Les chercheurs ont rassemblé des milliers de ces paires de réponses, où une réponse a été choisie par rapport à l'autre par des experts humains, puis ont demandé à quatre modèles de langage différents de faire les mêmes choix. Pour comprendre les règles cachées derrière ces décisions, l'équipe a utilisé une méthode statistique qui permet d'isoler des caractéristiques spécifiques des réponses, telles que le nombre de citations utilisées, la diversité des sources et si les références correspondent au texte, tout en contrôlant d'autres facteurs comme la longueur de la réponse.
L'étude a révélé un motif distinct et quelque peu surprenant dans la façon dont les humains jugent ces réponses. Lorsque les gens examinaient les réponses scientifiques, ils préféraient les réponses qui s'appuyaient sur une grande variété de sources différentes, suggérant qu'ils valorisaient l'étendue et la perspective. Cependant, ils préféraient également les réponses ayant moins de citations au total. Cela indique que, bien que les humains veuillent voir qu'une réponse est bien documentée, ils sont rebutés par les réponses qui semblent encombrées par un nombre excessif de références. De plus, les humains ont rapidement pénalisé les réponses où les références dans le texte ne correspondaient pas à la liste des sources à la fin, une erreur courante qui suggère que l'IA pourrait inventer des références. Curieusement, l'âge des sources importait très peu pour les juges humains ; ils ne montraient pas de préférence marquée pour les articles récents par rapport aux plus anciens.
En revanche, les juges d'intelligence artificielle se sont comportés de manière très différente, et leurs préférences variaient selon le modèle spécifique effectuant le jugement. Bien que les modèles d'IA aient également tendance à aimer la diversité des sources, ils ont souvent montré une réaction beaucoup plus forte à la quantité de citations que les humains. Certains juges d'IA n'aimaient pas du tout les réponses avec beaucoup de citations, tandis que d'autres étaient indifférents. Plus critique encore, les modèles d'IA n'ont pas réussi à remarquer ou à pénaliser les références discordantes que les humains trouvaient si problématiques. Au lieu de cela, les juges d'IA étaient fortement influencés par des caractéristiques superficielles, telles que la longueur de la réponse. Plusieurs des modèles préféraient systématiquement les réponses longues, indépendamment du fait que la longueur supplémentaire apportait de la valeur ou ne faisait que remplir l'espace. Cela suggère que, sans entraînement spécifique ou accès aux documents sources réels, ces systèmes d'IA ne sont pas réellement en train de « lire » les citations pour vérifier leur exactitude, mais réagissent plutôt aux motifs visuels ou structurels du texte.
Les chercheurs ont constaté que ces différences n'étaient pas de simples caprices mineurs mais des divergences significatives qui pourraient affecter la manière dont les futurs systèmes d'IA seront entraînés. Parce que les modèles d'IA sont souvent utilisés pour étiqueter les données destinées à l'entraînement d'autres modèles, s'appuyer sur eux sans comprendre leurs biais spécifiques pourrait conduire à un système qui apprend à donner la priorité à la longueur ou au nombre de citations plutôt qu'à l'exactitude réelle et à la diversité des sources. L'étude souligne que, bien que l'IA puisse imiter le jugement humain de nombreuses façons, elle manque de la compréhension intuitive de ce qui rend une référence crédible ou cohérente. Les auteurs suggèrent que, pour construire de meilleurs systèmes, les développeurs doivent être plus prudents quant à la manière dont ils collectent les données de préférence, en s'assurant que les directives humaines sont claires sur la qualité des citations et que les juges d'IA disposent soit d'outils pour vérifier les sources, soit sont sélectionnés sur la base d'une compréhension profonde de leurs biais spécifiques. En fin de compte, ce travail sert de rappel que, dans la quête d'une IA plus fiable, les détails de la manière dont nous lui demandons de choisir entre des réponses comptent tout autant que les réponses elles-mêmes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.