OARelatedWork: A Large-Scale Dataset of Related Work Sections with Full-texts from Open Access Sources
Cet article introduit OARelatedWork, le premier ensemble de données à grande échelle permettant la génération de travaux connexes à partir de textes intégraux issus de sources en libre accès, lequel révèle que si les modèles de langage étendus modernes peinent à synthétiser des contextes massifs par rapport aux résumés, ils peuvent surpasser les références humaines en matière de facticité fondée sur des preuves, nécessitant ainsi de nouveaux cadres d'évaluation au niveau des énoncés pour remplacer les mesures inadéquates basées sur des références.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'idée principale : Écrire le « Chapitre des autres »
Imaginez que vous écrivez un roman. Avant de raconter votre propre histoire, vous devez écrire un chapitre appelé « État de l'art » (Related Work). Dans ce chapitre, vous devez résumer ce que d'autres auteurs ont écrit avant vous, expliquer en quoi leurs histoires sont similaires à la vôtre, et montrer en quoi votre histoire est différente.
Pendant longtemps, les ordinateurs qui tentaient de faire cela étaient comme des étudiants qui n'avaient le droit de lire que les résumés au dos des livres (les abstracts). Ils devaient deviner toute l'histoire à partir d'un minuscule résumé. Ce papier présente un nouveau jeu de données appelé OARelatedWork qui change les règles : désormais, l'ordinateur a le droit de lire toute la bibliothèque (le texte intégral de chaque livre) avant d'essayer d'écrire son chapitre.
Le problème : Le « Résumé » contre le « Livre »
Auparavant, les chercheurs construisaient des jeux de données où les ordinateurs ne voyaient que les courts résumés des articles cités.
- L'ancienne méthode : C'est comme essayer d'écrire une critique de livre en se basant uniquement sur la quatrième de couverture. On peut saisir l'idée générale, mais on manque de détails, de nuances et de preuves spécifiques.
- La nouvelle méthode (OARelatedWork) : Ce jeu de données donne à l'ordinateur le texte intégral de 94 000 articles et le texte intégral des millions de livres qu'ils référencent. Cela force l'IA à lire le livre entier, pas seulement le résumé.
Ce qu'ils ont découvert : Le « Intelligent » contre l'« Humain »
Les chercheurs ont testé ce nouveau jeu de données avec divers modèles d'IA et les ont comparés à des rédacteurs humains. Ils ont découvert des choses surprenantes :
- Plus d'informations peuvent être un piège : Lorsque l'IA recevait le texte intégral des livres plutôt que de simples résumés, elle commettait en réalité plus d'erreurs sur l'emplacement des citations. C'était comme donner à un étudiant un manuel de 1 000 pages et lui demander de trouver un fait spécifique ; l'étudiant était submergé et pointait parfois la mauvaise page.
- Les humains « inventent des choses » (Abstraction) : Les auteurs humains sont très créatifs. Ils lisent souvent un livre, le referment, puis écrivent une phrase qui semble provenir de ce livre, même si les mots exacts n'y étaient pas. Ils mélangent des idées provenant de différentes parties du livre pour créer un récit fluide.
- L'IA est le « Bibliothécaire strict » : Parce que l'IA est entraînée pour être très prudente et ne dire que ce qu'elle peut prouver par une citation directe, elle s'est avérée plus exacte sur le plan factuel que les humains lorsqu'elle est jugée strictement.
- L'analogie : Imaginez qu'un auteur humain est un musicien de jazz qui improvise une belle mélodie qui semble juste, mais qui ne suit pas forcément la partition à la lettre. L'IA est un chef d'orchestre strict qui vérifie chaque note par rapport à la partition. Dans ce jeu spécifique de « avez-vous suivi les règles ? », l'IA a gagné.
Le tableau des scores : Comment noter ?
Le papier soutient que l'ancienne façon de noter ces résumés (en comptant combien de mots se chevauchent entre le travail de l'IA et celui d'un humain) est défaillante.
- L'ancien score : Comme noter la rédaction d'un élève en comptant combien de mots il a utilisés qui étaient présents dans l'exemple du professeur. Si l'élève utilisait des mots différents pour dire la même chose, il recevait une mauvaise note.
- Le nouveau score : Les auteurs ont créé un « Juge au niveau de l'énoncé ». Au lieu de regarder l'essai dans son ensemble, ils le décomposent phrase par phrase et demandent : « Ce fait est-il vrai ? La citation est-elle correcte ? »
- Ils ont découvert que les outils de notation standards sont terribles pour cela. Il faut un juge IA intelligent (comme un professeur chevronné) pour vérifier les faits, pas seulement un correcteur orthographique.
La conclusion
Ce papier dit : « Arrêtez de donner à l'IA uniquement les résumés de quatrième de couverture. Donnez-lui toute la bibliothèque. »
- Le jeu de données : Il s'agit d'une collection massive d'articles en accès libre avec des textes intégraux.
- La leçon : Lorsque l'IA doit lire le livre entier, elle a du mal à synthétiser l'information aussi fluidement que les humains, mais elle devient incroyablement douée pour s'en tenir aux faits.
- L'avenir : Pour construire de meilleurs outils pour les chercheurs, nous devons cesser de tester l'IA sur de courts résumés et commencer à la tester sur la réalité entière, désordonnée et complexe de la lecture de l'intégralité des articles académiques.
En bref : Ce papier a construit une immense bibliothèque pour que l'IA s'entraîne à écrire des revues de littérature. Il a découvert que, bien que l'IA soit meilleure que les humains pour suivre les règles de la vérification des faits, les humains sont toujours meilleurs pour tisser ces faits dans un récit fluide et naturel.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.