💬 NLP

Large-scale dataset of automatically classified rhetorical sections in scientific papers

Cet article présente un ensemble de données à grande échelle de sections rhétoriques classées automatiquement pour 15,6 millions d'articles scientifiques issus du Semantic Scholar Open Research Corpus, validé pour atteindre un niveau d'accord humain et permettant une analyse computationnelle granulaire des modèles d'écriture scientifique.

Auteurs originaux : Daniel Verdi, Jacob Aarup Dalsgaard, Roberta Sinatra

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Verdi, Jacob Aarup Dalsgaard, Roberta Sinatra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entriez dans une bibliothèque massive contenant 15,6 millions d'articles scientifiques. Si vous essayiez de tous les lire, vous seriez submergé. Mais c'est encore plus déroutant que cela : chaque article est un peu comme un puzzle : certains ont des chapitres clairs comme « Introduction » ou « Méthodes », tandis que d'autres utilisent des titres étranges comme « Le voyage de la découverte » ou « Ce que nous avons trouvé ».

Cet article traite de la création d'un bibliothécaire automatisé super rapide capable de parcourir toute cette bibliothèque, d'examiner chaque article et de trier instantanément les pages dans leurs chapitres respectifs.

Voici comment ils ont procédé, expliqué simplement :

1. Le problème : Le « bureau en désordre »

Les scientifiques écrivent généralement leurs articles selon un format standard appelé IMRaD (Introduction, Méthodes, Résultats et Discussion). C'est comme une recette : vous dites ce que vous cuisinez, comment vous allez le cuisiner, ce qui s'est passé et ce que vous en pensez.

Mais dans le monde réel, les scientifiques sont désordonnés.

Un article peut appeler la section « Méthodes » « Conception expérimentale ».
Un autre peut appeler les « Résultats » « Conclusions ».
Certains articles mélangent les sections, comme « Résultats et Discussion ».

Essayer de trouver la section « Méthodes » dans des millions d'articles à la main est impossible. Les tentatives précédentes pour faire cela avec des ordinateurs étaient comme essayer de trouver une aiguille dans une botte de foin avec un minuscule aimant : elles ne fonctionnaient que sur de petits tas de papiers et ne passaient pas à l'échelle supérieure.

2. La solution : Le « Détective à base de règles »

Au lieu d'utiliser une IA complexe et coûteuse qui essaie de « réfléchir » comme un humain (ce qui prend un temps infini et coûte une fortune), les auteurs ont construit un Détective à base de règles.

Voyez ce détective comme un bibliothécaire très strict avec une liste de contrôle :

Passage 1 (La correspondance exacte) : Le détective cherche le mot « Introduction ». S'il le voit, il le marque.
Passage 2 (La correspondance de type motif) : Le détective cherche des variations. S'il voit « Conception de l'étude » ou « Comment nous avons procédé », il se dit : « Ah, c'est la section Méthodes ! »
L'astuce du « Remplissage de blancs » : Parfois, le détective manque un titre. Mais il sait que si la page précédente dit « Méthodes » et la page suivante dit « Résultats », tout ce qui se trouve entre les deux doit faire partie de la section « Méthodes ». Il remplit les lacunes automatiquement.

Pourquoi cette approche ?
Les auteurs ont choisi cette méthode « stupide » mais rapide plutôt qu'une IA « intelligente » car :

Vitesse : Elle a traité 15 millions d'articles en seulement quelques heures sur des ordinateurs normaux.
Transparence : On peut regarder les règles et dire : « Oh, il a étiqueté ceci comme 'Méthodes' parce qu'il a vu le mot 'Conception' ». Avec une IA complexe, c'est souvent une « boîte noire » où l'on ne sait pas pourquoi elle a fait un choix.
Coût : C'était incroyablement peu coûteux à exécuter.

3. Le résultat : Une bibliothèque propre et organisée

Après avoir fait passer le détective à travers la bibliothèque, ils ont filtré les articles qui étaient trop désordonnés (comme un article avec une seule section, ce qui n'est pas une véritable étude scientifique).

Le jeu de données final :

13,5 millions d'articles sont maintenant soigneusement organisés.
Chaque article possède ses sections étiquetées (Introduction, Méthodes, Résultats, etc.).
Cela couvre principalement les sciences, la technologie, l'ingénierie et les mathématiques (STEM), avec une énorme part de publications médicales et biologiques.

4. Est-ce que ça a marché ? (Le « Test de goût »)

Pour s'assurer que leur détective ne faisait pas que deviner, ils ont effectué deux tests :

Test Humain : Ils ont engagé 32 personnes intelligentes (titulaires d'un Master ou d'un Doctorat) pour étiqueter manuellement 100 articles.
Test IA : Ils ont demandé à un modèle de langage puissant (comme un chatbot super intelligent) d'étiqueter 1 000 articles.

Le verdict :
Le détective à base de règles a performé tout aussi bien que les humains.

Les humains étaient d'accord entre eux environ 61 % du temps (ce qui est en fait assez bas, montrant que même les experts trouvent certaines sections déroutantes !).
Le détective était d'accord avec les humains presque au même taux (58 %).
Cela signifie que l'ordinateur est aussi bon qu'un expert humain pour trier ces articles, mais qu'il peut le faire des millions de fois plus vite.

5. Qu'y a-t-il dans la boîte ?

Les auteurs n'ont pas gardé cela pour eux. Ils ont publié toute la carte de la bibliothèque gratuitement.

Ils n'ont pas donné le texte intégral des articles (car cela est déjà disponible ailleurs).
À la place, ils ont fourni une « carte » qui indique exactement où commence et où finit l'« Introduction » dans chacun de ces 13,5 millions d'articles.

Résumé

Cet article traite de la création d'une carte massive et gratuite de l'écriture scientifique. En utilisant des règles simples et rapides plutôt qu'une IA complexe, ils ont réussi à organiser des millions d'articles scientifiques désordonnés en chapitres nets. Cela permet à d'autres chercheurs d'étudier comment les scientifiques écrivent, de repérer des tendances dans différents domaines ou d'analyser la communication scientifique à une échelle qui était auparavant impossible.

L'essentiel : Ils ont construit un robot bibliothécaire rapide, bon marché et fiable qui peut trier les articles scientifiques du monde entier mieux qu'un humain, et ils ont remis les clés à tout le monde.

Résumé technique : Grand ensemble de données de sections rhétoriques classées automatiquement dans des articles scientifiques

Énoncé du problème
Les articles scientifiques respectent des structures rhétoriques (par exemple, Introduction, Méthodes, Résultats, Discussion) qui organisent le contenu à des fins de communication spécifiques, suivant souvent le format IMRaD. Bien que l'analyse de ces structures à grande échelle puisse permettre des études granulaires des modèles d'écriture scientifique et du discours, l'annotation manuelle de millions d'articles est irréalisable. Les approches automatisées existantes font face à des limitations significatives : elles sont souvent évaluées sur de petits ensembles de données (quelques centaines d'articles), manquent de généralisabilité à des corpus de l'échelle du million, et reposent fréquemment sur du code non public, empêchant la réplication. De plus, les méthodes antérieures peinent à gérer la variabilité des en-têtes de section selon les disciplines, les éditeurs et les structures de documents.

Méthodologie
Les auteurs ont développé un algorithme de classification basé sur des règles, conçu pour l'échelle et les caractéristiques du Semantic Scholar Open Research Corpus (S2ORC), qui contient 15,6 millions d'articles en libre accès. Le pipeline traite des documents XML structurés extraits via GROBID.

La méthodologie centrale repose sur une stratégie d'étiquetage en deux passes :

Correspondance exacte : La première passe utilise la correspondance de chaînes exactes par rapport à un dictionnaire de titres de sections communs et génériques (ex. : « methods », « results ») pour capturer les en-têtes dotés d'une terminologie standard.
Expressions régulières : La seconde passe emploie des modèles d'expressions régulières (regex) pour identifier des variations sémantiques plus larges des en-têtes de section (ex. : « study design » mappé vers « methods ») tout en excluant les termes trop généraux pour éviter les faux positifs.

Après ces premières passes, le système applique une propagation d'étiquettes pour assigner des étiquettes aux lignes non étiquetées situées entre deux en-têtes étiquetés, en supposant qu'elles appartiennent à la section précédente. Un traitement spécifique est inclus pour les en-têtes non centraux (ex. : légendes de figures) et une étiquette « développement » pour les sections principales de haut niveau qui ne correspondent pas aux dictionnaires standards mais qui sont identifiées via des indices structurels (ex. : en-têtes numérotés).

Pour garantir la qualité, l'ensemble de données subit un filtrage :

Les articles doivent comporter au moins deux sections identifiées pour être conservés.
Un seuil est appliqué à la proportion maximale qu'une section peut occuper dans un article (en excluant les références), utilisant une règle d'écart interquartile (IQR) ( $k=0,50$ ) pour filtrer les articles où la propagation d'étiquettes a probablement échoué (ex. : là où la majeure partie du texte est mal étiquetée comme une introduction).

L'ensemble de données final agrège le texte de lignes consécutives ayant des étiquettes identiques, produisant des entrées au niveau de la section. Les auteurs ont explicitement choisi des méthodes basées sur des règles plutôt que l'apprentissage automatique ou les grands modèles de langage (LLM) pour garantir la transparence, la contrôlabilité et l'efficacité computationnelle, notant que la performance de la méthode semble approcher le plafond atteignable en utilisant uniquement le texte de l'en-tête sans analyse sémantique du contexte complet.

Contributions clés

Échelle du jeu de données : Les auteurs présentent un ensemble de données d'annotations au niveau de la section pour 13,5 millions d'articles (86 % du corpus S2ORC initialement classifié), représentant deux ordres de grandeur de plus d'articles annotés que les ensembles de données précédents.
Validation : L'étude fournit une validation complète utilisant à la fois des annotateurs humains (100 articles) et une annotation basée sur des LLM (1 000 articles).
Science ouverte : Contrairement aux efforts précédents, le code du pipeline de classification et l'ensemble complet des données sont publics, permettant la réplication et l'extension.
Focus disciplinaire : L'ensemble de données couvre principalement les disciplines STEM (environ 75 %), avec une forte représentation de la médecine (25,6 %), de la biologie et de l'ingénierie.

Résultats

Scores d'accord : Le classificateur basé sur des règles a atteint un alpha de Krippendorff de 0,5848 avec les annotateurs humains. Cela est remarquablement comparable à l'accord entre experts humains indépendants (0,6092) et entre les humains et le LLM (0,6293).
Performance par section :
- Haute performance : L'algorithme est performant sur les sections IMRaD standards. Pour « Methods » (F1 = 0,79) et « Conclusion » (F1 = 0,91), l'approche basée sur des règles s'aligne étroitement sur les experts humains. « Introduction » montre un rappel élevé (0,89), tandis que « Methods » et « Results » montrent une précision élevée (0,86).
- Défis : La performance diminue pour les catégories « Lit review » (F1 = 0,17) et « Development ». L'étiquette « Lit review » souffre d'un faible rappel (0,09) dû à des titres descriptifs non standardisés. L'étiquette « Development » présente un rappel élevé (0,79) mais une précision faible (0,12), indiquant qu'elle capture les limites structurelles mais sur-capture souvent des sections que les humains pourraient classifier différemment (ex. : comme méthodes ou résultats).
Métriques de validation : L'accord inter-exécution du LLM était de 0,9261, tandis que l'accord inter-annotateur humain était de 0,61, soulignant la subjectivité inhérente et la complexité de la classification rhétorique, même parmi des locuteurs natifs hautement éduqués.

Signification et affirmations
L'article affirme que cette ressource comble les lacunes clés des outils existants pour analyser la structure rhétorique de la littérature scientifique en combinant échelle, validation et disponibilité publique. Les auteurs soutiennent que cet ensemble de données permet des études computationnelles à grande échelle du discours scientifique, l'examen des conventions d'écriture spécifiques aux disciplines et le suivi des changements dans la communication scientifique au fil du temps au niveau de la section.

Les auteurs notent modestement que l'ensemble de données est mieux adapté aux articles empiriques ayant des structures de type IMRaD et pourrait ne pas capturer pleinement les nuances organisationnelles des articles des sciences humaines et sociales ou des types de documents non standard. Ils soulignent que l'approche basée sur des règles offre un équilibre optimal entre précision, transparence et efficacité des ressources pour l'annotation à l'échelle d'un corpus, atteignant des niveaux de performance comparables aux experts humains pour les sections empiriques centrales.