BenCSSmark: Making the Social Sciences Count in LLM Research

Résumé technique : BenCSSmark : Faire compter les sciences sociales dans la recherche sur les LLM

1. Énoncé du problème

L'article identifie un écart critique dans le paysage actuel de l'évaluation des modèles de langage de grande taille (LLM) : la sous-représentation systématique des tâches des sciences sociales dans les benchmarks dominants. Bien que les benchmarks soient déterminants pour structurer les agendas de recherche en IA, les réputations et les résultats commerciaux, ils se concentrent principalement sur des tâches traditionnelles de traitement du langage naturel (TLN) (par exemple, la paraphrase, la reconnaissance d'entités nommées) ou sur des domaines spécialisés comme la médecine et le droit. Les sciences sociales (sociologie, science politique, histoire, économie, etc.) sont largement absentes.

Cette absence crée un double problème :

1. Angles morts de l'évaluation : Les modèles sont rarement testés sur des tâches nuancées, sensibles au contexte et situées culturellement qui définissent l'enquête scientifique sociale. Par conséquent, les modèles de pointe peinent souvent avec des tâches qui exigent une robustesse interprétative plutôt que simplement un rappel factuel ou une précision.
2. Invisibilité des ressources : Les ensembles de données de haute qualité, rigoureusement annotés et générés par des scientifiques sociaux restent « invisibles » pour la communauté du TLN. Ces ensembles de données sont souvent dispersés, non catalogués ou créés comme des collections ad hoc pour des études spécifiques, manquant de la standardisation requise pour leur inclusion dans des suites de benchmarks. De plus, les tâches des sciences sociales résistent souvent à la standardisation en raison de leur dépendance à des catégories spécifiques au contexte et de la préservation de multiples perspectives d'experts, parfois conflictuelles (perspectivisme), ce qui contraste avec la logique de « vérité terrain unique » de nombreux benchmarks existants.

2. Méthodologie : L'initiative BenCSSmark

Pour combler cette lacune, les auteurs introduisent BenCSSmark, un benchmark composé d'ensembles de données dérivés de projets réels de sciences sociales computationnelles. L'initiative fait partie du projet « Pantagruel », visant à développer des LLM en langue française. La méthodologie implique un effort collaboratif entre informaticiens et scientifiques sociaux pour sélectionner et structurer ces ressources.

Stratégies de collecte de données :
Les auteurs ont employé deux stratégies distinctes pour rassembler des données :

• Production de nouvelles données : Assemblage d'équipes d'annotateurs pour générer de nouveaux ensembles de données. Crucialement, contrairement aux pratiques standard du TLN qui rejettent souvent les désaccords, cette approche a préservé toutes les annotations individuelles aux côtés de la décision arbitrée afin de refléter la diversité des points de vue.
• Sélection d'annotations d'experts existantes : Utilisation d'ensembles de données annotés par des experts uniques du domaine (souvent les chercheurs eux-mêmes). Bien qu'ils ne puissent pas être évalués à l'aide de métriques standard d'accord inter-annotateurs, ils représentent des connaissances de haute qualité, spécifiques au domaine, couvrant divers sujets et périodes historiques.

Principes directeurs :
Le benchmark a été construit sur la base de trois principes fondamentaux :

1. Représentation de la diversité : Tirer des tâches de domaines sous-représentés (par exemple, sociologie, science politique) et respecter les approches disciplinaires de tâches telles que la détection de cadres (par exemple, distinguer entre les cadres des médias sociaux et ceux des journaux du XXe siècle).
2. Variation contextuelle et temporelle : Assembler des données à partir de genres divers (médias sociaux, actualités, discours politiques, radio) et de périodes historiques (fin du XXe siècle à aujourd'hui) pour tester l'adaptabilité des modèles aux catégories sociales changeantes et aux conventions discursives.
3. Préservation du perspectivisme : Pour les tâches annotées par l'équipe, le benchmark fournit deux versions des données : l'une avec une vérité terrain unique et l'autre conservant toutes les annotations individuelles. Cela permet d'évaluer la difficulté de la tâche en fonction de l'accord des annotateurs et soutient l'appel « perspectiviste » pour des données désagrégées.

Structure des données et taxonomie :
BenCSSmark contient actuellement 27 ensembles de données (tous en français). Les auteurs ont introduit un nouveau système de double taxonomie :

• Catégorie de tâche : Correspond à la terminologie standard du TLN (par exemple, classification binaire, détection de segments, résolution de coréférence).
• Concept : Identifie explicitement le concept scientifique social spécifique capturé (par exemple, « appel à l'autorité », « genre », « promesses de réforme », « prévision politique »).
• Métadonnées : Comprend des informations détaillées sur le genre des données, la portée temporelle, le profil des annotateurs et le contexte disciplinaire.

Les tâches couvrent un large éventail de types, notamment la classification binaire/multiclasse, la classification multi-étiquettes, la détection de segments et la résolution de coréférence. Les données couvrent des genres textuels tels que la presse nationale, les manifestes politiques, les transcriptions de radio et les résumés académiques.

3. Contributions clés

• Benchmark BenCSSmark : La contribution principale est la création d'un benchmark spécifiquement conçu pour les tâches des sciences sociales, comblant le fossé entre l'évaluation du TLN et l'enquête scientifique sociale.
• Cadre taxonomique : L'introduction d'un système de double catégorisation (type de tâche TLN vs concept de sciences sociales) pour faciliter la communication et l'échange entre informaticiens et scientifiques sociaux.
• Traitement perspectiviste des données : L'inclusion d'ensembles de données qui préservent les désaccords des annotateurs et les multiples points de vue, remettant en question le paradigme de la « vérité terrain unique » et offrant un test de stress pour la robustesse interprétative des modèles.
• Collaboration interdisciplinaire : L'article démontre un cadre pratique pour intégrer directement les scientifiques sociaux dans la conception de l'évaluation des LLM, allant au-delà de leur utilisation simple comme auditeurs des biais.

4. Résultats et état actuel

L'article ne présente pas de résultats expérimentaux évaluant des LLM spécifiques sur BenCSSmark. Il présente plutôt l'infrastructure et la collection d'ensembles de données elle-même comme le résultat.

• Disponibilité des ensembles de données : Le benchmark comprend 27 ensembles de données de tailles variables (de ~100 à ~28 000 unités) et de granularités différentes (phrase, paragraphe, texte intégral).
• Diversité des tâches : La collection inclut à la fois des catégories TLN bien étudiées (par exemple, détection de discours haineux) appliquées à de nouveaux concepts de sciences sociales (par exemple, distinguer les commentaires « critiques » des commentaires « haineux » dans des contextes politiques) et des tâches uniques (par exemple, détecter les « promesses de réforme » dans les manifestes ou les nouvelles musicales « prescriptives »).
• Limites reconnues : Les auteurs déclarent explicitement que le benchmark est actuellement fermé (en raison de données propriétaires et de préoccupations liées à la vie privée) et limité à la langue française et à des formats médiatiques spécifiques. Ils reconnaissent que l'échelle est actuellement limitée et que les données ne sont pas encore entièrement ouvertes au téléchargement public.

5. Signification et affirmations

L'article positionne BenCSSmark non pas comme une solution définitive, mais comme une première étape provocatrice et une invitation à la collaboration. Sa signification est encadrée autour de plusieurs arguments clés :

• Test de stress pour l'IA : Les auteurs soutiennent que les tâches des sciences sociales servent de « test de stress » pour l'IA, évaluant la capacité d'un modèle à naviguer dans l'ambiguïté, les perspectives conflictuelles et les significations dépendantes du contexte — des dimensions souvent périphériques aux évaluations TLN standard.
• Amélioration de la généralisation : En intégrant des perspectives scientifiques sociales, les auteurs affirment que les modèles peuvent atteindre une meilleure généralisation et robustesse, non seulement pour les tâches des sciences sociales, mais potentiellement pour des applications plus larges nécessitant des nuances culturelles et contextuelles.
• Bénéfice réciproque : L'initiative vise à bénéficier aux deux communautés : les chercheurs en TLN obtiennent accès à des données riches, détaillées et annotées par des experts, tandis que les scientifiques sociaux obtiennent accès à des modèles entraînés sur des tâches alignées sur leurs besoins de recherche.
• Prudence face à la « benchmarkisation » : L'article met modestement en garde contre les risques de « benchmarkisation », où une standardisation excessive pourrait étouffer le pluralisme et la nuance interprétative essentiels aux sciences sociales. Ils préconisent des benchmarks permettant une évaluation filtrée (par discipline, temps, culture) plutôt que de réduire les résultats à un score agrégé unique.

En conclusion, l'article soutient que faire compter les sciences sociales dans la recherche sur les LLM est essentiel pour développer des systèmes d'IA plus robustes, transparents et socialement pertinents, et que BenCSSmark fournit l'infrastructure nécessaire pour engager ce dialogue.