BenCSSmark: Making the Social Sciences Count in LLM Research

Technische Samenvatting: BenCSSmark: De Sociale Wetenschappen Meetbaar Maken in LLM-onderzoek

1. Probleemstelling

Het artikel identificeert een kritieke lacune in het huidige landschap van de evaluatie van Large Language Models (LLM): de systematische ondervertegenwoordiging van taken uit de sociale wetenschappen in gangbare benchmarks. Hoewel benchmarks van doorslaggevend belang zijn voor het structureren van AI-onderzoeksagenda's, reputaties en commerciële uitkomsten, richten ze zich voornamelijk op traditionele Natural Language Processing (NLP)-taken (bijvoorbeeld parafraseren, herkenning van benamingen) of gespecialiseerde domeinen zoals geneeskunde en recht. De sociale wetenschappen (sociologie, politicologie, geschiedenis, economie, enz.) zijn grotendeels afwezig.

Deze afwezigheid creëert een dubbel probleem:

1. Blindvlekken in Evaluatie: Modellen worden zelden getest op de genuanceerde, contextgevoelige en cultureel gesitueerde taken die het sociaalwetenschappelijk onderzoek definiëren. Bijgevolg hebben state-of-the-art modellen vaak moeite met taken die interpretatieve robuustheid vereisen, in plaats van louter feitelijke herinnering of precisie.
2. Onzichtbaarheid van Middelen: Hoogwaardige, rigoureus geannoteerde datasets die door sociale wetenschappers zijn gegenereerd, blijven "onzichtbaar" voor de NLP-gemeenschap. Deze datasets zijn vaak verspreid, niet gecatalogiseerd of opgesteld als ad-hoc verzamelingen voor specifieke studies, en missen de standaardisatie die vereist is voor opname in benchmark suites. Bovendien weerstaan taken uit de sociale wetenschappen vaak standaardisatie vanwege hun afhankelijkheid van contextspecifieke categorieën en het behoud van meerdere, soms conflicterende, deskundigenperspectieven (perspectivisme), wat in contrast staat met de logica van "één grondwaarheid" van veel bestaande benchmarks.

2. Methodologie: Het BenCSSmark-initiatief

Om deze lacune aan te pakken, introduceren de auteurs BenCSSmark, een benchmark samengesteld uit datasets die afkomstig zijn van daadwerkelijke projecten in de computationele sociale wetenschappen. Het initiatief is onderdeel van het "Pantagruel"-project, dat gericht is op de ontwikkeling van Franstalige LLM's. De methodologie omvat een samenwerkingsverband tussen computerwetenschappers en sociale wetenschappers om deze middelen te cureren en te structureren.

Strategieën voor Dataverzameling:
De auteurs hanteerden twee verschillende strategieën om data te verzamelen:

• Productie van Nieuwe Data: Het samenstellen van teams van annotatoren om nieuwe datasets te genereren. Cruciaal is dat, in tegenstelling tot standaard NLP-praktijken die meningsverschillen vaak verwerpen, deze aanpak alle individuele annotaties behield naast het beoordeelde besluit om de diversiteit aan perspectieven te weerspiegelen.
• Curatie van Bestaande Deskundigenannotaties: Het gebruik van datasets die zijn geannoteerd door enkele domeinexperts (vaak de onderzoekers zelf). Hoewel deze niet kunnen worden geëvalueerd met standaardmetrieken voor onderlinge overeenstemming tussen annotatoren, vertegenwoordigen ze hoogwaardige, domeinspecifieke kennis die uiteenlopende onderwerpen en historische periodes bestrijkt.

Leidend Principes:
De benchmark werd opgezet op basis van drie kernprincipes:

1. Representatie van Diversiteit: Het betrekken van taken uit ondervertegenwoordigde velden (bijvoorbeeld sociologie, politicologie) en het respecteren van disciplinaire benaderingen van taken zoals frame-detectie (bijvoorbeeld het onderscheid maken tussen frames in sociale media en kranten uit de 20e eeuw).
2. Contextuele en Temporele Variatie: Het samenstellen van data uit diverse genres (sociale media, nieuws, politieke toespraken, radio) en historische periodes (einde 20e eeuw tot heden) om de aanpassingsbekwaamheid van modellen aan verschuivende sociale categorieën en discoursconventies te testen.
3. Behoud van Perspectivisme: Voor taken die door het team zijn geannoteerd, biedt de benchmark twee versies van de data: één met één grondwaarheid en één die alle individuele annotaties behoudt. Dit maakt evaluatie van taakmoeilijkheid op basis van overeenstemming tussen annotatoren mogelijk en ondersteunt de "perspectivistische" oproep tot gedesaggregeerde data.

Datastructuur en Taxonomie:
BenCSSmark bevat momenteel 27 datasets (allemaal in het Frans). De auteurs introduceerden een nieuw dubbel-taxonomiesysteem:

• Taakcategorie: Sluit aan bij standaard NLP-terminologie (bijvoorbeeld binaire classificatie, span-detectie, coreferentie-oplossing).
• Concept: Identificeert expliciet het specifieke sociaalwetenschappelijke concept dat wordt vastgelegd (bijvoorbeeld "appèl op autoriteit", "geslacht", "hervormingsbeloften", "politieke voorspelling").
• Metadata: Bevat gedetailleerde informatie over datagenre, temporele reikwijdte, achtergrond van de annotator en disciplinaire context.

De taken bestrijken een breed scala aan typen, waaronder binaire/multiclas classificatie, multilabel-classificatie, span-detectie en coreferentie-oplossing. De data omvat tekstgenres zoals nationale pers, politieke manifesten, radio-transcripties en academische abstracts.

3. Belangrijkste Bijdragen

• BenCSSmark Benchmark: De primaire bijdrage is het creëren van een benchmark die specifiek is ontworpen voor taken uit de sociale wetenschappen, waarmee de kloof tussen NLP-evaluatie en sociaalwetenschappelijk onderzoek wordt overbrugd.
• Taxonomisch Kader: De introductie van een dubbel categorisatiesysteem (NLP-taaktype versus sociaalwetenschappelijk concept) om communicatie en uitwisseling tussen computerwetenschappers en sociale wetenschappers te faciliteren.
• Perspectivistische Datahantering: De opname van datasets die meningsverschillen tussen annotatoren en meerdere perspectieven behouden, wat het paradigma van "één grondwaarheid" uitdaagt en een stress-test biedt voor de interpretatieve robuustheid van modellen.
• Interdisciplinaire Samenwerking: Het artikel demonstreert een praktisch kader voor het direct integreren van sociale wetenschappers in het ontwerp van LLM-evaluatie, verder gaand dan het gebruik van hen louter als auditors van bias.

4. Resultaten en Huidige Status

Het artikel presenteert geen experimentele resultaten waarin specifieke LLM's op BenCSSmark worden geëvalueerd. In plaats daarvan presenteert het de infrastructuur en de datasetcollectie zelf als resultaat.

• Beschikbaarheid van Datasets: De benchmark bestaat uit 27 datasets met variërende groottes (van ~100 tot ~28.000 eenheden) en granulariteiten (zin, alinea, volledige tekst).
• Diversiteit aan Taken: De collectie omvat zowel goed bestudeerde NLP-categorieën (bijvoorbeeld detectie van haatzaaierij) toegepast op nieuwe sociaalwetenschappelijke concepten (bijvoorbeeld het onderscheid maken tussen "kritische" en "haatdragende" opmerkingen in politieke contexten) als unieke taken (bijvoorbeeld het detecteren van "hervormingsbeloften" in manifesten of "voorschrijvende" muzieknieuws).
• Erkende Beperkingen: De auteurs stellen expliciet dat de benchmark momenteel gesloten is (vanwege eigendomsrechten op data en privacyzorgen) en beperkt is tot de Franse taal en specifieke mediaformaten. Zij erkennen dat de schaal momenteel beperkt is en dat de data nog niet volledig open is voor publieke download.

5. Betekenis en Claims

Het artikel positioneert BenCSSmark niet als een definitieve oplossing, maar als een provocatieve eerste stap en een uitnodiging tot samenwerking. De betekenis wordt geframeerd rondom enkele kernargumenten:

• Stress-testen van AI: De auteurs betogen dat taken uit de sociale wetenschappen dienen als een "stress-test" voor AI, waarbij de vaardigheid van een model wordt geëvalueerd om met ambiguïteit, conflicterende perspectieven en contextafhankelijke betekenis om te gaan – dimensies die vaak marginaal zijn in standaard NLP-evaluaties.
• Verbetering van Generalisatie: Door het integreren van sociaalwetenschappelijke perspectieven, claimen de auteurs dat modellen betere generalisatie en robuustheid kunnen bereiken, niet alleen voor taken uit de sociale wetenschappen, maar potentieel ook voor bredere toepassingen die culturele en contextuele nuance vereisen.
• Wederkerig Voordeel: Het initiatief beoogt beide gemeenschappen te bevoordelen: NLP-onderzoekers krijgen toegang tot rijke, fijnmazige, door experts geannoteerde data, terwijl sociale wetenschappers toegang krijgen tot modellen die zijn getraind op taken die aansluiten bij hun onderzoeksbehoeften.
• Waarschuwing Tegen Benchmarkisering: Het artikel waarschuwt nederig voor de risico's van "benchmarkisering", waarbij excessieve standaardisatie het pluralisme en de interpretatieve nuance zou kunnen verstikken die essentieel zijn voor de sociale wetenschappen. Zij pleiten voor benchmarks die gefilterde evaluatie toestaan (per discipline, tijd, cultuur) in plaats van resultaten te laten samenvallen in één enkel aggregete score.

Concluderend betoogt het artikel dat het meetbaar maken van de sociale wetenschappen in LLM-onderzoek essentieel is voor de ontwikkeling van robuustere, transparantere en maatschappelijk relevante AI-systemen, en dat BenCSSmark de nodige infrastructuur biedt om deze dialoog te beginnen.