FrenchNews-7: Benchmarking Cross-Publisher French News Editorial Desk Classification
Dit artikel introduceert FrenchNews-7, een nieuwe benchmark voor het classificeren van Franse nieuwsartikelen in zeven redactionele categorieën over meerdere uitgevers, die aantoont dat een gefinetuned CamemBERT-model beter presteert dan zero-shot grote taalmodellen en onthult dat de classificatieprestaties significant variëren per categorie, waarbij ambigue domeinen zoals "Economie" en "Société" de menselijke overeenstemmingslimieten naderen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte, luidruchtige landschap van het moderne nieuws behoort elk artikel tot een specifieke afdeling binnen een krant of website. Net zoals een bibliotheek boeken sorteert in verschillende secties zoals geschiedenis, wetenschap of fictie, sturen nieuwsorganisaties verhalen naar gespecialiseerde redacties: één team behandelt sport, een ander dekt politiek, en een derde beheert internationale zaken. Voor onderzoekers die bestuderen hoe verschillende mediaorganisaties de publieke opinie vormgeven, is het vermogen om deze verhalen automatisch te sorteren essentieel. Zonder dit wordt het vergelijken van hoe twee kranten hetzelfde evenement dekken een handmatige, onmogelijke taak. De uitdaging is echter dat elke uitgever zijn eigen unieke systeem gebruikt voor het labelen van verhalen. De ene site noemt een verhaal "maatschappij", terwijl een andere het "binnenlandse zaken" noemt, zelfs als de inhoud identiek is. Om een hulpmiddel te bouwen dat werkt voor het gehele Franse medialandschap, hadden wetenschappers een manier nodig om deze verschillende interne talen te vertalen naar een enkele, gedeelde begripsvorm.
Een onderzoeker heeft nu een nieuwe standaard voor deze taak ontwikkeld, genaamd FrenchNews-7. Zij verzamelde bijna enough 88.000 nieuwsartikelen van 13 verschillende Franse uitgevers, variërend van grote nationale dagbladen tot digitale publicaties en regionale kranten. Hun doel was om een computer te leren herkennen bij welke redactie een verhaal hoort, ongeacht welke website het heeft gepubliceerd. Hiervoor brachten ze eerst de zeven meest voorkomende categorieën in kaart die over deze media werden gebruikt: maatschappij, cultuur en vrije tijd, internationaal nieuws, binnenlandse politiek, sport, economie, en wetenschap en technologie. Vervolgens bouwden ze een hybride labelingsysteem. Voor ongeveer 72 procent van de artikelen was het label duidelijk omdat het webadres zelf de categorienaam bevatte, zoals een weblink eindigend op "/sport" of "/politics". Voor de resterende 28 procent, waar het adres vaag of ontbrekend was, gebruikte de onderzoeker een groot taalmodel om de kop en de volledige tekst te lezen en de juiste categorie toe te wijzen. Dit proces werd zorgvuldig gecontroleerd door zowel menselijke experts als kunstmatige intelligentie om te garanderen dat de labels nauwkeurig waren, wat resulteerde in een dataset waarbij de overeenstemming tussen menselijke beoordelaars zeer hoog was.
Met behulp van deze nieuwe dataset trainde de onderzoeker verschillende computermodellen om de sorteertaak uit te voeren. Ze testten modellen die alleen naar de kop keken tegen modellen die het hele artikel lazen. De resultaten toonden aan dat het lezen van de volledige tekst een duidelijk voordeel bood, waardoor de computer de context van een verhaal kon begrijpen in plaats van alleen te gokken op basis van een titel. Het best presterende systeem, een model dat specifiek getraind was op de Franse taal, behaalde een hoog nauwkeurigheidsniveau en identificeerde de redactie voor ongeveer 80 procent van de verhalen die het nog nooit eerder had gezien. Deze prestatie bleef overeind, zelfs toen het model werd getest op vier volledig nieuwe uitgevers die niet deel uitmaakten van de oorspronkelijke trainingsgroep. De studie vond dat terwijl sport- en cultuurverhalen gemakkelijk te sorteren waren, verhalen over de economie en de algemene maatschappij veel moeilijker consistent te categoriseren waren. Sterker nog, toen de onderzoeker menselijke experts vroeg om deze moeilijke economische verhalen van de nieuwe uitgevers te sorteren, stemden de mensen slechts in ongeveer 55 procent van de gevallen met elkaar overeen. Dit suggereert dat de moeilijkheid niet een gebrek was aan de intelligentie van de computer, maar eerder een werkelijke ambiguïteit in hoe nieuwsredacties zelf besluiten deze complexe verhalen te archiveren.
De onderzoeker vergeleek hun gespecialiseerde model ook met verschillende krachtige, algemene kunstmatige intelligentiesystemen die niet specifiek op deze nieuwsdata waren getraind. Zelfs met de meest geavanceerde algemene modellen presteerde het gespecialiseerde Franse model beter, met name in de lastige categorieën economie en maatschappij. Dit geeft aan dat voor specifieke, hoogvolume taken zoals het sorteren van nieuws, een model dat is verfijnd op de werkelijke taal en structuur van het doelgebied, beter presteert dan een algemeen instrument. De onderzoeker heeft hun dataset en hun best presterende model publiekelijk beschikbaar gesteld, zodat andere onderzoekers voort kunnen bouwen op dit werk. Door een betrouwbare manier te bieden om nieuws over verschillende uitgevers te sorteren, biedt dit werk een nieuw fundament voor het bestuderen van hoe de Franse media de wereld dekken, wat ervoor zorgt dat toekomstige analyses gebaseerd zijn op een consistente en nauwkeurige begripsvorm van waar elk verhaal zich bevindt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.