ClaimPT: A Portuguese Dataset of Annotated Claims in News Articles
Dit artikel introduceert ClaimPT, een dataset van 1.308 geannoteerde nieuwsartikelen in Europees Portugees, ontwikkeld in samenwerking met het nieuwsagentschap LUSA om de automatische feitencontrole en de bestrijding van desinformatie in deze taal te bevorderen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
🕵️♂️ De Grote Dilemma: De Snelheid van Leugens vs. De Snelheid van Waarheid
Stel je voor dat het internet een enorme, drukke markt is. Iedereen mag hier een kraampje hebben. Soms verkopen mensen eerlijke waar, maar soms gooien ze ook neppe spullen in de verkoop. Het probleem? Leugens en nepnieuws verspreiden zich als een veldbrand, terwijl het controleren van de waarheid meer lijkt op het langzaam en zorgvuldig bouwen van een muur steen voor steen.
Tot nu toe moesten mensen (zoals journalisten) handmatig elke steen controleren. Dat is te traag voor de snelheid van de markt. Computers zouden dit kunnen doen, maar ze hebben een groot probleem: ze spreken vooral Engels. Voor het Portugees (en veel andere talen) ontbreken de "trainingsboeken" om deze computers slim te maken.
🇵🇹 ClaimPT: Het Nieuwe "Trainingsboek" voor Portugees
In dit paper stellen de auteurs ClaimPT voor. Dit is geen computerprogramma, maar een groot, zorgvuldig samengesteld boek met voorbeelden.
- Wat zit erin? 1.308 echte nieuwsartikelen uit Portugal.
- Wat is er speciaal? Elke zin in deze artikelen is door mensen handmatig gecontroleerd en gemarkeerd. Ze hebben precies aangegeven: "Dit is een bewering die je kunt controleren" (een claim) en "Dit is gewoon een mening of een feit dat niet hoeft te worden gecontroleerd".
- De bron: De artikelen komen van LUSA, het Portugese persagentschap. In plaats van te kijken naar losse tweets of parlementsdebatten (waar de taal vaak losjes is), kijken ze naar professioneel nieuws. Dit is belangrijk, want nieuwsartikelen hebben een andere structuur dan sociale media.
🏗️ Hoe hebben ze dit gemaakt? (De Bouwwerkers)
Stel je voor dat je een heel groot mozaïek moet leggen. Je kunt niet zomaar één persoon vragen om het te doen; dan wordt het rommelig.
- Twee bouwvakkers: Elke nieuwsartikel werd door twee getrainde mensen onafhankelijk van elkaar bekeken. Ze kregen een handleiding (een bouwplan) met regels. Bijvoorbeeld: "Alleen zinnen die door iemand anders worden gezegd (directe rede) en die een feit zijn, zijn een 'claim'."
- De Hoofdbouwkundige: Een ervaren curator keek naar alle resultaten. Als de twee bouwvakkers het oneens waren, besliste de hoofdbouwkundige wat de juiste kleur steen was.
- Het resultaat: Een dataset met bijna 7.000 individuele markeringen. Ze hebben niet alleen gezegd "dit is een leugen", maar ook: "wie zei het?", "wanneer?", "waar gaat het over?" en "is het een bevestiging of een ontkenning?".
🎯 Waarom is dit zo moeilijk? (De Naald in de Hooiberg)
Het vinden van een bewering in een nieuwsartikel is als het zoeken naar een naald in een hooiberg, maar dan een naald die eruitziet als hooi.
- In nieuwsartikelen zijn er veel meer zinnen die geen bewering zijn (meningen, beschrijvingen, achtergrondinformatie) dan zinnen die wel een bewering zijn.
- De auteurs zeggen: "Dat is geen fout, dat is de realiteit." Een goed nieuwsartikel is grotendeels feitelijke achtergrondinformatie. De echte, controleerbare beweringen zijn zeldzaam en vaak verstop in de tekst.
- Dit maakt het een perfecte test voor slimme computers: als een computer hierin goed is, kan hij echt helpen in de echte wereld.
🤖 De Eerste Test: Kunnen Computers dit?
De auteurs hebben de dataset gebruikt om te testen of moderne AI-modellen (zoals BERT en Gemini) dit probleem al kunnen oplossen.
- Het resultaat: De computers doen het redelijk, maar nog niet perfect. Ze zijn vaak te enthousiast en markeren dingen als "bewering" die eigenlijk gewoon een citaat of een mening zijn.
- De les: Het is moeilijk voor computers om het verschil te maken tussen "Iemand zegt X" (een citaat) en "X is waar" (een bewering die we moeten controleren).
- Waarom doen we dit dan? Omdat we nu een meetlat hebben. Vroeger wisten we niet of een computer goed werkte, omdat er geen standaard was. Nu hebben we ClaimPT, en kunnen we zeggen: "Deze nieuwe AI is 10% beter dan de vorige."
🚀 Wat betekent dit voor de toekomst?
Met ClaimPT hebben de onderzoekers een fundament gelegd.
- Voor onderzoekers: Ze hebben nu een gereedschapskist om slimme systemen te bouwen die automatisch nepnieuws in Portugees nieuws kunnen opsporen.
- Voor de maatschappij: Als we deze systemen beter maken, kunnen we leugens sneller ontmaskeren voordat ze de hele markt overnemen.
- Voor andere talen: De methode die ze gebruiken, kan ook worden toegepast op het Nederlands, Frans of Spaans. Ze hebben de blauwdruk gemaakt.
Kort samengevat: ClaimPT is het eerste grote, professionele "trainingspakket" om computers te leren hoe ze de waarheid moeten vinden in Portugees nieuws. Het is een stap in de richting van een snellere, slimmere strijd tegen nepnieuws.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.