💬 NLP

mdok-style at SemEval-2026 Task 10: Finetuning LLMs for Conspiracy Detection

Het artikel presenteert het mdok-stijl systeem, dat concurrerende resultaten (8e van 52) behaalt in de complotdetectie-uitdaging van SemEval-2026 Taak 10 door het Qwen3-32B-model te finetunen met data-augmentatie en zelftraining om beperkte trainingsdata aan te pakken.

Oorspronkelijke auteurs: Dominik Macko

Gepubliceerd 2026-05-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dominik Macko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een specifiek type gerucht op te sporen in een enorme, lawaaierige menigte mensen die chatten op een sociaal mediaplatform (Reddit). Sommige mensen delen gewoon feiten, terwijl anderen wilde complottheorieën verspreiden. Jouw taak is het bouwen van een robotdetective die naar één enkele opmerking kan luisteren en kan roepen: "Ja, dat is een complot!" of "Nee, dat is gewoon normaal gesprek."

Dit artikel beschrijft hoe het mdok-style-team hun robotdetective bouwde voor een wedstrijd genaamd SemEval-2026 Task 10. Hier is hoe ze het deden, eenvoudig uitgelegd:

1. Het Probleem: Een Klein Bibliotheekje voor een Reuzenhersenen

Het team had een groot probleem: ze hadden een zeer slimme robot (een Large Language Model genaamd Qwen3-32B, wat vergelijkbaar is met een superhersenen met 32 miljard "neuronen"), maar ze hadden slechts een klein bibliotheekje met trainingsboeken (ongeveer 4.000 voorbeelden van opmerkingen).

Normaal gesproken vereist het onderwijzen van een superhersenen een enorme bibliotheek. Met zo weinig voorbeelden kan de robot verward raken of dingen gaan "overdenken". Het is alsof je probeert een meesterkok te leren een complex gerecht te koken met slechts drie recepten.

2. De Oplossing: De "Magische Kopieermachine" en de "Leerling-Leraar"-lus

Om het probleem van de kleine bibliotheek op te lossen, gebruikte het team twee slimme trucs die ze hadden geleend van hun eerdere werk over het opsporen van door AI gegenereerde tekst.

Truc A: De Magische Kopieermachine (Data Augmentation)
In plaats van alleen de bestaande opmerkingen te kopiëren, gebruikten ze een "magische kopieermachine" om lichtelijk verschillende versies van dezelfde verhalen te creëren. Ze kopieerden en plakten niet zomaar; ze:

Veranderden de hoofdletters: Ze schreven sommige opmerkingen in ALLE HOOFDLETTERS en sommige in alle kleine letters. Ze bedachten dat een complottheorie nog steeds een complottheorie is, of het nu wordt uitgeschreeuwd of gefluisterd.
Verhulden de identiteiten: Ze vervingen specifieke namen, e-mailadressen en telefoonnummers door generieke tags zoals [GEBRUIKER] of [TELEFOON]. Dit leerde de robot zich te richten op het idee van het complot, niet op specifieke personen.
Verwisselden de letters: Ze wisselden sommige letters uit voor look-alikes uit andere alfabetten (zoals het vervangen van een 'a' door een Griekse 'alpha'). Dit is alsof je een vermomming draagt. Door de robot te trainen om door deze vermommingen heen te kijken, maakten ze het veel moeilijker voor de robot om later door visuele trucs bedrogen te worden.

Ze gebruikten niet alle deze kopieën, slechts een klein stukje (10%) ervan, om de training gebalanceerd te houden.

Truc B: De Leerling-Leraar-lus (Zelftraining)
Dit is het meest creatieve deel. Omdat ze geen labels hadden voor de testdata (de vragen van het eindexamen), lieten ze de robot zichzelf onderwijzen.

De Leraar: Eerst trainden ze de robot op de kleine, bekende bibliotheek.
Het Examen: Ze vroegen de robot om de antwoorden te raden voor de onbekende testopmerkingen.
De Filter: De robot was zeer zeker van sommige antwoorden (bijvoorbeeld: "Ik ben 99% zeker dat dit een complot is"). Het team nam alleen die superzekere gokken en behandelde ze als "gouden standaard" nieuwe trainingsdata.
De Herles: Ze voerden deze nieuwe "gouden" voorbeelden terug naar de robot en leerden het opnieuw. Dit is alsof een leerling een oefentoets maakt, alleen de vragen houdt die ze 100% goed hadden, en die vervolgens opnieuw bestudeert om nog slimmer te worden.

3. Het Resultaat: Een Topdetective

Het team nam hun robot mee naar de wedstrijd.

De Score: Hun robot behaalde een score van 0,78 (op een schaal waarbij 1,0 perfect is).
De Ranking: Van de 52 teams eindigden ze 8e. Dit plaatst hen in de top 20% (het 85e percentiel).

Interessant genoeg ontdekten ze dat zelfs een veel kleinere, eenvoudigere robot (een model genaamd DeBERTa) bijna net zo goed deed als hun reuzen superhersenen. Dit suggereert dat hoewel hun chique "magische kopieermachine" en "zelflerende" trucs uitstekend werkten, soms een kleinere, goedkopere tool bijna net zo effectief het werk kan doen.

Samenvatting

Het team nam een massief, krachtig AI-model en leerde het complottheorieën op te sporen in sociale media-opmerkingen. Omdat ze niet genoeg data hadden, gebruikten ze vermommingen (het wijzigen van tekstformaten) om meer oefenmateriaal te creëren en lieten ze de AI zichzelf onderwijzen met behulp van zijn eigen zekere gokken. Het resultaat was een zeer competitief systeem dat 8e werd van de 52, wat bewijst dat technieken die oorspronkelijk waren ontworpen om door AI gegenereerde tekst op te sporen, ook kunnen worden gebruikt om door mensen gemaakte complottheorieën op te sporen.

Technische Samenvatting: mdok-stijl bij SemEval-2026 Taak 10

Probleemdefinitie
Het artikel behandelt SemEval-2026 Taak 10 (PsyCoMark), een gezamenlijke taak gericht op het detecteren van complotovertuigingen binnen socialemediadiscours. Specifiek behandelen de auteurs Subtaak 2, een binaire classificatieproblematiek waarbij moet worden vastgesteld of een Engelse Reddit-commentaar een complotovertuiging uitdrukt (Ja/Nee). De belangrijkste uitdaging die wordt benadrukt, is de schaarste aan gelabelde trainingsdata, bestaande uit slechts 1.715 positieve en 2.263 negatieve steekproeven, met tekstlengtes gefilterd tussen 160 en 1.000 tekens.

Methodologie
Het voorgestelde systeem, genaamd mdok-stijl, past een robuust framework voor het detecteren van door machines gegenereerde tekst (oorspronkelijk ontwikkeld voor PAN@CLEF2025) toe op het domein van complotdetectie. De aanpak rust op drie kernelementen:

Basismodel en Fine-tuning: Het systeem maakt gebruik van het grote taalmodel (LLM) Qwen3-32B, geselecteerd uit een vergelijking van de Qwen3- en Gemma-3-families. Het model wordt gefinetuned voor binaire sequentieklassificatie met behulp van QLoRA (4-bit kwantisatie) voor parameter-efficiëntie. Het optimalisatieproces maakt gebruik van de paged AdamW-optimizer met een cosine-lerende-rateschema (2e-5) en een warmup-ratio van 0,03.
Dataaugmentatie: Om de kleine datasetgrootte te mitigeren, passen de auteurs vier specifieke augmentatietechnieken toe op 10% van de kopieën van de trainingsdata:
- Anonimisering: Het vervangen van door regex geïdentificeerde e-mailadressen, gebruikersvermeldingen en telefoonnummers door tags ([EMAIL], [USER], [PHONE]), terwijl de originele URL-vervanging ([URL]) behouden blijft.
- Hoofdlettervariatie: Het genereren van zowel kleine als hoofdletterversies van de tekst om hoofdletterongevoeligheid af te dwingen en de focus op semantische betekenis te leggen.
- Homoglyphificatie: Het introduceren van visueel vergelijkbare karakterswaps uit verschillende scripts om de robuustheid te vergroten tegen verwarring bij tokenisatiegebaseerde classifiers.
- Duplicaatverwijdering: Het verwijderen van overbodige, ongewijzigde kopieën uit de uiteindelijke trainingsset.
Zelftraining: Het systeem implementeert een iteratieve semi-supervised learning-aanpak. Een initieel model wordt getraind op de verrijkte, met goud gelabelde data. Vervolgens voorspelt het labels voor de niet-gelabelde ontwikkelings- en testsets. Alleen voorspellingen met extreme zekerheid (kans $\ge$ 0,99 voor "Ja" of $\le$ 0,01 voor "Nee") worden bewaard als "zilveren labels". Deze hoogzekerheids-pseudolabels worden gecombineerd met de originele trainingsdata om de detector opnieuw te trainen, met als doel de effectieve trainingsset uit te breiden zonder significante fouten te propagëren.

Belangrijkste Bijdragen

Cross-domein Transfer: Het artikel toont de succesvolle overdracht van het mdok-framework, oorspronkelijk ontworpen voor het detecteren van door machines gegenereerde tekst, aan het specifieke domein van complottheorie-detectie.
Robuustheid via Augmentatie: De studie valideert dat het combineren van specifieke tekstobfuscatietechnieken (homoglyphs, anonimiseren) met zelftraining effectief kan zijn om dataschaarste bij het finetunen van LLM's aan te pakken.
Systeemimplementatie: De auteurs bieden een volledige open-source implementatie (via het IMGTB-framework) en een gedetailleerde replicatiegids, inclusief de specifieke hyperparameters en dataprocessing-pijplijnen die zijn gebruikt.

Resultaten
Het ingediende systeem behaalde een Macro F1-score van 0,78 op de officiële testset.

Ranking: Het systeem eindigde 8e van de 52 inzendingen, wat neerkomt op de 85e percentiel.
Vergelijkende Prestaties: Hoewel Qwen3-32B met zelftraining en een verschoven classificatiedrempel (0,7) de hoogste score opleverde, merken de auteurs op dat kleinere modellen, zoals DeBERTa-Large (<0,5B parameters), een concurrerende Macro F1 van 0,75 behaalden, wat wijst op een gunstige afweging tussen prestaties en rekenkosten.
Ablatie: De opname van zelftraining en dataaugmentatie verbeterde de prestaties consequent ten opzichte van het basismodel zonder deze componenten (bijvoorbeeld: Qwen3-32B zonder zelftraining scoorde 0,76).

Betekenis en Beweringen
Het artikel beweert bescheiden dat de mdok-stijl-aanpak, die zijn oorsprong vindt in de detectie van door machines gegenereerde tekst, een levensvatbare en concurrerende strategie is voor complotdetectie. De auteurs benadrukken dat hun methode succesvol gebruikmaakt van dataaugmentatie en zelftraining om de beperkingen van kleine trainingsdatasets te overwinnen. Zij erkennen dat, hoewel hun systeem zeer concurrerend is, de rekenkosten van modellen met 32B parameters moeten worden afgewogen tegen de marginale winst ten opzichte van kleinere, efficiëntere modellen zoals DeBERTa. Het werk concludeert dat de aanpak effectief is, maar wijst op beperkingen met betrekking tot de evaluatie van uitsluitend Engelse teksten en een beperkte verkenning van basismodelarchitecturen.

1. Het Probleem: Een Klein Bibliotheekje voor een Reuzenhersenen

2. De Oplossing: De "Magische Kopieermachine" en de "Leerling-Leraar"-lus

3. Het Resultaat: Een Topdetective

Samenvatting

Technische Samenvatting: mdok-stijl bij SemEval-2026 Taak 10

Meer zoals dit