💬 NLP

UCSC NLP at SemEval-2026 Task 10: Boundary-Aware Span Extraction and RoBERTa Classification for Conspiracy Detection

De systemen van het UCSC NLP-team voor SemEval-2026 Taak 10 (PsyCoMark) maken gebruik van grensbewuste span-extractie met hard-negative sampling en RoBERTa-gebaseerde classificatie om complotkenmerken en -documenten te detecteren, waarbij ze respectievelijk de 7e en 11e plaats behaalden en daarbij de robuuste detectie van entiteit-achtige rollen tegenover de gevoeligheid in abstracte rolgrenzen benadrukten.

Oorspronkelijke auteurs: Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van op zoek te gaan naar vingerafdrukken, ben je op zoek naar de specifieke "ingrediënten" die een verhaal als een complottheorie laten aanvoelen. Dit artikel beschrijft hoe een team van UC Santa Cruz een computerprogramma heeft gebouwd om precies dat te doen voor een wedstrijd genaamd SemEval-2026.

Hier is de uitsplitsing van hun werk, met behulp van eenvoudige analogieën:

De twee belangrijkste taken

De wedstrijd had twee duidelijke uitdagingen, die het team aanpakte met twee aparte "detective-agenten" (AI-modellen).

1. De Ingrediëntenzoeker (Subtaak 1)

Het doel: Specifieke delen van een zin vinden die een rol spelen in een complotverhaal. De rollen zijn:
- De Actor: Wie doet het slechte ding?
- Het Slachtoffer: Wie wordt er pijn gedaan?
- De Actie: Wat is het slechte ding?
- Het Bewijs: Welk "bewijs" wordt er aangeboden?
- Het Effect: Wat is het angstaanjagende resultaat?
De uitdaging: Het is niet genoeg om alleen het woord "Jeffrey" te vinden. De computer moet precies weten waar de zin begint en eindigt. Is de "Actie" bijvoorbeeld alleen "de boon verklappen" (spilled the beans), of is het de hele frase "de boon verklappen over de Mossad-operatie"?
De truc: Het team leerde de computer om een "grenspersoonlijkheid" te zijn. Ze zeiden tegen de computer: "Als je de start of het einde van de frase zelfs maar een klein beetje fout raadt, telt het niet." Ze gebruikten ook een techniek genaamd Hard-Negative Mining. Stel je voor dat een leraar een leerling een foto van een kat laat zien en zegt: "Dat is een kat." Daarna laat de leraar een foto zien van een zeer pluizige hond die op een kat lijkt en zegt: "Dit is geen kat." Dit helpt de leerling om het fijne onderscheid tussen de twee te leren. De computer leerde het verschil te zien tussen een echte complotmarker en een frase die er bijna als een zodanige uitziet, maar het net niet is.

2. De Verhaalrechter (Subtaak 2)

Het doel: Een heel document lezen en beslissen: Is dit een complottheorie? Is het absoluut geen complottheorie? Of is het onmogelijk om te zeggen?
De truc: Dit model keek niet naar de specifieke ingrediënten die door de eerste detective werden gevonden. In plaats daarvan las het het hele document zoals een menselijke lezer, zoekend naar de algemene "vibe" of toon. Het leerde het onderscheid te maken tussen een kritisch nieuwsbericht (dat misschien een actor en een slachtoffer noemt, maar geen complottheorie is) en een echte complotnarratief (die diezelfde rollen gebruikt, maar met een verdachte, geheime toon).

Hoe ze het deden

Het team gebruikte een krachtig AI-brein genaamd RoBERTa. Zie dit als een zeer goed onderlegde bibliothecaris die bijna alles op het internet heeft gelezen en begrijpt hoe woorden bij elkaar passen.

Voor de Ingrediëntenzoeker: Ze vroegen de bibliothecaris niet alleen om woorden één voor één te labelen. In plaats daarvan vroegen ze de bibliothecaris om naar elke mogbare tekstbrok (tot 32 woorden lang) te kijken en te vragen: "Past deze brok bij de definitie van 'Bewijs'?" Ze trainden de bibliothecaris om extreem kieskeurig te zijn over de begin- en einddata van deze brokken.
Voor de Verhaalrechter: Ze voerden de hele tekst aan de bibliothecaris en vroegen om een simpel oordeel: Ja, Nee of Misschien.

De resultaten

Toen het team hun detectives deelnam aan de officiële wedstrijd:

De Ingrediëntenzoeker eindigde op de 7e plaats van alle teams. Het was erg goed in het vinden van de "Actor" en het "Slachtoffer" (zoals namen van mensen), maar het had soms moeite met de meer abstracte delen zoals "Actie" of "Effect", waarbij de grenzen van de frase vager zijn.
De Verhaalrechter eindigde op de 12e plaats. Het was vrij goed in het onderscheiden van een complotverhaal en een gewoon nieuwsverhaal.

Wat ze leerden (De "Aha!"-momenten)

Precisie is moeilijk: De grootste fout die de computer maakte, was het net iets verkeerd raden van de start en het einde van een frase. Als het "Bewijs" het woord "rapport" was, gokte de computer soms "een rapport" of "volgens een rapport". De regels van de wedstrijd waren streng: als je niet de exacte woorden had, kreeg je nul punten.
Twee hoofden zijn beter dan één (apart): Het team besloot niet de twee detectives met elkaar te laten praten terwijl ze aan het werk waren. Ze dachten: "Als de eerste detective een fout maakt, willen we niet dat de tweede detective daardoor in de war raakt." Ze hielden hen gescheiden en combineerden hun antwoorden pas aan het einde.
Het "Kan niet zeggen"-probleem: De wedstrijd had een derde optie genaamd "Kan niet zeggen". Echter, de uiteindelijke beoordelingsregels negeerden deze categorie. Dit betekende dat de prestaties van de computer er anders uitzagen op de dag van de test dan hoe deze presteerde tijdens de oefeningen, simpelweg omdat de regels vlak voor de finish licht waren veranderd.

Samenvattend

Het team van UC Santa Cruz bouwde een systeem dat fungeert als een zeer nauwkeurige redacteur en een scherpe waarnemer. Ze lieten zien dat hoewel computers steeds beter worden in het herkennen van de ingrediënten van complottheorieën, ze nog steeds worstelen met de exacte grenzen van die ingrediënten. Ze zijn echter wel goed in het aanvoelen van de algemene stemming van een verhaal om te beslissen of het een complot is of niet.

Technische Samenvatting: UCSC NLP bij SemEval-2026 Taak 10 (PsyCoMark)

Probleemdefinitie

Het artikel behandelt SemEval-2026 Taak 10 (PsyCoMark), die zich richt op de detectie van complotnarratieven binnen Engelse teksten. De taak is verdeeld in twee afzonderlijke subtaken:

Subtaak 1 (Extractie van complotmarkers): Het identificeren en extraheren van tekstsegmenten (spans) die overeenkomen met vijf specifieke semantische rollen: Actor (Dader), Action (Actie), Effect (Gevolg), Evidence (Bewijs) en Victim (Slachtoffer). De uitdaging ligt in het feit dat deze rolstructuren voorkomen in zowel complotgerelateerde als niet-complotgerelateerde (kritische) discoursen; het onderscheid berust op de inkadering (framing) en epistemische houding in plaats van de loutere aanwezigheid van deze rollen.
Subtaak 2 (Document-niveau complotdetectie): Het classificeren van volledige documenten in een van de drie categorieën: Yes (complot), No (geen complot), of Can't tell (niet te zeggen).

De dataset bestaat uit meer dan 4.100 Reddit-berichten. Een belangrijk opgemerkt knelpunt is de dichte annotatie van markers en de matige klassenonbalans, met name in de labels op documentniveau.

Methodologie

De auteurs stellen twee onafhankelijke systemen voor gebaseerd op RoBERTa-large, die afzonderlijk zijn getraind zonder parameterdeling of cross-task feature transfer.

Subtaak 1: Grensbewuste segmentextractie (Boundary-Aware Span Extraction)

In plaats van token-niveau tagging, formuleren de auteurs de taak als multi-label span classificatie over genummerde kandidaat-segmenten.

Architectuur: Het model enumereert alle kandidaat-segmenten tot een maximale lengte van $L=32$ $L = 32$ tokens. Voor elk segment $(i, j)$ $(i, j)$ wordt een contextuele representatie geconstrueerd door de volgende elementen te concateneren:
- Start- en eindtoken embeddings ( $h_i, h_j$ ).
- Mean-pooled embeddings van de tokens binnen het segment ( $\bar{h}_{i:j}$ ).
- Een geleerde embedding die de segmentbreedte codeert ( $w_{emb}$ ).
- Contextuele embeddings van de directe linker- en rechter-tokens ( $h_{i-1}, h_{j+1}$ ).
  Deze 6-componentenvector (dimensie 6144) wordt door een twee-laags MLP geleid om de vijf rollen te voorspellen.
Trainingsstrategie:
- Labeling: Om nauwkeurige grensverwerving af te dwingen, wordt een kandidaat-segment alleen als positief gelabeld als de Intersection-over-Union (IoU) met een gouden segment $\ge 0,95$ is.
- Sampling: Er wordt een drieledige samplingstrategie gebruikt om het overweldigende aantal negatieve segmenten aan te pakken: (1) alle op goud uitgelijnde segmenten, (2) harde negatieven (segmenten met gedeeltelijke overlap, IoU $\in [0,50, 0,75)$ ), en (3) willekeurige niet-overlappende negatieven.
- Loss: Binary Cross-Entropy met logits, gewogen per rol om klassenonbalans aan te pakken.
Decoding: Voorspellingen ondergaan post-processing bestaande uit per-rol waarschijnlijkheidsdrempelstelling (getuned op de validatieset) en containment-gebaseerde Non-Maximum Suppression (NMS). NMS verwijdert overlappende segmenten op basis van containment-ratio's en IoU-drempels, gevolgd door het samenvoegen van aangrenzende segmenten van dezelfde rol die gescheiden worden door kleine karaktergaten.

Subtaak 2: Documentclassificatie

Architectuur: Een standaard sequentieclassificatie-aanpak met gebruik van de [CLS] token-representatie van RoBERTa-large.
Training: Het model wordt gefinetuned met Cross-Entropy loss en label smoothing ( $\alpha=0,05$ ) om overmatige zelfverzekerdheid te verminderen. Een gestratificeerde 90/10 train-validatie split wordt gebruikt.
Onafhankelijkheid: Dit model opereert uitsluitend op de ruwe tekst en negeert de segmentvoorspellingen van Subtaak 1 tijdens training en inferentie.

Belangrijkste Resultaten

Subtaak 1: Het systeem eindigde op de 7e plaats van de deelnemende teams met een macro F1 van 0,2251 op de officiële testset (geëvalueerd met een token-niveau IoU $\ge 0,5$ $\geq 0, 5$ ).
- Interne Validatie: Het model bereikte een gedecodeerde micro F1 van 0,6501 op de validatieset (gebruikmakend van een karakter-niveau IoU $\ge 0,3$ ).
- Prestatieverschil: De daling in prestaties wordt toegeschreven aan de striktere token-niveau evaluatiemetriek en de gevoeligheid van abstracte rollen (Action, Effect, Evidence) voor grenscriteria. Entiteit-achtige rollen (Actor, Victim) vertoonden een hogere robuustheid.
Subtaak 2: Het systeem eindigde op de 12e plaats met een weighted F1 van 0,7694 op de officiële testset.
- Opmerking: De officiële evaluatie sloot "Can't tell"-instanties uit en berekende metrieken over 608 samples, wat verschilt van de drieklassen validatie-opzet.

Betekenis en Claims

Het artikel claimt dat de primaire bijdrage ligt in de specifieke formulering van de segmentextractie voor complotmarkers en de analyse van de grenssensitiviteit.

Hard Negative Mining: De auteurs identificeren het gebruik van harde negatieven (segmenten met gedeeltelijke overlap) als cruciaal om te voorkomen dat het model te brede segmenten voorspelt, waardoor de grens-lokalisatie wordt aangescherpt.
Onafhankelijkheid vs. Koppeling: Het systeem demonstreert dat hoewel segmentextractie en documentclassificatie intrinsiek gerelateerd zijn, ze onafhankelijk gemodelleerd kunnen worden. De documentclassifier behaalde concurrerende prestaties zonder expliciete rol-features, wat suggereert dat complotsignalen direct uit de ruwe tekst geleerd kunnen worden.
Evaluatie-alignement: Het artikel benadrukt dat prestaties zeer gevoelig zijn voor de afstemming tussen ontwikkelingsmetrieken en het officiële evaluatieprotocol. Het verschil tussen validatie- en testscores wordt grotendeels toegeschreven aan de verschuiving van een versoepelde karakter-niveau IoU-criteria tijdens de ontwikkeling naar een strikte token-niveau IoU-criteria in de uiteindelijke evaluatie.
Beperkingen: De auteurs erkennen bescheiden dat abstracte rollen moeilijk blijven vanwege semantische abstractie en variabele segmentlengtes. Ze merken op dat de vaste maximale segmentlengte ( $L=32$ ) een plafond kan opleggen voor de recall van langere, meervoudige clausale markers.

Het werk concludeert dat hoewel huidige systemen complotsignalen kunnen leren, toekomstige verbeteringen mogelijk behoefte hebben aan gezamenlijke modellering van rollen en classificatie, gestructureerde segment-decoding, en de integratie van psycholinguïstische kenmerken om het onderscheid tussen complotgerelateerde inkadering en kritische narratieven beter te maken.