KCLarity at SemEval-2026 Task 6: Encoder and Zero-Shot Approaches to Political Evasion Detection

Dit artikel beschrijft de bijdrage van het KCLarity-team aan SemEval-2026, waarin twee modelleringbenaderingen en zero-shot decoder-only modellen worden geëvalueerd voor het detecteren van politieke ontwijking en onduidelijkheid, met RoBERTa-large als beste encoder en GPT-5.2 als sterkste zero-shot model.

De kern

🕵️‍♂️ De Politieke Ontwijkkunst: Een Speurtocht naar Eerlijkheid

Stel je voor dat je een politicus aan het interviewen bent. Je stelt een heel specifieke vraag, bijvoorbeeld: "Heeft u beloofd om de belastingen te verlagen?"

De politicus antwoordt dan vaak niet met een simpel "ja" of "nee". In plaats daarvan zegt hij misschien: "We kijken naar alle mogelijkheden om de economie te stimuleren, en dat is belangrijk voor iedereen."

Dit is wat de onderzoekers van het KCLarity-team (van het King's College London) willen opsporen. Ze noemen dit politieke ontwijking (evasion). Het is als een dans waarbij de politicus probeert niet op de bal te trappen, maar er elegant omheen te glippen.

In dit paper vertellen ze hoe ze computers hebben getraind om deze dansstappen te herkennen en te classificeren tijdens de SemEval-2026 wedstrijd.

🛠️ De Gereedschapskist: Twee Manieren om te Kijken

De teamleden hadden twee hoofdstijlen om hun computermodellen te bouwen, alsof ze twee verschillende soorten camera's hadden:

1. De Directe Camera: De computer kijkt direct naar het antwoord en zegt: "Dit is duidelijk" of "Dit is vaag".
2. De Detective-Camera (De Favoriet): De computer kijkt eerst naar hoe de politicus ontwijkt (bijvoorbeeld: "Hij draait het onderwerp af" of "Hij geeft een half antwoord"). Vervolgens vertaalt de computer deze "ontwijktechniek" naar een duidelijkheidsscore.

De verrassing: De "Detective-Camera" werkte net zo goed als de directe camera, maar was slimmer omdat je maar één model hoefde te trainen. Het was alsof je eerst de dader identificeert (de ontwijking) en daaruit concludeert of het een eerlijke getuige is.

🤖 De Kampioenen: De Slimme Leraar vs. De Geniale Grootmeester

De onderzoekers testten twee soorten kunstmatige intelligentie:

• De Slimme Leraar (Encoder-modellen zoals RoBERTa): Dit zijn modellen die je eerst intensief hebt getraind op duizenden voorbeelden van politieke interviews. Ze hebben de regels uit het boekje geleerd.

  • Resultaat: Op de bekende testvragen (de "publieke test") was RoBERTa-large de beste. Het was als een student die de stof perfect had geleerd en alle vragen op het examen correct beantwoordde.

• De Geniale Grootmeester (Decoder-modellen zoals GPT-5.2): Dit zijn enorme, supermoderne modellen die je niet hebt getraind op deze specifieke data. Je geeft ze gewoon de vraag en zegt: "Raad het maar eens" (zero-shot).

  • Resultaat: Op de bekende vragen deed GPT-5.2 het iets minder goed dan de getrainde leraar. MAAR toen ze het op de geheime examenvragen (de "hidden test set") deden, schoot GPT-5.2 omhoog en won het!
  • De les: De getrainde leraar had de stof misschien een beetje te goed uit het hoofd geleerd (overfitting) en raakte in de war bij nieuwe situaties. De Grootmeester, die nooit eerder deze vragen had gezien, kon beter generaliseren en de echte intentie achter de woorden snappen.

🎯 De Uitdaging: Waarom is dit zo moeilijk?

Het is niet zo makkelijk als het lijkt. Stel je voor dat je een politicus vraagt: "Waarom heb je die wet niet ondertekend?"

• Als hij zegt: "Ik heb het niet gezien," is dat een ontkenning (ik weet het niet).
• Als hij zegt: "We moeten eerst de economie stabiliseren," is dat ontwijken (hij draait het onderwerp af).

De grootste moeilijkheid zit in de categorie "Ambivalent" (twijfelachtig). Dit is de "grijze zone". Politici zijn er heel goed in om antwoorden te geven die technisch waar zijn, maar niets zeggen.

• De onderzoekers merkten op dat zelfs de mensen die de antwoorden labelden (de "rechteren") het hier vaak niet over eens waren. Soms dacht de ene rechter: "Dit is duidelijk," en de ander: "Nee, dit is vaag."
• De computer had dus te maken met een taak waar zelfs mensen het niet over eens zijn.

📊 Wat hebben ze geleerd? (De "Lessons Learned")

1. De volgorde telt: Het helpt om de vraag eerst te geven en dan het antwoord, in plaats van andersom. Het is alsof je eerst de opdracht leest voordat je het antwoord bekijkt; dan snap je de context beter.
2. Naammaskeren helpt niet: Ze dachten: "Als we de namen van politici verbergen (bijv. 'Trump' wordt '[Persoon]'), moet de computer zich meer op de woorden concentreren." Maar nee, dat maakte het juist slechter. De computer had die namen nodig om de context te begrijpen.
3. Minder is soms meer: Ze probeerden extra trucs, zoals het toevoegen van psychologische termen of het wegen van zeldzame antwoorden zwaarder, maar dat hielp niet echt. Soms is een simpele, goed getrainde aanpak het beste.

🏁 Conclusie: De Menselijke Factor

Het paper eindigt met een belangrijke boodschap: Het detecteren van politieke ontwijking is extreem moeilijk.

Zelfs de beste computers (en de slimste mensen) hebben moeite om precies te zeggen waar "een half antwoord" eindigt en "een volledig antwoord" begint. De politieke taal is vaak zo bedacht om te ontwijken, dat het een kunst op zich is om de waarheid eronder te vinden.

Kortom: De KCLarity-team heeft laten zien dat we slimme computers kunnen bouwen die politieke dansjes kunnen analyseren, maar dat we nog steeds moeten leren omgaan met de menselijke neiging om dingen vaag te houden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "KCLarity at SemEval-2026 Task 6: Encoder and Zero-Shot Approaches to Political Evasion Detection" in het Nederlands.

1. Probleemstelling

Het paper richt zich op de uitdaging om politieke onduidelijkheid en ontwijking (evasion) in discours automatisch te detecteren. Politici geven vaak minder duidelijke antwoorden dan burgers tijdens televisie-interviews, wat vaak wordt beschreven als "equivocatie" of ontwijking. De CLARITY-taak bij SemEval 2026 heeft als doel natuurlijke taalverwerking (NLP) methoden te ontwikkelen om deze strategieën te classificeren.

De taak bestaat uit twee hiërarchisch verbonden subtaken:

• Taak 1 (Klarheid): Classificeren van het antwoord in drie categorieën: Clear Reply (Duidelijk antwoord), Ambivalent Reply (Twijfelachtig antwoord) en Clear Non-Reply (Duidelijk geen antwoord).
• Taak 2 (Ontwijking): Identificeren van de specifieke ontwijkingstechniek (9 categorieën, zoals Dodging, Deflection, General, etc.).

De dataset (QEvasion) bevat interviews met Amerikaanse presidenten en vertoont een aanzienlijke class-imbalance, waarbij de Ambivalent Reply-klasse (59,2%) de overhand heeft. Een extra complexiteit is dat de testset meerdere annotatoren bevat die soms van mening verschillen over de juiste label.

2. Methodologie

Het KCLarity-team (van King's College London) heeft twee hoofdbenaderingen geëvalueerd:

A. Fine-tuning van Encoder-modellen

• Modellen: RoBERTa (base en large) en DeBERTa-v3 (base en large).
• Trainingsstrategieën:
  1. Directe Klarheid: Het model wordt getraind om direct de drie klarheidslabels te voorspellen.
  2. Ontwijking-gebaseerde Klarheid (Evasion-based): Het model wordt getraind om de 9 ontwijkingstechnieken te voorspellen. De klarheidslabel wordt vervolgens afgeleid via de hiërarchische taxonomie (bijv. als een antwoord Dodging is, is het per definitie Ambivalent). De auteurs kozen voor deze aanpak omdat deze vergelijkbare prestaties boekt maar één model vereist voor beide taken.
• Input Representatie: Er werd vergeleken tussen een "gesegmenteerde" vorm (Antwoord eerst, dan Vraag) en een "gemarkeerde" vorm (Vraag eerst met speciale tokens [QUESTION] en [ANSWER]). De gemarkeerde vorm (Vraag eerst) presteerde beter.
• Afwegingen: Er werd geëxperimenteerd met gewogen cross-entropy loss om class-imbalance aan te pakken, maar dit leverde geen consistente verbetering op. Ook werd getest met het maskeren van persoonsnamen, wat eveneens geen voordeel opleverde.

B. Zero-Shot Decoder-modellen

• Modellen: Verscheidene decoder-only modellen, waaronder open-weight modellen (Llama 3, Qwen, Gemma 3) en een commercieel model (GPT-5.2).
• Aanpak: Deze modellen werden niet gefine-tuned, maar geprompted in een zero-shot setting. Ze kregen instructies om eerst de ontwijkingstechniek te voorspellen, waarna de klarheidslabel werd afgeleid.
• Prompting: Een gestructureerde prompt met een "beslissingsladder" en voorbeelden werd gebruikt om de consistentie te waarborgen.

3. Belangrijkste Resultaten

Prestaties op de Publieke Testset

• Encoder-modellen: RoBERTa-large (getraind op ontwijking) behaalde de beste resultaten op de publieke testset voor beide taken (Macro F1 voor klarheid: 0,661; voor ontwijking: 0,371).
• Zero-Shot Modellen: Onder de zero-shot modellen presteerde GPT-5.2 het beste (Klarheid F1: 0,626; Ontwijking F1: 0,358), maar deze bleef nog steeds iets achter bij de beste fine-tuned encoder. Andere open-weight modellen (zoals Llama 3.3-70B) presteerden aanzienlijk slechter.

Officiële Ranking (Verborgen Testset)

Op de officiële, verborgen testset keerde het resultaat zich om:

• GPT-5.2 (Zero-shot) behaalde de hoogste scores: Macro F1 = 0,74 voor Taak 1 (22e van 44) en Macro F1 = 0,50 voor Taak 2 (13e van 33).
• Het ensemble van RoBERTa-large (5 seeds) behaalde iets lagere scores (F1 = 0,72 en 0,45).
• Conclusie: De zero-shot GPT-5.2 generaliseerde beter naar de verborgen testset dan de fine-tuned encoders, wat suggereert dat de fine-tuned modellen mogelijk licht overfit waren op de trainingsverdeling, terwijl GPT-5.2 robuuster was.

Foutanalyse

• De meeste fouten bij klarheidsclassificatie vonden plaats tussen Ambivalent Reply en de andere klassen, wat overeenkomt met de lage inter-annotator overeenkomst (IAA) in de dataset.
• Bij ontwijkingstechnieken was er veel verwarring tussen Implicit, General, Deflection en Partial, wat wijst op semantische overlap en subjectiviteit in de annotatie.

4. Kernbijdragen

1. Vergelijking van Architecturen: Het paper biedt een uitgebreide vergelijking tussen fine-tuned encoders en zero-shot decoders voor politieke ontwijking, waarbij het belang van generalisatiecapaciteit (zero-shot) versus in-domein optimalisatie (fine-tuning) wordt belicht.
2. Hiërarchische Modellering: Het toont aan dat het trainen op het fijnkorrelige niveau (ontwijking) en het afleiden van het grofkorrelige niveau (klarheid) een efficiënte en effectieve strategie is.
3. Input Representatie: Het bewijst dat het plaatsen van de vraag voor het antwoord (met speciale tokens) een sterkere inductieve bias biedt dan het omgekeerde.
4. Zero-Shot Superioriteit: Het paper illustreert dat state-of-the-art zero-shot modellen (GPT-5.2) in complexe, subjectieve NLP-taken de prestaties van traditionele fine-tuned modellen op onbekende data kunnen overtreffen.

5. Betekenis en Conclusie

Het paper benadrukt dat het detecteren van politieke ontwijking een uitdagende taak blijft, voornamelijk vanwege de subjectiviteit van de labels en de hoge mate van onenigheid tussen annotatoren. Hoewel fine-tuned modellen (RoBERTa-large) sterk presteren op bekende data, toont de prestatie van GPT-5.2 op de verborgen testset aan dat grote taalmodellen met zero-shot prompting uitstekende generalisatie-eigenschappen hebben voor dit type taak.

De auteurs concluderen dat toekomstig werk zich moet richten op het modelleren van annotatie-onzekerheid (bijv. via soft labels) en het verder verkennen van gesuperviseerde fine-tuning van grote decoder-modellen om hun potentieel volledig te benutten. De resultaten onderstrepen de noodzaak om voorzichtig te zijn bij het interpreteren van macro-F1 scores bij sterk onbalans en subjectieve taken.