💬 NLP

CLaC at SemEval-2026 Task 6: Response Clarity Detection in Political Discourse

Het systeem van het CLaC-team voor SemEval-2026 Taak 6 toont aan dat prompt-gebaseerde grote taalmodellen beter presteren dan fijngetuneerde encoders bij het detecteren van antwoordduidelijkheid en ontwijking in politieke discoursen, waarbij ze door middel van een ensemble-strategie en verrijkte inputcontexten topprestaties behalen, terwijl ze tegelijkertijd de aanhoudende uitdaging benadrukken om onderscheid te maken tussen duidelijke en ambivalente antwoorden.

Oorspronkelijke auteurs: Nawar Turk, Lucas Miquet-Westphal, Leila Kosseim

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nawar Turk, Lucas Miquet-Westphal, Leila Kosseim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een live televisiedebat bekijkt waarin een politicus onder vuur wordt genomen door een strenge journalist. Soms beantwoordt de politicus de vraag direct. Soms geven ze een vaag "misschien"-antwoord dat klinkt als een antwoord, maar dat niet is. En soms ontwijken ze de vraag volledig, alsof ze het niet hebben gehoord of zeggen dat ze het niet weten.

Het artikel dat je leest, gaat over een team computerwetenschappers (van de Concordia University) die een "slimme scheidsrechter" hebben gebouwd om deze antwoorden automatisch te beoordelen. Ze namen deel aan een competitie genaamd SemEval-2026 Task 6 om te zien wie de beste scheidsrechter kon bouwen.

Hier is het verhaal van hoe ze dat deden, eenvoudig uitgelegd:

De Twee Levels van het Spel

De competitie had twee levels, zoals een videospel met een "Eenvoudige Modus" en een "Moeilijke Modus":

Level 1 (Het Grote Plaatje): Is het antwoord Duidelijk, Vaag, of een Volledige Ontwijk? (3 categorieën).
Level 2 (De Kleine Lettertjes): Als het antwoord vaag is of een ontwijk, hoe hebben ze dat precies gedaan? (9 specifieke categorieën, zoals "afleiden", "te algemeen zijn", of "onwetendheid claimen").

De Drie Strategieën die Ze Probeerden

Het team probeerde drie verschillende manieren om hun scheidsrechter te bouwen:

1. De "Gespecialiseerde Trainers" (Encoder-modellen)
Zie deze als studenten die duizenden voorbeelden van politieke antwoorden hebben uit het hoofd geleerd. Ze zijn zeer goed in het herkennen van patronen, maar ze zijn stijf.

Het Experiment: Ze probeerden 8 verschillende "studenten" (computermodellen) en leerden ze met een vierstaps trainingsproces.
De Truc: Ze ontdekten dat als ze de studenten alles lieten uit het hoofd leren (volledige training), de studenten in de war raakten en fouten maakten. Maar als ze de studenten vertelden: "Jullie kennen de basis al, pas alleen de bovenste 25% van jullie hersenen aan", presteerden de studenten veel beter.
Het Resultaat: Zelfs toen ze alle 8 studenten combineerden tot een "studiegroep" (een ensemble), waren ze goed, maar niet de besten.

2. De "Lezer voor Lange Context" (Longformer)
Sommige interviews zijn zeer lang. Het team probeerde een speciaal model dat ontworpen is om lange verhalen te onthouden.

Het Resultaat: Het werkte niet zo goed als verwacht. Hoewel het langere teksten kon "lezen", begreep het de nuances van de antwoorden niet beter dan de standaardmodellen. Het is alsof je een bibliotheekpas hebt voor een enorme bibliotheek, maar nog steeds niet weet hoe je het juiste boek moet vinden.

3. De "Super-Intelligente Docenten" (Grote Taalmodellen / LLM's)
Dit zijn de "geniale" modellen (zoals GPT-5, Gemini en Qwen) die niet specifiek zijn getraind op deze dataset. In plaats daarvan gaf het team hen een zeer gedetailleerde handleiding (een "prompt") en liet hen 27 voorbeelden van goede antwoorden zien voordat ze hen vroegen om te oordelen.

Het Geheime Ingrediënt: Het team realiseerde zich dat de manier waarop ze de vraag stelden belangrijker was dan de grootte van het model.
- Ze gaven de modellen de volledige context (het hele gesprek, niet alleen de vraag).
- Ze gaven de modellen een "spiekbriefje" dat de lastige categorieën in detail uitlegde.
- Ze vertelden de modellen om er "intern over na te denken" voordat ze een antwoord gaven.
Het Resultaat: Deze "Docenten" verpletterden de competitie. Ze hoefden niet opnieuw getraind te worden; ze hadden alleen de juiste instructies nodig.

De Grote Overwinningen en Verrassingen

Het "Studiegroep"-effect: Het team combineerde hun drie beste "Docenten" (GPT-5, Gemini en Qwen) tot een final team. Als twee docenten het eens waren over een antwoord, was dat het definitieve oordeel. Dit team scoorde 80 van de 100 op het eenvoudige niveau en 59 van de 100 op het moeilijke niveau.
Grootte Maakt Niet Uit: Je zou denken dat een groter, krachtiger model altijd zou winnen. Maar het team ontdekte dat een massief model met 253 miljard parameters eigenlijk slechter presteerde dan een kleiner, slimmer model met 70 miljard parameters. Het gaat niet om hoe groot de hersenen zijn; het gaat om hoe je er tegen praat.
Het "Vage" Probleem: Het moeilijkste deel voor zowel de computers als de menselijke beoordelaars was het onderscheid maken tussen een "Duidelijk Antwoord" en een "Vaag Antwoord". Zelfs de mensen waren het hier vaak niet over eens. De computers maakten dezelfde fout, wat aantoont dat sommige politieke antwoorden gewoon van nature verwarrend zijn.

De Conclusie

Het systeem van het team met de "Super-Intelligente Docent" was de 9e beste van de 41 teams voor het eenvoudige niveau en de 3e beste van de 33 voor het moeilijke niveau.

De belangrijkste les? Bij het proberen om lastige politieke antwoorden te begrijpen, hoef je niet per se een nieuw, superduur computerbrein van scratch te bouwen. Soms moet je gewoon een slim, bestaand brein nemen, het een heel goede handleiding geven, een paar voorbeelden laten zien, en het het werk laten doen.

Ze merkten ook op dat hun code en instructies gratis beschikbaar zijn voor iedereen om te gebruiken, zodat andere onderzoekers de volgende keer kunnen proberen hun score te verbeteren!

Technische Samenvatting: CLaC bij SemEval-2026 Taak 6 (CLARITY)

Probleemdefinitie

Het artikel behandelt SemEval-2026 Taak 6 (CLARITY), een gezamenlijke taak gericht op het detecteren van helderheid en ontwijking in antwoorden binnen politieke discoursen. Het systeem verwerkt Engelse vraag-antwoordparen die zijn ontleend aan interviews met Amerikaanse presidenten. De taak is hiërarchisch gestructureerd:

Taak 1: Classificeer antwoorden in één van de drie Helderheid-categorieën: Duidelijk Antwoord, Ambivalent Antwoord, of Duidelijk Geen-Antwoord.
Taak 2: Voorspel één van de negen fijnmazige Ontwijkings-labels die de Helderheidsklassen onderverdelen (bijv. Ontwijken, Afwijkend, Expliciet, Gedeeltelijk).

De dataset omvat 3.993 instances met een aanzienlijke class-ongelijkheid (gecentreerd rond Ambivalent op Niveau 1 en Expliciet/Ontwijken op Niveau 2) en een inherente annotatie-moeilijkheid, wat blijkt uit een gemiddelde inter-annotator overeenstemming ( $\kappa = 0,65$ ) op de grens tussen Duidelijk Antwoord en Ambivalent.

Methodologie

Het CLaC-team evalueerde drie verschillende architecturale benaderingen, geoptimaliseerd via een meerfasige pijplijn:

1. Encoder-gebaseerde Modellen

Het team evalueerde 8 transformer-encoders (waaronder Engelse varianten zoals BERT, RoBERTa, DeBERTa en meertalige varianten zoals mBERT, XLM-RoBERTa, mDeBERTa) over vier optimalisatiefasen:

Fase 1 (Encoder-aanpassing): Vergelijking van volledige fine-tuning tegenover gedeeltelijke laag-vrijmaking (bovenste 25%, 50%, 75%) en LoRA. Gedeeltelijke vrijmaking (specifiek de bovenste 25%) presteerde significant beter dan volledige fine-tuning.
Fase 2 (Classificatie & Representatie): Evaluatie van verschillende classificatiekoppen (Lineair over CLS, MLP, Mean Pooling) en truncatiestrategieën (standaard versus head-tail).
Fase 3 (Verlies & Regularisatie): Testen van Focal Loss en variërende dropout-rates tegen een baseline van Gewogen Cross-Entropy (WCE) met 0,1 dropout. WCE bleek voldoende.
Fase 4 (Data & Invoer): Testen van data-augmentatie (LLM-genereren van parafrases voor de minderheidsklasse Duidelijk Geen-Antwoord) en verrijkte invoer (concatenatie van de volledige interviewer-beurt met de doelvraag).
Ensemble: De beste configuratie voor elke van de 8 encoders werd gecombineerd via meerderheidsstemming.

2. Lange-context Architectuur

Om de ~30% instances aan te pakken die de 512-tokenlimiet overschrijden, experimenteerde het team met Longformer-base-4096. Ze voerden een ablatiestudie uit op invoerordening, globale aandachtspatronen (alleen CLS versus uitgebreid naar vraag-tokens) en classificatiekoppen. Ondanks het uitgebreide contextvenster presteerde deze aanpak niet beter dan het geoptimaliseerde encoder-ensemble.

3. Prompt-gebaseerde LLM's

Het team evalueerde open-weight (LLaMA, Qwen, Mixtral) en propriëtaire (GPT-5, Claude-Opus-4.5, Gemini-3-Flash-Preview) Large Language Models zonder taakspecifieke parameterupdates.

Prompting-strategieën: Evaluatie van Zero-Shot, Zero-Shot met herhaalde instructies, Few-Shot (3, 9, 27 shots) en Chain-of-Thought (alleen intern redeneren).
Optimalisatie: De best presterende strategie (FS27 met verrijkte invoer) werd verfijnd door labeldefinities te verrijken met Niveau-2 Ontwijkings-subcategorieën en, voor sommige modellen, de naam van de president vooraf te voegen.
Ensemble: De top 3 presterende LLM-configuraties (GPT-5, Gemini-3-Flash-Preview, Qwen3-235B) werden gecombineerd via meerderheidsstemming.

Belangrijkste Resultaten

Taak 1 Prestaties: Het LLM-ensemble behaalde de hoogste prestatie met 80 macro-F1 op de testset (rang 9/41). Dit presteerde significant beter dan het encoder-ensemble (70,5 macro-F1 op dev, lager op test) en het Longformer-model (64,3 macro-F1).
Taak 2 Prestaties: Het toepassen van de Taak 1 LLM-ensemble-configuratie op Taak 2 leverde 59 macro-F1 op (rang 3/33).
Encoder-bevindingen:
- Gedeeltelijke Vrijmaking: Het vrijmaken van de bovenste 25% van de lagen verbeterde de macro-F1 met +17,9 ten opzichte van volledige fine-tuning (59,1 versus 41,2), wat suggereert dat volledige fine-tuning overpast op de beperkte data.
- Ensemble-diversiteit: Het combineren van Engelse en meertalige encoders (70,5) presteerde beter dan ensembles van slechts één familie, ondanks dat meertalige modellen individueel onderpresteerden ten opzichte van Engelstalige modellen.
- Invoer-verrijking: Het toevoegen van de volledige interviewer-beurt verslechterde de encoder-prestaties maar verbeterde de LLM-prestaties.
LLM-bevindingen:
- Prompt Engineering: Prompt-verfijning (toevoegen van subcategorie-definities) zorgde voor een +7,1 macro-F1 winst voor GPT-5.
- Modelgrootte versus Prestatie: Het aantal parameters voorspelde geen prestatie; kleinere modellen (bijv. Qwen3-30B) presteerden soms beter dan grotere (bijv. LLaMA-3.1-Nemotron-Ultra-253B).
- Minderheidsklassen: Het LLM-ensemble toonde superieure robuustheid op minderheidsklassen (Duidelijk Antwoord en Duidelijk Geen-Antwoord), met een F1-verbetering van bijna 10 punten ten opzichte van het encoder-ensemble.

Betekenis en Claims

Het artikel beweert dat voor low-resource, hiërarchisch gelabelde taken zoals CLARITY, ontwerpkeuzes op het moment van inferentie (promptstructuur, integratie van labelhiërarchie en ensemble-samenstelling) impactvoller zijn dan aanpassing op parameterniveau (fine-tuning).

Belangrijke observaties zijn:

Superioriteit van Prompting: Prompt-gebaseerde LLM's, zonder enige fine-tuning, presteerden beter dan gefine-tunte encoders, met name op minderheidsklassen.
Contextgebruik: De divergentie in prestaties met betrekking tot "verrijkte invoer" (helpt LLM's maar schaadt encoders) suggereert dat LLM's extra context effectiever benutten dan encoder-architecturen, een factor die niet uitsluitend toe te schrijven is aan sequentielengte-capaciteit.
Inherente Ambiguïteit: De dominante faalmodus voor beide systemen was de verwarring tussen Duidelijk Antwoord en Ambivalent, wat de menselijke annotator-oneschuld weerspiegelt. Dit geeft aan dat de grens inherent subjectief is en moeilijk voor zowel mensen als modellen.
Ensemble-strategie: Architecturale diversiteit (het combineren van Engelse en meertalige modellen) leverde complementaire signalen op die de algehele ensemble-prestatie meer verbeterden dan het vergroten van de modelgrootte alleen.

De auteurs merken beperkingen op met betrekking tot de beperking van de dataset tot Amerikaanse presidentiële interviews, de afhankelijkheid van propriëtaire API's voor reproduceerbaarheid, en het ontbreken van een dedicated prompt-sweep voor Taak 2, wat werd aangepakt door de Taak 1-configuratie over te dragen.