💬 NLP

CSE-UOI at SemEval-2026 Task 6: A Two-Stage Heterogeneous Ensemble with Deliberative Complexity Gating for Political Evasion Detection

Dit paper beschrijft het CSE-UOI-systeem voor SemEval-2026 Taak 6, dat een heterogene ensemble-architectuur combineert met een nieuw 'Deliberative Complexity Gating'-mechanisme om politieke antwoorden te classificeren en daarmee de derde plaats behaalde met een Macro-F1-score van 0,85.

Oorspronkelijke auteurs: Christos Tzouvaras, Konstantinos Skianis, Athanasios Voulodimos

Gepubliceerd 2026-03-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Christos Tzouvaras, Konstantinos Skianis, Athanasios Voulodimos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een politicus aan het interviewen bent. Je stelt een vraag, maar in plaats van een eerlijk antwoord te geven, draait hij om de hete pap heen, verandert van onderwerp of geeft een vaag antwoord dat niets zegt. Dit noemen we "ontwijkend gedrag".

De onderzoekers van deze paper (van de Universiteit van Ioannina en de TU Delft) hebben een slim computerprogramma gebouwd om dit gedrag automatisch te detecteren. Ze deden dit voor een grote wedstrijd genaamd SemEval-2026. Hun doel was om te bepalen of een antwoord duidelijk, twijfelachtig of een duidelijke ontwijking is.

Hier is hoe hun systeem werkt, uitgelegd met een paar creatieve vergelijkingen:

1. Het Team: Twee Slimme Detectives

In plaats van één computerprogramma te gebruiken, hebben ze twee verschillende "detectives" ingehuurd: Grok (van xAI) en Gemini (van Google).

De aanpak: Ze laten deze twee detectives niet direct zeggen "dit is een goed antwoord". In plaats daarvan vragen ze hen eerst om het antwoord te analyseren in 9 verschillende soorten "ontwijkende tactieken" (zoals "het onderwerp veranderen", "de schuld bij een ander leggen", of "zeggen dat ze het niet weten").
De vertaling: Pas daarna vertalen ze die 9 tactieken naar de drie eindresultaten: Duidelijk, Twijfelachtig of Geen antwoord.
De stemming: Omdat Grok en Gemini soms andere meningen hebben, laten ze ze elk 5 keer nadenken over hetzelfde antwoord (een techniek die "zelf-consistentie" heet). Vervolgens houden ze een stemming. Grok is iets slimmer, dus zijn stem telt zwaarder, maar ze wegen samen de uitkomst.

2. De Innovatie: De "Denk-Complexiteit" Deurwachter (DCG)

Dit is het meest creatieve deel van hun systeem. Soms zijn de twee detectives het oneens, of geven ze een antwoord dat net iets te langdradig is. Dan weten ze dat het antwoord waarschijnlijk twijfelachtig is.

Stel je voor dat je een deurwachter hebt bij een club.

Het probleem: Soms is het antwoord zo vaag dat zelfs de slimste detectives twijfelen.
De oplossing (DCG): De onderzoekers merkten een raar patroon op: als een AI-model twijfelt of een antwoord moet "verzinnen" omdat het niet weet wat het moet zeggen, wordt het antwoord vaak langer. Het begint te kletsen om de tijd te rekken.
De deurwachter: Ze hebben een slimme deurwachter (DCG) bedacht die twee dingen checkt:
1. Is het antwoord van Gemini onnodig lang? (Dit is een teken van twijfel).
2. Is Grok het oneens met zichzelf? (Dit is een teken van verwarring).

Als beide signalen oplichten, zegt de deurwachter: "Hé, dit is een twijfelgeval! Laten we het antwoord niet als 'duidelijk' of 'niet-antwoord' tellen, maar als twijfelachtig." Dit gebeurt zonder dat het systeem opnieuw moet leren; het is een slimme correctie die direct na het eerste oordeel wordt toegepast.

3. Waarom geen "Debat"?

De onderzoekers hebben ook gekeken of ze de detectives een debat konden laten houden (waar ze hun argumenten uitwisselen) om tot een beter antwoord te komen.

Het resultaat: Dit werkte niet goed. Het debat maakte het systeem juist trager en minder accuraat.
De les: Het is beter om twee verschillende soorten detectives (diversiteit) te hebben die snel hun oordeel vellen en die oordelen slim te wegen, dan om ze urenlang te laten discussiëren.

Het Eindresultaat

Met deze twee-stappen aanpak (eerst een slimme stemming, dan een deurwachter die op lengte en verwarring let) behaalden ze een 3e plaats in de wereldwijde wedstrijd.

Ze scoorden een 85% op hun testset.
Het systeem was vooral goed in het onderscheiden van de moeilijkste gevallen: het verschil tussen een antwoord dat "netjes om de hete pap heen draait" en een antwoord dat "echt duidelijk is".

Kortom: Ze hebben een systeem gebouwd dat niet alleen luistert naar wat er gezegd wordt, maar ook kijkt naar hoe het gezegd wordt (de lengte en de zekerheid van de AI), om zo te ontdekken wanneer een politicus probeert je te bedotten.

Probleemstelling

Het paper richt zich op SemEval-2026 Task 6, een taak die zich bezighoudt met de automatische classificatie van de helderheid van antwoorden in politieke interviews. Het doel is om te onderscheiden tussen drie categorieën:

Duidelijk antwoord (Clear Reply): Het vraagstuk wordt direct en helder beantwoord.
Ambivalent (Ambivalent): Het antwoord is vaag, indirect of vermijdt een direct antwoord zonder het expliciet te weigeren.
Duidelijk niet-antwoord (Clear Non-Reply): Het antwoord weigert het vraagstuk expliciet of gaat er volledig aan voorbij.

Dit is een complex probleem omdat politieke antwoorden vaak subtiele pragmatische variaties bevatten (zoals "dodging" of "deflection") die moeilijk te onderscheiden zijn voor modellen, vooral op de grens tussen een duidelijk antwoord en een ambivalent antwoord.

Methodologie

De auteurs van de Universiteit van Ioannina en de Nationale Technische Universiteit van Athene presenteren een twee-fasen heterogeen ensemble-systeem dat gebruikmaakt van twee verschillende grote taalmodellen (LLMs): Grok-4-1-fast-reasoning en Gemini-3-flash-preview.

Fase 1: Heterogeen Ensemble met Zelfconsistentie

In plaats van direct de drie helderheidsklassen te voorspellen, gebruiken de auteurs een strategie die eerst focust op ontwijkingsgedrag (evasion).

Taxonomie: De modellen classificeren antwoorden eerst in 9 fijne ontwijkingscategorieën (bijv. Dodging, Implicit, Explicit, Deflection). Deze labels worden vervolgens deterministisch gemapt naar de drie hoofdcategorieën van de taak. Dit fungeert als een "foutbuffer".
Zelfconsistentie (Self-Consistency): Voor elk model wordt de inferentie 5 keer uitgevoerd ( $k=5$ ) met verschillende temperaturen (voor Grok) of met een hoge denk-niveau (voor Gemini) om meerdere redeneringen te genereren.
Asymmetrische Gewogen Stemming: De voorspellingen worden samengevoegd via gewogen stemming. Omdat Grok individueel accurater bleek, krijgt Grok 5 stemmen (één per sample). Gemini krijgt een "blokstem" met een gewicht van $w=4$ gebaseerd op zijn meerderheidslabel. Als de modellen het oneens zijn, wordt de beslissing genomen op basis van de totale gewogen stemmen.

Fase 2: Deliberative Complexity Gating (DCG)

De kerninnovatie van dit paper is de DCG, een post-hoc correctiemechanisme dat onzekerheid detecteert en corrigeert zonder extra API-calls of training.

Signaalontdekking: De auteurs ontdekten dat de lengte van het antwoord van Gemini sterk correleert met ambiguïteit. Ambivalente antwoorden zijn vaak langer omdat het model meer "nadenkt" om de nuance te vangen.
Cross-Model Gating: DCG gebruikt twee signalen om een geval als "onzeker" te markeren:
1. De gemiddelde lengte van de Gemini-antwoorden in de batch is hoger dan een dynamische drempel ( $\theta_1$ , de 25e percentiel van de huidige batch).
2. De zelfconsistentie van Grok is lager dan 1.0 (wat aangeeft dat Grok het niet eens is met zichzelf over de 5 samples).
Correctie: Als beide signalen aanwezig zijn, wordt de bijdrage van Gemini in de stemming gewijzigd naar het label Ambivalent. Dit is een transductieve aanpak: de drempel past zich aan elke batch aan, maar de regel blijft statisch.

Vergelijking met Multi-Agent Debate

De auteurs onderzochten ook of een multi-agent debat (waarbij modellen elkaars redeneringen kritiseren) beter zou werken. Ze concludeerden dat dit voor deze specifieke taak minder effectief was dan hun statische ensemble. Het debat verhoogde de rekenkosten zonder de prestaties te verbeteren en leidde zelfs tot een lichte daling in Macro-F1, wat suggereert dat modeldiversiteit (verschillende architecturen) belangrijker is dan meer iteraties binnen hetzelfde modeltype.

Belangrijkste Resultaten

Het systeem behaalde een Macro-F1-score van 0,85 op de blind evaluatie-set, wat resulteerde in een 3e plaats onder 41 inzendingen.

Prestatieverbetering:
- Het ensemble (Fase 1) alone scoorde 0,8122.
- Met de toevoeging van DCG (Fase 2) steeg de score naar 0,8505.
- Dit vertegenwoordigt een verbetering van +3,83 punten op de evaluatieset.
Ablatiestudies:
- Zelfconsistentie ( $k=5$ ) bleek cruciaal voor stabiliteit.
- De gewichtskies $w=4$ voor Gemini bleek optimaal om de kracht van Grok te balanceren zonder de "disagreement-structuur" te verliezen die DCG nodig heeft.
- DCG werkte het beste met een dynamische drempel (per batch berekende Q25) in plaats van een vaste drempel, wat aantoont dat responslengtes variëren per dataset-distributie.
Foutanalyse: De meeste resterende fouten (86,8%) zitten op de grens tussen "Duidelijk antwoord" en "Ambivalent". Dit bevestigt dat dit de moeilijkste grens is, zelfs voor menselijke annotatoren.

Bijdragen en Significantie

Nieuwe Correctiemethode (DCG): Het paper introduceert een lichtgewicht, ongesuperviseerde methode om onzekerheid te detecteren en te corrigeren door gebruik te maken van gedragsignalen (lengte en consistentie) van heterogene modellen. Dit is een efficiënt alternatief voor dure iteratieve debatten.
Koppeling van Responslengte en Ambiguïteit: Het paper valideert empirisch dat langere antwoorden van LLMs vaak een proxy zijn voor hogere cognitieve complexiteit en ambiguïteit in politieke contexten.
Heterogeen Ensemble vs. Homogeen Debat: Het biedt bewijs dat voor taak-specifieke classificatie, het combineren van verschillende modelarchitecturen (diversiteit) effectiever is dan het laten debatteren van meerdere instanties van hetzelfde model.
Reproduceerbaarheid: De code is openbaar beschikbaar, hoewel het systeem afhankelijk is van proprietaire API's (Grok en Gemini), wat een beperking is voor volledig open-source implementaties.

Samenvattend biedt dit paper een robuust framework voor het detecteren van politieke ontwijking, waarbij het combineert van diverse LLM's met een slimme, datagestuurde gating-mechanisme om de moeilijkste classificatieproblemen op te lossen.