Duluth at SemEval-2026 Task 6: DeBERTa with LLM-Augmented Data for Unmasking Political Question Evasions

Probleemstelling

Het paper richt zich op SemEval-2026 Task 6: CLARITY, een gezamenlijke taak gericht op het automatisch detecteren en classificeren van ontwijkende communicatiestrategieën in politieke discoursen. De taak is gebaseerd op een tweelaagse taxonomie van antwoordhelderheid, afgeleid van U.S.-presidentiële interviews:

1. Taak 1 (Helderheidsclassificatie): Classificeer een vraag-antwoordpaar in één van drie categorieën:
   • Clear Reply: Expliciete informatie wordt gegeven.
   • Ambivalent: Een antwoord wordt gegeven, maar is vaag, impliciet, gedeeltelijk of afleidend.
   • Clear Non-Reply: De respondent weigert openlijk te antwoorden, claimt onwetendheid of vraagt om verduidelijking.
2. Taak 2 (Ontwijkingsclassificatie): Classificeer het antwoord in één van de 9 fijnmazige ontwijkings technieken die onder de drie bovenstaande categorieën vallen.

Het centrale probleem is de severe klasse-ongelijkheid in de trainingsdata (QEvasion-dataset): 59% Ambivalent, 31% Clear Reply en slechts 10% Clear Non-Reply. Dit leidt vaak tot een slechte recall voor de minderheidsklassen. Daarnaast is de taak taalkundig complex omdat het onderscheid tussen "Ambivalent" en "Clear Reply" vaak subtiel is en zelfs tot onenigheid leidt onder menselijke annotatoren.

Methodologie

Het team van de Universiteit van Minnesota Duluth ontwikkelde een systeem dat gebaseerd is op DeBERTa-V3-base, uitgebreid met geavanceerde trainingsstrategieën en data-augmentatie.

1. Data Augmentatie voor Klasse-ongelijkheid
Om het gebrek aan data voor de minderheidsklassen (vooral Clear Non-Reply) op te lossen, gebruikten ze synthetische data gegenereerd door twee grote taalmodellen (LLMs): Gemini 3 en Claude Sonnet 4.5.

• Context-Aware Synthetic Generation (CASA): Gemini 3 extrahere retorieke frames uit de minderheidsklassen en combineerde deze met gerandomiseerde politieke contexten. Dit resulteerde in 2.672 synthetische voorbeelden, wat de klassen perfect balanceerde (2.040 per klasse).
• Lexicale Paraphrasing: Claude Sonnet 4.5 paste operaties toe zoals synoniemvervanging en willekeurige invoeging/verwijdering (geïnspireerd door EDA) op de bestaande antwoorden.
• Kwaliteitscontrole: Een steekproef van 50 voorbeelden werd handmatig gecontroleerd. Tijdens het trainen werd een vertrouwens-gewogen verliesfunctie gebruikt (0.5x voor Claude, 0.7x voor Gemini) om overfitting op de synthetische data te beperken.

2. Model Architectuur en Training
Het basismodel is microsoft/deberta-v3-base (184M parameters). Het systeem bevat de volgende verbeteringen:

• Booleaanse Discoursfeatures: Twee statistisch significante binaire features uit de originele data (affirmative_questions en multiple_questions) worden verwerkt via een kleine neurale laag en geconcateneerd met de gepoolde transformer-output.
• Layer-wise Learning Rate Decay (LLRD): Lagere lagen van het model krijgen een progressief kleinere leerfrequentie (schaalfactor $\alpha = 0.9$) om voorkennis te behouden, terwijl hogere lagen zich beter aan de specifieke taak aanpassen.
• Focal Loss: Om het model te focussen op "moeilijke" voorbeelden (hard examples) in plaats van de dominante klasse, wordt Focal Loss gebruikt met $\gamma = 2.0$ en klasse-gewichten gebaseerd op inverse frequentie.
• Training Details: Gebruik van gradient accumulation (effectieve batch size 32), een cosine annealing scheduler met 15% warmup, en early stopping op basis van Macro F1.

Belangrijkste Resultaten

• Prestaties Taak 1: Het systeem met Gemini-augmentatie behaalde een Macro F1-score van 0,76 op de evaluatieset. Dit plaatste het team op de 8e plek van de 40 deelnemende teams.
  • Ter vergelijking: Het beste systeem (TeleAI) scoorde 0,89, het gemiddelde van alle deelnemers was 0,70.
  • Zonder augmentatie was de score 0,69; de augmentatie bracht dus een significante verbetering.
• Prestaties Taak 2: Voor de fijnmazige classificatie (9 klassen) daalde de prestatie sterk van 0,45 (dev) naar 0,28 (eval). Dit wordt toegeschreven aan een verschuiving in de data-distributie tussen de fases.
• Vergelijking: Het augmentatie-systeem presteerde beter dan klassieke baselines en andere transformer-varianten zoals Political DEBATE en DeBERTa-V3-large-NLI.

Foutanalyse en Bevindingen

De foutanalyse onthulde dat de belangrijkste bron van misclassificatie de verwarring is tussen Ambivalent en Clear Reply antwoorden.

• Dit patroon komt overeen met de onenigheid die ook onder menselijke annotatoren werd waargenomen (Kappa = 0,65).
• Specifieke foutpatronen:
  • Ambivalent $\to$ Clear Reply: Het model negeert nuanceringen (hedging) in een antwoord dat een directe claim bevat.
  • Clear Reply $\to$ Ambivalent: Het model classificeert directe antwoorden als vaag vanwege de aanwezigheid van voorwaardelijke taal of twijfel.
  • Clear Non-Reply: Soms worden ontwijkende antwoorden die feitelijke informatie bevatten, per ongeluk als "Ambivalent" of "Clear Reply" gemarkeerd.

Significantie en Conclusie

Het paper demonstreert dat LLM-gebaseerde data-augmentatie een krachtige techniek is om de prestaties van minderheidsklassen in nuchtere politieke discours-taken te verbeteren. De combinatie van synthetische data (via Gemini), Focal Loss en zorgvuldige hyperparameter-tuning (LLRD) bleek effectiever dan het gebruik van grotere modellen of domein-specifieke pre-training alleen.

De auteurs concluderen dat de kernuitdaging niet ligt in het herkennen van duidelijke weigeringen (wat het model goed doet), maar in het onderscheiden van de "grijze zone" tussen vaagheid en duidelijkheid. Voor toekomstig werk suggereren ze:

1. Multi-task learning om zowel helderheid als ontwijkingsniveaus gelijktijdig te voorspellen.
2. Het integreren van specifieke features voor het detecteren van hedging en conditionele taal.
3. Robuustere validatiestrategieën voor fijnmazige classificatie om distributieveranderingen aan te pakken.