KCLarity at SemEval-2026 Task 6: Encoder and Zero-Shot Approaches to Political Evasion Detection

Dieser Beitrag beschreibt die Teilnahme des KCLarity-Teams an SemEval-2026 Task 6, bei der Encoder- und Zero-Shot-Ansätze zur Erkennung politischer Ausweichmanöver verglichen wurden und sich RoBERTa-large sowie GPT-5.2 als die jeweils besten Modelle für öffentliche und versteckte Testdaten erwiesen.

Das Wesentliche

Hier ist eine einfache und kreative Zusammenfassung der Forschungspapiere von KCLarity, als würde man sie einem Freund beim Kaffee erklären:

🕵️‍♂️ Die Jagd nach den politischen Ausreden

Stell dir vor, du sitzt in einer Talkshow und stellst einem Politiker eine direkte Frage: „Haben Sie das Gesetz unterstützt?" Der Politiker antwortet dann aber nicht mit einem klaren „Ja" oder „Nein", sondern mit einem langen, wirren Monolog über die Wirtschaft, die Geschichte des Landes und wie wichtig Familie ist. Er weicht der Frage aus.

Das ist genau das Problem, das die Forscher vom Team KCLarity (von der King's College London) untersucht haben. Sie wollten eine Art „digitalen Detektiv" bauen, der automatisch erkennt, wenn Politiker versuchen, sich aus der Affäre zu ziehen.

🏗️ Zwei verschiedene Werkzeuge für den Job

Die Forscher haben zwei ganz unterschiedliche Methoden ausprobiert, um diesen Detektiv zu bauen:

1. Der „Feinjustierte Spezialist" (Encoder-Modelle)
Stell dir diesen Ansatz wie einen Ausbildungsschüler vor. Man nimmt ein intelligentes Computerprogramm (ein sogenanntes Encoder-Modell wie RoBERTa) und füttert es mit tausenden Beispielen von echten Interviews. Man sagt ihm: „Sieh dir diese Antwort an. Ist sie klar? Oder ist sie eine Ausrede? Wenn ja, welche Art von Ausrede ist es?"

• Die Strategie: Das Team hat das Programm auf zwei Arten trainiert. Entweder hat es direkt gelernt, die Antwort als „klar" oder „unklar" zu bewerten. Oder es hat gelernt, die Art der Ausrede zu erkennen (z. B. „Er hat das Thema gewechselt") und daraus dann auf die Klarheit geschlossen.
• Das Ergebnis: Auf den bekannten Testdaten war dieser „Schüler" sehr gut. Er war wie ein erfahrener Journalist, der die Muster auswendig gelernt hatte.

2. Der „Allwissende Gast" (Zero-Shot Decoder-Modelle)
Der zweite Ansatz war anders. Statt das Programm zu trainieren, haben sie einfach eine der fortschrittlichsten KI-KI-Modelle der Welt (GPT-5.2) gefragt: „Hey, lies diese Frage und Antwort. Ist das eine Ausrede?"

• Die Strategie: Man hat dem KI-Modell keine Trainingsdaten gegeben. Es musste sein ganzes Weltwissen nutzen, um die Aufgabe zu lösen. Das ist wie ein brillanter Gast, der zum ersten Mal in die Talkshow kommt und sofort alles durchschaut, ohne vorher geübt zu haben.
• Das Ergebnis: Auf den bekannten Daten war dieser Gast etwas langsamer als der trainierte Schüler. Aber als sie ihn mit neuen, unbekannten Daten (dem „versteckten Test") konfrontierten, zeigte er sich überlegen. Er war flexibler und verstand den Kontext besser, auch wenn er die spezifischen Muster nicht auswendig gelernt hatte.

🧩 Das Puzzle der Ausreden

Die Aufgabe war nicht einfach, weil politische Ausreden sehr subtil sind. Die Forscher haben eine Art Klassifizierungs-System (eine Taxonomie) verwendet. Stell dir das wie ein Regal mit vielen Fächern vor:

• Klare Antwort: „Ja" oder „Nein".
• Zweideutige Antwort: „Wir werden es prüfen" (kann alles bedeuten).
• Keine Antwort: „Ich weiß es nicht" oder „Das ist eine gute Frage, aber..."

Besonders schwierig war das Fach „Zweideutig". Die meisten Politiker antworten hier. Und selbst Menschen sind sich oft nicht einig, ob eine Antwort wirklich eine Ausrede ist oder nur vage formuliert wurde. Das macht es für Computer schwer, da sie oft unsicher sind, wie ein Mensch es auch wäre.

🏆 Das Endergebnis: Wer hat gewonnen?

Am Ende des Wettbewerbs (SemEval 2026) passierte etwas Interessantes:

• Auf den bekannten Testdaten gewann der trainierte „Schüler" (RoBERTa-large). Er war auf die spezifischen Daten spezialisiert.
• Auf den geheimen, neuen Daten gewann der „Allwissende Gast" (GPT-5.2). Er zeigte, dass er besser verallgemeinern konnte.

Die große Erkenntnis: Es gibt keinen perfekten Weg. Wenn du viele Daten hast und spezifische Muster lernen willst, ist das trainierte Modell super. Wenn du aber robuste Ergebnisse brauchst, die auch bei völlig neuen Situationen funktionieren, ist eine große, intelligente KI ohne Training oft besser.

💡 Was bedeutet das für uns?

Die Botschaft ist: Politiker sind Meister darin, Fragen zu umgehen, und es ist schwer, das automatisch zu erkennen. Aber mit moderner KI können wir diese Ausreden immer besser aufspüren. Es ist wie ein Wettkampf zwischen einem gut ausgebildeten Detektiv, der die Stadt kennt, und einem genialen Fremden, der die Sprache der Ausreden einfach intuitiv versteht. Beide haben ihre Stärken!

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papiers „KCLarity at SemEval-2026 Task 6: Encoder and Zero-Shot Approaches to Political Evasion Detection" auf Deutsch.

1. Problemstellung

Das Papier beschreibt die Teilnahme des Teams „KCLarity" an der CLARITY-Shared-Task bei SemEval 2026. Das Ziel dieser Aufgabe ist die automatische Erkennung und Klassifizierung von Mehrdeutigkeit (Ambiguity) und Ausweichstrategien (Evasion) in der politischen Kommunikation.

Der Kontext ist die öffentliche Überprüfung von Politikern, die oft unklare Antworten geben, um Fragen zu umgehen. Die Aufgabe besteht aus zwei hierarchisch verknüpften Unteraufgaben:

• Task 1 (Klarheit): Vorhersage des Klarheitsgrades der Antwort (Kategorien: Clear Reply, Ambivalent Reply, Clear Non-Reply).
• Task 2 (Ausweichen): Identifizierung der spezifischen Ausweichstrategie (9 Klassen, z. B. Dodging, Deflection, Implicit, Clarification).

Die Datenbasis ist das QEvasion-Dataset, das aus Interviews mit US-Präsidenten stammt. Ein zentrales Problem ist die starke Klassenungleichgewichtung (Class Imbalance), wobei die Klasse „Ambivalent Reply" fast 60 % der Daten ausmacht. Zudem gibt es bei den Testdaten eine Mehrfach-Annotation durch drei verschiedene Annotatoren, was zu Diskrepanzen und Unsicherheit in den Gold-Labels führt.

2. Methodik

Das Team untersuchte zwei Hauptansätze: Feinabstimmung (Fine-Tuning) von Encoder-Modellen und Zero-Shot-Prompts für Decoder-only-Modelle.

A. Modellarchitekturen

• Encoder-basierte Modelle: Es wurden RoBERTa (Base und Large) und DeBERTa-v3 (Base und Large) verwendet.
• Decoder-only Modelle (Zero-Shot): Verschiedene Large Language Models (LLMs) wurden ohne Feinabstimmung getestet, darunter Open-Weight-Modelle (Llama 3, Qwen, Gemma 3) und ein kommerzielles Modell (GPT-5.2).

B. Trainingsstrategien und Eingabedarstellung

Für die Encoder-Modelle wurden zwei Formulierungsansätze verglichen:

1. Direct Clarity: Direkte Vorhersage der drei Klarheits-Labels.
2. Evasion-Based Clarity: Vorhersage der neun Ausweich-Labels (Task 2) und Ableitung des Klarheits-Labels (Task 1) über die Taxonomie-Hierarchie.
   • Ergebnis: Beide Ansätze zeigten vergleichbare Leistung, aber der „Evasion-First"-Ansatz wurde bevorzugt, da ein einziges Modell beide Aufgaben abdeckt.

Weitere experimentelle Variationen umfassten:

• Gewichtete Verlustfunktionen (Loss Weighting): Um das Klassenungleichgewicht zu adressieren (Unweighted, Balanced, Sqrt). Die ungewichtete Version performte am besten.
• Eingabe-Repräsentation: Vergleich von „Segmented" (Antwort vor Frage) vs. „Marked" (Frage vor Antwort mit speziellen Tokens wie [QUESTION] und [ANSWER]). Die Marked-Representation (Frage zuerst) erwies sich als überlegen, vermutlich weil sie sicherstellt, dass der Kontext der Frage nicht abgeschnitten wird.
• Maskierung: Das Maskieren von Personennamen (naiv vs. entitätsbewusst) brachte keine Verbesserungen.
• Daten-Splits: Vergleich von stratifizierten Splits (nach Labels) vs. president-disjoint Splits (keine Überlappung von Präsidenten zwischen Train/Test).

C. Evaluation

• Metriken: Macro-F1, Precision, Recall.
• Besonderheit bei Task 2: Da Testdaten drei Annotatoren haben, wurde der Score nicht durch Mehrheitsvoting zusammengefasst, sondern separat gegen jeden Annotator berechnet und gemittelt (F1avg). Zusätzlich wurde ACCmatch (Trefferquote bei mindestens einem Annotator) gemeldet.

3. Wichtige Beiträge und Ergebnisse

A. Encoder-Ergebnisse (Feinabstimmung)

• Bestes Encoder-Modell: RoBERTa-large mit dem „Evasion-Based Clarity"-Ansatz erzielte auf dem öffentlichen Testset die besten Ergebnisse (Macro-F1 für Klarheit: 0,661; für Ausweichen: 0,371).
• RoBERTa-large war stabiler und leistungsfähiger als DeBERTa-v3 und kleinere Modelle.
• Zusätzliche Techniken wie Cross-Domain-Transfer (von Finanzgesprächen) oder die Nutzung von „Cognitive Distortion"-Signalen brachten keine signifikanten Verbesserungen und führten teilweise zu Instabilität.

B. Zero-Shot-Ergebnisse (Decoder)

• Unter den Open-Weight-Modellen schnitt Llama-3.3-70B-Instruct am besten ab, blieb aber hinter den feinabgestimmten Encodern zurück.
• Das kommerzielle Modell GPT-5.2 war das stärkste Zero-Shot-Modell und näherte sich der Leistung von RoBERTa-large an (Klarheit F1: 0,626).
• Generell unterlagen Zero-Shot-Modelle den feinabgestimmten Encodern auf dem öffentlichen Testset, außer GPT-5.2, das sehr konkurrenzfähig war.

C. Offizielle Rangliste (Hidden Test Set)

Auf dem geheimen, offiziellen Testset kehrte sich das Ergebnis teilweise um:

• GPT-5.2 (Zero-Shot) wurde zum besten System des Teams und belegte Platz 22 von 44 in Task 1 (F1 = 0,74) und Platz 13 von 33 in Task 2 (F1 = 0,50).
• Das Ensemble aus RoBERTa-large (5 Seeds, Majority Voting) erreichte F1 = 0,72 (Task 1) und F1 = 0,45 (Task 2).
• Interpretation: Die Encoder-Modelle scheinen auf dem öffentlichen Testset besser zu generalisieren, während GPT-5.2 auf dem geheimen Testset robuster war. Dies deutet auf eine mögliche Überanpassung (Overfitting) der Encoder an die Trainingsverteilung oder auf Verteilungsunterschiede zwischen den Testsets hin.

D. Fehleranalyse

• Die größte Verwechslungsrate bestand bei der Klasse „Ambivalent Reply", was mit der geringen Übereinstimmung zwischen den menschlichen Annotatoren (Inter-Annotator Agreement) korreliert.
• Feinere Ausweichkategorien wie Deflection, General und Implicit wurden schlecht erkannt, was auf semantische Überlappungen und Annotationsschwierigkeiten hindeutet.

4. Bedeutung und Fazit

Das Papier zeigt, dass die automatische Erkennung politischer Ausweichmanöver nach wie vor eine herausfordernde Aufgabe ist, die stark von der Qualität der Annotationen und der Definition der Klassen abhängt.

• Trade-off: Es gibt einen Trade-off zwischen der Leistung feinabgestimmter, domänenspezifischer Modelle (hohe In-Domain-Leistung) und der Generalisierungsfähigkeit großer Zero-Shot-LLMs (Robustheit auf unbekannten Daten).
• Taxonomie-Nutzung: Der Ansatz, die Klarheit über die Hierarchie der Ausweichstrategien abzuleiten, ist effektiv und vereinfacht das Training.
• Zukünftige Arbeit: Die Autoren schlagen vor, Soft-Labels (basierend auf Annotator-Verteilungen) statt harter Gold-Labels zu verwenden, um die Annotationsschwankungen besser zu modellieren, sowie das Feinabstimmen von Decoder-only-Modellen (z. B. via LoRA) zu untersuchen.

Zusammenfassend demonstriert KCLarity, dass sowohl traditionelle Encoder-Modelle als auch moderne LLMs in der Lage sind, politische Ausweichstrategien zu erkennen, wobei die Wahl des Modells stark vom Evaluierungskontext (öffentlich vs. geheim) abhängt.