AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection

Dieser Beitrag stellt einen neuartigen, agentic LLM-Pipeline für die SemEval-2026 Task 10 vor, der durch eine entkoppelte Architektur mit Dynamic Discriminative Chain-of-Thought und einer „Anti-Echo Chamber"-Struktur sowohl psycholinguistische Verschwörungsmarker extrahiert als auch Verschwörungsunterstützung erkennt und dabei signifikante Verbesserungen gegenüber dem Baseline-Modell erzielt.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschungspapiers, als würden wir sie in einem gemütlichen Café besprechen.

Das große Problem: Verschwörungstheorien im Internet

Stell dir vor, du surfst durch Reddit. Manchmal liest du einen Artikel, der sagt: "Die Regierung hat behauptet, dass die Erde flach ist." Das ist eine neutrale Nachricht. Sie berichtet nur, was jemand gesagt hat.

Dann liest du einen anderen Kommentar: "Die Regierung hat die Erde flach gemacht, um uns zu kontrollieren!" Das ist eine echte Verschwörungstheorie.

Das Problem für Computer (und auch für uns Menschen) ist: Beide Texte sehen fast gleich aus. Sie benutzen dieselben Wörter wie "Regierung", "flach" und "kontrollieren". Die meisten KI-Modelle fallen darauf herein und denken: "Oh, das Wort 'flach' kommt vor, also ist das eine Verschwörung!" Sie verwechseln also das Berichten über eine Verschwörung mit dem Glauben daran. Das nennen die Autoren den "Reporter-Fallen"-Effekt.

Die Lösung: Ein Team von KI-Agenten statt eines einzelnen Roboters

Die Forscher vom AILS-Labor der TU Berlin (bzw. NTUA in Athen) haben nicht einfach einen smarteren Roboter gebaut. Stattdessen haben sie sich ein Team aus spezialisierten KI-Agenten ausgedacht, die wie eine gut organisierte Jury oder ein Gerichtssaal arbeiten.

Stell dir das System wie ein Hochleistungs-Krimi-Team vor, das zwei Aufgaben hat:

Aufgabe 1: Die Schnitzeljagd (Marker-Extraktion)

Zuerst muss das Team herausfinden: "Wo genau im Text stehen die verdächtigen Hinweise?"

• Das Problem: KIs sind gut darin, Dinge zu verstehen, aber schlecht darin, sie exakt zu lokalisieren. Sie sagen oft: "Da steht 'die Regierung'!" und fangen den Satz falsch an oder hören zu spät auf.
• Die Lösung (DD-CoT): Die KI muss hier erst einmal "nachdenken" (Chain-of-Thought). Sie muss sich selbst fragen: "Warum ist das hier ein 'Täter' (Actor) und nicht ein 'Opfer' (Victim)?"
  • Analogie: Stell dir vor, du suchst nach einem bestimmten Wort in einem Buch. Ein normaler Scanner sucht nur nach dem Wort. Unser System ist wie ein Detektiv, der erst prüft: "Ist das Wort hier wirklich der Täter, oder wird es nur erwähnt?" Erst wenn er sich sicher ist, markiert er es mit einem Lineal (exakte Zeichenposition).
  • Ergebnis: Das System findet die verdächtigen Stellen viel genauer und macht weniger Fehler beim Abgrenzen.

Aufgabe 2: Der Gerichtssaal (Verschwörungs-Entscheidung)

Jetzt kommt der Text in den "Anti-Echo-Kammer"-Rat. Hier sitzen vier verschiedene Richter, die sich nicht untereinander abstimmen, sondern unabhängig urteilen:

1. Der Ankläger (Prosecutor): Sein Job ist es, Beweise für eine Verschwörung zu finden. Er ist misstrauisch und sucht nach bösen Absichten.
2. Der Verteidiger (Defense Attorney): Er ist der "Reporter-Trap"-Experte. Seine Aufgabe ist es, zu prüfen: "Wird hier nur berichtet, oder wird es geglaubt?" Er sucht nach Wörtern wie "behauptet", "sagt" oder "laut Bericht".
3. Der Literalist: Er liest nur das, was wirklich da steht. Keine Vermutungen, keine "Vibes". Wenn es nicht explizit als Fakt behauptet wird, ist es keine Verschwörung.
4. Der Profil-Experte (Profiler): Er achtet auf die Stimmung. Schreit jemand? Benutzt er Wörter wie "Wach auf!" oder "Sie lügen euch an"? Das sind typische Zeichen für echte Gläubige.

Der Schiedsrichter (Calibrated Judge):
Am Ende kommen alle vier Urteile beim Schiedsrichter zusammen.

• Wenn der Ankläger sagt "Schuldig", der Verteidiger aber sagt "Unschuldig, weil es nur ein Bericht war", und der Literalist sagt "Zweifelhaft", dann entscheidet der Schiedsrichter.
• Die geniale Regel: Wenn die Beweise unklar sind, entscheidet das System zugunsten des Angeklagten (also "Nicht Verschwörung"). Das verhindert, dass neutrale Nachrichten fälschlicherweise als Verschwörungstheorien markiert werden.

Warum ist das so erfolgreich?

Die Forscher haben gezeigt, dass dieses Team-System viel besser funktioniert als ein einzelner, super-intelligenter Roboter.

• Der "Reporter-Fallen"-Effekt ist gebrochen: Weil der Verteidiger im Team explizit darauf achtet, zwischen "Berichten" und "Glauben" zu unterscheiden, fallen viel weniger neutrale Nachrichten durchs Raster.
• Präzision: Durch die Kombination aus "Nachdenken" (um die Rolle zu verstehen) und "exaktem Messen" (um die Stelle im Text zu finden) werden die Ergebnisse doppelt so gut wie bei einfachen Methoden.
• Robustheit: Selbst wenn man das System auf kleinere, günstigere Computermodelle herunterbricht, funktioniert die Logik des Teams immer noch gut.

Fazit

Statt einen einzigen riesigen KI-Roboter zu bauen, der alles versucht zu erraten, haben die Forscher ein Orchester aus kleinen, spezialisierten KI-Agenten gebaut. Jeder spielt sein Instrument (Anklage, Verteidigung, Faktencheck), und am Ende entsteht eine harmonische und sehr genaue Entscheidung.

Das Ergebnis? Ein System, das nicht nur "dumme Wörter" zählt, sondern wirklich versteht, ob jemand eine Verschwörung glaubt oder nur darüber spricht. Das ist ein riesiger Schritt, um das Internet von Falschinformationen zu säubern, ohne dabei die echte Nachrichtenberichterstattung zu zensieren.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection" auf Deutsch:

1. Problemstellung

Das Paper adressiert die Herausforderung der Erkennung von Verschwörungstheorien in Texten, insbesondere auf Plattformen wie Reddit. Traditionelle Ansätze zur Verschwörungserkennung behandeln dies oft als grobkörnige Klassifizierungsaufgabe, die semantisches Reasoning und strukturelle Lokalisierung (das Finden exakter Textspannen) vermischt. Dies führt zu zwei Hauptproblemen:

• Mangelnde Interpretierbarkeit: Es wird nicht klar, welche spezifischen psycholinguistischen Merkmale (Marker) die Theorie stützen.
• Der „Reporter Trap" (Berichterstattungs-Falle): Modelle neigen dazu, neutrale Berichte über Verschwörungstheorien (z. B. „Die Zeitung behauptet, dass...") fälschlicherweise als Unterstützung (Endorsement) der Theorie zu klassifizieren, da sie den Inhalt thematisch ähnlich finden, aber die Haltung (Stance) des Autors missverstehen.

Die Aufgabe (SemEval-2026 Task 10) besteht aus zwei Subtasks:

• S1 (Marker Extraction): Extraktion von Textspannen, die psycholinguistische Marker identifizieren (Kategorien: ACTOR, ACTION, EFFECT, VICTIM, EVIDENCE).
• S2 (Conspiracy Detection): Klassifizierung, ob ein Kommentar die Verschwörungstheorie unterstützt oder nicht.

2. Methodik: Agente LLM-Pipeline

Die Autoren schlagen einen neuartigen, agentic (agentenbasierten) Workflow vor, der semantisches Reasoning von deterministischen Operationen entkoppelt. Das System nutzt Large Language Models (LLMs) in einer strukturierten Multi-Agenten-Architektur.

A. Subtask 1: Marker Extraktion via DD-CoT

Für die Extraktion von Markern wird ein Dynamic Discriminative Chain-of-Thought (DD-CoT) Framework eingeführt, kombiniert mit einem Self-Refine-Loop und einem Deterministischen Verifizierer.

• DD-CoT: Im Gegensatz zu herkömmlichen CoT-Ansätzen zwingt dieses Framework das Modell, für jeden Kandidaten nicht nur eine Begründung für das gewählte Label zu liefern, sondern auch ein kurzes Gegenargument gegen mindestens ein verwirrendes alternatives Label (z. B. warum ein Span nicht ein VICTIM, sondern ein ACTOR ist). Dies löst semantische Mehrdeutigkeiten auf.
• Entkopplung: Das LLM generiert die Textspannen und Labels (semantische Identifikation), aber ein deterministischer Verifizierer (nicht-LLM) berechnet die exakten Zeichen-Offsets (Start/Ende) durch exaktes Matching im Quelltext. Dies verhindert „halluzinierte" Spannen und Off-by-One-Fehler.
• Self-Refine Loop: Ein Kritiker (Critic) prüft die Extraktionen auf Verbatim-Genauigkeit und Granularität, ein Refiner führt minimale Korrekturen durch, und der Verifizierer verankert die Spannen im Text.

B. Subtask 2: Erkennung via „Anti-Echo Chamber"

Um den „Reporter Trap" zu überwinden, wird eine Anti-Echo Chamber-Architektur verwendet, die aus einem Forensischen Profiler, einem Parallel Council und einem Kalibrierten Richter (Calibrated Judge) besteht.

• Forensic Profiler: Ein deterministischer Knoten berechnet vor der LLM-Verarbeitung linguistische Signale (z. B. Dichte von Zuordnungsverben wie „behauptet", Schreien, JAQing-Muster). Diese dienen als Warnhinweise.
• Parallel Council: Vier unabhängige Personas (Jurors) analysieren den Text parallel, ohne sich gegenseitig zu sehen:
  1. Prosecutor: Sucht nach Beweisen für eine Unterstützung der Theorie.
  2. Defense Attorney: Sucht nach Beweisen für Neutralität, Berichterstattung oder Satire (Schutz vor falschen Positiven).
  3. Literalist: Prüft die wörtliche Bedeutung und die Beweislast.
  4. Stance Profiler: Analysiert Haltungshinweise und Gruppendynamik.
• Calibrated Judge: Aggregiert die Stimmen der Jury unter Berücksichtigung der forensischen Warnungen und konservativer Regeln. Bei Unklarheit oder widersprüchlichen Beweisen tendiert das System zur Entscheidung „nicht unterstützt" (Non), um False Positives zu minimieren.

C. Contrastive Few-Shot Retrieval

Das System nutzt einen vektorbasierten Abruf (Retrieval) von Few-Shot-Beispielen.

• Für S1 wird eine stratifizierte Suche verwendet, um seltene Marker-Typen (z. B. EVIDENCE, VICTIM) zu gewichten.
• Für S2 werden gezielt Hard Negatives abgerufen: Texte, die Verschwörungs-Vokabular enthalten, aber eine andere Haltung haben (z. B. neutrale Berichterstattung). Dies trainiert das Modell, den Unterschied zwischen thematischer Ähnlichkeit und tatsächlicher Unterstützung zu erkennen.

3. Schlüsselbeiträge

• Erste agentic LLM-Methode: Dies ist der erste Ansatz, der Multi-Agenten-Workflows zur Kombination von psycholinguistischer Marker-Extraktion und Stance-Erkennung nutzt.
• DD-CoT Framework: Einführung einer expliziten Diskriminationslogik (Gegenargumente erzwingen), um semantische Mehrdeutigkeiten bei der Agenten-Zuordnung zu lösen.
• Hybride Architektur: Trennung von semantischem Reasoning (LLM) und deterministischer Lokalisierung (exakte String-Matching-Algorithmen) für hohe Zuverlässigkeit bei den Spannen-Offsets.
• Anti-Echo Chamber: Ein adversarielles Council-Design, das den „Reporter Trap" durch unabhängige Perspektiven und konservative Urteilsfindung effektiv bekämpft.

4. Ergebnisse

Die Leistung wurde auf dem offiziellen SemEval-2026 Datensatz (4.800 Annotationen, 4.100 Reddit-Beiträge) evaluiert:

• Subtask 1 (Marker Extraction):
  • Macro F1 auf dem Development-Set: 0,24 (eine Steigerung von +100 % gegenüber dem Zero-Shot-Baseline von 0,12).
  • Rang 3 auf dem Development-Leaderboard.
  • Der DD-CoT-Ansatz verbesserte die Erkennung von ACTORs um +2,7 F1-Punkte durch die Entschlüsselung von Passivkonstruktionen.
• Subtask 2 (Conspiracy Detection):
  • Macro F1 auf dem Development-Set: 0,79 (eine Steigerung von +49 % gegenüber dem Baseline von 0,53).
  • Die False-Positive-Rate wurde durch kontrastives Retrieval um 50 % reduziert (von 0,16 auf 0,08).
• Ablationsstudien: Zeigten, dass jeder Komponente (Self-Refine, DD-CoT, Parallel Council, Contrastive Retrieval) einen signifikanten Beitrag zur Gesamtperformance leistet. Das Entfernen des „Prosecutor"-Agents führte zu einem F1-Verlust von ca. 11 %.
• Transferierbarkeit: Das System konnte auch auf kleinere Open-Weights-Modelle (Qwen-3-8B) mit vereinfachter Architektur portiert werden und blieb wettbewerbsfähig.

5. Bedeutung und Fazit

Das Paper demonstriert, dass Workflow-Struktur (Agente Orchestrierung) die Skalierung von Modellgrößen in psycholinguistischen NLP-Aufgaben ersetzen kann. Durch die Zerlegung komplexer Aufgaben in spezialisierte Agenten (Generierung, Kritik, Verfeinerung, Verifizierung) und die Einführung adversarialer Mechanismen (Anti-Echo Chamber) gelingt es, interpretierbare, psycholinguistisch fundierte Ergebnisse zu erzielen, die über reine Textklassifizierung hinausgehen.

Die Arbeit unterstreicht, dass die Erkennung von Verschwörungstheorien nicht nur vom Inhalt, sondern stark von der Haltung und dem Kontext abhängt. Die vorgeschlagene Architektur bietet einen robusten Paradigmenwechsel für interpretierbare NLP-Systeme, die mit subtilen sprachlichen Manipulationen umgehen müssen. Als Limitierung wird die Schwierigkeit bei hochkontextueller Ironie und „Poe's Law"-Szenarien genannt, die oft diskursübergreifende Informationen erfordern.