💬 NLP

UCSC NLP at SemEval-2026 Task 10: Boundary-Aware Span Extraction and RoBERTa Classification for Conspiracy Detection

Die Systeme des UCSC NLP-Teams für die SemEval-2026 Task 10 (PsyCoMark) verwenden eine grenzbewusste Spanaxtraktion mit Hard-Negative-Sampling und eine auf RoBERTa basierende Klassifizierung, um Verschwörungsmarker und -dokumente zu detektieren, wobei sie die 7. bzw. 11. Platzierung erreichten und gleichzeitig eine robuste Detektion von entitätsähnlichen Rollen gegenüber der Sensitivität bei abstrakten Rollengrenzen hervorhoben.

Ursprüngliche Autoren: Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Fingerabdrücken zu suchen, sucht er nach den spezifischen „Zutaten“, die eine Geschichte wie eine Verschwörungstheorie wirken lassen. Dieses Papier beschreibt, wie ein Team der UC Santa Cruz ein Computerprogramm entwickelt hat, um genau das für einen Wettbewerb namens SemEval-2026 zu tun.

Hier ist die Aufschlüsselung ihrer Arbeit, unter Verwendung einfacher Analogien:

Die zwei Hauptaufgaben

Der Wettbewerb hatte zwei unterschiedliche Herausforderungen, die das Team mit zwei separaten „Detektiv-Agenten“ (KI-Modellen) angegangen ist.

1. Der Zutaten-Jäger (Subtask 1)

Das Ziel: Bestimmte Teile eines Satzes finden, die eine Rolle in einer Verschwörungserzählung spielen. Die Rollen sind:
- Der Akteur: Wer tut das Böse?
- Das Opfer: Wer wird verletzt?
- Die Handlung: Was ist das Böse?
- Der Beweis: Welchen „Beweis“ wird angeboten?
- Die Auswirkung: Was ist das beängstigende Ergebnis?
Die Herausforderung: Es reicht nicht aus, nur das Wort „Jeffrey“ zu finden. Der Computer muss genau wissen, wo der Satz beginnt und endet. Ist zum Beispiel die „Handlung“ nur „die Bohnen ausgeplaudert“ oder ist es die ganze Phrase „die Bohnen über die Mossad-Operation ausgeplaudert“?
Der Trick: Das Team hat den Computer zu einem „Grenzen-Perfektionisten“ erzogen. Sie sagten ihm: „Wenn du den Anfang oder das Ende der Phrase auch nur ein wenig falsch errätst, zählt es nicht.“ Sie verwendeten auch eine Technik namens Hard-Negative Mining. Stellen Sie sich vor, ein Lehrer zeigt einem Schüler das Bild einer Katze und sagt: „Das ist eine Katze.“ Dann zeigt er ihm das Bild eines sehr flauschigen Hundes, der wie eine Katze aussieht, und sagt: „Das ist keine Katze.“ Dies hilft dem Schüler, die feine Linie zwischen den beiden zu lernen. Der Computer lernte, den Unterschied zwischen einem echten Verschwörungsmerkmal und einer Phrase, die fast wie eines aussieht, aber nicht ganz passt, zu erkennen.

2. Der Geschichten-Richter (Subtask 2)

Das Ziel: Das gesamte Dokument lesen und entscheiden: Ist dies eine Verschwörungstheorie? Ist es definitiv nicht? Oder ist es unmöglich zu sagen?
Der Trick: Dieses Modell suchte nicht nach den spezifischen Zutaten, die der erste Detektiv gefunden hatte. Stattdessen las es die ganze Geschichte wie ein menschlicher Leser und achtete auf die allgemeine „Vibe“ oder den Tonfall. Es lernte, zwischen einem kritischen Nachrichtenbericht (der vielleicht einen Akteur und ein Opfer erwähnt, aber keine Verschwörung ist) und einer echten Verschwörungserzählung (die dieselben Rollen verwendet, aber einen verdächtigen, geheimen Ton nutzt) zu unterscheiden.

Wie sie es gemacht haben

Das Team verwendete ein leistungsstarkes KI-Gehirn namens RoBERTa. Denken Sie an dies als einen sehr belesenen Bibliothekar, der fast alles im Internet gelesen hat und versteht, wie Wörter zusammenpassen.

Für den Zutaten-Jäger: Sie baten den Bibliothekar nicht einfach, Wörter einzeln zu benennen. Stattdessen baten sie ihn, jeden mögliche Textblock (bis zu 32 Wörter lang) zu betrachten und zu fragen: „Passt dieser Block zur Definition von ‚Beweis‘?“ Sie trainierten den Bibliotheker darauf, extrem wählerisch bei den Start- und Enddaten dieser Blöcke zu sein.
Für den Geschichten-Richter: Sie fütterten den Bibliotheker mit der ganzen Geschichte und baten ihn um ein einfaches Urteil: Ja, Nein oder Vielleicht.

Die Ergebnisse

Als das Team seine Detektive in den offiziellen Wettbewerb schickte:

Der Zutaten-Jäger belegte den 7. Platz von allen Teams. Er war sehr gut darin, den „Akteur“ und das „Opfer“ (wie Personennamen) zu finden, aber er hatte manchmal Schwierigkeiten mit den abstrakteren Teilen wie „Handlung“ oder „Auswirkung“, bei denen die Grenzen der Phrase unschärfer sind.
Der Geschichten-Richter belegte den 12. Platz. Er war recht gut darin, den Unterschied zwischen einer Verschwörungsgeschichte und einer normalen Nachrichtengeschichte zu erkennen.

Was sie lernten (Die „Aha!“-Momente)

Präzision ist schwer: Der größte Fehler, den der Computer machte, war es, den Anfang und das Ende einer Phrase leicht falsch zu treffen. Wenn der „Beweis“ das Wort „Bericht“ war, errät der Computer manchmal „ein Bericht“ oder „laut einem Bericht“. Die Wettbewerbsregeln waren streng: Wenn man nicht exakt die Wörter traf, erhielt man null Punkte.
Zwei Köpfe sind besser als einer (getrennt): Das Team entschied sich dagegen, die beiden Detektive miteinander sprechen zu lassen, während sie arbeiteten. Sie dachten: „Wenn der erste Detektiv einen Fehler macht, wollen wir nicht, dass der zweite Detektiv dadurch verwirrt wird.“ Sie hielten sie getrennt und kombinierten ihre Antworten erst ganz am Ende.
Das „Nicht sagen können“-Problem: Der Wettbewerb hatte eine dritte Option namens „Nicht sagen können“. Die endgültigen Bewertungsregeln ignorierten diese Kategorie jedoch. Das bedeutete, dass die Leistung des Computers am Testtag anders aussah als seine Leistung während des Trainings, einfach weil sich die Regeln kurz vor dem Ziel leicht änderten.

Zusammenfassend

Das Team der UC Santa Cruz baute ein System, das wie ein sehr präziser Editor und ein scharfer Beobachter agiert. Sie zeigten, dass Computer zwar immer besser darin werden, die Zutaten von Verschwörungstheorien zu erkennen, sie aber immer noch Schwierigkeiten mit den genauen Grenzen dieser Zutaten haben. Sie sind jedoch ziemlich gut darin, die allgemeine Stimmung einer Geschichte zu erfassen, um zu entscheiden, ob es sich um eine Verschwörung handelt oder nicht.

Technisches Resümee: UCSC NLP bei SemEval-2026 Task 10 (PsyCoMark)

Problemdefinition

Die Arbeit befasst sich mit SemEval-2026 Task 10 (PsyCoMark), der sich auf die Erkennung von Verschwörungsnarrativen in englischen Texten konzentriert. Die Aufgabe ist in zwei unterschiedliche Teilaufgaben unterteilt:

Subtask 1 (Extraktion von Verschwörungsmarkern): Identifizierung und Extraktion von Textspannen, die fünf spezifischen semantischen Rollen entsprechen: Actor (Akteur), Action (Handlung), Effect (Wirkung), Evidence (Beleg) und Victim (Opfer). Die Herausforderung besteht darin, dass diese Rollenstrukturen sowohl in konspirativen als auch in nicht-konspirativen (kritischen) Diskursen vorkommen; die Unterscheidung beruht auf dem Framing und dem epistemischen Standpunkt statt auf der bloßen Präsenz dieser Rollen.
Subtask 2 (Dokumentenebene der Verschwörungserkennung): Klassifizierung ganzer Dokumente in eine von drei Kategorien: Yes (Verschwörung), No (keine Verschwörung) oder Can't tell (nicht feststellbar).
Der Datensatz besteht aus über 4.100 Reddit-Beiträgen. Eine wesentliche Schwierigkeit ist die dichte Annotation der Marker sowie das moderate Klassenungleichgewicht, insbesondere bei den Dokumenten-Labels.

Methodik

Die Autoren schlagen zwei unabhängige Systeme vor, die auf RoBERTa-large basieren und separat trainiert wurden, ohne Parameter-Sharing oder Cross-Task-Feature-Transfer.

Subtask 1: Bereichs-bewusste Spanenextraktion (Boundary-Aware Span Extraction)

Anstatt einer Token-Level-Tagging-Methode formulieren die Autoren die Aufgabe als Multi-Label-Span-Klassifizierung über enumerierte Kandidatenspannen.

Architektur: Das Modell enumeriert alle Kandidatenspannen bis zu einer maximalen Länge von $L=32$ $L = 32$ Token. Für jede Spanne $(i, j)$ $(i, j)$ wird eine kontextuelle Repräsentation durch Konkatenation konstruiert aus:
- Start- und End-Token-Embeddings ( $h_i, h_j$ ).
- Mean-pooleded Embeddings der Token innerhalb der Spanne ( $\bar{h}_{i:j}$ ).
- Einem gelernten Embedding, das die Spannenbreite kodiert ( $w_{emb}$ ).
- Kontext-Embeddings der unmittelbaren linken und rechten Token ( $h_{i-1}, h_{j+1}$ ).
  Dieser 6-komponentige Vektor (Dimension 6144) wird durch ein zweischichtiges MLP geleitet, um die fünf Rollen vorherzusagen.
Trainingsstrategie:
- Labeling: Um ein präzises Lernen der Grenzen zu erzwingen, wird eine Kandidatenspanne nur dann als positiv gelabelt, wenn ihre Intersection-over-Union (IoU) mit einer Gold-Span $\ge 0,95$ ist.
- Sampling: Es wird eine dreistufige Sampling-Strategie verwendet, um die überwältigende Anzahl an negativen Spannen zu handhaben: (1) alle Gold-ausgerichteten Spannen, (2) Hard Negatives (Spannen mit teilweiser Überlappung, IoU $\in [0,50, 0,75)$ ), und (3) zufällige, nicht überlappende Negatives.
- Loss: Binary Cross-Entropy mit Logits, gewichtet pro Rolle, um das Klassenungleichgewicht zu adressieren.
Dekodierung: Die Vorhersagen durchlaufen ein Post-Processing, das Per-Role-Wahrscheinlichkeitsschwellenwerte (auf dem Validierungsset abgestimmt) und eine Containment-basierte Non-Maximum Suppression (NMS) umfasst. NMS entfernt überlappende Spannen basierend auf Containment-Verhältnissen und IoU-Schwellenwerten, gefolgt vom Zusammenführen benachbarter Spannen derselben Rolle, die durch kleine Zeichenabstände getrennt sind.

Subtask 2: Dokumentenklassifizierung

Architektur: Ein Standard-Sequenzklassifizierungsansatz unter Verwendung der [CLS] Token-Repräsentation von RoBERTa-large.
Training: Das Modell wird mittels Cross-Entropy Loss und Label Smoothing ( $\alpha=0,05$ ) feinjustiert, um Überkonfidenz zu reduzieren. Ein stratifiziertes 90/10 Train-Validation-Split wird verwendet.
Unabhängigkeit: Dieses Modell operiert ausschließlich auf dem Rohtext und ignoriert die Spannen-Vorhersagen aus Subtask 1 während des Trainings und der Inferenz.

Kernergebnisse

Subtask 1: Das System belegte den 7. Platz unter den teilnehmenden Teams mit einem Makro-F1 von 0,2251 auf dem offiziellen Testset (evaluiert mit einem Token-Level IoU $\ge 0,5$ $\geq 0, 5$ ).
- Interne Validierung: Das dekodierte Mikro-F1 des Modells erreichte 0,6501 auf dem Validierungsset (unter Verwendung eines Zeichen-Level IoU $\ge 0,3$ ).
- Leistungsdisparität: Der Leistungsabfall wird auf die strengere Token-Level-Evaluationsmetrik und die Sensibilität abstrakter Rollen (Action, Effect, Evidence) gegenüber Grenzkriterien zurückgeführt. Entitätsähnliche Rollen (Actor, Victim) zeigten eine höhere Robustheit.
Subtask 2: Das System belegte den 12. Platz mit einem gewichteten F1 von 0,7694 auf dem offiziellen Testset.
- Hinweis: Die offizielle Evaluierung schloss "Can't tell"-Instanzen aus und berechnete die Metriken über 608 Stichproben, was von dem Drei-Klassen-Validierungssetup abweicht.

Signifikanz und Behauptungen

Die Arbeit behauptet, dass ihr primärer Beitrag in der spezifischen Formulierung der Spanenextraktion für Verschwörungsmarker und der Analyse der Grenzsensitivität liegt.

Hard Negative Mining: Die Autoren identifizieren die Verwendung von Hard Negatives (teilweise überlappende Spannen) als entscheidend, um zu verhindern, dass das Modell zu breite Spannen vorhersagt, wodurch die Lokalisierung der Grenzen geschärft wird.
Unabhängigkeit vs. Kopplung: Das System zeigt, dass die Marker-Extraktion und die Dokumentenklassifizierung zwar intrinsisch verwandt sind, aber unabhängig modelliert werden können. Der Dokumentenklassifikator erreichte eine kompetitive Leistung ohne explizite Rollen-Features, was darauf hindeutet, dass Verschwörungs-Signale direkt aus dem Rohtext gelernt werden können.
Evaluations-Alignment: Die Arbeit betont, dass die Leistung hochsensibel auf die Abstimmung zwischen den Entwicklungsmetriken und dem offiziellen Evaluationsprotokoll reagiert. Die Diskrepanz zwischen Validierung und Test-Scores wird weitgehend auf den Wechsel von einem relaxierten Zeichen-Level IoU-Kriterium während der Entwicklung zu einem strengen Token-Level IoU-Kriterium in der finalen Evaluation zurückgeführt.
Limitierungen: Die Autoren räumen bescheiden ein, dass abstrakte Rollen aufgrund semantischer Abstraktion und variabler Spannenlängen weiterhin schwierig bleiben. Sie stellen fest, dass die feste maximale Spannenlänge ( $L=32$ ) eine Recall-Obergrenze für längere, mehrgliedrige Marker darstellen kann.

Die Arbeit schließt mit dem Schluss, dass aktuelle Systeme zwar Verschwörungs-Signale lernen können, zukünftige Verbesserungen jedoch ein gemeinsames Modellieren von Rollen und Klassifizierung, strukturierte Spannen-Dekodierung und die Integration psycholinguistischer Merkmale erfordern könnten, um besser zwischen konspirativem Framing und kritischem Narrativ zu unterscheiden.