mdok-style at SemEval-2026 Task 10: Finetuning LLMs for Conspiracy Detection
Das Papier stellt das mdok-artige System vor, das durch Feinabstimmung des Qwen3-32B-Modells mit Daten-Augmentierung und Selbsttraining zur Bewältigung begrenzter Trainingsdaten bei der Verschwörungserkennungs-Herausforderung in SemEval-2026 Task 10 konkurrenzfähige Ergebnisse (Platz 8 von 52) erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine bestimmte Art von Gerücht in einer riesigen, lauten Menschenmenge zu entdecken, die auf einer Social-Media-Plattform (Reddit) plaudert. Manche Menschen teilen einfach Fakten, während andere wilde Verschwörungstheorien verbreiten. Ihre Aufgabe besteht darin, einen Roboter-Detektiv zu bauen, der einen einzelnen Kommentar anhört und ruft: „Ja, das ist eine Verschwörung!" oder „Nein, das ist nur normale Unterhaltung."
Dieser Artikel beschreibt, wie das Team mdok-style ihren Roboter-Detektiv für einen Wettbewerb namens SemEval-2026 Task 10 entwickelt hat. Hier ist eine einfache Erklärung, wie sie es gemacht haben:
1. Das Problem: Eine winzige Bibliothek für ein riesiges Gehirn
Das Team hatte ein großes Problem: Sie verfügten über einen sehr intelligenten Roboter (ein Large Language Model namens Qwen3-32B, das wie ein Superhirn mit 32 Milliarden „Neuronen" funktioniert), aber nur über eine winzige Bibliothek an Trainingsbüchern (etwa 4.000 Beispiele für Kommentare).
Normalerweise erfordert das Unterrichten eines Superhirns eine riesige Bibliothek. Mit so wenigen Beispielen könnte der Roboter verwirrt werden oder Dinge „überdenken". Es ist, als würde man versuchen, einem Meisterkoch beizubringen, ein komplexes Gericht zu kochen, indem man ihm nur drei Rezepte gibt.
2. Die Lösung: Die „magische Kopiermaschine" und die „Schüler-Lehrer"-Schleife
Um das Problem der kleinen Bibliothek zu lösen, nutzte das Team zwei clevere Tricks, die sie aus ihrer früheren Arbeit zur Erkennung von KI-generierten Texten übernommen hatten.
Trick A: Die magische Kopiermaschine (Datenaugmentierung)
Anstatt die bestehenden Kommentare einfach zu kopieren, nutzten sie eine „magische Kopiermaschine", um leicht abgewandelte Versionen derselben Geschichten zu erstellen. Sie kopierten nicht einfach nur; sie:
- Änderten die Schreibweise: Sie schrieben einige Kommentare in GROSSBUCHSTABEN und andere in kleingeschriebenen Buchstaben. Sie stellten fest, dass eine Verschwörungstheorie immer noch eine Verschwörungstheorie bleibt, egal ob sie geschrien oder geflüstert wird.
- Versteckten die Identitäten: Sie ersetzten spezifische Namen, E-Mail-Adressen und Telefonnummern durch generische Tags wie
[USER]oder[PHONE]. Dies lehrte den Roboter, sich auf die Idee der Verschwörung zu konzentrieren und nicht auf bestimmte Personen. - Tauschten die Buchstaben: Sie tauschten einige Buchstaben gegen ähnlich aussehende Buchstaben aus anderen Alphabeten aus (z. B. ein „a" gegen ein griechisches „alpha"). Das ist wie das Tragen einer Verkleidung. Indem sie den Roboter trainierten, durch diese Verkleidungen hindurchzusehen, machten sie es für den Roboter viel schwieriger, später durch optische Tricks getäuscht zu werden.
Sie verwendeten nicht alle diese Kopien, sondern nur einen kleinen Ausschnitt (10 %), um das Training ausgewogen zu halten.
Trick B: Die Schüler-Lehrer-Schleife (Selbsttraining)
Dies ist der kreativste Teil. Da sie keine Labels für die Testdaten (die Fragen der Abschlussprüfung) hatten, ließen sie den Roboter sich selbst unterrichten.
- Der Lehrer: Zuerst trainierten sie den Roboter auf der kleinen, bekannten Bibliothek.
- Die Prüfung: Sie baten den Roboter, die Antworten für die unbekannten Testkommentare zu erraten.
- Der Filter: Der Roboter war bei manchen Antworten sehr zuversichtlich (z. B. „Ich bin zu 99 % sicher, dass dies eine Verschwörung ist"). Das Team nahm nur diese superzuverlässigen Vermutungen und behandelte sie als neue Trainingsdaten vom „Goldstandard".
- Die Wiederholung: Sie fütterten diese neuen „goldenen" Beispiele wieder in den Roboter und unterrichteten ihn erneut. Das ist wie ein Schüler, der einen Probetest macht, nur die Fragen behält, die er zu 100 % richtig beantwortet hat, und diese dann erneut lernt, um noch schlauer zu werden.
3. Das Ergebnis: Ein Detektiv der Spitzenklasse
Das Team meldete ihren Roboter für den Wettbewerb an.
- Die Punktzahl: Ihr Roboter erzielte eine Punktzahl von 0,78 (auf einer Skala, bei der 1,0 perfekt ist).
- Die Platzierung: Von 52 Teams belegten sie den 8. Platz. Das setzt sie in die Top 20 % (das 85. Perzentil).
Interessanterweise stellten sie fest, dass sogar ein viel kleinerer, einfacherer Roboter (ein Modell namens DeBERTa) fast genauso gut abschnitt wie ihr riesiges Superhirn. Dies deutet darauf hin, dass zwar ihre ausgefallenen Tricks der „magischen Kopiermaschine" und des „Selbstunterrichts" hervorragend funktionierten, aber manchmal auch ein kleineres, günstigeres Werkzeug fast genauso effektiv die Aufgabe erledigen kann.
Zusammenfassung
Das Team nahm ein massives, leistungsstarkes KI-Modell und lehrte es, Verschwörungstheorien in Social-Media-Kommentaren zu erkennen. Da sie nicht genügend Daten hatten, nutzten sie Verkleidungen (Änderungen der Textformate), um mehr Übungsmaterial zu erstellen, und ließen die KI sich selbst unterrichten, indem sie ihre eigenen zuversichtlichen Vermutungen nutzte. Das Ergebnis war ein hochkompetitives System, das den 8. Platz von 52 belegte und bewies, dass Techniken, die ursprünglich zur Erkennung von KI-generierten Texten entwickelt wurden, auch zur Aufdeckung von menschengemachten Verschwörungstheorien eingesetzt werden können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.