💬 NLP

Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas

Dieser Beitrag stellt eine neue absichtsfokussierte Propaganda-Taxonomie und die Hierarchical Prompting (HiPP)-Methode vor und zeigt, dass das Fine-Tuning von Sprachmodellen mit diesem Ansatz die Robustheit und Leistung über verschiedene Annotations-Schemata hinweg erheblich verbessert, insbesondere für mehrdeutige Datensätze mit geringer Übereinstimmung.

Ursprüngliche Autoren: Lukas Stähelin, Veronika Solopova, Max Upravitelev, David Kaplan, Ariana Sahitaj, Premtim Sahitaj, Charlott Jakob, Sebastian Möller, Vera Schmitt

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lukas Stähelin, Veronika Solopova, Max Upravitelev, David Kaplan, Ariana Sahitaj, Premtim Sahitaj, Charlott Jakob, Sebastian Möller, Vera Schmitt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einer Gruppe von Robotern beizubringen, Propaganda in Social-Media-Beiträgen zu erkennen. Das Problem ist, dass Propaganda tückisch ist: Sie ist kurz, unordentlich und hängt oft davon ab, warum jemand etwas geschrieben hat, nicht nur davon, was er geschrieben hat.

Dieser Artikel ist wie ein Zeugnis darüber, wie gut verschiedene Robot-Lehrer (KI-Modelle) diese Aufgabe gelernt haben, und er testet drei verschiedene Methoden, um sie zu unterrichten.

Die zwei „Lehrbücher" (Annotationsschemata)

Zunächst erstellten die Forscher zwei verschiedene „Lehrbücher" oder Regelwerke, aus denen die Roboter lernen sollten.

Das „Technik"-Lehrbuch (Sahitaj et al.): Dieses ist wie eine Checkliste spezifischer Tricks. Es sagt: „Wenn Sie ein erschreckendes Wort sehen, ist das 'Angst'. Wenn Sie Beleidigungen sehen, ist das 'Ad Hominem'." Es ist sehr klar definiert, und die menschlichen Lehrer (Annotatoren) stimmten diese Regeln die meiste Zeit überein. Es ist einfach zu benoten, aber es könnte das große Ganze übersehen.
Das „Absicht"-Lehrbuch (Das Neue): Dies ist die neue Erfindung der Forscher. Anstatt nur Tricks aufzulisten, fragten sie: „Was ist das Ziel dieses Beitrags?" Ist das Ziel, „die Schuld zu verschieben"? Ist es, „das Publikum zu verwirren"? Ist es, „Aggression zu rechtfertigen"?
- Der Haken: Dies ist viel schwieriger. Es ist, als würde man einen Schüler bitten, die Motivation des Lehrers zu erraten, anstatt nur einen Grammatikfehler zu finden. Die menschlichen Lehrer stimmten bei diesen Labels viel weniger überein, da die Motive verschwommen und subjektiv sind.

Die drei Unterrichtsmethoden

Die Forscher testeten vier verschiedene Roboterhirne (KI-Modelle) mit drei verschiedenen Unterrichtsstrategien:

Die „Zero-Shot"-Methode: Man gibt dem Roboter einfach das Lehrbuch und sagt: „Finden Sie es selbst heraus." Die Roboter waren dabei schrecklich. Sie rieten zufällig, wie ein Schüler, der nicht gelernt hat.
Die „Fine-Tuning"-Methode: Dies ist der große Durchbruch. Die Forscher zeigten den Robotern Tausende von Beispielen und ließen sie üben, bis sie es richtig machten.
- Das Ergebnis: Dies war der magische Schlüssel. Es verwandelte schwache, verwirrte Roboter in scharfe, wettbewerbsfähige. Der Artikel behauptet, dass die Roboter ohne diese Übungsphase die Aufgabe einfach nicht gut lernen konnten.
Die „Hierarchical Prompting" (HiPP)-Methode: Dies ist ein cleverer Trick. Anstatt den Roboter sofort zu fragen: „Was ist das Hauptziel?", stellten sie ihm zwei Fragen nacheinander:
- Schritt 1: „Welcher spezifische Trick wird hier angewendet?"
- Schritt 2: „Okay, basierend auf diesem Trick, was ist das Hauptziel?"
- Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Vogel zu identifizieren. Anstatt sofort die Art zu erraten, fragen Sie zuerst: „Hat er einen langen Schnabel?" und dann: „Basierend auf dem langen Schnabel, ist es ein Reiher?"
- Die Erkenntnis: Diese Zwei-Schritt-Methode funktionierte am besten, nachdem die Roboter geübt hatten (fine-tuned), insbesondere beim schwierigen „Absicht"-Lehrbuch, wo die Regeln unordentlich waren. Es half den Robotern, organisiert zu bleiben, wenn die Antworten verwirrend waren.

Die Ergebnisse: Wer gewann?

Die besten Roboter: Die Qwen-Familie von Robotern (insbesondere Qwen3-14B) schnitt insgesamt am besten ab. Sie waren die „Ehrschüler".
Der Zweitplatzierte: Der Phi-4-Roboter war ebenfalls sehr stark und schlug den GPT-4.1-nano-Roboter konsequent.
Die Lektion über die Schwierigkeit: Die Roboter erzielten beim einfachen „Technik"-Lehrbuch höhere Punktzahlen als beim schwierigen „Absicht"-Lehrbuch. Dies beweist, dass die neuen „Absicht"-Regeln tatsächlich herausfordernder und realistischer sind, auch wenn sie schwerer zu lernen sind.

Der „Aha!"-Moment (Fehleranalyse)

Die Forscher untersuchten, wo die Roboter Fehler machten.

Vor dem Üben: Die Roboter waren „Schlüsselwortsammler". Wenn sie Wörter wie „Krieg", „Russland" oder „Nazi" sahen, schrien sie sofort „PROPAGANDA!", selbst wenn der Beitrag nur ein Nachrichtenbericht war. Sie waren zu empfindlich.
Nach dem Üben: Die Roboter wurden viel schlauer. Sie meldeten nicht mehr jeden Nachrichtenbericht über Krieg. Sie meldeten nur noch die Beiträge, die tatsächlich versuchten, Menschen zu manipulieren.
Die Verwirrung: Wenn die Roboter tatsächlich verwirrt waren, wählten sie keine zufälligen Antworten. Sie verwechselten ähnliche Ziele (wie das Vermischen von „Schuldverschiebung" mit „Wirklichkeitsverzerrung"). Das ist eigentlich eine gute Nachricht; es bedeutet, dass sie logisch denken, nur die Feinheiten falsch verstehen, ganz wie ein Mensch.

Das Fazit

Der Artikel kommt zu dem Schluss, dass man, um einen Roboter zu bauen, der Propaganda wirklich verstehen kann, ihm nicht einfach ein Regelbuch geben und auf das Beste hoffen darf. Man muss ihn an echten Beispielen trainieren (fine-tune). Einmal trainiert, hilft ein schrittweiser Denkprozess (HiPP) ihm, die unordentlichen, realen Situationen zu bewältigen, in denen das „Warum" hinter einer Botschaft schwer zu fassen ist.

Sie veröffentlichten auch ihr neues „Absicht"-Lehrbuch und die trainierten Roboter für andere zur Nutzung, in der Hoffnung, dass dies Forschern hilft, nicht nur zu verstehen, dass Propaganda stattfindet, sondern was die Propagandisten zu erreichen versuchen.

Technische Zusammenfassung: Feinabstimmung mit hierarchischem Prompting für eine robuste Propagandaklassifizierung über Annotations-Schemata hinweg

Problemstellung
Die Erkennung von Propaganda in sozialen Medien steht vor erheblichen Herausforderungen aufgrund des verrauschten, kurzen Charakters von Texten, der Verbreitung informeller Sprache und einer geringen Übereinstimmung zwischen den Annotatoren (IAA). Bestehende Taxonomien sind häufig technikzentriert (fokussiert auf rhetorische Mittel wie „belastete Sprache") und haben Schwierigkeiten, die strategischen kommunikativen Absichten hinter Propaganda zu erfassen. Darüber hinaus besteht ein Zielkonflikt im Schema-Design: Realistische, komplexe Schemata erfassen die Vielfalt der realen Welt, verringern jedoch die Zuverlässigkeit der Annotation, während vereinfachte Schemata die Übereinstimmung auf Kosten der ökologischen Validität erhöhen. Zusätzlich bleibt die Interaktion zwischen dem Design von Annotations-Schemata, Überwachungsregimen (Zero-Shot vs. Feinabstimmung) und Prompting-Strategien im Kontext von Large Language Models (LLMs) weitgehend unerforscht.

Methodik
Die Autoren führten ein kontrolliertes Experiment durch, das die Propagandaklassifizierung über drei interagierende Dimensionen hinweg bewertete: Annotations-Schema, Überwachungsregime und Prompting-Strategie.

Datensätze und Schemata:
- Datenquelle: Die Studie nutzte den HQP-Benchmark-Datensatz (30.000 englische Tweets aus dem Beginn des Russland-Ukraine-Krieges).
- Schema A (Neues absichtsbasiertes Schema): Die Autoren führten eine neue Taxonomie ein, die 17 feinabgestufte Techniken in fünf übergeordnete Kategorien gruppiert, die auf der kommunikativen Absicht basieren (z. B. Schuldzuweisung, Rechtfertigung von Aggression, Herstellung von Zustimmung). Dieses Schema wurde durch einen iterativen Prozess entwickelt, der Expertenannotation, LLM-gestützte Harmonisierung und Gruppenkonsens umfasste. Es ergab eine moderate IAA ( $\kappa=0,309$ ), was die inhärente Mehrdeutigkeit von Absichten in kurzen Texten widerspiegelt.
- Schema B (Sahitaj et al., 2025): Eine span-basierte, technikzentrierte Taxonomie, die für Twitter adaptiert wurde. Für diese Studie gruppierten die Autoren ihre 17 Techniken in sechs übergeordnete Kategorien. Dieses Schema zeigte eine deutlich höhere IAA ( $\kappa=0,594$ ).
Modelle:
Vier Sprachmodelle wurden evaluiert: GPT-4.1-nano, Phi-4 14B, Qwen2.5-14B und Qwen3-14B. Die Experimente wurden sowohl im Zero-Shot- (Basis) als auch im Feinabstimmungs- (FT) Regime durchgeführt. Die Feinabstimmung erfolgte mittels LoRA-Adaptern für Modelle mit offenen Gewichten und API-basierter Optimierung für GPT-4.1-nano.
Prompting-Strategien:
- Direct-High: Modelle sagen die übergeordnete Kategorie direkt aus dem Text voraus.
- HiPP (Hierarchisches Prompting): Eine „Main→High"-Strategie, bei der das Modell zunächst die prominenteste feinabgestufte Technik vorhersagt und diese Vorhersage dann aggregiert, um in einem einzigen Durchgang die übergeordnete Kategorie zu bestimmen.
Evaluation:
Die Leistung wurde mittels Macro-F1 und Weighted-F1 auf einem ausgewogenen goldenen Testset (200 Tweets pro Schema) gemessen. Die Fehleranalyse umfasste Konfusionsmatrizen, Lemma-Häufigkeitsstatistiken und eine PCA-Visualisierung von TF-IDF-Vektoren.

Hauptbeiträge

Neue absichtsbasierte Taxonomie: Der Artikel stellt die erste völlig neue konzeptionelle Taxonomie für Propaganda seit 2019 vor und verlagert den Fokus von oberflächlichen Techniken auf strategische kommunikative Ziele.
Kontrolliertes Vergleichsrahmenwerk: Die Studie isoliert die Effekte von Schema-Design, Überwachung und Prompting, indem sie diese als orthogonale Faktoren behandelt, und zeigt auf, wie diese Elemente interagieren, um die Robustheit von Modellen zu formen.
Validierung von Hierarchischem Prompting (HiPP): Die Autoren schlagen die HiPP-Methode vor und validieren sie, wobei sie ihren spezifischen Nutzen in feinabgestimmten Umgebungen aufzeigen, insbesondere für verrauschte Schemata mit geringer Übereinstimmung.
Übergeordnete Kennzeichnung für bestehende Schemata: Die Autoren erstellten übergeordnete Labels für das Schema von Sahitaj et al. (2025) mittels eines Clustering-Verfahrens, erreichten eine hohe Übereinstimmung bei der menschlichen Validierung und lieferten eine robuste Basislinie zum Vergleich.

Ergebnisse

Auswirkung der Feinabstimmung: Die Feinabstimmung war in allen Konfigurationen entscheidend und verwandelte schwache Zero-Shot-Baselines in konkurrenzfähige Systeme (Verbesserungen von +0,09 bis +0,30 in Weighted-F1). Sie enthüllte methodische Unterschiede, die im Basisregime unsichtbar waren.
Schema-Leistung: Das Sahitaj-Schema erzielte konsistent höhere absolute Leistungen (Differenzen von +0,05 bis +0,15 in Weighted-F1) aufgrund seiner höheren Annotationszuverlässigkeit. Das absichtsbasierte Schema lieferte jedoch, obwohl anspruchsvoller, einen reichhaltigeren Blickwinkel auf strategische Ziele.
Modell-Leistung: Unter den Modellen mit offenen Gewichten erzielte die Qwen-Serie (insbesondere Qwen3-14B) die stärkste Gesamtleistung. Phi-4 14B schnitt in beiden Schemata und Regimen konsistent besser ab als GPT-4.1-nano.
Wirksamkeit von HiPP:
- In Zero-Shot-Umgebungen schnitt HiPP (Main→High) oft schlechter ab als Direct-High, insbesondere beim Schema mit niedriger IAA, was darauf hindeutet, dass hierarchische Dekomposition ohne angepasste Repräsentationen Rauschen verstärken kann.
- Nach der Feinabstimmung wurde HiPP hochgradig vorteilhaft, insbesondere beim absichtsbasierten Schema. Es bot einen stabilen methodischen Vorteil und half Modellen, Mehrheitsstimmen-Labels auch bei hohen Annotator-Disagreements wiederherzustellen.
Fehleranalyse:
- Zero-Shot: Modelle waren hypersensibel gegenüber lexikalischen Hinweisen (z. B. „Ukraine", „Nazi", „Krieg"), was zu vielen falsch positiven Ergebnissen führte.
- Feinabgestimmt: Fehler verlagerten sich von einfachen lexikalischen Auslösern hin zu genuinely mehrdeutigen, polarisierten Fällen. Feinabgestimmte HiPP-Modelle reduzierten falsch positive Ergebnisse bei neutralen Kriegsberichten und konzentrierten Fehler auf konzeptionell benachbarte Kategorien (z. B. Verwechslung von Realität verzerren mit Schuldzuweisung), was auf ein strukturierteres Verständnis der Taxonomie hindeutet.
- PCA-Visualisierung: Das absichtsbasierte Schema erzeugte einen dichteren, überlappenden Entscheidungsraum im Vergleich zu den kompakten, gut getrennten Clustern des Sahitaj-Schemas, was die höhere Schwierigkeit der absichtsbasierten Aufgabe bestätigt.

Bedeutung und Behauptungen
Der Artikel behauptet, dass sein primärer Beitrag methodischer Natur ist und zeigt, dass Feinabstimmung für eine robuste Propagandaerkennung unerlässlich ist und dass hierarchisches Prompting (HiPP) als stabilisierender induktiver Bias wirkt, speziell wenn Modelle an verrauschte, unausgewogene Annotationsräume angepasst werden.

Die Autoren argumentieren, dass zwar vereinfachte, technikzentrierte Schemata klarere Lernsignale bieten, absichtsbasierte Schemata jedoch für eine nuancierte Analyse der strategischen Ziele von Propaganda notwendig sind. Sie gehen davon aus, dass moderne LLMs, wenn sie mit HiPP feinabgestimmt werden, zu ähnlichen, interpretierbaren Fehlerstrukturen konvergieren, was darauf hindeutet, dass Schlussfolgerungen, die aus einer Modellfamilie gezogen werden, vernünftigerweise auf andere übertragbar sind. Die Arbeit liefert eine herausfordernde Benchmark (der HQP-Datensatz mit neuen absichtsbasierten Labels) für zukünftige Forschung zur Erkennung in der realen Welt und betont, dass robuste Systeme den Zielkonflikt zwischen ökologischem Realismus und Annotationszuverlässigkeit berücksichtigen müssen.

Die Autoren bleiben bescheiden und weisen darauf hin, dass ihre Ergebnisse auf methodische Trends hindeuten, die auf einer einzigen Datenaufteilung basieren, und dass die vorgeschlagene absichtsbasierte Taxonomie, obwohl wertvoll, inhärentes Rauschen einführt, was sie zu einem schwierigeren Klassifizierungsproblem macht als bestehende Rahmenwerke.