Verifying the Robustness of Automatic Credibility Assessment

Diese Studie untersucht die Anfälligkeit von Textklassifikatoren für Adversarial Attacks im Kontext der Glaubwürdigkeitsbewertung, stellt mit BODEGA ein neues Benchmark-Framework vor und zeigt, dass moderne Large Language Models anfälliger für solche Manipulationen sind als ältere Modelle.

Das Wesentliche

Das große Problem: Der unsichtbare Trickbetrüger

Stell dir vor, du hast einen sehr klugen, aber etwas naiven Türsteher an einem Club (das ist unser KI-Modell). Dieser Türsteher soll entscheiden, wer reinkommt (glaubwürdige Nachrichten) und wer draußen bleibt (Fake News, Propaganda, Gerüchte).

Normalerweise ist dieser Türsteher super. Er liest die Einladungskarte und sagt: „Aha, das ist seriös, rein!" oder „Nein, das ist Unsinn, raus!".

Aber hier kommt das Problem: Es gibt böswillige Trickbetrüger (die Angreifer), die genau wissen, wie der Türsteher tickt. Sie wollen nicht einfach so reinkommen; sie wollen den Türsteher austricksen, damit er eine gefälschte Einladung für wahr hält.

Die Forscher in diesem Papier haben sich gefragt: „Wie leicht können diese Betrüger unseren Türsteher täuschen, indem sie nur ein winziges Detail an der Einladung ändern?"

Der neue Test: BODEGA (Der „Trick-Check")

Um das herauszufinden, haben die Autoren BODEGA erfunden. Stell dir BODEGA wie einen riesigen, digitalen Sparringsplatz vor.

• Die Arena: Es gibt vier verschiedene Wettkämpfe (Aufgaben):
  1. Hyperpartisan News: Ist dieser Artikel von einer extrem parteiischen Seite?
  2. Propaganda: Wird hier versucht, uns emotional zu manipulieren?
  3. Faktencheck: Stimmt diese Behauptung mit den Fakten überein?
  4. Gerüchte: Ist das, was hier getwittert wird, nur ein Gerücht?
• Die Kämpfer: Auf der einen Seite stehen die Türsteher (die KI-Modelle, von kleinen bis zu riesigen „Super-Intelligenzen"). Auf der anderen Seite stehen die Betrüger (verschiedene Algorithmen, die versuchen, Texte zu manipulieren).
• Die Regel: Die Betrüger dürfen den Text nur so wenig ändern, dass ein normaler Mensch den Unterschied gar nicht merkt (wie ein winziger Tippfehler oder ein Synonym), aber der Türsteher soll trotzdem verwirrt werden.

Die überraschenden Ergebnisse

Das Papier hat einige Dinge ans Licht gebracht, die man so vielleicht nicht erwartet hätte:

1. Der „Kleiner" ist manchmal robuster als der „Große"
Man würde denken: Je smarter und größer der Türsteher (die KI), desto schwerer ist es, ihn zu täuschen.
Aber: Die Studie zeigt das Gegenteil! Die riesigen, modernen KI-Modelle (wie GEMMA mit Milliarden von Parametern) waren oft leichter zu täuschen als die kleineren, älteren Modelle (wie BERT).

• Die Analogie: Stell dir vor, ein riesiger, komplexer Roboter hat so viele Sensoren, dass er auf einen winzigen, gut platzierten Stein im Weg so stark reagiert, dass er stolpert. Ein kleinerer, simpler Roboter läuft einfach darüber. Die neuen, großen KIs sind so sensibel, dass sie durch winzige Änderungen in der Wortwahl komplett verwirrt werden.

2. Die Tricks der Betrüger
Die Betrüger nutzen verschiedene Methoden, um den Text zu verändern:

• Der „Tippfehler-Trick": Sie ändern nur ein Zeichen (z. B. „ca||" statt „call"). Für uns sieht das aus wie ein Versehen, für die KI ist es ein völlig neues Wort.
• Der „Synonym-Trick": Sie tauschen ein Wort gegen ein fast gleichbedeutendes aus (z. B. „Haus" statt „Wohnung").
• Der „Grammatik-Trick": Sie ändern die Satzstruktur leicht, ohne den Sinn zu verfälschen.

3. Nicht alle Aufgaben sind gleich schwer

• Gerüchte (Rumours): Das war der härteste Keks. Da es oft ganze Threads von vielen Leuten sind, ist es schwer, alles so zu ändern, dass der Sinn bleibt, aber die KI getäuscht wird.
• Parteipolitische Nachrichten (Hyperpartisan): Hier waren die Betrüger am erfolgreichsten. Ein einziger Satzwechsel reichte oft, um die KI zu täuschen.

Was bedeutet das für uns?

Die Forscher sagen uns im Grunde: „Vertraut nicht blind auf die KI!"

Wenn wir KI nutzen, um Fake News zu filtern (z. B. auf Social Media), müssen wir uns bewusst sein, dass diese Systeme nicht unbesiegbar sind. Ein böswilliger Akteur kann mit ein paar geschickten Wortwechseln die KI austricksen und falsche Informationen durchschleusen.

Die Lösung?

1. Mensch im Loop: Die KI sollte nicht allein entscheiden. Sie sollte nur Vorschläge machen, und ein Mensch sollte das letzte Wort haben (wie ein Chef, der den Türsteher kontrolliert).
2. Stress-Tests: Bevor man eine KI online stellt, muss man sie hart testen lassen. Man muss versuchen, sie zu täuschen, um ihre Schwachstellen zu finden.
3. Kombination: Man sollte nicht nur eine KI nutzen, sondern verschiedene Modelle kombinieren, damit sie sich gegenseitig kontrollieren.

Fazit

Dieses Papier ist wie ein Warnschild. Es zeigt uns, dass die Technologie, die wir nutzen, um das Internet sicherer zu machen, selbst verwundbar ist. Wie bei einem Schloss: Je komplexer das Schloss, desto mehr gibt es vielleicht zu knacken, wenn man den richtigen Schlüssel (den Adversarial Example) findet. Wir müssen also nicht nur bessere Schlösser bauen, sondern auch ständig prüfen, ob sie gegen neue Tricks standhalten.

Technische Zusammenfassung

1. Problemstellung

Die automatische Bewertung der Glaubwürdigkeit von Texten (z. B. zur Erkennung von Fake News, Propaganda, Gerüchten oder hyperpartisaner Berichterstattung) ist eine kritische Aufgabe für die Moderation von Inhalten in sozialen Medien. Obwohl moderne Modelle, insbesondere solche auf Basis von Deep Learning und Large Language Models (LLMs), hohe Genauigkeitswerte erzielen, besteht ein erhebliches Sicherheitsrisiko: Adversarial Examples (AEs).

Adversarial Examples sind leicht modifizierte Eingabetexte, die für Menschen kaum oder gar nicht von der Originalversion unterscheidbar sind (die Bedeutung bleibt erhalten), aber dazu führen, dass das Klassifikationsmodell eine falsche Vorhersage trifft. Inhaltsersteller mit böswilliger Absicht könnten solche Techniken nutzen, um ihre Desinformation zu verschleiern und die Filteralgorithmen zu umgehen. Bisher fehlte jedoch ein einheitlicher Rahmen, um die Robustheit verschiedener Modelle systematisch und realistisch zu testen.

2. Methodik: Das BODEGA-Framework

Die Autoren stellen BODEGA (Benchmark fOr aDversarial Example Generation in credibility Assessment) vor, ein offenes Evaluierungsframework, das auf dem OpenAttack-Framework aufbaut.

Kernkomponenten von BODEGA:

• Aufgaben: Das Framework umfasst vier binäre Klassifikationsaufgaben im Bereich der Desinformation:
  1. Hyperpartisanische Nachrichten (HN)
  2. Propaganda-Erkennung (PR)
  3. Faktenprüfung (Fact Checking, FC)
  4. Gerüchterkennung (Rumour Detection, RD)
• Szenarien: Es werden zwei Angriffszenarien definiert:
  • Ungezielt (Untargeted): Jede Änderung der Vorhersage ist ein Erfolg.
  • Gezielt (Targeted): Nur wenn ein eigentlich als „nicht glaubwürdig" klassifizierter Text fälschlicherweise als „glaubwürdig" eingestuft wird, gilt der Angriff als erfolgreich.
• Graue-Box-Ansatz (Grey-Box): Anstelle des unrealistischen White-Box-Zugriffs (vollständiges Wissen über das Modell) oder des zu restriktiven Black-Box-Ansatzes (nur Ausgabe bekannt), geht BODEGA von einem Grey-Box-Szenario aus. Der Angreifer kennt die Architektur (z. B. BERT-basiert), hat Zugriff auf Trainingsdaten, erhält aber nur die Ausgabe und den Konfidenzscore des Modells, nicht jedoch die internen Gewichte.
• Angriffsmethoden: Es werden 8 verschiedene Generierungsmethoden für Adversarial Examples getestet, darunter:
  • Wortebene: BAE, BERT-ATTACK, Genetic, SememePSO, PWWS, TextFooler.
  • Zeichenebene: DeepWordBug.
  • Satzebene (Paraphrasierung): SCPN.
• Opfermodelle (Victims): Getestet werden Modelle unterschiedlicher Größe und Architektur:
  • BiLSTM (von Grund auf trainiert)
  • BERT (Base)
  • GEMMA2B und GEMMA7B (Große generative Modelle)
• Evaluierungsmetrik (BODEGA Score): Anstatt nur die Genauigkeitsreduktion zu messen, führt das Framework einen multi-kriteriellen Score ein, der folgende Faktoren kombiniert:
  1. Confusion Score: Hat sich die Klassifikation geändert? (Binär: 0 oder 1).
  2. Semantische Ähnlichkeit: Gemessen mittels BLEURT (erfasst Bedeutungserhalt).
  3. Zeichenähnlichkeit: Gemessen mittels Levenshtein-Distanz (erfasst grafische Ähnlichkeit/Typos).
     Der finale Score ist das Produkt dieser Werte und liegt zwischen 0 und 1.

3. Wichtige Beiträge

1. BODEGA-Benchmark: Die Einführung eines standardisierten Frameworks, das vier relevante Desinformationstasks, Datensätze, Angriffszenarien und eine spezifische Evaluierungsmetrik vereint.
2. Systematische Robustheitsanalyse: Der erste umfassende Vergleich der Anfälligkeit verschiedener Modellarchitekturen (von kleinen RNNs bis zu großen LLMs) gegenüber einer Vielzahl von Angriffsmethoden im Kontext der Glaubwürdigkeitsprüfung.
3. Ergebnisse zu LLMs: Die Entdeckung, dass neuere, größere Large Language Models (wie GEMMA) nicht notwendigerweise robuster sind als ihre kleineren Vorgänger (wie BERT), sondern in einigen Fällen sogar anfälliger.
4. Manuelle Analyse: Eine qualitative Auswertung erfolgreicher Angriffe, die zeigt, welche Art von Modifikationen (Synonyme, Tippfehler, Grammatikänderungen) am effektivsten sind.

4. Ergebnisse

Die Experimente umfassten 256 Kombinationen (4 Aufgaben × 8 Angreifer × 4 Opfermodelle × 2 Szenarien).

• Angriffserfolg: Die meisten Modelle sind anfällig. Die besten Angriffsmethoden (insbesondere BERT-ATTACK) erreichen hohe BODEGA-Scores, indem sie die Entscheidung des Modells ändern, während die semantische Ähnlichkeit hoch bleibt.
• Modellgröße und Anfälligkeit:
  • Das kleine BiLSTM-Modell ist am anfälligsten.
  • Überraschenderweise ist BERT oft robuster als die größeren GEMMA-Modelle.
  • Bei der Faktenprüfung (FC) waren Angriffe auf GEMMA7B bis zu 27 % erfolgreicher als auf BERT. Dies widerlegt die Annahme, dass größere Modelle automatisch sicherer gegen Adversarial Attacks sind.
• Aufgabenabhängigkeit:
  • Hyperpartisanische Nachrichten (HN) sind am einfachsten anzugreifen (hohe Redundanz im Text erlaubt lokale Änderungen ohne Bedeutungsverlust).
  • Gerüchterkennung (RD) ist am schwierigsten zu attackieren, da Threads aus vielen Beiträgen bestehen und Änderungen oft den Kontext zerstören.
• Anzahl der Queries: Angriffe auf lange Texte (HN, RD) erfordern tausende Anfragen an das Opfermodell, während kurze Texte (PR, FC) mit weniger als 100 Anfragen erfolgreich angegriffen werden können.
• Typen von Änderungen: Die manuelle Analyse zeigte, dass bei Propaganda-Erkennung synonyme Wortwechsel sehr effektiv sind, während bei Faktenprüfungen oft kleine Tippfehler (z. B. in der Interpunktion) ausreichen, um das Modell zu täuschen.

5. Bedeutung und Fazit

Die Studie unterstreicht, dass die reine Optimierung von Genauigkeitsmetriken für die Moderation von Inhalten nicht ausreicht.

• Risiko: Selbst State-of-the-Art-Modelle (LLMs) können durch minimal invasive Änderungen getäuscht werden. Größere Modelle bieten keinen inhärenten Schutz.
• Empfehlungen:
  1. Hybride Systeme: KI sollte nicht alleinige Entscheidungsträger sein, sondern als Priorisierungstool für menschliche Moderatoren dienen.
  2. Robustheitstests: Bevor Modelle eingesetzt werden, müssen sie unter realistischen Bedingungen (mit begrenzten Queries und verschiedenen Angriffstypen) getestet werden.
  3. Adversarial Training: Die Integration von Angriffsszenarien in den Trainingsprozess kann die Widerstandsfähigkeit erhöhen.

BODEGA steht als Open-Source-Tool zur Verfügung, um zukünftige Modelle und Angriffsmethoden zu evaluieren und so die Zuverlässigkeit von Content-Moderationssystemen zu verbessern.