🤖 machine learning

Gaming Consensus: Coordinated Manipulation in Crowdsourced Fact-Checking

Diese Arbeit zeigt auf, dass koordinierte Nutzer in der Lage sind, auf Matrixfaktorisierung basierende Crowdsourcing-Faktencheck-Systeme strategisch zu manipulieren, um einen synthetischen Konsens zu fingieren, was die Autoren dazu veranlasste, spezifische Gegenmaßnahmen innerhalb des Community-Notes-Algorithmus von X zu entwickeln und einzusetzen.

Ursprüngliche Autoren: Nikil Roashan Selvam, Jay Baxter, Sophie Hilgard, Brad Miller, Keith Coleman, Ellen Vitercik, Sanmi Koyejo

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nikil Roashan Selvam, Jay Baxter, Sophie Hilgard, Brad Miller, Keith Coleman, Ellen Vitercik, Sanmi Koyejo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen riesigen, globalen Marktplatz vor, auf dem jeder neben einer Gerücht-Notiz eine Notiz posten kann, um zu sagen: „Eigentlich ist hier die Wahrheit.“ So funktioniert Community Notes auf Plattformen wie X (ehemals Twitter), Meta und TikTok. Das Ziel ist es, Fehlinformationen zu stoppen, ohne dass ein einzelner Chef oder Redakteur entscheidet, was wahr ist.

Anstatt eines Chefs nutzt das System eine clevere Abstimmungsmaschine namens „Bridging Algorithm“ (Brücken-Algorithmus).

Das Problem: Die „Echokammer“-Abstimmung

In einer normalen Abstimmung gewinnt eine Notiz, wenn 1.000 Menschen, die sich alle einig sind, mit „Hilfreich“ stimmen. Aber in einem Marktplatz voller unterschiedlicher Sichtweisen ist das gefährlich. Eine Gruppe von Bots könnte einfach so tun, als wären sie 1.000 Freunde, um eine falsche Tatsache zu verbreiten.

Deshalb hat das System die Regeln geändert: Eine Notiz gewinnt nur, wenn Menschen, die normalerweise untereinander uneinig sind, sie beide als hilfreich bewerten.

Wenn ein Konservativer und ein Liberaler beide finden, dass eine Notiz korrekt ist, wird sie angezeigt.
Wenn nur Konservative finden, dass sie korrekt ist, bleibt sie verborgen, selbst wenn es 1.000 von ihnen sind.

Das nennt man „Bridging“ (Brückenbauen). Es ist wie der Versuch, eine Brücke über einen Fluss zu bauen; man braucht Anker auf beiden Seiten, um sie zu halten.

Die Entdeckung: „Den Brücken-Algorithmus austricksen“

Die Forscher in dieser Arbeit fragten sich: „Kann ein böswilliger Akteur dieses System austricksen?“

Sie fanden heraus: Ja, eine koordinierte Gruppe kann die Brücke manipulieren. Sie haben nicht den Computercode gehackt oder ein Sicherheitsschloss gebrochen. Stattdessen haben sie herausgefunden, wie man sich so verhält, als sei man eine vielfältige Gruppe von Menschen.

Stellen Sie sich das System wie eine riesige Landkarte vor, auf der jeder ein Punkt ist.

Der alte Weg: Um zu gewinnen, brauchte man 1.000 Punkte an verschiedenen Stellen auf der Karte, die alle mit „Ja“ stimmten.
Der Angriff: Die Forscher zeigten, dass eine kleine Gruppe von böswilligen Akteuren (weniger als 10 Personen) zuerst ihre Konten so „trainieren“ kann, dass sie so wirken, als würden sie an verschiedenen Orten der Karte leben.

Der Zwei-Schritte-Trick:

Phase 1 (Die Tarnung): Die Angreifer nutzen ihre Fake-Konten, um andere Notizen auf sehr spezifische Weise zu bewerten. Dies täuscht das System vor: „Oh, Konto A ist liberal und Konto B ist konservativ.“ Sie bemalen sich im Grunde mit verschiedenen Farben, um wie eine vielfältige Menge auszusehen.
Phase 2 (Die Falle): Sob falls das System glaubt, dass diese Konten unterschiedliche Menschen mit unterschiedlichen Meinungen sind, stimmen sie alle bei einer bestimmten Ziel-Notiz für „Hilfreich“. Da das System denkt, dass dies unterschiedliche Menschen sind, die sich einig sind, baut es die Brücke und zeigt die Notiz für alle an.

Die schockierende Wendung: „Nein“ kann „Ja“ bedeuten

Der verwirrendste Teil ihrer Entdeckung ist eine mathematische Besonderheit. Manchmal muss man tatsächlich mit „Nicht hilfreich“ stimmen, um eine Notiz hilfreicher aussehen zu lassen.

Die Analogie: Stellen Sie sich eine Wippe vor. Wenn alle auf der linken Seite fest nach unten drücken, geht die rechte Seite nach oben. Aber wenn man eine Person ganz links hinzufügt, die nach oben drückt (mit „Nicht hilfreich“ stimmt), kann dies die gesamte Wippe so kippen, dass der Mittelpunkt (der Score) nach oben geht.
Einfach ausgedrückt: Wenn eine Notiz von einer sehr spezifischen, engen Gruppe bewertet wird, kann das Hinzufügen einer „schlechten“ Bewertung von jemandem, der scheinbar zu dieser engen Gruppe gehört, das System mathematisch so austricksen, dass es den Eindruck erweckt, die Notiz sei universell akzeptiert.

Wie viel Aufwand ist nötig?

Die Forscher führten Simulationen mit echten Daten von X durch. Sie fanden heraus:

Man kann das System bei etwa 10,7 % der qualitativ minderwertigen Notizen austricksen.
Es braucht weniger als 10 Stimmen einer koordinierten Gruppe, um dies zu erreichen.
Die Kosten? Etwa 30,50 $ pro Notiz (hauptsächlich die Kosten für die Aufrechterhaltung der Fake-Telefonnummern).

Die Lösung: Der „Random Sample“-Schutz

Das Paper erklärt, dass das Team bei X dies bereits behoben hat. Sie haben eine neue Regel namens „Population Sample Filtering“ hinzugefügt.

Die Analogie: Stellen Sie sich einen Lehrer vor, der eine Prüfung korrigiert. Anstatt der ganzen Klasse beim Beantworten der Fragen zuzusehen, wählt der Lehrer eine zufällige Handvoll Schüler aus dem hinteren Teil des Raumes aus, um die Arbeit zu überprüfen.

Wenn die „Fake“-Gruppe der Angreifer versucht abzustimmen, besteht die Chance, dass sie ausgewählt werden.
Aber wenn sie versuchen, die Abstimmung zu manipulieren, prüft das System, ob die „Zufallsstichprobe“ (Random Sample) mit der „ganzen Klasse“ übereinstimmt. Wenn die Zufallsstichprobe widersprüchlich bewertet, wird die Notiz nicht veröffentlicht.

Dies macht es viel schwieriger und teurer für Angreifer, zu gewinnen, da sie nicht einfach gezielt bestimmte Notizen beeinflussen können; sie müssen eine zufällige Auswahl der gesamten Bevölkerung überzeugen, was viel schwerer vorzutäuschen ist.

Zusammenfassung

Das Paper zeigt, dass das „Brücken“-System zwar klug ist, aber von Akteuren überlistet werden kann, die lernen, verschiedene Masken zu tragen. Durch das Verständnis genau, wie dieser Trick funktioniert, hat die Plattform jedoch eine neue Verteidigungsebene (Random Sampling) hinzugefügt, um die Brücke stark und die Wahrheit sichtbar zu halten.

Technisches Resümee: Koordinierte Manipulation in Crowdsourced-Faktencheck-Systemen

Problemstellung
Crowdsourced-Faktencheck-Systeme, wie etwa die Community Notes von X, Meta's Community Notes und ähnliche Implementierungen von TikTok und Google, zielen darauf ab, Fehlinformationen in großem Maßstab zu bekämpfen, ohne eine zentralisierte redaktionelle Kontrolle zu nutzen. Diese Systeme verlassen sich auf einen „Bridging“-Mechanismus: Eine Notiz wird erst dann öffentlich sichtbar, wenn sie Unterstützung von Nutzern mit unterschiedlichen Perspektiven erhält, statt durch eine einfache Mehrheit. Der Kernalgorithmus, der diesen Konsens steuert, ist die Matrixfaktorisierung, welche niederdimensionale latente Repräsentationen (Embeddings) sowohl für Nutzer als auch für Notizen lernt.

Das zentrale Problem, das in dieser Arbeit behandelt wird, ist die Anfälligkeit dieser Matrixfaktorisierungskomponente gegenüber koordinierter Manipulation. Während Bridging-Algorithmen theoretisch resistent gegen einfache volumenbasierte Angriffe (z. B. gefälschte Upvotes) sind, untersuchen die Autoren, ob Akteure strategisch einen „synthetischen Konsens“ durch die Manipulation des latenten Faktorspeichers erzeugen können. Konkret stellt die Arbeit die Frage, ob eine koordinierte Gruppe kontrollierte Nutzerkonten steuern kann, um diverse Standpunkte zu simulieren und damit den Algorithmus zu täuschen, indem sie einer qualitativ minderwertigen Notiz einen hohen „Hilfreichkeits“-Intercept (Achsenabschnitt) zuweist.

Methodik
Die Autoren entwickeln ein rigoroses Adversarial-Framework basierend auf dem Open-Source-Code und den verzögerten Daten (48-Stunden-Verzug) der X Community Notes. Der Angriff wird in zwei Phasen modelliert:

Phase 1: Etablierung diverser faktorieller Positionen (Das inverse Problem)
- Ziel: Ein Angreifer kontrolliert $k$ Konten und muss diese an unterschiedlichen Orten im latenten Faktorspeichers positionieren, um gegensätzliche Standpunkte zu simulieren.
- Mechanismus: Da Nutzer-Embeddings durch deren Bewertungshistorie bestimmt werden, löst der Angreifer ein inverses Problem. Durch die Vorhersage der latenten Parameter (Faktor $f_n$ und Intercept $i_n$ ) bestehender Notizen allein auf Basis ihres Textes kann der Angreifer die optimale Bewertung (0, 0,5 oder 1) berechnen, die er für die kontrollierten Konten abgibt, um diese zu spezifischen Ziel-Faktorvektoren ( $f^{target}$ ) zu steuern.
- Vorhersagemodell: Die Autoren trainieren ein flaches Multilayer-Perzeptron (MLP) unter Verwendung von Voyage-Embeddings des Notiztextes, um die latenten Parameter ( $f_n, i_n$ ) vorherzusagen, die der Matrixfaktorisierungsalgorithmus einer Notiz zuweisen würde.
Phase 2: Koordinierte Unterstützung für eine Zielnotiz
- Ziel: Sobald die kontrollierten Konten diverse Positionen im latenten Raum besetzen, koordinieren sie sich, um eine spezifische Zielnotiz $n^*$ als „Hilfreich“ zu bewerten.
- Mechanismus: Da der Algorithmus diese Konten aufgrund ihrer Phase-1-Historie als Vertreter diverser Perspektiven wahrnimmt, wird ihre einstimmige positive Bewertung als „Bridging Agreement“ (konsensuale Übereinstimmung) interpretiert, was den Hilfreichkeits-Intercept der Zielnotiz ( $i_{n^*}$ ) über den Sichtbarkeitsschwellenwert ( $\tau$ ) treibt.

Wesentliche Beiträge

Neuartiger Adversarial-Angriff: Die Arbeit präsentiert die erste rigorose Analyse, die zeigt, dass koordinierte Gruppen die Matrixfaktorisierungskomponente manipulieren können, um einen künstlichen diversen Konsens zu erzeugen, ohne Software-Schwachstellen auszunutzen.
Zweistufige Strategie: Ein formalisiertes Angriffsstrategie-Modell, das die strategische Positionierung von Konten im latenten Raum gefolgt von koordinierten Abstimmungen umfasst.
Kontraintuitiver theoretischer Einblick: Die Analyse zeigt auf, dass unter spezifischen geometrischen Bedingungen bestehender Bewertungen die Bewertung einer Notiz als „Nicht hilfreich“ (0) ihren Hilfreichkeits-Intercept mathematisch erhöhen kann, was der intuitiven Erwartung widerspricht.
Manipulation Resistance Score (MRS): Eine Metrik, die die Mindestanzahl zusätzlicher Bewertungen quantifiziert, die erforderlich sind, um eine Notiz über den Konsensschwellenwert zu heben.
Kostenmodell: Ein quantitatives Modell, das den Aufwand (finanziell und computergestützt) schätzt, der zur Ausführung des Angriffs nötig ist, wobei die Wartung der Konten als dominanter Kostenfaktor identifiziert wird.

Empirische Ergebnisse
Unter Verwendung historischer Produktionsdaten aus den X Community Notes (bis Januar 2025) führten die Autoren Simulationen mit 100 adversariellen Konten durch:

Machbarkeit der Positionierung: Die adversariellen Konten konnten sich erfolgreich über das gesamte Faktorspektrum (Bereich $[-0,4, 0,4]$ ) positionieren, was die Machbarkeit von Phase 1 validiert.
Manipulationserfolg: Die Studie ergab, dass bis zu 10,7 % der Notizen, deren Intercept unter dem Median lag (und die mindestens 10 bestehende Bewertungen hatten), durch weniger als 10 koordinierte Bewertungen über den Konsensschwellenwert manipuliert werden konnten.
Kostenanalyse: Die geschätzten Kosten zur Manipulation einer einzelnen Notiz liegen bei etwa 30,50 $, wobei die Kosten für die Wartung der Konten (ca. 3 $/Monat) den dominierenden Faktor darstellen und nicht die Kosten für das Abgeben von Stimmen oder das Training von Modellen.
Kontraintuitiver Befund: Die theoretische Ableitung bestätigte, dass in bestimmten Szenarien eine „Nicht hilfreich“-Bewertung durch einen extremen Wähler die Steigung der Regressionsgeraden im latenten Raum steiler machen kann, wodurch der Intercept der Notiz erhöht wird.

Bedeutung und Ansprüche
Die Arbeit behauptet, eine fundamentale Schwachstelle in der Kernlogik der Matrixfaktorisierung von Bridging-basierten Faktencheck-Systemen nachzuweisen. Die Bedeutung liegt in der Erkenntnis, dass der Mechanismus, der gerade die diverse Übereinstimmung sicherstellen soll (latente Faktormodellierung), manipuliert werden kann, wenn Akteure in der Lage sind, Notizparameter vorherzusagen und ihre Bewertungshistorien strategisch zu kuratieren.

Die Autoren betonen, dass diese Arbeit im Rahmen einer offenen Forschungskooperation zwischen der Stanford University und dem X Community Notes Team durchgeführt wurde. Die Ergebnisse wurden genutzt, um Mitigationen (Gegenmaßnahmen) in X's Produktionssystem zu entwickeln und zu implementieren, noch vor der Veröffentlichung. Insbesondere hebt das Paper den Einsatz von Population Sample Filtering hervor, welches die Qualitätswerte basierend auf einer Zufallsstichprobe der Bewertungen neu berechnet, um die Manipulationskosten linear mit der Populationsgröße zu erhöhen.

Die Autoren kommen zu dem Schluss, dass die Matrixfaktorisierungskomponente zwar angreifbar ist, die Robustheit des Systems jedoch durch zusätzliche Komponenten (wie Missbrauchsdetektion und Sampling) gestärkt werden kann, die die Manipulationskosten erhöhen, ohne die Transparenz und Offenheit zu opfern, die für effektive Crowdsourced-Faktenchecks notwendig sind. Die Arbeit dient als Aufruf zur Entwicklung praktischerer Abwehrmechanismen, die Sicherheit mit der für effektive Faktenchecks erforderlichen Zugänglichkeit in Einklang bringen.