Wisdom of the LLM Crowd: A Large Scale Benchmark of Multi-Label U.S. Election-Related Harmful Social Media Content
Die Studie stellt USE24-XD vor, einen groß angelegten Datensatz von fast 100.000 X-Beiträgen zur US-Wahl 2024, der mithilfe einer „Weisheit der LLM-Menge" effizient annotiert wurde, um schädliche politische Inhalte zu kategorisieren und menschliche Voreingenommenheit bei der Bewertung zu untersuchen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, das Internet ist ein riesiger, lauter Marktplatz, auf dem jeden Tag Millionen von Menschen über die US-Wahl von 2024 reden. Auf diesem Marktplatz gibt es nicht nur ehrliche Nachrichten, sondern auch viel Lärm: Gerüchte, die wie wilde Gerüchte sind, wütende Schreie, satirische Witze, die man ernst nehmen könnte, und Verschwörungstheorien, die wie ein Labyrinth wirken.
Die Forscher aus diesem Papier wollten herausfinden: Wie können wir diesen Lärm sortieren, ohne den ganzen Tag damit zu verbringen? Und noch wichtiger: Können wir dafür künstliche Intelligenz (KI) nutzen, die so klug ist wie ein ganzer Schwarm von Menschen?
Hier ist die Geschichte ihrer Entdeckungen, einfach erklärt:
1. Das Problem: Der Ozean aus Nachrichten
Stellen Sie sich vor, Sie müssten jeden einzelnen Brief auf einem riesigen Postberg durchsuchen, um die gefährlichen Briefe (Lügen, Hass, Verwirrung) zu finden. Das wäre unmöglich für ein einzelnes Team von Menschen. Es kostet zu viel Zeit und Geld, und selbst die besten Menschen machen Fehler oder sind sich uneinig.
2. Die Lösung: Der „Schwarm der KI" (Wisdom of the LLM Crowd)
Die Forscher haben eine clevere Idee gehabt. Anstatt nur einen Computer-Experten zu fragen, haben sie sechs verschiedene KI-Modelle (wie GPT-4, Gemini und Llama) gleichzeitig arbeiten lassen.
- Die Analogie: Stellen Sie sich vor, Sie haben eine schwierige Frage. Wenn Sie nur eine Person fragen, könnte sie sich irren. Wenn Sie aber sechs verschiedene Experten fragen und dann das Ergebnis nehmen, dem sich die meisten anschließen (die „Mehrheitsentscheidung"), wird die Antwort viel genauer. Das nennen die Forscher „Weisheit der KI-Menge".
3. Die fünf Kategorien des Chaos
Die KI und die menschlichen Helfer mussten jeden Beitrag in eine von fünf Schubladen werfen:
- Verschwörungen: „Die Wahl wurde gestohlen!" (Geheime Pläne, die niemand beweisen kann).
- Sensationen: „Schock! Alles ist vorbei!" (Alles wird dramatisiert, um Klicks zu bekommen).
- Spekulation: „Ich glaube, dass..." (Mutmaßungen ohne Beweise).
- Hassrede: Beleidigungen und Angriffe auf Personen oder Gruppen.
- Satire: Lustige Beiträge, die Politik verspotten (wie ein Karikaturist), die aber manchmal wie echte Nachrichten wirken.
4. Der große Test: KI vs. Menschen
Die Forscher haben 1.000 dieser Beiträge von echten Menschen (über eine Plattform namens Amazon Mechanical Turk) und von den sechs KIs bewerten lassen.
- Das Ergebnis war überraschend: Die KIs waren sich untereinander oft einiger als die Menschen!
- Warum? Menschen haben unterschiedliche Meinungen, Launen und politische Vorlieben. Ein Konservativer sieht vielleicht mehr Hass in einem Text als ein Liberaler.
- Die KIs hingegen waren wie gut trainierte Roboter: Sie waren sehr konsistent. Wenn sie sagten „Das ist Verschwörung", dann dachten alle sechs KIs das auch.
- Die Genauigkeit: Besonders gut waren die KIs darin, „Spekulationen" zu erkennen (90 % Trefferquote!). Bei „Satire" hatten sie jedoch Schwierigkeiten, weil Humor schwer zu fassen ist – genau wie bei Menschen.
5. Der menschliche Faktor: Wer bewertet was?
Ein sehr interessanter Teil der Studie war, zu sehen, wie die menschlichen Bewertungen von deren Hintergrund abhängen.
- Politik spielt eine Rolle: Menschen, die sich als „Zentristen" (Mitte) sahen, markierten viel öfter Beiträge als „Spekulation". Menschen, die konservativer waren, sahen eher „Hassrede".
- Die Lehre: Es gibt keine perfekte, neutrale Wahrheit. Was als „gefährliche Lüge" gilt, hängt oft davon ab, wer schaut. Die KI-Modelle haben diese menschlichen Vorurteile zwar nicht, aber sie müssen trotzdem gegen diese menschlichen Standards getestet werden.
6. Das große Geschenk: Die Datenbank
Am Ende haben die Forscher eine riesige, saubere Datenbank (USE24-XD) mit fast 100.000 Beiträgen erstellt.
- Warum ist das toll? Früher mussten Forscher alles von Hand sortieren. Jetzt können sie diese Datenbank nutzen, um Systeme zu bauen, die automatisch erkennen, wann der Lärm auf dem Marktplatz zu gefährlich wird.
- Das Fazit: 60 % der Beiträge hatten mindestens ein „Gefahren-Schild". Das zeigt: Gefährliche Inhalte sind im Internet keine Seltenheit, sondern der Normalfall.
Zusammenfassung in einem Satz
Die Forscher haben bewiesen, dass man, wenn man sechs verschiedene KIs wie ein Team von Experten zusammenarbeitet, schneller, billiger und sogar konsistenter gefährliche Internet-Inhalte finden kann als mit einer Handvoll Menschen – solange man weiß, dass auch Menschen (und KIs) manchmal über Witze (Satire) stolpern.
Das Ziel: Ein saubereres Internet, in dem wir die echten Nachrichten besser von den Lügen und dem Lärm unterscheiden können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.