How Human Feedback Shapes AI-generated Community Notes
Diese Arbeit analysiert ein großes Korpus kollaborativer Notizen auf X, um zu zeigen, dass menschliches Feedback die Hilfreichkeit KI-entwurflicher Inhalte – insbesondere durch faktische Korrekturen und das Anfechten von Behauptungen – signifikant verbessert, diese hybriden Notizen jedoch aufgrund begrenzter Beteiligung vor Adoptionsengpässen stehen und letztlich eine komplementäre Rolle einnehmen, indem sie Beiträge adressieren, die von rein menschlicher oder rein KI-gestützter Moderation übersehen werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen riesigen Marktplatz vor, auf dem Menschen Nachrichten posten, und manchmal enthalten diese Nachrichten Lügen oder Halbwahrheiten. Um den Platz ehrlich zu halten, nutzt die Plattform ein System namens Community Notes. Denken Sie an dies wie eine Nachbarschaftswache, bei der reguläre Bürger, keine professionellen Polizisten, die Initiative ergreifen, um „Faktenchecks“ zu zu den irreführenden Beiträgen zu schreiben.
Kürzlich hat die Plattform (X) ein neues Experiment ausprobiert: Collaborative Notes. Anstatt dass ein Mensch einen Faktencheck von Grund auf neu schreibt, entwirft eine KI (ein Roboter-Schreiber) zuerst die Notiz. Dann lesen menschliche Nachbarn diesen Entwurf, schlagen Änderungen vor und die KI schreibt ihn um. Dies geschieht in einer Schleife, bis die Notiz gut genug ist, um sie allen zu zeigen.
Dieses Papier ist wie ein Zeugnis darüber, wie gut dieses „Mensch + Roboter“-Team arbeitet. Hier ist, was die Forscher herausgefunden haben, einfach erklärt:
1. Die Feedbackschleife: Wer spricht und was sagen sie?
Wenn die KI einen Entwurf schreibt, greifen Menschen ein, um ihn zu kritisieren. Die Forscher untersuchten tausende dieser Kritiken und sortierten sie in Kategorien ein:
- Die „Faktenchecker“: Menschen, die auf Fehler hinweisen oder fehlenden Kontext ergänzen (z. B. „Diese Quelle ist gefälscht“ oder „Sie haben vergessen, das Datum zu erwähnen“).
- Die „Editoren“: Menschen, die Grammatik oder Formatierung korrigieren.
- Die „Philosophen“: Menschen, die darüber debattieren, ob die Notiz überhaupt existieren sollte, oder persönliche moralische Meinungen äußern.
- Die „Anti-Roboter“-Fraktion: Menschen, die explizit sagen: „Wir wollen nicht, dass eine KI das macht.“
Das Urteil: Die KI ist sehr gut darin, auf die „Faktenchecker“ und „Editoren“ zu hören. Wenn man ihr einen Link zu einer Quelle oder eine klare Korrektur gibt, behebt sie diese meistens. Sie ignoriert jedoch weitgehend die „Philosophen“ und die „Anti-Roboter“-Fraktion. Wenn man nur sagt „Ich hasse diese Notiz“ ohne einen spezifischen Grund, lässt die KI den Entwurf meistens so, wie er ist.
Wer spricht da eigentlich? Es stellt sich heraus, dass die Menschen, die die KI-Entwürfe kritisieren, nicht der Durchschnittsnutzer sind. Es sind die „Veteranen“ – Menschen, die seit Jahren auf der Plattform sind, tausende Notizen bewertet haben und oft sehr starke, polarisierte politische Ansichten vertreten. Es ist, als würde das Treffen auf dem Marktplatz von denselben 50 lauten, erfahrenen Nachbarn dominiert werden statt von der gesamten Gemeinschaft.
2. Die Evolution: Wird die Notiz besser?
Stellen Sie sich eine Skulptur vor. Die KI beginnt mit einem groben Steinblock. Menschen meißeln daran herum, und die KI glättet ihn aus.
- Ja, sie wird besser: Im Durchschnitt ist die finale Version der Notiz viel hilfreicher als der erste Entwurf, den die KI erstellt hat.
- Aber es ist eine holprige Fahrt: Die Verbesserung verläuft nicht in einer geraden Linie nach oben. Manchmal macht eine Änderung die Notiz schlechter, bevor sie sie besser macht. Es ist wie ein Spiel von „Heiß und Kalt“, bei dem die Qualität der Notiz schwankt, bevor sie sich schließlich auf einer guten Version einpendelt.
- Mehr Runden = Bessere Ergebnisse: Notizen, die viele Runden der Überarbeitung durchlaufen (lange Ketten), enden mit einer viel höheren Qualität als jene, die nur ein oder zwei Mal angepasst wurden.
3. Der Realitätscheck: Funktioniert dieses neue System tatsächlich?
Hier ist der knifflige Teil. Obwohl die Notizen tatsächlich mit menschlicher Hilfe besser werden, haben die „Mensch + Roboter“-Notizen im Vergleich zu Notizen, die rein von Menschen oder rein von einer KI geschrieben wurden, Schwierigkeiten.
- Die „Hilfreichkeits“-Lücke: Collaborative Notes werden weita viel seltener als „hilfreich“ bewertet als andere Arten. Nur etwa 1,8 % von ihnen schaffen es in die Auswahl, verglichen mit 14 % für KI-only-Notizen und 9 % für Human-only-Notizen.
- Das „Geschwindigkeits“-Problem: Es dauert viel länger, bis eine Collaborative Note genug Stimmen erhält, um gezeigt zu werden. Es ist wie ein langsamer fahrender Zug im Vergleich zu den schnellen Autos der anderen Systeme.
- Das „Publikums“-Problem: Warum scheitern sie? Weil nicht genug Leute über sie abstimmen.
- Menschen scheinen zögerlich zu sein, KI-Entwürfe zu bewerten.
- Menschen werden müde. Wenn man den ersten Entwurf bewertet, kommt man selten zurück, um den zweiten oder dritten Entwurf zu bewerten. Das „Publikum“ ändert sich ständig, also erreicht die Notiz nie ein stabiles Konsens.
4. Der Lichtblick: Warum das Ganze weitermachen?
Wenn sie langsamer und weniger populär sind, warum der Aufwand? Die Forscher fanden heraus, dass diese Notizen eine komplementäre Rolle spielen.
Denken Sie wieder an den Marktplatz. Die „Nur-Mensch“- und „Nur-KI“-Teams sind damit beschäftigt, die offensichtlichsten, populärsten Lügen zu prüfen. Aber es gibt tausende andere Beiträge, die niemand prüft. Das „Collaborative“-Team springt ein, um genau diese vergessenen Beiträge zu prüfen. Sie füllen die Lücken, in denen sonst niemand hinsieht.
Zusammenfassung
Das Experiment zeigt, dass KI einen guten ersten Entwurf schreiben kann und Menschen ihn korrigieren können, aber das aktuelle System hat einige Fehler:
- Zu wenige Menschen sind bereit, beim Korrigieren der KI-Entwürfe zu helfen.
- Die Menschen, die es tun, sind hauptsächlich dieselben „Veteranen“ mit starken Meinungen.
- Der Prozess ist zu langsam, und die Menschen verlieren nach dem ersten Entwurf das Interesse.
Das Papier legt nahe, dass die Plattform dies beheben muss, indem sie es für normale Menschen einfacher macht, einzusteigen – etwa indem sie nicht verlangt, lange Kommentare zu schreiben, und indem sie dazu ermutigt, nach den aktualisierten Versionen zurückzukehren und darüber abzustimmen. Wenn sie es schaffen, mehr Menschen zur Teilnahme zu bewegen, könnten diese „Team Mensch + Roboter“-Notizen zu einem mächtigen Werkzeug werden, um das Internet zu säubern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.