Evaluating Agreement Between Human Consensus and Large Language Model Ratings of Suicide Reporting
Diese Studie zeigt, dass große Sprachmodelle Nachrichtenartikel über Suizide unter Verwendung des TEMPOS-Frameworks effektiv bewerten können, wobei die Übereinstimmung mit menschlichen Wertenden vergleichbar ist, was darauf hindeutet, dass KI ein praktikables Werkzeug zur Skalierung der Überwachung verantwortungsvoller Berichterstattung über Suizide darstellt, wenn sie mit menschlicher Aufsicht kombiniert wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der die Nachrichten wie ein riesiger, unsichtbarer Spiegel wirken. Manchmal reflektiert dieser Spiegel Geschichten auf eine Weise, die Menschen hilft, Hoffnung und Lösungen zu finden; ein anderes Mal kann er versehentlich ein verzerrtes Bild zeigen, das eine schlechte Situation noch schlimmer erscheinen lässt. Wissenschaftler nennen dies den „Werther-Effekt“, bei dem bestimmte Arten der Berichterstattung über Suizide leider dazu führen können, dass sich mehr Menschen selbst verletzen, und den „Papageno-Effekt“, bei dem vorsichtige, hoffnungsvolle Geschichten tatsächlich Leben retten können. Aus diesem Grund haben Gesundheitsexperten eine Art „Verkehrsregeln“ für Journalisten erstellt, wie etwa das Vermeiden sensationeller Schlagzeilen oder das Einbeziehen von Notrufnummern. Aber hier liegt der knifflige Teil: Zu prüfen, ob Millionen von Nachrichtenartikeln diesen Regeln folgen, ist so, als würde man versuchen, jedes einzelne Sandkorn an einem Strand von Hand zu zählen. Es dauert ewig, es ist erschöpfend, und das Lesen so viel trauriger Geschichten kann für die Menschen, die das Zählen durchführen, emotional belastend sein. Hier kommt die neue Idee, „KI-Richter“ einzusetzen, ins Spiel. Könnte ein superintelligentes Computerprogramm, das darauf trainiert ist, diese Regeln zu lesen, das Zählen für uns übernehmen? Das ist die große Frage, die diese Studie beantworten wollte.
Die Forscher, ein Team von der University of California, San Diego, beschlossen, diese Idee mit einer spezifischen Checkliste namens TEMPOS (Tool for Evaluating Media Portrayals of Suicide) auf die Probe zu stellen. Denken Sie an TEMPOS als eine 10-Punkte-Bewertungstabelle, bei der ein Nachrichtenartikel Punkte erhält, wenn er sicher und respektvoll ist, und Punkte verliert, wenn er sensationell oder gefährlich ist. Um zu sehen, ob Computer dieses Spiel genauso gut spielen können wie Menschen, sammelten sie 42 echte Nachrichtenartikel über Suizidtote. Sie stellten dann zwei Teams von Richtern auf: ein Team aus sieben geschulten menschlichen Experten und ein Team aus fünf verschiedenen KI-Modellen (den „Gehirnen“ hinter Werkzeugen wie ChatGPT, Grok und anderen).
Die Menschen und die KIs lasen dieselben Geschichten und gaben ihre Bewertungen unabhängig voneinander ab, ohne miteinander zu kommunizieren. Zuerst untersuchten die Forscher, wie gut die Menschen untereinander übereinstimmten. Sie fanden heraus, dass, obwohl ein einzelner menschlicher Richter die Dinge vielleicht etwas anders sehen mag als ein anderer, die Gruppe, wenn man den Durchschnitt aller sieben Menschen bildete, eine sehr stabile „Goldstandard“-Bewertung erzeugte (die sie HumanGold nannten). Dies ist vergleichbar mit einem Gremium aus sieben Food-Kritikern; einer mag den Salzgehalt lieben, ein anderer hasst ihn, aber ihre durchschnittliche Meinung ist meistens ein sehr zuverlässiger Geschmackstest des Gerichts.
Als Nächstes fragten sie: „Wie nah kamen die KI-Richter an das HumanGold heran?“ Die Ergebnisse waren überraschend gut. Die einzelnen KI-Modelle zeigten eine „moderate bis starke“ Übereinstimmung mit dem menschlichen Team. Ein Modell namens Grok war besonders scharfinnig und entsprach dem menschlichen Konsens fast so gut wie die besten menschlichen Richter. Aber der eigentliche Zaubertrick geschah, als die Forscher die drei besten KI-Modelle zu einem einzigen „Super-Richter“-Team kombinierten, das sie AISilver nannten. Dieses kombinierte KI-Team entsprach dem menschlichen Konsens mit einer Korrelation von 0,797, was fast so gut ist wie das beste einzelne KI-Modell.
Dennoch fanden die Forscher auch einige wichtige „Warnsignale“. Die KI (und sogar die Menschen) waren viel besser darin, konkrete, leicht erkennbare Dinge zu entdecken, wie zum Beispiel: „Hat der Artikel eine Telefonnummer für Hilfe enthalten?“ oder „Hat er die Methode des Suizids beschrieben?“. Dies ist wie das Erkennen eines roten Autos auf einem Parkplatz; es ist entweder da oder es ist nicht da. Die KI hatte jedoch größere Schwierigkeiten mit den „weichen“, interpretativen Teilen der Bewertungstabelle, wie zum Beispiel: „Hat der Artikel den Suizid glamourös dargestellt?“ oder „War die Sprache sensationell?“. Dies ist so, als würde man versuchen, die Stimmung eines Liedes zu beurteilen; es ist viel schwieriger für einen Computer (und sogar für Menschen), sich bei solchen Gefühlen perfekt einig zu werden. Zudem bemerkten die Forscher, dass die KI-Modelle manchmal Bewertungen vergaben, die im Durchschnitt etwas zu hoch waren, wie ein Lehrer, der etwas zu großzügig mit Einsen ist.
Was also ist das endgültige Urteil? Das Paper legt nahe, dass die KI noch kein perfekter Ersatz für Menschen ist, aber ein sehr vielversprechender „Assistent“ sein kann. Sie kann nicht allein das endgültige, definitive Urteil fällen, besonders nicht bei den schwierigen, emotionalen Teilen der Geschichte. Aber wenn man ein Team von KI-Modellen (wie das AISilver-Team) nutzt, um die Schwerstarbeit des Scannens tausender Artikel zu leisten, und dann ein kleines Team von Menschen hat, das die Ergebnisse überprüft oder die schwierigen Fälle bearbeitet, könnte dies ein Wendepunkt sein. Dieser Ansatz könnte helfen, die Berichterstattung in den Medien in großem Maßstab zu überwachen, ohne die menschlichen Experten auszubrennen, um sicherzustellen, dass der Nachrichten-Spiegel die Geschichten auf eine Weise widerspiegelt, die schützt und hilft, statt zu schaden. Die Studie kommt zu dem Schluss, dass wir der KI zwar nicht blind vertrauen sollten, aber die Kombination mit menschlicher Aufsicht der Schlüssel dazu sein könnte, die Berichterstattung über Suizide im digitalen Zeitalter sicher und verantwortungsbewusst zu gestalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.