FrenchNews-7: Benchmarking Cross-Publisher French News Editorial Desk Classification
Dieses Paper stellt FrenchNews-7 vor, einen neuen Benchmark zur Klassifizierung französischer Nachrichtenartikel in sieben redaktionelle Kategorien über mehrere Herausgeber hinweg, der zeigt, dass ein fein abgestimmtes CamemBERT-Modell Zero-Shot-Large-Language-Models übertrifft und offenlegt, dass die Klassifizierungsleistung je nach Kategorie erheblich variiert, wobei ambivalente Bereiche wie „Économie“ und „Société“ die Grenzen der menschlichen Übereinstimmung erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der weiten, lärmenden Landschaft der modernen Nachrichten gehört jeder Artikel zu einer bestimmten Abteilung innerhalb einer Zeitung oder Website. So wie eine Bibliothek Bücher in verschiedene Bereiche wie Geschichte, Wissenschaft oder Belletristik sortiert, leiten Nachrichtenorganisationen Geschichten an spezialisierte Redaktionen weiter: Ein Team kümmert sich um Sport, ein anderes deckt Politik ab, und ein drittes verwaltet internationale Angelegenheiten. Für Forscher, die untersuchen, wie verschiedene Medienhäuser die öffentliche Meinung prägen, ist die Fähigkeit, diese Geschichten automatisch zu sortieren, unerlässlich. Oh)ne sie wäre der Vergleich darüber, wie zwei Zeitungen dasselbe Ereignis behandeln, eine manuelle, unmögliche Aufgabe. Die Herausforderung besteht jedoch darin, dass jeder Herausgeber sein eigenes einzigartiges System zur Kennzeichnung von Geschichten verwendet. Eine Website bezeichnet eine Geschichte vielleicht als „Gesellschaft“, während eine andere sie als „Inlandspolitik“ bezeichnet, selbst wenn der Inhalt identisch ist. Um ein Werkzeug zu entwickeln, das in der gesamten französischen Medienlandschaft funktioniert, benötigten Wissenschaftler einen Weg, diese verschiedenen internen Sprachen in ein gemeinsames, geteiltes Verständnis zu übersetzen.
Ein Forscher hat nun einen neuen Standard für diese Aufgabe geschaffen, genannt FrenchNews-7. Er sammelte fast 88.000 Nachrichtenartikel von 13 verschiedenen französischen Herausgebern, die von großen nationalen Tageszeitungen über reine Digitalangebote bis hin zu Regionalzeitungen reichen. Sein Ziel war es, einem Computer beizubringen, zu erkennen, zu welcher Redaktion eine Geschichte gehört, unabhängig davon, welche Website sie veröffentlicht hat. Um dies zu erreichen, erstellte er zunächst eine Übersicht der sieben am häufigsten verwendeten Kategorien über diese Medien hinaus: Gesellschaft, Kultur und Freizeit, internationale Nachrichten, Innenpolitik, Sport, Wirtschaft sowie Wissenschaft und Technologie. Dann entwickelte er ein hybrides Kennzeichnungssystem. Für etwa 72 Prozent der Artikel war das Label offensichtlich, da die Webadresse selbst den Kategorienamen enthielt, wie etwa ein Web-Link, der auf „/sport“ oder „/politics“ endet. Für die verbleibenden 28 Prozent, bei denen die Adresse vage oder fehlend war, nutzte der Forscher ein großes Sprachmodell, um die Schlagzeile und den vollständigen Text zu lesen und die richtige Kategorie zuzuweisen. Dieser Prozess wurde sowohl von menschlichen Experten als auch von künstlicher Intelligenz sorgfältig überprüft, um die Genauigkeit der Labels sicherzustellen, was in einem Datensatz resultierte, bei dem die Übereinstimmung zwischen den menschlichen Wertungen sehr hoch war.
Mit diesem neuen Datensatz trainierte der Forscher mehrere Computermodelle, um die Sortieraufgabe auszuführen. Er testete Modelle, die nur die Schlagzeile betrachteten, gegen Modelle, die den gesamten Artikel lasen. Die Ergebnisse zeigten, dass das Lesen des vollständigen Textes einen klaren Vorteil bot, da es dem Computer ermöglichte, den Kontext einer Geschichte zu verstehen, anstatt nur anhand eines Titels zu raten. Das leistungsstärkste System, ein speziell auf die französische Sprache trainiertes Modell, erreichte eine hohe Genauigkeit und identifizierte die Redaktion für etwa 80 Prozent der Geschichten, die es zuvor noch nie gesehen hatte. Diese Leistung blieb auch bestehen, als das Modell an vier völlig neuen Herausgebern getestet wurde, die nicht Teil der ursprünglichen Trainingsgruppe waren. Die Studie ergab, dass Sport- und Kulturgeschichten leicht zu sortieren waren, während Geschichten über die Wirtschaft und die allgemeine Gesellschaft viel schwieriger konsistent zu kategorisieren waren. Tatsächlich stimmten sich die menschlichen Experten nur zu etwa 55 Prozent untereinander ab, als der Forscher sie bat, diese schwierigen Wirtschaftsgeschichten der neuen Herausgeber zu sortieren. Dies deutet darauf hin, dass die Schwierigkeit nicht ein Fehler in der Intelligenz des Computers war, sondern eine echte Mehrdeutigkeit in der Art und Weise, wie Nachrichtenredaktionen diese komplexen Geschichten selbst einordnen.
Der Forscher verglich sein spezialisiertes Modell auch mit mehreren leistungsstarken, allgemeinen KI-Systemen, die nicht auf diese spezifischen Nachrichtendaten trainiert worden waren. Selbst mit den fortschrittlichsten allgemeinen Modellen schnitt das spezialisierte französische Modell besser ab, insbesondere in den kniffligen Kategorien Wirtschaft und Gesellschaft. Dies zeigt, dass für spezifische, volumenintensive Aufgaben wie das Sortieren von Nachrichten ein Modell, das auf die tatsächliche Sprache und Struktur der Zieldomäne fein abgestimmt ist, ein allgemeines Werkzeug übertrifft. Der Forscher stellte seinen Datensatz und sein leistungsstärkstes Modell der Öffentlichkeit zur Verfügung, damit andere Forscher auf dieser Arbeit aufbauen können. Durch die Bereitstellung einer zuverlässigen Methode zum Sortieren von Nachrichten über verschiedene Herausgeber hinweg bietet diese Arbeit ein neues Fundament für die Untersuchung der Frage, wie die französischen Medien die Welt behandeln, und stellt sicher, dass zukünftige Analysen auf einem konsistenten und genauen Verständnis darüber basieren, wo jede Geschichte hingehört.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.