Identifying the Geographic Foci of US Local News

Die Studie stellt ein neues Modell vor, das mithilfe von Large Language Models und räumlich-semantischen Merkmalen geografische Schwerpunkte in US-Nachrichtenartikeln mit einer F1-Score von 0,86 präzise identifiziert, um die Analyse lokaler Medienlandschaften trotz wirtschaftlicher Herausforderungen zu ermöglichen.

Das Wesentliche

🗺️ Die Landkarte der lokalen Nachrichten: Wie ein neuer Algorithmus versteht, worum es wirklich geht

Stellen Sie sich vor, lokale Nachrichten sind wie ein riesiger, chaotischer Haufen aus Briefen. Manche Briefe erzählen von einem neuen Spielplatz in der eigenen Nachbarschaft (lokal), andere von einem Gesetz im ganzen Bundesland (staatlich), wieder andere von einem Krieg auf einem anderen Kontinent (international) oder von einer wissenschaftlichen Entdeckung, die nirgendwo konkret stattfindet (kein Fokus).

In den letzten Jahren haben viele lokale Zeitungen so viel Geld verloren, dass sie gezwungen waren, mehr über große, nationale Themen zu berichten, anstatt sich um die Probleme ihrer direkten Nachbarn zu kümmern. Die Forscher von der William & Mary University (zusammen mit Microsoft) haben sich gefragt: „Berichten diese Zeitungen eigentlich noch über das, was ihre Gemeinde wirklich braucht?"

Um das herauszufinden, haben sie einen digitalen Detektiv namens NLGF (News Lab Geo-Focus) gebaut. Hier ist, wie er funktioniert, erklärt mit ein paar einfachen Vergleichen:

1. Das Problem: Der „Paris"-Trick 🇫🇷🇺🇸

Das größte Hindernis ist die Verwirrung bei Ortsnamen. Wenn eine Zeitung schreibt: „Paris hat einen neuen Park eröffnet", meint sie dann Paris in Frankreich oder Paris in Texas?

• Die alten Methoden: Frühere Computerprogramme waren wie Schüler, die nur ein Wörterbuch benutzen. Sie wussten oft nicht, welcher „Paris" gemeint ist, und machten viele Fehler.
• Die neue Lösung (KI): Die Forscher gaben den Ortsnamen einem modernen KI-Modell (einem „Großen Sprachmodell" oder LLM). Man kann sich das wie einen sehr klugen, weltreisenden Bibliothekar vorstellen, der sofort weiß: „Aha, dieser Artikel kommt aus den USA, also meinen sie Paris, Texas, nicht Paris, Frankreich!" Dieser Bibliotheker war viel besser als alle alten Werkzeuge.

2. Der Detektiv: Wie NLGF den Fokus findet 🕵️‍♂️

Sobald die KI weiß, wo die Orte sind, muss sie herausfinden, worum es im Artikel eigentlich geht. Dafür nutzt der Algorithmus drei Tricks, die wie ein Detektiv vorgeht:

• Der Titel-Check: Steht der Ort schon im Titel? Das ist wie ein großes Schild am Eingang eines Hauses. Wenn „Williamsburg" im Titel steht, ist es wahrscheinlich ein lokales Thema.
• Die Häufigkeit: Wie oft wird der Ort im Text erwähnt? Wenn ein Artikel 20 Mal über „New York" spricht und nur einmal über „Berlin", ist New York der Held der Geschichte.
• Die Position: Steht der Ort ganz am Anfang des Textes? Das ist wie der erste Satz einer Geschichte – er bestimmt oft, worum es geht.

Der Algorithmus rechnet all diese Hinweise zusammen (wie Punkte in einem Spiel) und entscheidet dann: „Dieser Artikel ist lokal" oder „Dieser Artikel ist national".

3. Das Ergebnis: Ein klareres Bild 📊

Die Forscher haben ihren neuen Detektiv gegen zwei andere bekannte Methoden getestet:

1. GPT-4o: Eine sehr starke, aber allgemeine KI.
2. Cliff-Clavin: Ein altes, bewährtes Werkzeug für Geografie.

Das Ergebnis war eindeutig:
Der neue NLGF-Detektiv war der Gewinner. Er traf in fast 90 % der Fälle die richtige Entscheidung (eine Genauigkeit von 0,89). Die anderen Methoden lagen deutlich dahinter.

• Warum? Weil NLGF nicht nur die Wörter zählt, sondern versteht, wo die Wörter stehen und welche Bedeutung sie im Kontext haben. Die allgemeine KI (GPT-4o) verlor manchmal den Bezug zur lokalen Umgebung, und das alte Werkzeug (Cliff-Clavin) war zu stur und zählte nur, ohne den Kontext zu verstehen.

Warum ist das wichtig? 🌍

Stellen Sie sich vor, Sie könnten jeden Tag in einer Zeitung lesen und sofort sehen: „Heute berichten diese Zeitungen nur noch über Washington D.C. und vergessen ihre eigene Stadt."
Mit diesem neuen Werkzeug können Forscher genau das messen. Sie können sehen, ob lokale Nachrichten tatsächlich „verstaatlicht" werden (also nur noch über das ganze Land berichten) oder ob sie ihren Job machen und die lokale Gemeinschaft informieren.

Zusammengefasst:
Die Forscher haben einen smarten digitalen Assistenten gebaut, der wie ein erfahrener Lokaljournalist liest. Er weiß genau, ob eine Nachricht über den Mülltonnen-Abfuhrplan in der Nachbarschaft oder über einen Weltraum-Start geht. Das hilft uns zu verstehen, ob unsere lokalen Medien noch für uns da sind oder ob sie sich in große, nationale Nachrichten verwandeln.

Technische Zusammenfassung

1. Problemstellung

Lokaler Journalismus ist für demokratische Gesellschaften essenziell, um Bürger über lokale Angelegenheiten (z. B. Schulvorstandswahlen, lokale Gesundheitsdienste) zu informieren. Jedoch führen wirtschaftlicher Druck und Konsolidierung dazu, dass lokale Nachrichtenmedien zunehmend nationale oder internationale Themen priorisieren („Nationalisierung" lokaler Nachrichten).
Die zentrale Forschungsfrage lautet: Beantwortet lokaler Journalismus noch die Informationsbedürfnisse der Gemeinden, die er bedient?
Um dies zu messen, ist es notwendig, den geografischen Fokus (Geo-Focus) von Nachrichtenartikeln automatisch zu identifizieren. Das Paper definiert den Geo-Focus als die primäre geografische Region, die für den Inhalt eines Artikels zentral ist, sowie den Geo-Focus-Level in fünf Kategorien:

• Lokal: Spezifisch für eine Stadt, Gemeinde oder Grafschaft.
• Staatlich (State): Relevant für mehrere Orte innerhalb eines US-Bundesstaates.
• National: Bundesweite Themen oder Themen, die andere US-Bundesstaaten betreffen.
• International: Ereignisse außerhalb der USA.
• Kein Fokus (None): Themen ohne klare geografische Zuordnung (z. B. allgemeine Wissenschaft).

Das Hauptproblem besteht darin, dass Nachrichtenartikel oft mehrdeitige geografische Entitäten enthalten (z. B. „Paris, Texas" vs. „Paris, Frankreich") und dass bestehende Methoden oft nicht generalisierbar genug sind, um diese Nuancen in lokalen Nachrichten zu erfassen.

2. Methodik (Das NLGF-Modell)

Die Autoren stellen das News Lab Geo-Focus (NLGF)-Modell vor, einen Open-Source-Ansatz, der in drei Hauptschritten arbeitet:

A. Datensatz und Annotation

• Ein Datensatz von 1.250 US-Lokalnachrichten aus allen 50 Bundesstaaten wurde erstellt.
• Zwei Experten annotierten jeden Artikel manuell mit dem Geo-Focus-Level und den spezifischen Geo-Foci (Ortsnamen).
• Die Inter-Rater-Reliability (IRR) war hoch (Cohen's $\kappa$ und Krippendorff's $\alpha$ > 0,80), was die Robustheit der Labels bestätigt.

B. Toponym-Erkennung und -Disambiguierung

• Erkennung: Nutzung von spaCy für Named Entity Recognition (NER), um geografische Entitäten (GPE, LOC, FAC) zu extrahieren.
• Disambiguierung: Dies ist der kritischste Schritt. Traditionelle Geoparser (z. B. Mordecai3, Edinburgh Geoparser) wurden mit Large Language Models (LLMs) verglichen.
  • Ergebnis: LLMs (insbesondere GPT-4o) übertrafen alle acht getesteten traditionellen Geoparser deutlich, insbesondere bei der Unterscheidung mehrdeutiger Orte (z. B. LOCs und FACs).
  • Prompting: Die LLMs erhielten den Kontext (Satz, Entitätstyp, Standort des Verlegers) und mussten Koordinaten sowie die administrative Ebene (County, Staat, Land) zurückgeben.
• Initialer Geo-Focus-Level (IGL): Basierend auf der Disambiguierung und dem Standort des Verlegers wurde jedem Toponym vorläufig ein IGL zugewiesen (z. B. wenn der Ort im Staat des Verlegers liegt -> „Lokal").

C. Feature-Engineering und Klassifikation

Um den endgültigen Geo-Focus-Level und die spezifischen Geo-Foci vorherzusagen, wurden 15 räumlich-semantische Merkmale extrahiert:

1. Toponym-Zählungen in Titeln: Signalisiert räumliche Betonung.
2. Verteilung der IGLs: Anzahl der GPEs pro IGL-Kategorie.
3. Positionale Betonung: Zählt Toponyme, die in den ersten fünf Erwähnungen des Artikels stehen („Leading Toponyms").
4. Toponym-Vielfalt: Anzahl eindeutiger geografischer Identifikatoren pro Kategorie.

• Klassifikation (Geo-Focus-Level): Ein XGBoost-Klassifikator (Gradient-Boosted Decision Trees) wurde auf den extrahierten Merkmalen trainiert.
• Identifikation (Geo-Foci): Ein heuristischer Algorithmus (Algorithmus 1) berechnet einen focus_score für jedes Toponym basierend auf:
  • Häufigkeit im Titel.
  • Gesamthäufigkeit im Artikel.
  • Anzahl der „Leading"-Erwähnungen.
  • Anzahl der GPE-Erkennungen.
  • Toponyme mit einem Score über einem Schwellenwert $\alpha$ (optimiert auf 0,25) werden als Geo-Foci ausgegeben.

3. Wichtige Beiträge

1. Benchmark-Datensatz: Erstellung eines experten-annotierten Datensatzes von 1.250 Artikeln, der als neuer Standard für die Geo-Focus-Forschung dient.
2. LLM-basierte Disambiguierung: Demonstration, dass LLMs (GPT-4o) traditionelle Geoparser bei der Entschlüsselung mehrdeutiger geografischer Entitäten in Nachrichten deutlich übertreffen.
3. Räumlich-semantische Features: Entwicklung einer neuen Merkmalsmenge, die nicht nur die Existenz, sondern auch die Betonung, Verteilung und Kontextualisierung geografischer Informationen erfasst (z. B. Position im Text).
4. Open-Source-Modell (NLGF): Bereitstellung eines hybriden Modells, das LLMs für die Vorverarbeitung mit einem klassischen ML-Klassifikator und heuristischen Scores kombiniert.

4. Ergebnisse

Das NLGF-Modell wurde mit zwei Baselines verglichen: GPT-4o (direkte Prompting-Lösung) und Cliff-Clavin (ein etablierter, regelbasierter Geoparser).

• Geo-Focus-Level Klassifikation:

  • NLGF: Macro-Average $F_1$-Score von 0,89.
  • GPT-4o: $F_1$ von 0,75.
  • Cliff-Clavin: $F_1$ von 0,62.
  • Analyse: NLGF war besonders stark bei der Unterscheidung von „Staatlich" vs. „National", wo GPT-4o aufgrund fehlender räumlicher Verankerung (Spatial Grounding) scheiterte. Alle Modelle waren bei „International" am besten, da diese Entitäten oft eindeutig sind.

• Geo-Foci Identifikation (Multi-Label):

  • NLGF: $F_1$-Score von 0,86.
  • GPT-4o: $F_1$ von 0,66.
  • Cliff-Clavin: $F_1$ von 0,37 (deutlich schlechter, da rein frequenzbasiert).
  • NLGF konnte durch die Kombination aus Disambiguierung und kontextueller Gewichtung die spezifischen Orte eines Artikels präziser identifizieren.

Die Verwirrungsmatrizen zeigen, dass NLGF die komplexesten Fälle (Überschneidungen zwischen Lokal, Staat und National) am besten handhabt, während regelbasierte Ansätze hier oft versagen.

5. Bedeutung und Ausblick

• Forschungsrelevanz: Das Modell ermöglicht es Forschern, quantitativ zu messen, wie stark lokale Nachrichten sich von lokalen zu nationalen Narrativen verschieben. Dies ist ein wichtiges Instrument für die Computational Journalism-Forschung.
• Praktische Anwendung: Medienhäuser und Regulierungsbehörden könnten NLGF nutzen, um den Grad der lokalen Abdeckung zu überwachen.
• Zukünftige Arbeiten:
  • Implementierung eines Multi-Label-Klassifikators, da Artikel oft mehrere Geo-Focus-Level gleichzeitig haben können (z. B. lokal und national).
  • Anpassung des Frameworks für andere Länder außerhalb der USA.

Zusammenfassend stellt NLGF einen signifikanten Fortschritt dar, indem es die Stärken von LLMs (Disambiguierung) mit interpretierbaren, räumlich-semantischen Merkmalen und klassischen ML-Methoden kombiniert, um die geografische Reichweite lokaler Nachrichten präzise zu erfassen.