💬 NLP

Coordinates from Context: Using LLMs to Ground Complex Location References

Dieses Paper schlägt eine auf LLMs basierende Strategie zur Geokodierung komplexer, kompositorischer Ortsangaben vor und evaluiert diese, wobei es zeigt, dass ein relativ kleines, feinabgestimmtes Modell durch die effektive Nutzung geospatialer Argumentation eine vergleichbare Leistung wie wesentlich größere Standardmodelle erzielen kann.

Ursprüngliche Autoren: Tessa Masis, Brendan O'Connor

Veröffentlicht 2026-01-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tessa Masis, Brendan O'Connor

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lesen ein Reisetagebuch, in dem steht: „Der Campingplatz liegt etwa auf halbem Weg zwischen der alten Eiche und der roten Scheune.“

Wenn Sie diesen Ort auf einem Standard-GPS oder Google Maps suchen würden, säßen Sie fest. Diese Tools sind großartig darin, benannte Orte wie „Central Park“ oder den „Eiffelturm“ zu finden, aber sie haben keinen Datenbankeintrag für „den Punkt zwischen der Eiche und der Scheune“. Das ist das Problem, das die vorliegende Arbeit behandelt: Geocoding kompositorischer Orte. Es ist die Kunst, eine Beschreibung einer Beziehung zwischen Orten in tatsächliche Koordinaten auf einer Karte umzuwandeln.

Die Autoren, Tessa Masis und Brendan O'Connor, wollten sehen, ob moderne Large Language Models (LLMs) – die KI-Gehirne hinter Chatbots – dieses Rätsel lösen können. Sie entdeckten etwas Überraschendes darüber, wie diese KIs denken, und bauten ein neues System, um die Schwächen der KI zu beheben.

Hier ist die Aufschlüsselung ihrer Reise, unter Verwendung einiger alltäglicher Analogien:

1. Die zwei Fähigkeiten: Das Lexikon vs. der Detektiv

Die Forscher erkannten, dass das Lösen dieses Rätsels zwei verschiedene Fähigkeiten erfordert, und testeten die KI auf diese separat:

Fähigkeit A: Das Lexikon (Geospatial Knowledge/Geowissen)
- Der Test: „Was sind die Koordinaten von Paris, Frankreich?“
- Das Ergebnis: Die KI ist okay darin, aber nicht perfekt. Es ist wie ein Schüler, der viel gelesen hat, aber manchmal die genaue Seitenzahl vergisst. Wenn die KI gefragt wurde, die Größe einer Stadt (eine sogenannte „Bounding Box“) allein anhand ihres Namens zu schätzen, schätzte sie oft völlig daneben, manchmal um hunderte Kilometer.
Fähigkeit B: Der Detektiv (Geospatial Reasoning/Geografisches Denken)
- Der Test: „Hier sind die Koordinaten für die Eiche und die Scheune. Der Campingplatz liegt genau in der Mitte zwischen ihnen. Wo ist er?“
- Das Ergebnis: Die KI ist ein großartiger Detektiv. Wenn ihr die Fakten (die Koordinaten der Referenzpunkte) gegeben werden, kann sie die Mathematik und Logik anwenden, um den neuen Standort sehr genau zu bestimmen.

Die große Erkenntnis: Die KI ist besser darin, mit den ihr zur Verfügung gestellten Fakten zu argumentieren, als Fakten aus ihrem eigenen Gedächtnis abzurufen.

2. Die Lösung: Das „Werkzeug-erweiterte“ Team

Da die KI ein großartiger Detektiv, aber ein vergessliches Lexikon ist, beschlossen die Autoren, ihr einen Helfer zu geben. Sie erschufen ein zweistufiges Team:

Der Bibliothekar (der Geoparser): Dies ist ein traditionelles, zuverlässiges Werkzeug (wie eine Standard-GPS-API), das genau weiß, wo benannte Orte liegen. Er sucht nach „Eiche“ und „Rote Scheune“ und übergibt der KI deren exakte Koordinaten.
Der Detektiv (das LLM): Die KI nimmt diese Koordinaten und die Beschreibung („auf halbem Weg zwischen“) und berechnet den endgültigen Standort.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen versteckten Schatz zu finden.

Der „direkte“ Ansatz besteht darin, die KI zu fragen, den Ort basierend auf einer vagen Geschichte zu erraten. Das scheitert oft.
Der „Geoparser-erweiterte“ Ansatz besteht darin, der KI eine Karte zu geben, auf der die Ausgangspunkte markiert sind, und sie dann zu bitten, den Pfad zum Schatz zu zeichnen. Das funktioniert viel besser.

3. Die Geheimwaffe: Bounding Boxes

Die meisten GPS-Systeme verwenden einen einzelnen Punkt (einen Mittelpunkt), um einen Ort zu markieren. Aber was ist, wenn der Ort ein ganzes Feld oder ein vager Bereich wie „die Mitte des Waldes“ ist? Ein einzelner Punkt ist zu präzise und oft falsch.

Die Autoren verwendeten stattdessen Bounding Boxes (Begrenzungsrahmen). Denken Sie dabei daran, ein Rechteck um das Gebiet auf einer Karte zu zeichnen.

Anstatt zu sagen: „Der Schatz befindet sich exakt bei 40,7° N“, sagen sie: „Der Schatz befindets sich irgendwo innerhalb dieses Rechtecks.“
Dies ist eine viel ehrlichere und genauere Art, Orte zu beschreiben, die keine spezifische Adresse haben.

4. Die Ergebnisse: Kleine KI vs. Große KI

Die Arbeit testete riesige, teure KI-Modelle gegen kleinere, günstigere Modelle.

Die Überraschung: Eine relativ kleine, fein abgestimmte (fine-tuned) KI (die speziell auf diese Aufgabe trainiert wurde) schnitt genauso gut ab wie die massiven, Milliarden wert Bezeichnungen der Modelle.
Das Fazit: Man braucht nicht den größten, leistungsstärksten Computer, um dies zu lösen. Man braucht nur die richtige Strategie (das Bibliothekar-plus-Detektiv-Team) und ein Modell, das gelernt hat, es zu nutzen.

5. Eine Eigenart im System

Den Forschern fiel etwas Lustiges auf: Wenn sie der KI die exakten Koordinaten vom Bibliothekar gaben, wurde die KI manchmal zu faul. Anstatt die Mathematik zu betreiben, um den „Mittelpunkt“ zu finden, griff sie einfach die Koordinaten der beiden Referenzpunkte und zeichnete ein riesiges Rechteck um sie herum.

Analogie: Es ist, als würde man einem Schüler fragen: „Was ist 5 plus 5?“ und der Schüler schreibt einfach nur „5 und 5“ auf, anstatt „10“.
Sie fanden heraus, dass das Training der KI (Fine-Tuning) half, dieses Verhalten zu stoppen und sie dazu zu bringen, tatsächlich die Berechnungen durchzuführen.

Zusammenfassung

Die Arbeit argumentiert, dass wir, um Orte zu finden, die in Texten beschrieben werden (wie „zwischen X und Y“), eine KI nicht einfach nur nach der Antwort „fragen“ sollten. Stattdessen sollten wir:

Ein zuverlässiges Werkzeug verwenden, um die bekannten Orte zu finden.
Die KI ihre Denkfähigkeiten nutzen lassen, um den unbekannten Ort basierend auf diesen bekannten Punkten zu ermitteln.
Das Ergebnis als ein „Rechteck“ auf einer Karte darstellen, anstatt als einen einzelnen Punkt.

Dieser Ansatz ermöglicht es uns, Orte zu kartieren, die noch nie zuvor benannt wurden, indem wir eine Mischung aus traditionellen Werkzeugen und intelligenter, argumentierender KI verwenden.

Technisches Resümee: Koordinaten aus dem Kontext

Problemdefinition

Die Arbeit befasst sich mit der Herausforderung der Geokodierung kompositorischer Ortsangaben. Während die traditionelle Geokodierung explizite Ortsnamen (z. B. „Gaza City“) mit geografischen Koordinaten verknüpft, scheitert sie oft, wenn Texte Orte relational beschreiben, ohne einen spezifischen Namen zu nennen (z. B. „etwa in der Mitte zwischen Winsford und Crewe“). Solche Beschreibungen sind in Bereichen wie Umweltverträglichkeitsprüfungen oder Ernährungssicherheitsberichten häufig anzutreffen. Bestehende Werkzeuge haben Schwierigkeiten mit diesen Eingaben, da sie darauf angewiesen sind, eine Verknüpfung zu bestehenden geografischen Datenbanken (wie GeoNames oder OpenStreetMap) herzustellen, die solche zusammengesetzten Entitäten selten enthalten. Zudem liefern Standardwerkzeuge typischerweise Punktkoordinaten, die nicht ausreichen, um größere oder unregelmäßige geografische Gebiete darzustellen.

Methodik

Die Autoren schlagen eine Strategie vor, die geospatialen Wissensabruf (Abrufen von Fakten über bekannte Orte) von geospatialem Schlussfolgern (Ableiten neuer Orte basierend auf relationalen Beschreibungen) entkoppelt.

1. Aufgabenformulierung

Die Geokodierungsaufgabe wird als zweistufiger Prozess definiert:

Der Recaller ( $g$ ): Bildet erwähnte Orte ( $m_i$ ) innerhalb einer Beschreibung auf deren geografische Informationen ( $q_i$ ) ab, wie etwa die Zentrumskoordinaten.
Der Reasoner ( $f$ ): Nimmt die natürliche Sprachbeschreibung und die abgerufenen Koordinaten der erwähnten Orte entgegen, um die Bounding Box (definiert durch $\{lon_{min}, lat_{min}, lon_{max}, lat_{max}\}$ ) des Zielorts vorherzusagen.

2. Vorgeschlagener Ansatz: Geoparser-augmentiert

Die Autoren schlagen eine End-to-End-Strategie vor, welche die Stärken sowohl traditioneller Werkzeuge als auch Large Language Models (LLMs) nutzt:

Recaller: Ein traditionelles Geoparsing-Tool (simuliert als Oracle unter Verwendung von OpenStreetMap-Daten, oder realistisch unter Verwendung der Google Maps API) ruft die genauen Koordinaten für die im Text erwähnten Orte ab.
Reasoner: Ein LLM nutzt die Textbeschreibung und die abgerufoen Koordinaten, um über die Position des Zielorts zu schlussfolgern und eine Bounding Box zu generieren.

3. Baselines und Vergleiche

Die Studie evaluiert verschiedene Konfigurationen:

Direct: Ein LLM versucht, die Bounding Box unter Verwendung nur der Textbeschreibung zu generieren, ohne externen Abruf von Koordinaten.
End-to-end LLM: Das LLM fungiert sowohl als Recaller (Generierung von Koordinaten für erwähnte Orte) als auch als Reasoner.
GBSP: Eine Vorarbeit, die einen grammatikbasierten semantischen Parser verwendet, der auf Polygon-Daten für erwähnte Orte basiert.

4. Evaluierungsmetriken

Die Autoren verwenden fünf Metriken:

Coverage (Abdeckung): Prozentsatz der Beispiele, für die eine Vorhersage getroffen wurde.
Distance Error (Distanzfehler): Distanz zwischen der vorhergesagten und der tatsächlichen Zentroiden-Position.
Area Precision, Recall und F1-Score: Metriken, die die Überlappung zwischen der vorhergesagten und der tatsächlichen Bounding Box messen.

Zentrale Erkenntnisse und Ergebnisse

Geospatiales Wissen vs. Schlussfolgerung

Durch isolierte Evaluierungen fanden die Autoren heraus, dass fertige (off-the-shelf) LLMs signifikant mehr Schwierigkeiten mit der Generierung genauer geospatialer Kenntnisse (Vorhersage von Koordinaten für bekannte Namen) haben als mit dem Schlussfolgern über bereitgestellte geospatiale Daten.

Wenn sie aufgefordert wurden, Koordinaten für bekannte Orte vorherzusagen, zeigten die Modelle große Distanzfehler (oft >200 km).
Wenn ihnen Koordinaten zur Verfügung gestellt wurden und sie über eine relationale Beschreibung schlussfolgern sollten, schnitten die Modelle wesentlich besser ab, wobei die Distanzfehler bei den Top-Modellen auf <35 km sanken.
Eine Vergrößerung der Modellgröße verbesserte den Wissensabruf stärker als die Fähigkeiten zum Schlussfolgern.

Performance der vorgeschlagenen Methoden

Geoparser-augmentiert vs. Direct: Der Geoparser-augmentierte Ansatz übertraf den Direct-Ansatz im Allgemeinen, insbesondere in Bezug auf Area Recall und Distance Error. Der Direct-Ansatz lieferte jedoch manchmal eine höhere Area Precision, was darauf hindeutet, dass LLMs ohne externe Daten kleinere, konservativere (aber potenziell unvollständige) Flächen generieren.
Modellgröße und Fine-tuning: Ein relativ kleines, fein abgestimmtes LLM (z. B. Qwen 14B oder Llama 8B) erreichte eine Leistung, die mit viel größeren Off-the-shelf-Modellen (z. B. Llama 405B, Qwen 72B) vergleichbar ist.
State-of-the-Art: Die besten Ergebnisse wurden mit dem Geoparser-augmentierten Ansatz unter Verwendung von Qwen-Modellen erzielt. Das fein abgestimmte Qwen 14B erreichte einen Area F1-Score von 0,266 (mit Google Maps Geoparser) und 0,248 (mit Oracle) und übertraf damit die bisher beste Methode (GBSP, F1=0,240), obwohl es Zugriff auf weniger komplexe geometrische Daten hatte (Zentrumskoordinaten statt Polygone).

Qualitative Analyse

Die Fehleranalyse ergab, dass Modelle oft das Vorzeichen von Breitengrad und Längengrad vertauschen (z. B. positiv vs. negativ) aufgrund von Mehrdeutigkeiten in den Formaten der Pretraining-Daten. Zudem zeigten die Modelle im Geoparser-augmentierten Setting manchmal eine „Überabhängigkeit“ von den bereitgestellten Koordinaten, indem sie lediglich das Minimum und Maximum der Koordinaten der erwähnten Orte nahmen, um die Bounding Box zu bilden, anstatt über die spezifische relationale Beziehung im Text zu schlussfolgern.

Bedeutung und Beiträge

Das Paper beansprucht die folgenden Beiträge:

Entkopplung der Fähigkeiten: Es liefert empirische Belege dafür, dass die Schlussfolgerungsfähigkeiten von LLMs bei der Geokodierung kompositorischer Referenzen besser sind als ihre internen Wissensdatenbanken, was darauf hindeutet, dass eine externe Wissensanreicherung entscheidend ist.
Neue Strategie: Es schlägt die erste End-to-End-Strategie für die Geokodierung kompositorischer Ortsangaben vor, die traditionelle Geoparser für den Wissensabruf mit LLMs für das Schlussfolgern kombiniert.
Bounding Box Repräsentation: Die Autoren führen die Verwendung von Bounding Boxes ein, um Orte zu verorten, die nicht in geografischen Datenbanken vorhanden sind. Dies bietet eine einfache, aber informative Möglichkeit, flächenbasierte Entitäten darzustellen und schließt die Lücke zwischen Punktkoordinaten und komplexen Polygonen.
Effizienz: Die Arbeit zeigt, dass kleine, fein abgestimmte Modelle die Leistung massiver Off-the-shelf-Modelle erreichen können, was die Aufgabe zugänglicher und recheneffizienter macht.

Die Autoren kommen zu dem Schluss, dass ihre Methoden eine State-of-the-Art-Performance für diese spezifische Aufgabe erreichen und praktische Empfehlungen geben: Verwenden Sie einen Geoparser-augmentierten Ansatz mit einem kleineren, fein abgestimmten Modell für die beste Gesamtleistung und Recall, oder einen Direct-Ansatz mit einem großen Modell, wenn Sie die Präzision priorisieren und keinen Zugriff auf externe Geoparser haben.