💻 computer science

Plan2Map: A Multimodal Benchmark for Document-Grounded Geospatial Boundary Reconstruction from Planning Records

Dit artikel introduceert Plan2Map, een multimodale benchmark en het GeoPlanAgent-systeem voor het reconstrueren van geografische grenzen uit Britse planningsgegevens door documenttekst en kaartvisualisaties te integreren, waarmee wordt aangetoond dat een gestructureerde, tool-in-the-loop-aanpak directe VLM-baselines aanzienlijk overtreft in nauwkeurigheid en betrouwbaarheid.

Oorspronkelijke auteurs: Fabian Degen, Oishi Deb, Jindong Gu, Junchi Yu, Samuele Marro, Philip Torr, Jialin Yu

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fabian Degen, Oishi Deb, Jindong Gu, Junchi Yu, Samuele Marro, Philip Torr, Jialin Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel oud, licht gekreukeld stuk papier hebt van een gemeentehuis. Op dit papier staat een juridische regel die zegt: "U mag in dit specifieke gebied geen nieuw huis bouwen." Het papier heeft een kaart waarop het gebied met een rode lijn is omcirkeld, en er staat tekst bij die de regels uitlegt.

Het probleem? Die rode lijn is slechts een tekening. Een computer weet niet waar die rode lijn zich op de echte aarde bevindt. De computer kan niet zien of de lijn een park, een straat of een specifiek huis beslaat. Voor een computer is het gewoon rode inkt op een pagina.

Plan2Map is een nieuwe "test" die onderzoekers hebben bedacht om te zien of computers dit puzzelstukje kunnen oplossen. Ze hebben 208 van deze echte documenten uit de planningssector verzameld en deze gekoppeld aan het juiste antwoord (de exacte digitale kaart van dat gebied). Hun doel: Kan een computer naar het rommelige papier kijken en de exacte digitale kaart er zelfstandig van tekenen?

De Uitdaging: Het "Lost in Translation"-probleem

De onderzoekers ontdekten dat als je een superintelligente AI (zoals een hoogtechnologische chatbot) simpelweg vraagt om naar het papier te kijken en "de kaart te tekenen", het meestal misgaat. Het is alsof je iemand vraagt om een gedicht te vertalen naar een kaart; ze begrijpen misschien de woorden, maar ze kunnen de geografie niet vatten. De AI raakt in de war door het handschrift, de vreemde hoeken van de kaart, of het feit dat de kaart ondersteboven ligt.

De Oplossing: GeoPlanAgent (Het Detectiveteam)

In plaats van één AI alles tegelijk te laten doen, hebben de onderzoekers een team van gespecialiseerde AI-"agents" gebouwd die samenwerken als een rechercheursteam. Ze noemen dit team GeoPlanAgent.

Zo lost het team de puzzel op, stap voor stap:

De Lezer (De Bibliothecaris):
Eerst leest een AI-agent het document zoals een bibliothecaris. Het probeert nog niets te tekenen. Het zoekt alleen naar aanwijzingen: "Ah, er wordt gesproken over 'Norwich Road' en 'Postcode 123'." Het vindt ook de pagina met de kaart en controleert of de kaart ondersteboven ligt. Het schrijft een lijst met aanwijzingen op voor het volgende teamlid.
De Lokaliseerder (De GPS-Navigator):
Vervolgens neemt een tweede agent deze aanwijzingen. Deze gaat naar een digitale kaart van het Verenigd Koninkrijk en zoekt naar "Norwich Road" en die postcode. Het vindt een ruwe plek op de kaart, zoiets als zeggen: "De schat bevindt zich ergens in deze buurt." Het is nog niet perfect, maar het is een goed startpunt.
De Matcher (De Puzzeloplosser):
Dit is de magische stap. Het team neemt de wazige, oude kaart van het papier en probeert deze over de scherpe, moderne digitale kaart te leggen, zoals het matchen van een puzzelstukje. Ze schuiven de oude kaart heen en weer totdat de wegen en gebouwen perfect uitlijnen met de digitale kaart. Zodra ze de match hebben gevonden, weten ze precies waar de papieren kaart zich in de echte wereld bevindt.
De Tracer (De Kunstenaar):
Nu ze weten waar de kaart is, kijkt een gespecialiseerde tool (genaamd SAM 3) naar de rode lijn op het papier en volgt deze nauwkeurig. Omdat de computer nu de schaal en de locatie kent, kan het die rode lijn omzetten in een precieze digitale vorm (een polygoon) die exact op de echte kaart past.
De Criticus (De Kwaliteitscontroleur):
Ten slotte bekijkt een derde agent het resultaat. Deze vraagt: "Bedekt deze rode lijn daadwerkelijk de juiste gebouwen? Komen de wegen overeen?" Als het antwoord "Nee" is, stuurt het de opdracht terug naar stap 2 om het opnieuw te proberen. Als het antwoord "Ja" is, keurt het de definitieve kaart goed.

De Resultaten

Toen de onderzoekers dit "Detectiveteam" testten tegenover de 208 documenten:

Het Team Won: Ze slaagden erin om de digitale kaarten voor ongeveer 68% van de gevallen met een zeer hoge nauwkeurigheid te reproduceren.
De Solo AI Verloor: Wanneer ze één krachtige AI vroegen om de hele klus alleen te klaren (zonder de stappen van het team), kreeg deze slechts ongeveer 10% goed. Het was alsoam een mens te vragen een kaart van zijn huis te tekenen terwijl hij een blinddoek draagt.

Waarom dit ertoe doet

Dit gaat niet alleen over het tekenen van lijnen. Het gaat over het omzetten van duizenden oude, op papier gebaseerde regels in digitale gegevens die overheden en ontwikkelaars daadwerkelijk kunnen gebruiken. Op dit moment vereist het controleren of een bouwproject is toegestaan vaak dat een mens naar een stoffige kaart kijkt en inschat waar de lijn ligt. Dit systeem laat zien dat, met de juiste "samenwerking" tussen verschillende AI-tools, computers eindelijk deze oude kaarten kunnen lezen en omzetten in nuttige digitale informatie.

Kortom: Plan2Map is de test, en GeoPlanAgent is het team van specialisten dat bewees dat computers oude planningskaarten kunnen leren lezen, mits ze niet proberen het allemaal in één enorme sprong te doen.

Technische Samenvatting: Plan2Map

Probleemdefinitie

Het artikel behandelt de uitdaging van document-gegronde geospatiële grensreconstructie. In de context van Britse planningsdocumenten, specifiek Article 4 Directions, beperken autoriteiten de toegestane ontwikkelingsrechten voor specifieke geografische gebieden. Hoewel deze beperkingen juridisch bindend zijn, bevatten de brondocumenten (PDF's) doorgaans slechts indirect ruimtelijk bewijs: tekstuele kennisgevingen, juridische schema's en gescande of ingebedde kaartplaten met handgetekende of gearceerde grenzen. Ze bieden zelden machineleesbare geometrie (bijv. GeoJSON).

De kern van de moeilijkheid ligt in het reconstrueren van een geldige, gestructureerde ruimtelijke entiteit (een polygoon) uit gedistribueerd tekstueel, visueel en geografisch bewijs, zonder toegang tot een vooraf bestaande digitale grens. Het systeem moet:

Heterogene PDF's verwerken die gescande pagina's en ingebedde kaarten bevatten.
Ruimtelijk bewijs identificeren (postcodes, roosterreferenties, kaartlabels).
De relevante kaart grondig koppelen aan de werkelijke geografie.
De grensgraaf reconstrueren en deze projecteren in geospatiële coördinaten.

Dit is verschillend van standaard documentbegrip (dat tekst teruggeeft) of eenvoudige veldextractie, omdat het een meerstaps redeneerproces vereist om een extern verifieerbare geospatiële output te produceren.

Methodologie: GeoPlanAgent

Om dit op te lossen, stellen de auteurs GeoPlanAgent voor, een op decompositie gebaseerd, door hulpmiddelen ondersteund agentisch systeem. In plaats van een Vision-Language Model (VLM) in één enkele passage een GeoJSON te laten genereren, deelt het systeem de taak op in afzonderlijke fasen:

Reader Agent: Verwerkt de ruwe PDF om gestructureerd ruimtelijk bewijs te extraheren (postcodes, OS-roosterreferenties, locaties van sites, kaartpagina-indices en schaal). Het bepaalt ook of het document een heel administratief district beslaat (wat een verkort pad triggert).
Worker Agent: Orquestreert de reconstructie-pipeline via een lus van tools:
- Locate Sub-agent: Gebruikt het geëxtraheerde bewijs om een offline geocoder (OS Open Names) te bevragen om benaderende kandidaat-coördinaten voor het kaartcentrum te genereren, samen met een onzekerheidsstraal ( $\sigma$ ).
- Map Registration: Lijn de planningskaart uit tegen een nationale basiskaart (OS Open Zoomstack) met behulp van feature matching (MINIMA-LoFTR) en RANSAC om een affine transformatie aan te passen. Deze stap bevat een sliding-window zoekopdracht om de grove locatie te verfijnen.
- Boundary Segmentation: Gebruikt SAM 3 (Segment Anything Model) fijn afgestemd met LoRA (Low-Rank Adaptation) om de grensmaask te segmenteren van de geregistreerde kaartafbeelding.
- Projectie: Projecteert de gesegmenteerde mask in WGS84-coördinaten met behulp van de affine transformatie afgeleid van de registratie, wat een kandidaat-GeoJSON oplevert.
- Commit Logic: Besluit of een kandidaat wordt geaccepteerd op basis van RANSAC-inlier-tellingen, schaalconsistentie en overeenstemming van plaatsnamen.
Critic Agent (Optioneel): Voert een tweede visuele verificatie uit op de top-3 kandidaten, waarbij de planningskaart wordt vergeleken met de basiskaart om goedkeuring, wisseling of het triggeren van een her-lokalisatie te bepalen.

Het systeem is geïmplementeerd met pydantic-ai en gebruikt standaard Gemini 3 Flash voor LLM-aanroepen om reproduceerbaarheid te garanderen.

Belangrijkste Bijdragen

Het artikel introduceert vier primaire bijdragen:

Plan2Map Benchmark: Een handmatig samengestelde dataset van 208 Britse Article 4 Direction-records. Elk geval koppelt een bron-plannings-PDF aan een geverifieerde referentie GeoJSON-grens en een locatie-kaartvisualisatie. De dataset beslaat de periode 1958–2025 en dekt uiteenlopende documentkwaliteiten, grensvormen (van eenvoudige rechthoeken tot complexe multi-part geometrieën) en 29 lokale planningsautoriteiten.
Taakdefinitie en Protocol: Een formele definitie van de reconstructietaken waarbij het systeem alleen het brondocument ontvangt, terwijl de referentie GeoJSON buiten beschouwing wordt gelaten voor scoring. Evaluatiemetrieken omvatten Intersection-over-Union (IoU), zwaartepuntfout en kosten.
GeoPlanAgent Systeem: Een modulaire, op decompositie gebaseerde architectuur die documentlezing, lokalisatie, kaartregistratie en grensextractie scheidt. Dit ontwerp maakt gerichte diagnose van foutmodi mogelijk.
Diagnostische Analyse: Een empirische studie die aantoont dat directe VLM-naar-GeoJSON voorspelling onbetrouwbaar is voor deze taak, terwijl specifieke componenten (zoals supervised boundary segmentatie en tool-ondersteunde geocoding) cruciaal zijn voor succes.

Experimentele Resultaten

Geëvalueerd op de volledige benchmark van 208 gevallen, bereikt GeoPlanAgent:

0.736 Gemiddelde IoU en 0.904 Mediaan IoU.
67,8% van de voorspellingen bereikt een IoU $\ge$ 0,8.
Een mediaan zwaartepuntfout van 4,6 meter.
78,8% van de gevallen heeft een zwaartepuntfout binnen 10% van de grensdiameter (Acc@0.1D).

In contrast hiermee presteren directe VLM-baselines (bijv. Gemini-3.1-Pro, GPT-5.5-Pro) die end-to-end voorspellingen doen zonder tools, aanzienlijk slechter:

Gemiddelde IoU varieert van 0,04 tot 0,11.
Geen enkele directe baseline bereikt een IoU $\ge$ 0,8 op enig geval in de gestratificeerde subset.
Zwaartepuntfouten voor directe baselines variëren van 386m tot 1,1km.

Ablatie-studies tonen aan:

Lokalisatie: De door tools ondersteunde Locate sub-agent vermindert de mediane fout naar 176m, terwijl de daaropvolgende kaartregistratiestap dit aanscherpt naar 5m (een 38x verbetering).
Segmentatie: Supervised fine-tuning van SAM 3 met LoRA verbetert de gemiddelde pixel IoU met 0,30 ten opzichte van de standaard SAM 3 baseline, wat bevestigt dat grensextractie niet langer de dominante bottleneck is zodra deze is aangepast.
Directe VLM-fout: Zelfs frontier-modellen falen er onbetrouwbaar in om grenzen te traceren of kaarten te lokaliseren in één enkele passage, wat het belang van de decompositie-aanpak onderstreept.

Betekenis en Claims

Het artikel positioneert Plan2Map als een concreet testbed voor multimodale geospatiële reconstructie vanuit publieke planningsdocumenten. De betekenis ligt in:

Praktische Impact: Het adresseren van de "Extract"-initiatief en de noodzaak om legacy planningsrecords om te zetten in gestructureerde digitale data voor digitale planningssystemen.
Methodologische Inzicht: Het aantonen dat voor complexe ruimtelijke taken, decompositie en toolgebruik superieur zijn aan monolithische VLM-generatie. Het artikel stelt dat directe voorspelling onbetrouwbaar blijft, en dat de primaire bottlenecks in huidige systemen lokalisatie en kaartregistratie zijn, en niet enkel het traceren van grenzen.
Schaalbaarheid: Hoewel de huidige benchmark specifiek voor het VK is (door gebruik te maken van rijke open geospatiële infrastructuur zoals OS Open Names), beweren de auteurs dat de agent-architectuur jurisdictie-agnostisch is. Het uitbreiden van het systeem naar andere landen vereist primair het heroriënteren van de geospatiële tools naar lokale equivalenten.

De auteurs concluderen dat Plan2Map en GeoPlanAgent een fundament bieden voor het bestuderen van document-gegronde geospatiële reconstructie, waarbij toekomstig werk gericht is op het verbeteren van robuustheid bij kwalitatief minder goede scans en het afhandelen van gevallen waarin grenzen puur tekstueel worden beschreven zonder visuele kaarten.