💻 computer science

mapgis2shp: an open-source Python reader for the MapGIS 6.x/67 binary vector formats, validated against the native export

Dit artikel introduceert **mapgis2shp**, een open-source Python-bibliotheek die de niet-gedocumenteerde MapGIS 6.x/67 binaire vectorformaten reverse-engineert om deze om te zetten naar standaard geografische gegevens, waarbij een bijna perfecte validatie wordt bereikt ten opzichte van de natieve export van de propriëtaire software wat betreft geometrie, attributen en coördinatensystemen.

Oorspronkelijke auteurs: Shijie Li, Haiyang He, Xu Sun, Haoyang Qin, Xiaoyu Liu, Yilin Feng, Zengyun Zuo

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shijie Li, Haiyang He, Xu Sun, Haoyang Qin, Xiaoyu Liu, Yilin Feng, Zengyun Zuo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van digitale kaarten voor als een enorme, bruisende bibliotheek waar elk land zijn eigen geheime collectie boeken bewaart. Sommige van deze boeken zijn geschreven in een taal die iedereen kent, zoals Engels of Spaans, zodat iedereen naar binnen kan lopen en ze kan lezen. Maar andere zijn geschreven in een geheime code die alleen de eigenaar van de bibliotheek begrijpt. In de wereld van de geografie is deze "geheime code" een bestandsformaat. Decennialang is een enorme hoeveelheid van de Chinese geologische data—kaarten die rotsen, mineralen en ondergronds water laten zien—opgesloten in een specifiek type digitaal bestand genaamd MapGIS. Deze bestanden zijn als schatkisten die alleen door een specifieke, dure software-sleutel geopend kunnen worden. Als je die sleutel niet hebt, is de data onzichtbaar voor de rest van de wereld, gevangen in een digitale kluis.

Om te begrijpen waarom dit ertoe doet, kun je een "vector" zien als een tekening gemaakt van wiskunde. In plaats van een wazige foto is een vectorkaart een reeks instructies: "Teken een lijn van punt A naar punt B," of "Vul deze cirkel met blauw." Deze instructies zijn ongelooflijk precies en kunnen voor eeuwig worden ingezoomd zonder kwaliteitsverlies. Echter, als de instructies in een geheime taal zijn geschreven, kun je ze niet gebruiken met de moderne, gratis tools die wetenschappers en studenten zo graag gebruiken. Dit artikel pakt het probleem van die vergrendelde bibliotheek aan. Het vraagt: Kunnen we de geheime code ontcijferen zonder de originele sleutel? Kunnen we een nieuwe, open tool bouwen die deze vergrendelde bestanden vertaalt naar een taal die iedereen begrijpt, terwijl we ervoor zorgen dat we niet per ongeluk de vorm van de kaart veranderen of de kostbare details binnenin verliezen?

De auteurs van dit artikel, een team van geologen en softwareontwikkelaars, hebben een nieuwe open-source tool gebouwd genaamd mapgis2shp (die je ook pymapgis kunt noemen als je een programmeur bent). Denk aan deze tool als een combinatie van een meestervertaler en een digitale slotenmaker. Zijn taak is om die vergrendelde MapGIS-bestanden (die eindigen op .wt, .wl en .wp) te nemen en ze om te zetten in een universeel formaat genaamd een Shapefile, die door bijna alle kaartsoftware ter wereld geopend kan worden. Maar het team wilde niet alleen raden hoe de code werkte; ze wilden bewijzen dat ze het goed hadden.

Om dit te doen, voerden ze een enorme "smaaktest" uit. Ze namen 36 echte geologische kaarten uit het veld en haalden deze door hun nieuwe vertaler. Daarna namen ze exact dezelfde kaarten en openden ze deze met de officiële, dure MapGIS-software om te zien hoe de "correcte" versie eruitzag. De resultaten waren verbazingwekkend precies. Voor de 16.874 kenmerken (zoals individuele rotslijnen of mineraalpunten) die ze controleerden, produceerde de nieuwe tool kaarten die geometrisch identiek waren aan de officiële versies. Als je de twee kaarten over elkaar heen zou leggen, zouden ze perfect overeenkomen, met verschillen die zo klein zijn dat ze kleiner zijn dan een enkele pixel op een scherm.

Nog indrukwekkender is dat de nieuwe tool op sommige punten zelfs een beter werk deed dan de officiële software. De officiële software "rondt soms af" bij het opslaan van deze kaarten, waardoor een zeer precieze meting zoals 0,6218423 verandert in een minder precieze 0,62. Het verwijdert ook soms extra spaties in tekst die er oorspronkelijk wel waren. De nieuwe mapgis2shp-tool behoudt echter elke enkele cijfer en elke enkele spatie exact zoals ze in het originele geheime bestand stonden. Het is als een fotokopieermachine die niet alleen de tekst kopieert, maar ook de exacte inktdichtheid en papiertextuur behoudt.

Het team heeft ook een mysterie opgelost dat de officiële software achterlaat: het coördinatensysteem. Stel je een kaart voor zonder kompas of raster; je weet hoe het landschap eruitziet, maar je weet niet precies waar het zich op aarde bevindt. De officiële software vergeet vaak deze "waar"-informatie op te slaan wanneer het bestanden converteert. De nieuwe tool leest echter de geheime codes binnen het bestand om de exacte locatie te achterhalen en voegt een digitaal kompas toe, zodat de kaart weet dat hij op een specifieke plek op aarde hoort.

Om er zeker van te zijn dat dit geen toevalstreffer was met kleine kaarten, testte het team hun tool op een gigantisch bestand van 400 megabyte, met bijna 79.000 kenmerken. Zelfs met deze enorme dataset kwam de nieuwe tool met 99,73% nauwkeurigheid overeen met het dekkingsgebied van de officiële software. De kleine verschillen die bestonden, kwamen door de manier waarop de tool lijnen verbindt om vormen te maken, maar zelfs dan was het daadwerkelijke landoppervlak bijna exact hetzelfde.

Kortom, dit artikel presenteert een tool die een enorme bibliotheek van Chinese geologische data ontsluit, door deze te vertalen van een geheime code naar een taal die iedereen kan lezen. Het opent niet alleen de deur; het zorgt er ook voor dat de schatten binnenin met nog meer zorg worden bewaard dan de oorspronkelijke eigenaar deed. Door deze tool gratis en openbaar beschikbaar te stellen, hebben de auteurs wetenschappers, studenten en nieuwsgierige geesten de mogelijkheid gegeven om eindelijk deze verborgen kaarten te verkennen zonder dat zij de dure sleutel hoeven te kopen, wat de weg vrijmaakt voor nieuwe ontdekkingen en een betere verspreiding van de geheimen van de aarde.

Technische Samenvatting van mapgis2shp: een open-source Python-lezer voor de MapGIS 6.x/67 binaire vectorenformaten

Probleemstelling
MapGIS, ontwikkeld door Zondy Cyber, is het de facto geografische informatiesysteem voor geologische surveys in China. De legacy binaire vectorenformaten (.wt voor punten, .wl voor lijnen en .wp voor polygonen uit de 6.x/67 generatie) zijn echter closed-source en ongedocumenteerd. De leverancier publiceert de on-disk lay-out niet, en het formaat verschilt aanzienlijk van het nieuwere MapGIS K9/10 "open data formaat". Hierdoor kunnen deze bestanden niet worden gelezen door mainstream open-source georuimtelijke tools (inclusief GDAL/OGR, GeoPandas, QGIS en GRASS) zonder propriëtaire software. Dit creëert een data lock-in die reproduceerbare analyse, gegevensdeling en langetermijnarchivering van enorme geologische survey-datasets belemmert. Bestaande open-source lezers missen onafhankelijke validatie tegen de referentie-implementatie, slagen er niet in coördinatenreferentiesystemen (CRS) af te leiden en hebben geen peer review ondergaan.

Methodologie
De auteurs presenteren mapgis2shp (importnaam pymapgis), een open-source (Apache-2.0) Python-bibliotheek die de MapGIS 6.x/67 binaire lay-out reverse-engineert. De implementatie volgt een dunne pipeline-architectuur:

Binaire I/O en Parsing: De lezer decodeert binaire records met behulp van NumPy gestructureerde dtypes in plaats van per veld uitpakken, wat vectorisatie mogelijk maakt. Het parseert de 8-byte magic header, de bestand-identifier en een indextabel van 10 entries.
Data Reconstructie:
- Punten: Extraheert 93-byte records met X/Y-coördinaten als little-endian doubles.
- Lijnen en Polygonen: Parseert 57-byte arc-index records gevolgd door 16-byte XY-coördinatenparen.
- Topologie: Voor polygonen reconstrueert het de topologie vanuit 24-byte records die links/rechts polygon-identifiers bevatten. Bogen worden georiënteerd, in gesloten ringen geketend via endpoint-matching en geclassificeerd als shells of holes. Een ruimtelijke hash en een greedy walk algoritme verminderen de complexiteit van de ringassemblage van $O(n^3)$ naar $O(n)$ .
CRS Inferentie: De lezer extraheert projectie- en ellipsoïde indexcodes van vaste byte-offsets (109 en 110) om een PROJ-string te construeren. Het ondersteunt geografische en geprojecteerde CRS (Transverse Mercator, Albers, Lambert) en ellipsoïden inclusief Krassovsky 1940, Xi'an 1980, WGS84 en CGCS2000.
Output: De pipeline genereert shapely geometrieën en geeft standaard geopandas.GeoDataFrame objecten of ESRI shapefiles terug.
Validatieprotocol: De software werd gevalideerd tegen de officiële MapGIS 6.7 export in twee niveaus:
- Niveau 1: 36 echte geologische survey-lagen (16.874 features) vergeleken op feature-voor-feature basis voor geometrie, schema en attributen.
- Niveau 2: Een 400 MB groot polygoonbestand (78.873 features) vergeleken via geometrische unies en coverage-metrieken, aangezien de officiële export post-processing (dissolving) involueerde wat feature-wijze matching verhinderde.

Belangrijkste Bijdragen
Het artikel claimt drie primaire bijdragen:

Eerste Peer-Reviewed Lezer: Het is de eerste peer-reviewed software-paper gewijd aan een MapGIS 6.x/67 lezer, wat het onderscheidt van eerdere applicatienotities of ongeverifieerde code.
Onafhankelijke Validatie: Het is de eerste lezer die onafhankelijk is gevalideerd tegen de referentie-implementatie (officiële MapGIS export) met gekwantificeerde getrouwheid.
CRS Inferentie: Het is de eerste lezer die de CRS afleidt en koppelt van de binaire bestand-indexcodes, waarmee een kritiek gat wordt gedicht waar native exports vaak de .prj file weglaten.

Resultaten
De validatie leverde de volgende resultaten op:

Niveau 1 (36 Lagen):
- Geometrie: 100% geometrische samenkomst over alle 16.874 features. Punt-afstanden, lijn Hausdorff-afstanden en polygoon Intersection-over-Union (IoU) waren nul binnen een tolerantie van $10^{-7}$ graden.
- Attributen: 99,9995% semantische equivalentie (95.006 vergeleken cellen). De 0,0005% afwijking bestond uit twee floating-point velden waarbij de native export grove afronding uitvoerde (bijv. $6,69 \times 10^{-7}$ vs $1 \times 10^{-6}$ ), terwijl mapgis2shp de volledige double precisie behield.
- CRS: mapgis2shp heeft de CRS succesvol gereconstrueerd (Krassovsky 1940 met towgs84 parameters), terwijl de native export geen .prj file produceerde.
- Data Getrouwheid: mapgis2shp behield de brongegevens getrouwer dan de native export, door het vermijden van lossy truncatie van floating-point velden, integer-formattering van floats en het strippen van string padding.
Niveau 2 (400 MB Bestand):
- Coverage: De coverage IoU was 99,73%.
- Validiteit: mapgis2shp produceerde nul ongeldige geometrieën, vergeleken met drie in de referentie-export.
- Overlap Artefact: Een verschil van 1,66% in de som van de polygoon-oppervlaktes werd waargenomen, toegeschreven aan een heuristische arc-merge overlap bij gedeelde grenzen. Echter, na het uniëren van overlappingen was het werkelijke coverage verschil slechts 0,27%.

Betekenis en Claims
Het artikel positioneert mapgis2shp als een tool die een grote hoeveelheid Chinese geologische survey-data ontsluit voor de open-source Python-stack (GeoPandas, QGIS). De betekenis ligt in:

Reproduceerbaarheid: Het bieden van een gevalideerd, open-source alternatief voor propriëtaire software voor toegang tot data.
Data Integriteit: Het aantonen dat de open-source lezer de brongegevens nauwkeuriger kan behouden dan de eigen export-tools van de leverancier, die fouten in afronding introduceren en metadata (CRS) verliezen.
Methodologische Precedent: Het vestigen van een reproduceerbare validatie-harnas voor reverse-engineered georuimtelijke formaten, wat volgens de auteurs kan worden overgedragen naar andere gesloten wetenschappelijke binaire formaten.

De auteurs verklaren expliciet dat zij geen nieuwheid claimen voor de byte-level specificatie zelf of het concept van shapefile conversie, aangezien dit eerdere techniek (prior art) is. De nieuwheid ligt strikt in de onafhankelijke validatie, CRS inferentie en de reproduceerbare, peer-reviewed aard van de softwarerelease. De tool is read-only en ondersteunt de nieuwere MapGIS K9/10 formaten niet.

Technische Samenvatting van mapgis2shp: een open-source Python-lezer voor de MapGIS 6.x/67 binaire vectorenformaten

Meer zoals dit