Textual Supervision Enhances Geospatial Representations in Vision-Language Models

Technische Samenvatting: Textuele Supervisie Verbeteren de Geospatiale Representaties in Vision-Language Modellen

Probleemstelling
Geospatiaal begrip is een cruciale maar onderbelichte dimensie in machine learning-systemen, met name voor taken zoals beeldgeolocatie en ruimtelijk redeneren. Hoewel visiemodellen aanzienlijk zijn geëvolueerd door architecturen zoals Vision Transformers (ViT) en zelfgesuperviseerd leren, blijft het onduidelijk in welke mate deze modellen impliciet globale locatiekennis coderen zonder expliciete geospatiale supervisie. Bovendien vertroebelt de opaciteit van opkomende Vision-Language Models (VLM's) de mechanismen waarmee ruimtelijke informatie wordt gecodeerd, wat zorgen oproept over geografische ongelijkheid en onbedoelde generalisatiebiases. Dit werk onderzoekt of visie-alleen architecturen en multimodale foundation-modellen geospatiale representaties internaliseren tijdens hun standaard trainingspipelines en hoe tekstuele supervisie deze capaciteit beïnvloedt.

Methodologie
De auteurs voerden een systematische analyse uit van geospatiale representaties over drie modelfamilies:

1. Vision-only architecturen: Inclusief ViT, ViT Masked Autoencoders (MAE), DINOv2, en Web-SSL modellen.
2. Vision-Language Models (VLM's): Inclusief CLIP, MetaCLIP, LLaVA-1.5, Qwen2.5, en Gemma 3.
3. Grootschalige multimodale foundation-modellen: De intersectie van de bovenstaande categorieën.

De studie maakte gebruik van twee primaire datasets: een subset van 4 miljoen afbeeldingen van YFCC100M (verdeeld in 40 semantische clusters via ongesuperviseerde clustering) en een subset van Google Landmarks (580k afbeeldingen). Om de ruimtelijke bias naar Europa en Noord-Amerika te mitigeren, hanteerden de auteurs een geocel-gebaseerde samplingstrategie om de datasets in balans te brengen.

De kern van de analytische techniek was lineaire probing (ridge regressie) toegepast op laagniveau op de verborgen toestanden van de modellen. De auteurs extraheerden samenvattende token-representaties (bijv. [CLS] of de residuen van de laatste token) van elke laag en trainden regressoren om breedtegraad (latitude) en lengtegraad (longitude) te voorspellen. De prestaties werden gemeten met behulp van de coëfficiënt van determinatie ($R^2$).

Belangrijke experimentele variaties waren onder meer:

• Laag-gewijze analyse: Het onderzoeken van waar geospatiale signalen verschijnen of degraderen over de diepte van het netwerk.
• Textuele prompting: Testen of het verstrekken van een prompt (bijv. "Raad de breedtegraad en lengtegraad...") de propagatie van geospatiale informatie in VLM's verandert.
• Dimensiereductie: Het identificeren van het aandeel latente dimensies dat nodig is om de maximale geospatiale voorspellende kracht te herstellen.
• Representatie-swapping: Interveniëren in de residual stream door de geospatiaal relevante dimensies tussen een bronafbeelding en een doelafbeelding te wisselen om de verandering in de gegenereerde tekst te observeren.
• Evaluatie van downstream-taken: Het finetunen van modellen op een taak voor landherkenning om de probe-prestaties te correleren met praktische bruikbaarheid.

Belangrijkste Bijdragen en Resultaten

1. Textuele Supervisie Versterkt de Geospatiale Structuur: De studie toont aan dat modellen die gezamenlijk op tekst en afbeeldingen zijn getraind, substantieel sterkere geospatiale representaties vertonen dan vision-only modellen. Hoewel vision-only modellen enige capaciteit hebben om geospatiale kenmerken te leren (schalend met modelgrootte, bijv. DINOv2-giant), worden ze consequent overtroffen door kleinere VLM's (bijv. CLIP-base). De gemiddelde $R^2$ voor VLM's overstijgt vaak 0.4, terwijl vision-only modellen doorgaans onder de 0.3 blijven.

2. Laag-gewijze Dynamiek:

   • Vision-only modellen: Geospatiale representaties ontwikkelen zich progressief, waarbij de sterkste signalen worden gevonden in de diepste lagen.
   • VLM's zonder prompts: Geospatiale signalen stagneren of degraderen vaak in de latere lagen van het taalmodel-blok, wat suggereert dat het model ruimtelijke informatie minder prioriteit geeft wanneer er niet expliciet om gevraagd wordt.
   • VLM's met prompts: Het verstrekken van een geospatiale prompt stabiliseert of verhoogt zelfs de $R^2$ in de latere lagen. Zo leidde prompting van Qwen2.5 tot $R^2$-waarden zo hoog als 0.88 voor landmark-afbeeldingen, wat aangeeft dat tekstuele aanwijzingen de ruimtelijke representaties reactiveren en verfijnen.

3. Compacte Geospatiale Codering: Geospatiale informatie is niet uniform verdeeld, maar geconcentreerd in een compact subset van dimensies. De auteurs vonden dat ongeveer 40% van de dimensies (gerangschikt op basis van probe-coëfficiënten) voldoende is om bijna de maximale $R^2$ te herstellen. Voor sommige modellen wordt 90% van de voorspellende prestaties behouden met slechts de top 10% van de kenmerken.

4. Controleerbaarheid via Representatie-swapping: Door de top geospatiale dimensies te wisselen tussen een bronafbeelding (bijv. de Trapieramide van Djoser) en een doelafbeelding (bijv. de Trevifontein), slaagden de auteurs erin de gegenereerde tekst van de VLM te sturen om de doellocatie te reflecteren (bijv. het veranderen van "Saqqara" naar "Rome"), wat aantoont dat deze representaties causaal verbonden zijn met de output van het model.

5. Downstream Bruikbaarheid: Modellen met hogere probe $R^2$-scores (specifiek CLIP en DINOv2) vertoonden superieure prestaties in een gefinetuned taak voor landherkenning, wat de impliciete geospatiale representaties valideert voor downstream-toepassingen.

Betekenis en Claims
Het artikel betoogt dat multimodaal leren een sleutelrichting is voor de vooruitgang van geospatiale AI. De auteurs stellen dat taal fungeert als een effectieve complementaire modaliteit voor het coderen van ruimtelijke context, wat de efficiëntie van het leren van geospatiale representaties aanzienlijk verbetert vergeleken met de schaling van vision-only systemen. Deze bevinding sluit aan bij de "Platonic Representation Hypothesis", die suggereert dat tekstuele supervisie hels helpt bij het laten convergeren van modellen op een robuustere, gedeelde representatie van de wereld.

Het werk benadrukt dat hoewel deze capaciteiten kansen bieden voor toepassingen zoals milieumonitoring en stedelijke planning, ze ook aanzienlijke privacy- en eerlijkheidsrisico's met zich meebrengen. De modellen vertonen ruimtelijke disbalans, waarbij ze slechter presteren in ondervertegenwoordigde regio's (bijv. Zuid-Amerika, Afrika), en hun vermogen om precieze locatiegegevens uit afbeeldingen te extraheren, kan worden misbruikt voor surveillance of stalking. De auteurs concluderen dat de inzet van dergelijke modellen robuuste regelgevende kaders, transparantie en expliciete gebruikersinstemming vereist om veilig en rechtvaardig gebruik te garanderen.