LMM Modality Transfer: A Pre-requisite for Autonomous GIS Agents

Stel je voor dat je een robot probeert te leren hoe hij een meestercartograaf kan zijn. Je wilt dat deze robot naar een kaart kan kijken, deze perfect in woorden kan beschrijven, en vervolgens, op basis van die woorden alleen, een gloednieuwe kaart kan tekenen die exact op de originele lijkt. Dit is de droom van "autonome GIS-agenten" — slimme computerprogramma's die complexe geografische taken kunnen afhandelen zonder dat een mens hen bij de hand houdt. Om dit te doen, moet de robot vloeiend zijn in twee talen tegelijk: de visuele taal van afbeeldingen (zoals satellietfoto's of kleurrijke kaarten) en de tekstuele taal van beschrijvingen (zoals "het rode vierkant staat linksboven").

Wetenschappers noemen deze superintelligente programma's "Large Multimodal Models" (LMM's). Denk aan ze als digitale breinen die bijna elk boek hebben gelezen en bijna elke afbeelding op het internet hebben gezien. Ze zijn geweldig in chatten en geweldig in het herkennen van wat er op een foto te zien is. Maar hier komt het lastige deel: alleen omdat een robot een afbeelding kan beschrijven en een afbeelding kan herkennen, betekent dit niet dat hij tussen de twee kan vertalen zonder details te verliezen. Het is alsoal een complex Lego-kasteel aan een vriend proberen te beschrijven via de telefoon, en diegene dan te vragen het weer op te bouwen op basis van jouw beschrijving. Als je één detail mist, kan de toren omvallen. Voor een robot om echt zelfstandig in de wereld van de geografie te kunnen werken, moet hij in staat zijn om informatie heen en weer te sturen tussen "zien" en "spreken" zonder ook maar één steen te laten vallen.

Dit artikel stelt die specifieke vaardigheid op de proef. De onderzoekers wilden zien of deze geavanceerde AI-modellen als perfecte vertalers tussen afbeeldingen en tekst kunnen fungeren. Ze zetten een simpel maar lastig spel op: ze lieten een AI een raster van gekleurde vierkantjes zien (zoals een kleine, abstracte kaart) en vroegen het om het patroon in tekst te beschrijven. Daarna namen ze die tekst en voerden die aan een tweede AI, met de vraag om het raster vanaf nul opnieuw te tekenen. Als de AI echt goed is in het begrijpen van ruimte, zou de uiteindelijke tekening identiek moeten zijn aan het origineel.

De resultaten waren echter een beetje een realiteitscheck. De onderzoekers ontdekten dat hoewel deze AI-modellen ongelooflijk slim zijn, ze aanzienlijk moeite hebben met deze "modaliteitsoverdracht". Wanneer de rasters klein en eenvoudig waren (zoals een 5x5-raster met slechts drie kleuren), deed de AI het redelijk goed. Maar zodra de onderzoekers de rasters groter maakten (tot 10x10) of meer kleuren toevoegden (tot vijf), begon de AI te hallucineren. Het zou vergeten waar vierkantjes zouden moeten staan, kleuren door elkaar halen of compleet nieuwe patronen verzinnen die niet in de originele afbeelding bestonden.

De studie suggereert dat voor deze AI-agenten om echt autonoom en betrouwbaar te worden voor taken zoals het analyseren van landgebruik of het plannen van steden, ze eerst veel beter moeten worden in het intact houden van ruimtelijke informatie wanneer ze wisselen tussen zien en spreken. Momenteel raken zelfs de meest geavanceerde modellen van grote technologiebedrijven de weg kwijt wanneer de taak iets complexer wordt, wat bewijst dat de weg naar een volledig zelfrijdende geografische analist nog een lang en kronkelig pad is.