What Does CLIP Learn for Regional Geolocalization? Probing Visual Cues and Scene Configuration After Adaptation

Stel je voor dat je op een straathoek in een uitgestrekte stad staat en kijkt naar een vertrouwde rij huizen, een specifiek type boom en de manier waarop het licht op het wegdek valt. Voor een mens lijken deze details misschien generiek, maar ze bevatten het geheim van precies waar je bent. Voor computers is het echter een diepgaande uitdaging om twee buurten te onderscheiden die bijna identiek lijken. Dit is de kern van visuele geolocatie, een vakgebied binnen kunstmatige intelligentie dat probeert te achterhalen waar een foto is genomen door enkel naar de pixels te kijken. Hoewel moderne systemen behoorlijk goed zijn geworden in het identificeren van brede locaties, zoals het verschil tussen een tropisch eiland en een besneeuwde berg, struikelen ze vaak wanneer ze gevraagd wordt specifieke districten binnen hetzelfde stedelijke gebied aan te wijzen. De vraag die onderzoekers al lang stellen, is of deze computersystemen kunnen leren om de subtiele verschillen tussen nabijgelegen plaatsen te zien, en zo ja, wat ze precies leren te zien.

Een team onderzoekers aan de University of Southern California zette zich scharpe om dit te beantwoorden door de straten van Los Angeles te bestuderen. Ze verzamelden bijna negen duizend street-view afbeeldingen uit acht verschillende regio's, variërend van de dichte stedelijke kern van Downtown tot de kustvibes van Santa Monica en de groene buitenwijken van Pasadena. Deze gebieden delen hetzelfde klimaat, de algemene architectuur en vaak dezelfde soorten auto's en bomen, wat ze een perfecte test maakt voor fijnmazige discriminatie. De onderzoekers gebruikten een krachtig, vooraf getraind computermodel genaamd CLIP, dat al geleerd had om afbeeldingen te associëren met tekstbeschrijvingen van een enorme hoeveelheid internetdata. Ze wilden weten of dit model, in zijn oorspronkelijke staat, de buurten al uit elkaar kon houden, of dat het getraind moest worden om de fijnere details te zien. Nog belangrijker: als het model beter werd in de taak na training, wilden ze begrijpen op welke nieuwe visuele aanwijzingen het dan vertrouwde. Was het simpelweg het onthouden van de vormen van gebouwen, of leerde het iets complexers over hoe een scène is samengesteld?

De onderzoekers testten het model op verschillende manieren, beginnend met een "zero-shot"-benadering waarbij ze de computer vroegen de locatie te raden zonder specifieke training op Los Angeles-data. In deze ongetrainde staat was het model slechts in ongeveer 39 procent van de gevallen correct, wat nauwelijks beter is dan willekeurig gokken tussen de acht opties. Wanneer ze probeerden het model te verbeteren door het simpelweg te leren de output van zijn bestaande visuele systeem te lezen — zonder te veranderen hoe het de wereld zag — bewoog de prestatie nauwelijks. Echter, toen ze het model toelieten om daadwerkelijk zijn interne visuele verwerking aan te passen, veranderden de resultaten drastisch. Door het model te laten leren van de Los Angeles-afbeeldingen, sprong de nauwkeurigheid naar meer dan 82 procent. Deze enorme verbetering suggereerde dat het geheim van het onderscheid maken tussen deze buurten niet alleen in de ruwe data zat die het model al bezat, maar in hoe het leerde die data te herordenen en te prioriteren door middel van adaptatie.

Om te begrijpen wat het model precies deed wanneer het zoveel beter werd, onderwierpen de onderzoekers de afbeeldingen aan een reeks visuele trucs. Ze verwijderden specifieke elementen zoals tekst op borden, voertuigen, bomen en de lucht om te zien of het model nog steeds zou weten waar het was. Ze maakten de afbeeldingen ook wazig om fijne details te verbergen terwijl de algemene vormen behouden bleven, en ze door meioederden de afbeeldingen door ze in kleine vierkantjes te snijden en te husselen, waardoor de lay-out werd vernietigd terwijl de lokale inhoud intact bleef. De resultaten onthulden een fascinerende nuance. De verbeterde, aangepaste modellen werden veel gevoeliger voor de algehele arrangement van de scène. Wanneer de onderzoekers de lay-out door elkaar haalden, veranderden de aangepaste modellen hun mening over de locatie in bijna 43 procent van de gevallen, terwijl de ongetrainde modellen hun mening slechts in 11 procent van de gevallen veranderden. Dit gaf aan dat de getrainde modellen sterk waren gaan vertrouwen op de intacte structuur van de straatscène — de manier waarop de weg, gebouwen en lucht in elkaar passen — in plaats van alleen een enkel opvallend object te spotten.

Echter, de studie toonde ook aan dat deze gevoeligheid voor structuur niet betekende dat de modellen de visuele details volledig konden negeren. Wanneer de onderzoekers de afbeeldingen wazig maakten om fijne texturen en kleuren te verwijderen, behielden de aangepaste modellen geen hoger percentage van hun oorspronkelijke nauwkeurigheid vergeleken met de ongetrainde modellen. Met andere woorden, hoewel de modellen beter werden in het gebruiken van de lay-out van de scène, waren ze niet in staat om de locatie enkel op basis van de lay-out te raden; ze hadden nog steeds de visuele verschijning van de omgeving nodig. Het verwijderen van omgevingskenmerken zoals vegetatie en de lucht bleef de modellen in verwarring brengen, wat suggereert dat deze brede atmosferische kenmerken cruciaal bleven. De onderzoekers testten het effect van het door elkaar husselen ook op een compleet andere set afbeeldingen, met veelvoorkomende objecten zoals katten en stoelen, en vonden dat het husselen van die afbeeldingen de modellen ook in verwarring bracht. Dit bewees dat de gevoeligheid voor lay-out een algemeen kenmerk was van hoe het model afbeeldingen verwerkte, en geen speciale superkracht die specifiek ontwikkeld was voor het vinden van locaties.

De studie concludeert dat voor een computer om tussen visueel gelijkaardige buurten te kunnen onderscheiden, het de mogelijkheid moet hebben om zijn visuele verwerking aan te passen aan de specifieke omgeving. Deze adaptatie leidt het systeem om meer aandacht te besteden aan de algehele configuratie van de scène, de manier waarop de diverse elementen ten opzichte van elkaar zijn gerangschikt. Dit vervangt echter niet de noodzaak van visuele details. Het systeem leert de wereld niet louter door abstracte vormen te zien; in plaats daarvan leert het een combinatie van de structuur van de scène en de specifieke verschijning ervan. De bevindingen zijn specifief voor deze gecontroleerde setting van nabijgelegen locaties met overlappende uitzichten, wat betekent dat het model leert om te gaan met verschillende hoeken van dezelfde plaatsen, in plaats van geheel nieuwe, verre steden te herkennen. Uiteindelijk laat het onderzoek zien dat hoewel kunstmatige intelligentie kan leren om de subtiele verschillen van een stad te navigeren, dit gebeurt door de arrangement van de straat te verweven met de textuur van de wereld, in plaats van door één enkele magische aanwijzing te vinden.