💻 computer science

Object-Level Explanations for Image Geolocation Models: a GeoGuessr use-case

Dit artikel stelt een objectgerichte analysepijplijn voor die attributiekarten decomposeert in interpreteerbare, objectachtige elementen om aan te tonen dat geolokalisatiemodellen voor hun voorspellingen vertrouwen op specifieke visuele aanwijzingen in plaats van diffuse gebieden.

Oorspronkelijke auteurs: Emilie Durrieu, Christophe Hurter, Philippe Muller, Victor Boutin

Gepubliceerd 2026-05-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Emilie Durrieu, Christophe Hurter, Philippe Muller, Victor Boutin

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een spel speelt zoals GeoGuessr, waarbij je naar een foto van een straat kijkt en moet raden in welk land deze zich bevindt. Als mens staar je niet naar het hele plaatje; je spot specifieke aanwijzingen. Je ziet misschien een bepaald type wegbord, de kleur van de vegetatie of de stijl van een gebouw. Je gebruikt deze concrete "objecten" om je gok te doen.

Maar hoe doen computerprogramma's (AI) dit? Kijken ze naar dezelfde aanwijzingen, of raden ze gewoon op basis van wazige, willekeurige patronen?

Dit artikel probeert die vraag te beantwoorden door een speciale "detective-pijplijn" te bouwen om te zien waar de AI eigenlijk naar kijkt.

Het Probleem: De "Wazige Visie" van de AI

Meestal gebruiken we, wanneer we proberen te zien waar een AI over nadenkt, hulpmiddelen die een diffuse, wazige vlek op de afbeelding markeren. Het is alsof je door een mistig raam naar een foto kijkt waarbij een groot, onduidelijk gebied oplicht. We weten dat de AI daar ergens naar kijkt, maar we kunnen niet zeggen of het naar een specifieke auto, een verkeersbord of gewoon de algemene kleur van de lucht kijkt. Het is moeilijk die wazige vlek te verbinden met een echt, herkenbaar object.

De Oplossing: De Afbeelding Snijden in "Objectpuzzels"

De auteurs hebben een nieuwe methode ontwikkeld om die wazige vlek om te zetten in duidelijke, afzonderlijke stukken, alsof je een puzzel in losse stukken snijdt. Hier is hoe ze dit stap voor stap deden:

Zoek de Hotspots: Eerst gebruikten ze een standaard hulpmiddel (zoals Grad-CAM) om de "hotspots" op de afbeelding te vinden waar de AI de meeste aandacht besteedt. Denk hierbij aan de AI die een zaklamp richt op de belangrijkste delen van de foto.
Snijd in Stukken: Vervolgens namen ze die door de zaklamp verlichte gebieden en gebruikten ze een "segmentatie"-hulpmiddel (een digitale snijder) om ze op te splitsen in object-achtige brokken. In plaats van één grote, oplichtende vlek hebben ze nu losse stukken die eruitzien als een auto, een muur of een bord.
Beoordeel de Stukken: Ze gaven elk stuk een score op basis van hoe sterk het overlapte met de "hotspot" van de AI. De stukken die het beste overeenkwamen met de aandacht van de AI, werden behouden.
De "Smaaktest" (Verwijderen & Invoegen): Dit is het belangrijkste deel. Om te zien of deze stukken echt belangrijk zijn, voerden ze twee tests uit:
- De Verwijderingstest: Ze namen de specifieke "objectstukken" die de AI leuk vond en wisden ze uit de foto. Als de AI plotseling in de war raakte en het land niet meer kon raden, bewees dit dat die stukken cruciaal waren.
- De Invoegtest: Ze namen alleen die specifieke "objectstukken" en plaatsten ze op een lege achtergrond, waarbij ze de rest van de foto verborgen. Als de AI het land nog steeds correct kon raden op basis van slechts deze paar stukken, bewees dit dat ze alle noodzakelijke informatie bevatten.

Wat Ze Vonden

Ze testten dit op foto's uit Frankrijk, India en Japan.

Het Resultaat: Toen ze hun "objectstukken" gebruikten, presteerde de AI veel beter dan wanneer ze gewoon willekeurige stukken van de afbeelding kochten.
De Analogie: Stel je voor dat je probeert een liedje te raden door te luisteren naar een willekeurige 5-seconden clip versus het luisteren naar het specifieke refrein. De "objectstukken" waren als het refrein – ze bevatten de echte melodie die de AI nodig had om zijn gok te doen.
De Aanwijzingen: De stukken waarop de AI zich richtte, waren inderdaad herkenbare dingen: auto's, wegmarkeringen, verkeersborden en muren. Dit suggereert dat de AI niet zomaar willekeurig raadt; het kijkt daadwerkelijk naar concrete, mensachtige aanwijzingen.

De Haken en Ogen

De methode is niet perfect. Soms snijdt de "digitale snijder" dingen een beetje raar door, waardoor stukken ontstaan die een beetje rommelig zijn of te veel overlappen. Ook hebben ze dit alleen getest op drie landen, dus we weten nog niet of het overal werkt.

De Conclusie

Dit artikel laat zien dat we de "wazige" uitleggen van AI kunnen hakken in echte, begrijpelijke objecten. Door dit te doen, kunnen we bewijzen dat geolocatieve AI eigenlijk kijkt naar hetzelfde soort visuele aanwijzingen (zoals borden en auto's) die mensen gebruiken om de puzzel op te lossen, in plaats van gewoon te raden op basis van onzichtbare patronen. Het is een stap in de richting van het maken van AI die zijn redenering op een manier uitlegt die voor ons zinvol is.

Technische Samenvatting: Object-niveau Verklaringen voor Beeldgeolocatiemodellen

Probleemstelling
Beeldgeolocatiemodellen, die de opnamelocatie van een afbeelding voorspellen op basis van visuele inhoud, hebben met diep leren hoge prestaties behaald. Het begrijpen van het specifieke visuele bewijs dat deze voorspellingen stuurt, blijft echter een uitdaging. Waar mensen in spellen zoals GeoGuessr vertrouwen op concrete aanwijzingen op objectniveau (bijvoorbeeld verkeersborden, vegetatie, architectonische details), produceren standaard attributiemethoden (zoals Grad-CAM) doorgaans diffuse, overlappende warmtekaarten. Deze kaarten benadrukken brede gebieden in plaats van coherente visuele entiteiten, waardoor het moeilijk is om modelbeslissingen te koppelen aan specifieke, interpreteerbare objecten of waarneembare patronen. Deze kloof beperkt het vermogen om geolocatiemodellen te interpreteren, te vertrouwen en te analyseren met een granulariteit op conceptniveau.

Methodologie
De auteurs stellen een objectgerichte analysepijplijn voor om attributiekaarten te ontleden in discrete, objectachtige elementen en hun voorspellende relevantie te evalueren. De methodologie bestaat uit drie hoofdfasen:

Modeltraining en Attributie: Een Convolutional Neural Network (ResNet50) wordt getraind voor landclassificatie. Attributiekaarten worden gegenereerd met behulp van op gradiënten gebaseerde en op scores gebaseerde methoden (Grad-CAM, Grad-CAM++, SmoothGrad, Score-CAM) om saliente regio's te identificeren die van invloed zijn op de voorspelling. Deze kaarten worden gethresholdd om de top- $p$ percentiel van pixels te behouden, waardoor "attributiegeleide regio's" ontstaan.
Objectextractie: Binnen deze saliente regio's wordt een segmentatiemodel (specifiek varianten van het Segment Anything Model: MobileSAM, SAM2 en SAM3) gebruikt om discrete visuele elementen te extraheren. Deze elementen krijgen geen semantische labels, maar worden behandeld als waarneembare eenheden (bijvoorbeeld een auto, een bord).
- Scoretoekenning: Elk kandidaat-segment wordt gescoord op basis van de overlap met hoog-saliente pixels, de gemiddelde attributiewaarde en de attributiewaarde in het geometrische centrum.
- Filtering: Segmenten onder een relevantiedrempel worden verworpen. Overlappende segmenten worden gefilterd met een op opsluiting gebaseerd Intersection over Union (IoU)-criterium om bijna-duplicaten te verwijderen terwijl kleine details behouden blijven.
- Output: De overgebleven segmenten worden omgezet in rechthoekige omhullende dozen met lichte opvulling om context te behouden.
Betrouwbaarheidsevaluatie: De voorspellende relevantie van deze geëxtraheerde elementen wordt getest tegen willekeurig geselecteerde regio's met vergelijkbare dekking, gebruikmakend van twee standaard XAI-metrics:
- Verwijderingstest: De geëxtraheerde crops worden verduisterd in de originele afbeelding. Een significante daling van de classificatieprecisie geeft aan dat de verwijderde regio's kritieke informatie bevatten.
- Invoegingstest: Alleen de geëxtraheerde crops worden behouden terwijl de rest van de afbeelding wordt gemaskeerd. Een hoge behouden precisie geeft aan dat de crops voldoende voorspellende informatie bevatten.

Belangrijkste Bijdragen

Objectgerichte Pijplijn: Het artikel introduceert een post-hoc raamwerk dat de kloof overbrugt tussen diffuse attributiekaarten op pixelniveau en gelokaliseerde, objectachtige visuele bewijzen, zonder vooraf gedefinieerde concepten te vereisen of de onderliggende classifier te wijzigen.
Kwantitatieve Validatie: De studie biedt een rigoureuze evaluatie die aantoont dat attributiegeleide crops consistent meer voorspellende informatie behouden dan willekeurige crops van vergelijkbare grootte.
Segmentatieanalyse: Het werk onderzoekt de impact van segmentatiekwaliteit op interpreteerbaarheid en toont aan dat de keuze van het segmentatiemodel (bijvoorbeeld SAM3 versus SAM2) de dekking en effectiviteit van de geëxtraheerde aanwijzingen significant beïnvloedt.

Resultaten
Experimenten werden uitgevoerd op een benchmark bestaande uit afbeeldingen uit drie landen: Frankrijk, India en Japan (met gebruikmaking van de OSV-5M dataset).

Voorspellende Relevantie: In alle geteste configuraties presteerden attributiegeleide crops beter dan willekeurige baselines. Bij verwijderingstests veroorzaakte het verduisteren van deze regio's een grotere daling van de precisie, en bij invoegingstests behielden ze aanzienlijk meer voorspellende informatie.
Methodevergelijking:
- Attributiemethoden: Grad-CAM++ en andere op gradiënten gebaseerde methoden leverden effectieve salientiekaarten voor het sturen van de extractie.
- Segmentatiemodellen: SAM3, dat een hoger aantal segmenten genereert, behaalde sterkere resultaten in zowel ablatie-instellingen vergeleken met SAM2 en MobileSAM. De auteurs merken op dat SAM2 slecht presteerde in verwijderingstests, waarschijnlijk vanwege het genereren van te weinig segmenten, wat resulteerde in onvoldoende ruimtelijke dekking om betekenisvolle informatie te verwijderen.
Kwalitatieve Bevindingen: De geëxtraheerde elementen omvatten diverse visuele patronen zoals voertuigen, muren, verkeersborden en wegmarkeringen. De auteurs erkennen echter beperkingen, waarbij ze opmerken dat sommige geëxtraheerde elementen overlappen, alleen overeenkomen met delen van grotere structuren, of amorf blijven vanwege segmentatiebeperkingen.

Betekenis en Beweringen
Het artikel beweert dat attributiekaarten in geolocatiemodellen gelokaliseerd bewijs bevatten dat zinvol kan worden ontbonden in waarneembare visuele regio's. Dit suggereert dat modelvoorspellingen kunnen worden teruggevoerd naar specifieke aanwijzingen op objectniveau, vergelijkbaar met die welke door mensen worden gebruikt. De auteurs positioneren dit werk als een stap richting objectniveau-interpreteerbaarheid en conceptgebaseerde verklaringen in beeldgeolocatie.

De auteurs blijven bescheiden wat betreft de reikwijdte van hun bevindingen. Zij erkennen dat de geëxtraheerde elementen benaderend zijn en mogelijk te sterk zijn gesegmenteerd. Bovendien is de evaluatie beperkt tot een instelling met drie landen zonder aanvullende baselines. Er wordt voorgesteld om het raamwerk in toekomstig werk uit te breiden naar grotere, fijnkorrelige benchmarks en menselijke evaluatie op te nemen om de overeenstemming met menselijke redenering in geolocatietaken te verifiëren.