Doxing via the Lens: Revealing Location-related Privacy Leakage on Multi-modal Large Reasoning Models

Deze paper onthult dat multi-modale grote redeneringsmodellen (MLRMs) gevoelige locatiegegevens uit afbeeldingen kunnen afleiden, wat een nieuw privacyrisico introduceert dat wordt onderzocht via een nieuw risicokader, het DoxBench-dataset en het GeoMiner-aanvalsframework.

De kern

Titel: De "Doxing" via de Lens: Hoe AI je huisadres kan raden aan een foto

Stel je voor dat je een foto maakt van je ochtendkoffie op je balkon of een selfie in je nieuwe kapsalon. Je deelt deze foto op sociale media om te laten zien hoe je dag begint. Je denkt: "Niemand weet waar ik woon, dit is gewoon een foto."

Maar wat als ik je vertel dat een slimme computer (een AI) naar die foto kan kijken en binnen een seconde je exacte huisadres kan raden? Zelfs als je geen GPS-data hebt gedeeld en je gezicht is niet herkenbaar?

Dit is precies wat deze nieuwe studie, gepresenteerd op een groot AI-congres (ICLR 2026), ontdekt heeft. Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen.

1. De Nieuwe "Super-Detective" AI

Vroeger konden computers alleen zeggen: "Dit is een hond" of "Dit is een auto". Maar de nieuwe generatie AI-modellen (zoals de slimste versies van ChatGPT, Claude en Google Gemini) is veranderd in een super-detective.

Stel je voor dat deze AI een detective is die niet alleen naar de foto kijkt, maar ook een enorme kennisbank in zijn hoofd heeft. Hij ziet een bepaald type dakgoot, een specifieke kleur van de straatverlichting, een rare vorm van een vuilnisbak of de manier waarop de bomen groeien. Hij combineert deze kleine details met zijn kennis over de wereld en zegt: "Aha! Dit dak, die bomen en dat bordje komen alleen voor in een specifieke straat in San Diego!"

2. Het Gevaar: "Doxing" zonder dat je het merkt

De term "doxing" betekent dat iemand je privé-informatie (zoals je adres) openbaar maakt. Normaal gesproken moet je daarvoor veel werk doen of hackers zijn.

Deze studie toont aan dat deze AI's dit nu makkelijker maken dan voor een gemiddelde mens.

• Het probleem: Als je een selfie maakt in je slaapkamer, ziet de AI misschien een raamkozijn dat typisch is voor jouw wijk, of een spiegel die een stukje van de straat buiten reflecteert.
• Het resultaat: De AI kan je huisadres raden, zelfs als je dat niet wilt delen. Dit is als een dief die door je raam kijkt en niet alleen ziet dat je thuis bent, maar ook precies weet welk huisnummer je hebt.

3. De "DoxBench": Een Test met 500 Foto's

Om dit te bewijzen, hebben de onderzoekers een speciale test gemaakt genaamd DOXBENCH.

• Ze hebben 500 echte foto's gemaakt (geen oude internetfoto's, maar nieuwe foto's van huizen, tuinen en selfies in Californië).
• Ze hebben deze foto's in drie categorieën ingedeeld, zoals een risico-schaal:
  1. Laag risico: Een foto van een toeristische plek (iedereen kan daar zijn).
  2. Middel risico: Een foto van je huis, maar zonder mensen erop (je huis is herkenbaar, maar je bent niet direct in beeld).
  3. Hoog risico: Een selfie in je eigen huis of tuin (je gezicht én je huis zijn zichtbaar). Dit is het gevaarlijkst.

Ze hebben 13 verschillende AI-modellen getest met deze foto's. Het resultaat? De meeste AI's waren beter in het raden van je adres dan een gemiddelde mens die geen expert is. Sommige AI's konden zelfs het huisnummer raden!

4. Waarom lukt dit? Twee Sleutelfactoren

De onderzoekers ontdekten waarom deze AI's zo goed zijn in het raden van locaties:

1. Ze zijn slim in het vinden van "knooppunten": Ze kijken niet alleen naar het grote plaatje, maar naar de kleine details (zoals een specifiek type straatbordje of een uniek hekwerk) en koppelen die aan hun kennis.
2. Ze hebben geen "privacy-scherm": Deze AI's zijn zo ontworpen om zo goed mogelijk te antwoorden, dat ze geen rem hebben om te stoppen met het gebruik van privé-informatie. Ze denken niet: "Oh, dit is een privéadres, ik mag dat niet zeggen." Ze denken alleen: "Ik heb genoeg info om het antwoord te geven."

5. De "GeoMiner": Een Hackers-tool

Om te laten zien hoe gevaarlijk dit is, hebben de onderzoekers een tool bedacht genaamd GEOMINER.
Stel je voor dat een hacker niet alleen een AI gebruikt, maar twee AI's laat samenwerken:

• AI 1 (De Verkenner): Kijkt naar de foto en zegt: "Ik zie een blauwe vuilnisbak en een specifiek type boom."
• AI 2 (De Detective): Kijkt naar die informatie en zegt: "Ah, die combinatie komt alleen voor in deze straat!"

Door deze samenwerking wordt het raden van je adres nog makkelijker en nauwkeuriger. Het laat zien dat zelfs als je denkt dat je veilig bent, een slimme combinatie van tools je privacy kan doorbreken.

6. Wat kun je eraan doen? (En wat niet)

De onderzoekers hebben gekeken of je de foto's kunt "veilig" maken, bijvoorbeeld door ze wazig te maken of ruis toe te voegen.

• Het probleem: Het werkt niet goed genoeg. Als je de foto wazig maakt, ziet de AI misschien nog steeds de vorm van het huis of de bomen. Als je te veel ruis toevoegt, is de foto voor mensen ook niet meer te gebruiken.
• De conclusie: Er is nog geen perfecte oplossing. De huidige "veiligheidsfilters" in AI's werken niet goed genoeg om dit soort privacy-lekken te stoppen.

Samenvatting in één zin

Deze studie waarschuwt dat de nieuwe, super-slimme AI's zo goed zijn in het analyseren van kleine details op foto's, dat ze je huisadres kunnen raden zonder dat je het merkt, en dat we nu dringend nieuwe regels en technologie nodig hebben om onze privacy te beschermen tegen deze "digitale detectives".

Kortom: Denk er goed over na voordat je een foto deelt. Wat voor jou een mooi plaatje is, kan voor een AI een landkaart zijn die direct naar je voordeur leidt.

Technische samenvatting

Probleemstelling

Recente vooruitgang in Multi-Modale Grote Redeneringsmodellen (MLRMs), zoals OpenAI O3 en andere geavanceerde MLLMs, heeft hun vermogen om complexe visuele inhoud te interpreteren aanzienlijk verbeterd. Hoewel deze modellen indrukwekkende redeneercapaciteiten bezitten, introduceren ze een nieuw en onderbelicht privacyrisico: locatiegerelateerde privacylekken.

De kern van het probleem is dat kwaadwillenden (aanvallers) gevoelige geografische informatie, zoals het thuisadres of de buurt van een gebruiker, kunnen afleiden uit door gebruikers gegenereerde afbeeldingen, inclusief selfies in privéomgevingen. Dit gebeurt zonder dat de aanvaler toegang heeft tot aanvullende informatie (zoals IP-adressen of GPS-metadaten). De modellen gebruiken subtiele visuele aanwijzingen in de achtergrond (bijv. architectuur, straatborden, vegetatie) gecombineerd met hun interne wereldkennis om nauwkeurige locatievoorspellingen te doen. Dit verlaagt de drempel voor niet-experts om gevoelige locatiegegevens te achterhalen, wat leidt tot zowel individuele risico's (tijdelijke blootstelling van routines) als huishoudelijke risico's (permanente blootstelling van het adres).

Methodologie

De auteurs hebben een systematische studie uitgevoerd bestaande uit vier hoofdblokken:

1. DOXBENCH (Dataset):

   • Er is een nieuw benchmark-dataset ontwikkeld genaamd DOXBENCH, bestaande uit 500 hoogwaardige, realistische afbeeldingen verzameld in Californië.
   • De dataset simuleert sociale media-content en omvat privacygevoelige scenario's in privéwoningen en persoonlijke ruimtes.
   • Afbeeldingen zijn handmatig geannoteerd met EXIF-metadata (GPS-coördinaten) en ingedeeld in een drie-niveau privacyrisicoframework:
     • Niveau 1 (Laag): Persoonlijke beelden buiten privéruimtes (bijv. toeristische attracties). Risico: Tijdelijk.
     • Niveau 2 (Middel): Beelden in privéruimtes zonder individuen (bijv. een lege kamer of tuin). Risico: Permanente blootstelling van huiselijke routines.
     • Niveau 3 (Hoog): Persoonlijke beelden in privéruimtes (bijv. selfies in de slaapkamer). Risico: Combinatie van individuele en huishoudelijke risico's.
   • Een speciale categorie "Mirror" is toegevoegd voor beelden waar locatie-informatie via reflecties (bijv. in auto's of ramen) zichtbaar is.

2. Evaluatiemetrics:

   • VRR (Verifiable Response Rate): Het percentage antwoorden dat een verifieerbaar adresformat oplevert.
   • Error Distance: De geografische afstand tussen de voorspelling en de werkelijke locatie (gemiddeld en mediaan).
   • GLARE (Geolocation Leakage And Risk Estimate): Een nieuwe, informatie-theoretische metric (gemeten in bits) die de frequentie van antwoorden (VRR) en de nauwkeurigheid (foutafstand) combineert tot één maatstaf voor het totale privacyrisico.
   • CCPA Accuracy: Het percentage voorspellingen dat binnen de straal van "precieze geografische locatie" (563,88 meter) valt, zoals gedefinieerd door de California Consumer Privacy Act.

3. Analyse van Oorzaken (CLUEMINER):

   • De auteurs introduceerden CLUEMINER, een tool om te analyseren welke visuele aanwijzingen modellen gebruiken.
   • Door Chain-of-Thought (CoT) prompting te gebruiken, werden de redeneringsstappen van de modellen geëxtraheerd en gekategoriseerd.
   • Dit onthulde dat modellen sterk vertrouwen op gevoelige visuele aanwijzingen (zoals kentekenpatronen, straatnaamborden en afvalbeheerinfrastructuur) zonder ingebouwde mechanismen om deze privacygevoelige informatie te onderdrukken.

4. Aanvalssimulatie (GEOMINER):

   • GEOMINER is een collaboratief aanvalsframework dat twee modellen simuleert: een "Detector" die visuele aanwijzingen uit een afbeelding haalt en een "Analyzer" die deze aanwijzingen gebruikt voor een nauwkeurigere locatievoorspelling.
   • Dit imiteert een realistisch scenario waarbij een aanvaler een expert (het AI-model) helpt door contextuele hints te geven, waardoor de nauwkeurigheid verder stijgt.

Belangrijkste Resultaten

• Superieure prestaties t.o.v. mensen: De geteste MLRMs (waaronder GPT-5, OpenAI O3, Gemini 2.5 Pro) presteerden significant beter dan niet-expert mensen (gebaseerd op Amazon Mechanical Turk) bij het afleiden van locaties.
  • Bijvoorbeeld: GPT-5 bereikte een CCPA-nauwkeurigheid van 22,03% (Top-3), terwijl niet-experts slechts rond de 6% zaten.
  • De GLARE-waarden voor MLRMs lagen aanzienlijk hoger dan die van mensen (bijv. 1.987 bits voor Gemini 2.5 Pro vs. 1.309 bits voor mensen), wat aangeeft dat de modellen de onzekerheid van een aanvaler over de locatie van de fotograaf veel effectiever reduceren.
• Gevoeligheid voor Privacy-niveaus: De prestaties nemen af naarmate het privacyrisico toeneemt (van L1 naar L3), maar zelfs bij de moeilijkste niveaus (L3 en Mirror) behalen de modellen nog steeds aanzienlijke nauwkeurigheid.
• Invloed van Tools: Modellen die toegang hebben tot externe tools (zoals internetzoekopdrachten en zoomfuncties, zoals bij OpenAI O3) tonen een nog grotere privacylek, met een GLARE-stijging van bijna 50% ten opzichte van versies zonder tools.
• Ontbrekende Defensie: Bestaande defensiemethoden bleken onvoldoende:
  • LLaMA Guard 4: Classificeerde alle inputs als veilig en detecteerde geen privacylekken.
  • Vervaging (Blurring): Verwijdert wel prominente aanwijzingen, maar laat alternatieve visuele paden over; de effectiviteit is beperkt.
  • Prompt-based Defense: Leidt vaak tot over-defensie (weigert ook veilige vragen) of onder-defensie.
  • Gaussian Noise: Werkt inconsistent; bij gematigde ruis blijven sommige modellen gevoelig, en bij hoge ruis daalt de beeldkwaliteit te veel voor bruikbaarheid.

Bijdragen

1. DOXBENCH: De eerste gestructureerde dataset en benchmark specifiek ontworpen om locatiegerelateerde privacylekken in MLRMs te evalueren, inclusief een juridisch onderbouwd risicoframework.
2. GLARE: Een nieuwe, robuuste metric om de omvang van privacylekken kwantitatief te meten, die zowel de kans op een antwoord als de nauwkeurigheid daarvan combineert.
3. Oorzakenanalyse: Identificatie van twee hoofdoorzaken: (1) het sterke vermogen van modellen tot "clue-based reasoning" (gebaseerd op visuele aanwijzingen) en (2) het ontbreken van privacy-uitgelijnde mechanismen om het gebruik van gevoelige aanwijzingen te voorkomen.
4. Tools (CLUEMINER & GEOMINER): Praktische tools om de redeneringspaden van modellen te analyseren en real-world aanvalsscenario's te simuleren en te versterken.

Betekenis en Conclusie

De studie concludeert dat MLRMs een ernstig en onderbelicht risico vormen voor de locatieprivacy van gebruikers. Het vermogen van deze modellen om complexe visuele aanwijzingen te integreren met wereldkennis maakt het mogelijk om zelfs uit alledaagse, "onschuldige" foto's (zoals selfies of vakantiefoto's) nauwkeurige adressen af te leiden.

De drempel voor aanvallers is aanzienlijk verlaagd; wat vroeger specialistische kennis vereiste, kan nu worden gedaan met geavanceerde AI-tools. De huidige defensiestrategieën zijn ontoereikend, wat wijst op een dringende noodzaak voor de AI-community om inference-time privacyrisico's opnieuw te beoordelen en nieuwe, effectievere veiligheidsmechanismen te ontwikkelen die specifiek gericht zijn op het onderdrukken van het gebruik van privacygevoelige visuele aanwijzingen zonder de bruikbaarheid van het model te vernietigen.