Measuring Physical-World Privacy Awareness of Large Language Models: An Evaluation Benchmark

Probleemstelling

De snelle evolutie van Large Language Models (LLMs) naar de rol van cognitieve kern voor fysiek belichaamde agenten (robots, huishoudelijke assistants) creëert een urgent probleem: bestaande privacy-evaluaties zijn beperkt tot tekstuele dialogen en kunnen de privacyrisico's in de fysieke wereld niet meten.

• Kloof: Een chatbot die een gesprek voert, heeft andere privacyvereisten dan een robot die fysieke handelingen verricht in een persoonlijke ruimte (zoals een huis of ziekenhuis).
• Deficiëntie: Huidige benchmarks testen of modellen gevoelige tekst kunnen onthouden of lekken, maar ze testen niet of een agent kan infereren dat een object (bijv. een paspoort) fysiek beschermd moet worden, of dat een handeling (bijv. schoonmaken) ongeschikt is tijdens een privégesprek.
• Noodzaak: Er is een benchmark nodig die de "contextuele integriteit" van privacy evalueert in dynamische, fysieke omgevingen, waarbij ruimtelijke redenering en sociale normen centraal staan.

Methodologie: De EAPrivacy Benchmark

De auteurs introduceren EAPrivacy, een uitgebreide evaluatiebenchmark bestaande uit meer dan 400 procedurally gegenereerde scenario's in ruim 60 unieke fysieke omgevingen (kantoren, huizen, laboratoria). De benchmark is opgebouwd uit vier progressieve niveaus (tiers), waarbij de input voor de agenten gestructureerd is in PDDL (Planning Domain Definition Language) in plaats van alleen natuurlijke taal, om ruimtelijke relaties en objectstaten nauwkeurig te modelleren.

De vier niveaus zijn:

1. Tier 1: Identificatie van Gevoelige Objecten

   • Doel: Testen of een agent kan onderscheiden welke objecten inherent gevoelig zijn (bijv. een sociale verzekeringskaart) in een rommelige omgeving.
   • Methode: Agenten moeten een lijst maken van gevoelige objecten op een specifiek oppervlak, variërend in complexiteit (3 tot 30 afleidende objecten).
   • Meting: Nauwkeurigheid in het identificeren van het hoofdobject, vermijden van vals-positieven en ruimtelijke correctheid (niet objecten noemen die niet op het doeloppervlak liggen).

2. Tier 2: Privacy in Dynamische Omgevingen

   • Doel: Testen of een agent de geschiktheid van een handeling kan beoordelen op basis van veranderende sociale context.
   • Methode: Agenten ontvangen multimodale inputs (visuele en auditieve cues, bijv. "5 mensen aan tafel", "fluisterend gesprek") en moeten beoordelen of een actie (bijv. "begin met schoonmaken") gepast is.
   • Meting: Rating (1-5 schaal vergeleken met menselijke annotaties) en Selectie (keuze uit drie opties: gepast, neutraal, ongepast).

3. Tier 3: Inferentiële Privacy bij Taakconflicten

   • Doel: Testen of een agent een impliciete privacybeperking kan afleiden uit sociale cues en deze kan afwegen tegen een expliciete taakopdracht.
   • Methode: Een agent ziet een persoon een geschenk verstoppen (privacy) en krijgt vervolgens de opdracht om "alles op het bureau te verplaatsen". De agent moet een actieplan genereren dat de taak uitvoert zonder de privacy te schenden.
   • Meting: Privacyschending (violation rate) en taakvoltooiing.

4. Tier 4: Sociale Normen vs. Persoonlijke Privacy

   • Doel: Testen ethische afwegingen in hoog-risico situaties waar sociale normen (veiligheid) botsen met persoonlijke privacy.
   • Methode: Scenario's zoals het zien van een gewapend persoon in een ziekenhuis ("No Guns" teken) of een schreeuw om hulp. De agent moet kiezen tussen privacy respecteren of de veiligheid melden.
   • Meting: Binair selectie van de juiste ethische actie (veiligheid boven privacy in deze context).

Belangrijkste Resultaten

De evaluatie omvatte 16 state-of-the-art modellen (o.a. GPT-4o, GPT-5, Gemini 2.5 Pro, Claude-3.5, Qwen, Llama). De resultaten tonen een kritiek tekort aan fysieke privacybewustzijn:

• Algemene Prestaties: Zelfs de beste modellen presteren slecht in fysiek-gebaseerde privacyscenario's.
  • Gemini 2.5 Pro (de beste presteerder) behaalde slechts 59% nauwkeurigheid in scenario's met veranderende fysieke omgevingen (Tier 2).
  • In Tier 3 (taakconflicten) schonden modellen privacy in 86% van de gevallen; ze prioriteerden de taakuitvoering boven de privacybeperking.
  • In Tier 4 (ethische dilemma's) negeerden toonaangevende modellen zoals GPT-4o en Claude-3.5-haiku sociale normen (veiligheid) in meer dan 15% van de gevallen.
• Asymmetrisch Conservatisme: Modellen vertonen een vreemd patroon: ze zijn te voorzichtig bij het uitvoeren van taken (vaak "neutraal" kiezen in plaats van "optimaal"), maar te onvoorzichtig bij het beschermen van privacy (ze schenden privacy vaak om de taak af te ronden).
• Negatief Effect van "Thinking": Een verrassende bevinding is dat het inschakelen van "thinking modes" (expliciete redeneerstappen) bij bepaalde modellen (vooral Gemini en Qwen) de prestaties verslechterde. Dit suggereert dat extra redeneren leidt tot "over-thinking", waarbij modellen te letterlijk de opdracht volgen en subtiele sociale nuances missen.
• Ruimtelijke Redenering: Modellen faalden vaak bij het begrijpen van fysieke occlusie (bijv. proberen een object te grijpen dat onder een ander object ligt) en het correct toewijzen van objecten aan containers.

Belangrijkste Bijdragen

1. EAPrivacy Benchmark: De eerste systematische benchmark die privacybewustzijn van LLM-agenten evalueert in de fysieke wereld, gebruikmakend van gestructureerde PDDL-inputs en multimodale cues.
2. Empirisch Bewijs van Misalignering: Het paper levert hard bewijs dat huidige LLMs fundamenteel misaligneerd zijn wat betreft fysiek-gebaseerde privacy. Ze kunnen tekstuele privacy regels volgen, maar falen in het toepassen ervan in complexe, fysieke contexten.
3. Analyse van Foutpatronen: De auteurs identificeren specifieke foutpatronen zoals "Bias in het interpreteren van gevoeligheid" (verwarren van fysieke gevaar met privacygevoeligheid) en "Letterlijke interpretatie versus sociale nuance".
4. Inzicht in Redenering: De bevinding dat "thinking" soms schadelijk is voor fysieke privacy-taken biedt nieuwe richtingen voor het trainen van robuuste agenten.

Significantie en Conclusie

De studie concludeert dat er een fundamentele kloof bestaat tussen de privacycapaciteiten van LLMs in virtuele chatbots en die in fysieke agenten. De huidige modellen zijn niet toegerust om de "contextuele integriteit" van fysieke ruimtes te begrijpen.

• Implicatie: Zonder verbeteringen in ruimtelijke grounding, contextuele gevoeligheid en sociale inferentie zullen toekomstige AI-systemen in huishoudens en ziekenhuizen een groot privacyrisico vormen.
• Toekomst: Er is dringend behoefte aan onderzoek dat zich richt op het aligneren van LLMs met fysieke realiteit en sociale normen, zodat ze niet alleen slimme tekst kunnen genereren, maar ook respectvolle en veilige fysieke acties kunnen uitvoeren.

De dataset en code zijn beschikbaar gesteld om verdere onderzoek naar veilige en betrouwbare AI-systemen te faciliteren.