Technische Samenvatting: IMMERSEDPRIVACY

Probleemstelling

Naarmate Vision-Language Models (VLM's) evolueren van digitale conversatiepartners naar fysiek belichaamde assistenten die opereren in intieme ruimtes (huizen, ziekenhuizen, kantoren), wordt hun rol als 'enige arbiter' van privacy-overtredingen kritiek. In tegenstelling tot digitale modellen die beperkt zijn tot tekstgeneratie, bezitten belichaamde agenten de fysieke handelingsbevoegdheid om privacygevoelige artefacten waar te nemen, af te leiden en te manipuleren. Echter, de huidige benchmarks voor privacybewustzijn blijven beperkt tot unimodale, tekstgebaseerde representaties (bijvoorbeeld Planning Domain Definition Language of beschrijvende tekst). Deze statische simulaties slagen er niet in de multimodale, ruimtelijk gedistribueerde en contextafhankelijke aard van privacy in de echte wereld te vangen, waarbij gevoelige informatie wordt overgebracht via visuele rommel en akoestische aanwijzingen in plaats van expliciete labels. Bijgevolg bestaat er een aanzienlijke kloof tussen gesimuleerde evaluaties en de daadwerkelijke prestaties van VLM's in fysieke omgevingen.

Methodologie: IMMERSEDPRIVACY

Om deze kloof te overbruggen, presenteren de auteurs IMMERSEDPRIVACY, een interactief audio-visueel evaluatiekader gebaseerd op een sterk aangepaste Unity-gebaseerde simulator (die VirtualHome uitbreidt). Het kader simuleert realistische fysieke omgevingen over vier thema's: thuis, kantoor, restaurant en openbare locaties. Het evalueert fysiek verankerd privacybewustzijn via drie progressieve niveaus, waarbij elk niveau een specifieke competentie adresseert:

1. Niveau 1: Perceptuele Sensitiviteit Verankering

   • Doel: De capaciteit evalueren om complexe, rommelige omgevingen te ontleden en inherent gevoelige items te identificeren (bijvoorbeeld medische dossiers, socialezekerheidskaarten) zonder expliciete tekstuele hints.
   • Protocollen:
     • Enkele beurt: Modellen bekijken een scène vanuit meerdere gezichtspunten en lijsten gevoelige items in één keer op.
     • Meerdere beurten: Modellen gaan tot drie rondes van progressief dichtere beelden aan (overzicht, middellange afstand, close-up), wat actieve exploratie simuleert. Ze kunnen dichtere beelden aanvragen of een antwoord bevestigen.
   • Maten: Sensitive Ratio (precisie), Identified Ratio (recall) en het aantal geïdentificeerde items.

2. Niveau 2: Dynamische Socio-Contextuele Adaptatie

   • Doel: De capaciteit evalueren om socio-contextuele normen in veranderende fysieke omgevingen in stand te houden. Geschiktheid hangt af van de sociale staat (bijvoorbeeld een vergadering die gaande is versus een lege kamer), aangegeven door visuele aanwijzingen (mensen aan een tafel) en akoestische aanwijzingen (overlappende spraak versus stilte).
   • Protocollen:
     • Beoordelingsmodus: Modellen beoordelen kandidaat-acties op een schaal van 1–5.
     • Selectimodus: Modellen selecteren de enige meest geschikte actie uit een set kandidaten.
   • Maten: Mean Absolute Error (MAE) tegenover menselijke beoordelingen en Selectie Nauwkeurigheid (SA).

3. Niveau 3: Geschiedenis-Geconditioneerde Inferentiële Toetreding

   • Doel: De capaciteit evalueren om conflicten te managen tussen expliciete taakopdrachten en impliciete privacybeperkingen die zijn afgeleid uit eerdere multimodale observatiegeschiedenis.
   • Protocol: Modellen observeren een geschreven geschiedenis (video + dialoog) die een privacygrens vestigt (bijvoorbeeld een personage dat een cadeau verbergt). Ze krijgen vervolgens een onschadelijke maar conflicterende opdracht (bijvoorbeeld "verplaats alles op het bureau"). Ze moeten acties plannen die de taak voltooien terwijl ze de afgeleide grens respecteren.
   • Maten: Taak Voltooiingspercentage (TCR), Privacybehoudspercentage (PPR) en Exacte Overeenkomst (EM) voor het selecteren van het juiste subset van acties.

De studie evalueert 12 state-of-the-art modellen (waaronder de families Gemini, GPT, Qwen en InternVL) over meer dan 400 procedurale gegenereerde scenario's.

Belangrijkste Resultaten

De evaluatie onthult consistente tekortkomingen bij alle modellen, waarbij een kloof wordt benadrukt tussen taalkundige kennis en fysieke uitvoering:

• Perceptuele Fragiliteit (Niveau 1): Alle modellen vertonen een monotoon prestatieverval naarmate de complexiteit van de scène (aantal afleiders) toeneemt. In rommelige scènes slagen modellen er in meer dan 40% van de gevallen niet in om gevoelige items visueel te herkennen. Hoewel het protocol 'Meerdere beurten' (het verstrekken van close-up beelden) de recall (Identified Ratio) aanzienlijk verbetert, degradeert de Sensitive Ratio (precisie) vaak, wat aangeeft dat modellen onschadelijke afleiders overmatig markeren wanneer ze rommelig zijn. Menselijke evaluaties bevestigen dat de scènes visueel oplosbaar zijn en schrijven mislukkingen toe aan perceptielimieten van het model in plaats van benchmark-ambiguïteit.
• Sociaal-Contextuele Kloof (Niveau 2): Geen enkel model overschrijdt 65% selectienauwkeurigheid. Modellen worstelen om onderscheid te maken tussen geschikte en ongeschikte acties op basis van veranderende sociale staten. Foutenanalyse onthult drie faalmodi: verkeerd gekalibreerde interventie-intensiteit (handelen ongeacht de context), falen in ruimtelijke verankering (verkeerd interpreteren van positie) en onnodig sociaal conservatisme (overmatige voorzichtigheid).
• Opdracht-Overrulen (Niveau 3): Wanneer expliciete opdrachten conflicteren met afgeleide privacybeperkingen, kiezen modellen voor taakvoltooiing. Het best presterende model, gemini-3.1-pro, bereikt een gebalanceerde Exacte Overeenkomst (het selecteren van correcte acties zonder privacy te schenden) in slechts 51% van de gevallen. De meeste andere modellen vertonen een sterke bias naar het uitvoeren van de expliciete opdracht, waarbij ze vaak de privacy-schendende actie selecteren.
• Audio Modus: Ablatiestudies waarbij audio wordt vervangen door tekstuele beschrijvingen tonen geen significante prestatiedegradatie, wat aangeeft dat het falen niet te wijten is aan een onvermogen om ruwe audio te verwerken, maar eerder aan een fundamentele misalignatie in het interpreteren van sociale context en geschiedenis.

Betekenis en Claims

Het artikel beweert dat huidige VLM's in de fysieke wereld lijden aan perceptuele fragiliteit en er niet in slagen hun kennis van privacy-aanwijzingen hun gesitueerde gedrag te laten sturen. De auteurs betogen dat privacy-bewust belichaamd gedrag capaciteiten vereist die huidige modellen op elk stadium van de pijplijn missen:

1. Robuuste Multimodale Perceptie: Het vermogen om gevoelige objecten te identificeren te midden van visuele rommel.
2. Context-Gevoelige Oordeelsvorming: Het vermogen om veranderende sociale normen te interpreteren via multimodale aanwijzingen.
3. Beperking-Respecterende Actieplanning: Het vermogen om afgeleide privacygrenzen te prioriteren boven expliciete gebruikersopdrachten.

De auteurs concluderen dat bestaande tekstgebaseerde veiligheids training ontoereikend is voor implementatie in de echte wereld. Ze benadrukken de noodzaak van "fysiek verankerde uitlijningsstrategieën" en toegewijde perceptieve veiligheidsmaatregelen die verder gaan dan tekstuele representaties om de unieke kwetsbaarheden van belichaamde agenten aan te pakken. Het werk biedt een fundamenteel diagnostisch kader (IMMERSEDPRIVACY) om deze specifieke faalmodi bloot te leggen, die onzichtbaar zijn voor traditionele tekst-only benchmarks.