Riepilogo Tecnico: IMMERSEDPRIVACY

Enunciato del Problema

Mentre i Modelli Linguaggio-Visione (VLM) evolvono da conversatori digitali ad assistenti fisicamente incarnati che operano in spazi intimi (case, ospedali, uffici), il loro ruolo di "unico arbitro" delle violazioni della privacy diventa critico. A differenza dei modelli digitali vincolati alla generazione di testo, gli agenti incarnati possiedono l'agenzia fisica di osservare, inferire e manipolare artefatti sensibili alla privacy. Tuttavia, i benchmark attuali per la consapevolezza della privacy rimangono limitati a rappresentazioni unimodali basate sul testo (ad esempio, Planning Domain Definition Language o testo descrittivo). Queste simulazioni statiche non riescono a catturare la natura multimodale, spazialmente distribuita e dipendente dal contesto della privacy nel mondo reale, dove le informazioni sensibili sono veicolate attraverso disordine visivo e indizi acustici piuttosto che da etichette esplicite. Di conseguenza, esiste un divario significativo tra le valutazioni simulate e le prestazioni effettive dei VLM negli ambienti fisici.

Metodologia: IMMERSEDPRIVACY

Per colmare questo divario, gli autori presentano IMMERSEDPRIVACY, un framework di valutazione audio-visivo interattivo costruito su un simulatore basato su Unity altamente personalizzato (estensione di VirtualHome). Il framework simula ambienti fisici realistici attraverso quattro temi: casa, ufficio, ristorante e luoghi pubblici. Valuta la consapevolezza della privacy fondata sulla fisicità attraverso tre livelli progressivi, ciascuno mirato a una specifica competenza:

1. Livello 1: Fondamento della Sensibilità Percettiva

   • Obiettivo: Valutare la capacità di analizzare ambienti complessi e affollati e identificare oggetti intrinsecamente sensibili (ad esempio, cartelle cliniche, carte di previdenza sociale) senza indizi testuali espliciti.
   • Protocolli:
     • Singolo Turno: I modelli osservano una scena da più punti di vista e elencano gli oggetti sensibili in un'unica risposta.
     • Multi-Turno: I modelli interagiscono fino a tre round di visualizzazioni progressivamente più ravvicinate (panoramica, medio-piano, primo piano), simulando un'esplorazione attiva. Possono richiedere visualizzazioni più vicine o impegnarsi in una risposta.
   • Metriche: Rapporto Sensibile (precisione), Rapporto Identificato (recall) e numero di oggetti identificati.

2. Livello 2: Adattamento Socio-Contestuale Dinamico

   • Obiettivo: Valutare la capacità di mantenere le norme socio-contestuali in ambienti fisici mutevoli. L'appropriatezza dipende dallo stato sociale (ad esempio, una riunione in corso rispetto a una stanza vuota), segnalato da indizi visivi (persone a un tavolo) e indizi acustici (sovrapposizione di voci rispetto al silenzio).
   • Protocolli:
     • Modalità di Valutazione: I modelli valutano le azioni candidate su una scala da 1 a 5.
     • Modalità di Selezione: I modelli selezionano l'unica azione più appropriata da un insieme di candidati.
   • Metriche: Errore Assoluto Medio (MAE) rispetto alle valutazioni umane e Accuratezza di Selezione (SA).

3. Livello 3: Aderenza Inferenziale Condizionata dalla Storia

   • Obiettivo: Valutare la capacità di gestire conflitti tra comandi espliciti del compito e vincoli di privacy impliciti inferiti dalla storia precedente di osservazioni multimodali.
   • Protocollo: I modelli osservano una storia scriptata (video + dialogo) che stabilisce un confine di privacy (ad esempio, un personaggio che nasconde un regalo). Successivamente, ricevono un comando benigno ma conflittuale (ad esempio, "sposta tutto sulla scrivania"). Devono pianificare azioni che completino il compito rispettando il confine inferito.
   • Metriche: Tasso di Completezza del Compito (TCR), Tasso di Preservazione della Privacy (PPR) e Corrispondenza Esatta (EM) per la selezione del sottoinsieme corretto di azioni.

Lo studio valuta 12 modelli all'avanguardia (inclusi le famiglie Gemini, GPT, Qwen e InternVL) su oltre 400 scenari generati proceduralmente.

Risultati Chiave

La valutazione rivela deficit coerenti in tutti i modelli, evidenziando un divario tra la conoscenza linguistica e l'esecuzione fisica:

• Fragilità Percettiva (Livello 1): Tutti i modelli mostrano un decadimento monotono delle prestazioni all'aumentare della complessità della scena (numero di distrattori). Nelle scene affollate, i modelli non riescono a riconoscere visivamente gli oggetti sensibili in oltre il 40% dei casi. Sebbene il protocollo "Multi-Turno" (fornendo visualizzazioni ravvicinate) migliori significativamente il recall (Rapporto Identificato), il Rapporto Sensibile (precisione) spesso peggiora, indicando che i modelli segnalano eccessivamente distrattori benigni quando affollati. Le valutazioni umane confermano che le scene sono risolvibili visivamente, attribuendo i fallimenti ai limiti percettivi del modello piuttosto che all'ambiguità del benchmark.
• Divario Socio-Contestuale (Livello 2): Nessun modello supera il 65% di accuratezza di selezione. I modelli faticano a distinguere tra azioni appropriate e inappropriate basandosi su stati sociali mutevoli. L'analisi degli errori rivela tre modalità di fallimento: intensità di intervento mal calibrata (agire indipendentemente dal contesto), fallimenti nel fondamento spaziale (interpretazione errata della posizione) e conservatorismo sociale non necessario (eccessiva cautela).
• Sovrascrittura dei Comandi (Livello 3): Quando i comandi espliciti confliggono con i vincoli di privacy inferiti, i modelli ricorrono al completamento del compito. Il modello migliore, gemini-3.1-pro, ottiene una Corrispondenza Esatta bilanciata (selezionando azioni corrette senza violare la privacy) solo nel 51% dei casi. La maggior parte degli altri modelli mostra un forte pregiudizio verso l'esecuzione del comando esplicito, selezionando spesso l'azione che viola la privacy.
• Modalità Audio: Studi di ablazione che sostituiscono l'audio con descrizioni testuali non mostrano un degrado significativo delle prestazioni, indicando che il fallimento non è dovuto all'incapacità di elaborare l'audio grezzo, ma piuttosto a un disallineamento fondamentale nell'interpretare il contesto sociale e la storia.

Significato e Affermazioni

Il paper afferma che i VLM attuali nel mondo fisico soffrono di fragilità percettiva e non riescono a far governare la loro conoscenza degli indizi di privacy il loro comportamento situato. Gli autori sostengono che un comportamento incarnato consapevole della privacy richiede capacità che i modelli attuali non possiedono in ogni fase della pipeline:

1. Percezione Multimodale Robusta: La capacità di identificare oggetti sensibili in mezzo al disordine visivo.
2. Giudizio Sensibile al Contesto: La capacità di interpretare norme sociali mutevoli attraverso indizi multimodali.
3. Pianificazione di Azioni Rispettose dei Vincoli: La capacità di dare priorità ai confini di privacy inferiti rispetto ai comandi espliciti dell'utente.

Gli autori concludono che l'addestramento alla sicurezza basato sul testo esistente è insufficiente per il dispiegamento nel mondo reale. Sottolineano la necessità di "strategie di allineamento fondate sulla fisicità" e di salvaguardie percettive dedicate che vadano oltre le rappresentazioni testuali per affrontare le vulnerabilità uniche degli agenti incarnati. Il lavoro fornisce un framework diagnostico fondamentale (IMMERSEDPRIVACY) per esporre queste specifiche modalità di fallimento, che sono invisibili ai tradizionali benchmark basati solo sul testo.