Resumen Técnico: IMMERSEDPRIVACY

Enunciado del Problema

A medida que los Modelos Visión-Lenguaje (VLM) evolucionan de conversadores digitales a asistentes físicamente encarnados que operan en espacios íntimos (hogares, hospitales, oficinas), su papel como "único árbitro" de las violaciones de privacidad se vuelve crítico. A diferencia de los modelos digitales limitados a la generación de texto, los agentes encarnados poseen la agencia física para observar, inferir y manipular artefactos sensibles a la privacidad. Sin embargo, las evaluaciones actuales sobre la conciencia de la privacidad se limitan a representaciones unimodales basadas en texto (por ejemplo, Lenguaje de Definición de Dominio de Planificación o texto descriptivo). Estas simulaciones estáticas no logran capturar la naturaleza multimodal, espacialmente distribuida y dependiente del contexto de la privacidad en el mundo real, donde la información sensible se transmite a través del desorden visual y las señales acústicas en lugar de etiquetas explícitas. En consecuencia, existe una brecha significativa entre las evaluaciones simuladas y el rendimiento real de los VLM en entornos físicos.

Metodología: IMMERSEDPRIVACY

Para cerrar esta brecha, los autores presentan IMMERSEDPRIVACY, un marco de evaluación interactivo de audio y video construido sobre un simulador altamente personalizado basado en Unity (que extiende VirtualHome). El marco simula entornos físicos realistas en cuatro temas: hogar, oficina, restaurante y lugares públicos. Evalúa la conciencia de la privacidad fundamentada físicamente a través de tres niveles progresivos, cada uno dirigido a una competencia específica:

1. Nivel 1: Fundamentación de la Sensibilidad Perceptiva

   • Objetivo: Evaluar la capacidad para analizar entornos complejos y desordenados e identificar elementos inherentemente sensibles (por ejemplo, registros médicos, tarjetas de seguro social) sin pistas textuales explícitas.
   • Protocolos:
     • Turno Único: Los modelos observan una escena desde múltiples puntos de vista y enumeran los elementos sensibles en una sola toma.
     • Múltiples Turnos: Los modelos participan en hasta tres rondas de vistas progresivamente más cercanas (visión general, rango medio, primer plano), simulando una exploración activa. Pueden solicitar vistas más cercanas o comprometerse con una respuesta.
   • Métricas: Ratio de Sensibilidad (precisión), Ratio Identificado (exhaustividad) y el número de elementos identificados.

2. Nivel 2: Adaptación Socio-Contextual Dinámica

   • Objetivo: Evaluar la capacidad para mantener las normas socio-contextuales en entornos físicos cambiantes. La idoneidad depende del estado social (por ejemplo, una reunión en curso frente a una habitación vacía), señalizada por pistas visuales (personas en una mesa) y pistas de audio (habla superpuesta frente al silencio).
   • Protocolos:
     • Modo de Calificación: Los modelos califican las acciones candidatas en una escala de 1 a 5.
     • Modo de Selección: Los modelos seleccionan la única acción más apropiada de un conjunto de candidatos.
   • Métricas: Error Absoluto Medio (MAE) frente a calificaciones humanas y Precisión de Selección (SA).

3. Nivel 3: Adherencia Inferencial Condicionada por la Historia

   • Objetivo: Evaluar la capacidad para gestionar conflictos entre comandos de tareas explícitos y restricciones de privacidad implícitas inferidas de un historial previo de observación multimodal.
   • Protocolo: Los modelos observan una historia guionizada (video + diálogo) que establece un límite de privacidad (por ejemplo, un personaje ocultando un regalo). Luego se les da un comando benigno pero conflictivo (por ejemplo, "mueve todo lo que hay en el escritorio"). Deben planificar acciones que completen la tarea respetando el límite inferido.
   • Métricas: Tasa de Completitud de la Tarea (TCR), Tasa de Preservación de la Privacidad (PPR) y Coincidencia Exacta (EM) para seleccionar el subconjunto correcto de acciones.

El estudio evalúa 12 modelos de última generación (incluidas las familias Gemini, GPT, Qwen e InternVL) en más de 400 escenarios generados proceduralmente.

Resultados Clave

La evaluación revela déficits consistentes en todos los modelos, destacando una brecha entre el conocimiento lingüístico y la ejecución física:

• Fragilidad Perceptiva (Nivel 1): Todos los modelos exhiben un decaimiento monótono del rendimiento a medida que aumenta la complejidad de la escena (número de distractores). En escenas desordenadas, los modelos no logran reconocer visualmente los elementos sensibles en más del 40% de los casos. Aunque el protocolo de "Múltiples Turnos" (que proporciona vistas de primer plano) mejora significativamente la exhaustividad (Ratio Identificado), el Ratio de Sensibilidad (precisión) a menudo se degrada, lo que indica que los modelos marcan en exceso distractores benignos cuando hay desorden. Las evaluaciones humanas confirman que las escenas son visualmente resolubles, atribuyendo los fallos a los límites de la percepción del modelo y no a la ambigüedad de la evaluación.
• Brecha Socio-Contextual (Nivel 2): Ningún modelo supera el 65% de precisión en la selección. Los modelos luchan por distinguir entre acciones apropiadas e inapropiadas basándose en estados sociales cambiantes. El análisis de errores revela tres modos de fallo: intensidad de intervención mal calibrada (actuar independientemente del contexto), fallos de fundamentación espacial (malinterpretar la posición) y conservadurismo social innecesario (excesiva cautela).
• Anulación de Comandos (Nivel 3): Cuando los comandos explícitos entran en conflicto con las restricciones de privacidad inferidas, los modelos optan por la finalización de la tarea. El modelo de mejor rendimiento, gemini-3.1-pro, logra una Coincidencia Exacta equilibrada (seleccionar acciones correctas sin violar la privacidad) solo en el 51% de los casos. La mayoría de los otros modelos muestran un fuerte sesgo hacia la ejecución del comando explícito, seleccionando a menudo la acción que viola la privacidad.
• Modalidad de Audio: Los estudios de ablación que reemplazan el audio con descripciones textuales no muestran una degradación significativa del rendimiento, lo que indica que el fallo no se debe a una incapacidad para procesar el audio crudo, sino a una desalineación fundamental en la interpretación del contexto social y la historia.

Significado y Afirmaciones

El artículo afirma que los VLM actuales en el mundo físico sufren de fragilidad perceptiva y no permiten que su conocimiento de las señales de privacidad gobierne su comportamiento situado. Los autores argumentan que el comportamiento encarnado consciente de la privacidad requiere capacidades que los modelos actuales carecen en cada etapa del proceso:

1. Percepción Multimodal Robusta: La capacidad de identificar objetos sensibles entre el desorden visual.
2. Juicio Sensible al Contexto: La capacidad de interpretar normas sociales cambiantes a través de pistas multimodales.
3. Planificación de Acciones que Respetan Restricciones: La capacidad de priorizar los límites de privacidad inferidos sobre los comandos explícitos del usuario.

Los autores concluyen que el entrenamiento de seguridad basado en texto existente es insuficiente para la implementación en el mundo real. Subrayan la necesidad de "estrategias de alineación fundamentadas físicamente" y salvaguardas perceptivas dedicadas que se extiendan más allá de las representaciones textuales para abordar las vulnerabilidades únicas de los agentes encarnados. El trabajo proporciona un marco diagnóstico fundamental (IMMERSEDPRIVACY) para exponer estos modos de fallo específicos, que son invisibles para las evaluaciones tradicionales basadas únicamente en texto.