Resumo Técnico: IMMERSEDPRIVACY

Declaração do Problema

À medida que os Modelos Visão-Linguagem (VLMs) evoluem de conversadores digitais para assistentes fisicamente incorporados que operam em espaços íntimos (lares, hospitais, escritórios), seu papel como "único árbitro" de violações de privacidade torna-se crítico. Diferentemente de modelos digitais restritos à geração de texto, agentes incorporados possuem a agência física para observar, inferir e manipular artefatos sensíveis à privacidade. No entanto, as atuais avaliações de conscientização sobre privacidade permanecem limitadas a representações unimodais baseadas em texto (por exemplo, Linguagem de Definição de Domínio de Planejamento ou texto descritivo). Essas simulações estáticas falham em capturar a natureza multimodal, espacialmente distribuída e dependente do contexto da privacidade no mundo real, onde informações sensíveis são transmitidas através de desordem visual e pistas acústicas, e não por rótulos explícitos. Consequentemente, há uma lacuna significativa entre as avaliações simuladas e o desempenho real dos VLMs em ambientes físicos.

Metodologia: IMMERSEDPRIVACY

Para preencher essa lacuna, os autores apresentam o IMMERSEDPRIVACY, um framework de avaliação interativo áudio-visual construído sobre um simulador altamente personalizado baseado em Unity (estendendo o VirtualHome). O framework simula ambientes físicos realistas em quatro temas: lar, escritório, restaurante e locais públicos. Ele avalia a conscientização sobre privacidade fundamentada fisicamente através de três níveis progressivos, cada um visando uma competência específica:

1. Nível 1: Fundamentação da Sensibilidade Perceptiva

   • Objetivo: Avaliar a capacidade de analisar ambientes complexos e desordenados e identificar itens inerentemente sensíveis (por exemplo, registros médicos, cartões de seguro social) sem dicas textuais explícitas.
   • Protocolos:
     • Turno Único: Os modelos visualizam uma cena a partir de múltiplos pontos de vista e listam itens sensíveis de uma só vez.
     • Múltiplos Turnos: Os modelos engajam-se em até três rodadas de visualizações progressivamente mais próximas (visão geral, médio alcance, close-up), simulando exploração ativa. Eles podem solicitar visualizações mais próximas ou comprometer-se com uma resposta.
   • Métricas: Razão de Sensibilidade (precisão), Razão Identificada (revocação) e o número de itens identificados.

2. Nível 2: Adaptação Socio-Contextual Dinâmica

   • Objetivo: Avaliar a capacidade de manter normas socio-contextuais em ambientes físicos em mudança. A adequação depende do estado social (por exemplo, uma reunião em andamento versus uma sala vazia), sinalizado por pistas visuais (pessoas em uma mesa) e pistas de áudio (fala sobreposta versus silêncio).
   • Protocolos:
     • Modo de Classificação: Os modelos classificam ações candidatas em uma escala de 1 a 5.
     • Modo de Seleção: Os modelos selecionam a única ação mais adequada de um conjunto de candidatos.
   • Métricas: Erro Absoluto Médio (MAE) em relação às classificações humanas e Precisão de Seleção (SA).

3. Nível 3: Adesão Inferencial Condicionada ao Histórico

   • Objetivo: Avaliar a capacidade de gerenciar conflitos entre comandos de tarefa explícitos e restrições de privacidade implícitas inferidas a partir do histórico de observação multimodal anterior.
   • Protocolo: Os modelos observam um histórico roteirizado (vídeo + diálogo) que estabelece uma fronteira de privacidade (por exemplo, um personagem escondendo um presente). Em seguida, recebem um comando benigno, mas conflitante (por exemplo, "mova tudo sobre a mesa"). Eles devem planejar ações que completem a tarefa enquanto respeitam a fronteira inferida.
   • Métricas: Taxa de Conclusão da Tarefa (TCR), Taxa de Preservação da Privacidade (PPR) e Correspondência Exata (EM) para selecionar o subconjunto correto de ações.

O estudo avalia 12 modelos de última geração (incluindo as famílias Gemini, GPT, Qwen e InternVL) em mais de 400 cenários gerados proceduralmente.

Resultados Principais

A avaliação revela déficits consistentes em todos os modelos, destacando uma lacuna entre o conhecimento linguístico e a execução física:

• Fragilidade Perceptiva (Nível 1): Todos os modelos exibem decaimento monótono de desempenho à medida que a complexidade da cena (número de distratores) aumenta. Em cenas desordenadas, os modelos falham em reconhecer itens sensíveis visualmente em mais de 40% dos casos. Embora o protocolo "Múltiplos Turnos" (fornecendo visualizações em close-up) melhore significativamente a revocação (Razão Identificada), a Razão de Sensibilidade (precisão) frequentemente se degrada, indicando que os modelos sinalizam excessivamente distratores benignos quando há desordem. Avaliações humanas confirmam que as cenas são visualmente solucionáveis, atribuindo as falhas aos limites de percepção do modelo e não à ambiguidade do benchmark.
• Lacuna de Contexto Social (Nível 2): Nenhum modelo excede 65% de precisão de seleção. Os modelos lutam para distinguir entre ações apropriadas e inapropriadas com base em estados sociais em mudança. A análise de erros revela três modos de falha: intensidade de intervenção mal calibrada (agir independentemente do contexto), falhas de fundamentação espacial (interpretar mal a posição) e conservadorismo social desnecessário (excesso de cautela).
• Sobrescrita de Comandos (Nível 3): Quando comandos explícitos conflitam com restrições de privacidade inferidas, os modelos recorrem à conclusão da tarefa. O modelo de melhor desempenho, gemini-3.1-pro, alcança uma Correspondência Exata equilibrada (selecionando ações corretas sem violar a privacidade) em apenas 51% dos casos. A maioria dos outros modelos mostra um forte viés para executar o comando explícito, frequentemente selecionando a ação que viola a privacidade.
• Modalidade de Áudio: Estudos de ablação substituindo áudio por descrições textuais não mostram degradação significativa de desempenho, indicando que a falha não se deve à incapacidade de processar áudio bruto, mas sim a um desalinhamento fundamental na interpretação do contexto social e do histórico.

Significado e Alegações

O artigo afirma que os VLMs atuais no mundo físico sofrem de fragilidade perceptiva e falham em permitir que seu conhecimento sobre pistas de privacidade governe seu comportamento situado. Os autores argumentam que o comportamento incorporado consciente de privacidade requer capacidades que os modelos atuais não possuem em qualquer estágio do pipeline:

1. Percepção Multimodal Robusta: A capacidade de identificar objetos sensíveis em meio a desordem visual.
2. Julgamento Sensível ao Contexto: A capacidade de interpretar normas sociais em mudança por meio de pistas multimodais.
3. Planejamento de Ação Respeitoso a Restrições: A capacidade de priorizar fronteiras de privacidade inferidas sobre comandos explícitos do usuário.

Os autores concluem que o treinamento de segurança baseado em texto existente é insuficiente para implantação no mundo real. Eles enfatizam a necessidade de "estratégias de alinhamento fundamentadas fisicamente" e salvaguardas perceptivas dedicadas que vão além de representações textuais para abordar as vulnerabilidades únicas de agentes incorporados. O trabalho fornece um framework diagnóstico fundamental (IMMERSEDPRIVACY) para expor esses modos de falha específicos, que são invisíveis para benchmarks tradicionais baseados apenas em texto.