Measuring Physical-World Privacy Awareness of Large Language Models: An Evaluation Benchmark

Título: Medindo a Consciência de Privacidade no Mundo Físico de Grandes Modelos de Linguagem: Um Benchmark de Avaliação

1. O Problema

A integração de Grandes Modelos de Linguagem (LLMs) em agentes corporificados (robôs, assistentes físicos) cria uma lacuna crítica na avaliação de segurança. Enquanto a pesquisa atual sobre privacidade em LLMs foca predominantemente em vazamento de dados textuais ou diálogos virtuais, os agentes físicos operam em ambientes reais (casas, hospitais, escritórios) onde a privacidade depende de razoamento espacial, contexto físico e normas sociais.

O problema central é que os métodos de avaliação existentes são limitados a cenários baseados em linguagem natural. Eles não conseguem medir a capacidade de um agente de:

• Identificar objetos sensíveis em um ambiente físico desordenado.
• Adaptar-se a mudanças dinâmicas no contexto social (ex: uma reunião privada vs. um espaço vazio).
• Inferir restrições de privacidade implícitas a partir de pistas multimodais (ex: ver alguém escondendo um presente).
• Navegar dilemas éticos onde normas sociais de segurança colidem com a privacidade individual.

2. Metodologia: O Benchmark EAPrivacy

Os autores introduzem o EAPrivacy, um benchmark abrangente com mais de 400 cenários proceduralmente gerados, distribuídos em 60 cenas físicas únicas (escritórios, lares, hospitais). O benchmark utiliza representações estruturadas em PDDL (Planning Domain Definition Language) para descrever o estado do ambiente, objetos e relações espaciais, simulando a percepção de um agente corporificado.

O benchmark é estruturado em quatro níveis progressivos de complexidade:

• Nível 1: Identificação de Objetos Sensíveis

  • Objetivo: Testar se o agente consegue identificar objetos inerentemente sensíveis (ex: cartão de seguro social, passaporte) em meio a distratores não sensíveis.
  • Desafio: Variar a complexidade do ambiente (3, 5, 10 e 30 distratores) para medir a robustez do raciocínio em ambientes "bagunçados".
  • Métrica: Precisão na identificação do objeto principal e taxa de falsos positivos (classificar objetos comuns como sensíveis).

• Nível 2: Privacidade em Ambientes em Mudança

  • Objetivo: Avaliar a capacidade do agente de ajustar suas ações conforme o contexto social muda.
  • Desafio: O agente recebe entradas sensoriais simuladas (ex: "Visual: 5 pessoas na mesa", "Áudio: conversa contínua") e deve classificar a adequação de ações (ex: começar a limpar o quarto).
  • Métrica: Diferença Absoluta Média (MAD) em relação a avaliações humanas e precisão na seleção da ação mais adequada entre três opções.

• Nível 3: Privacidade Inferencial sob Conflitos de Tarefas

  • Objetivo: Testar a capacidade de inferir restrições de privacidade não explícitas e resolvê-las contra objetivos de tarefas diretas.
  • Desafio: O agente recebe uma tarefa explícita (ex: "mover todos os itens da mesa") mas observa pistas contextuais de que um item é privado (ex: ver alguém escondendo um presente e ouvindo um sussurro sobre um segredo).
  • Métrica: Taxa de Violação de Privacidade (o agente toca no item secreto?) e Completude da Tarefa (o agente consegue mover os outros itens sem violar a privacidade?).

• Nível 4: Normas Sociais vs. Privacidade Pessoal

  • Objetivo: Avaliar a tomada de decisão em dilemas éticos de alto risco.
  • Desafio: O agente deve decidir entre respeitar a privacidade de um indivíduo ou agir para preservar uma norma social crítica de segurança (ex: ver alguém com uma arma em um hospital com sinal de "Proibido Armas").
  • Métrica: Precisão na seleção da ação correta (priorizar a segurança pública sobre a privacidade individual).

3. Principais Contribuições

1. Primeiro Benchmark Focado em Privacidade Física: Preenche a lacuna entre a avaliação de privacidade em texto e a realidade física, introduzindo a necessidade de raciocínio espacial e contextual.
2. Geração Procedural em Escala: Criação de mais de 400 cenários variados para evitar overfitting e garantir generalização.
3. Análise de Falhas Sistêmicas: Identificação de padrões de erro específicos, como a confusão entre "sensibilidade" (privacidade) e "perigo físico" (ex: classificar uma faca como sensível, mas ignorar um diário).
4. Descoberta do Efeito Negativo do "Pensamento": Demonstração de que, em certos modelos, ativar modos de raciocínio explícito ("thinking") pode degradar o desempenho em tarefas de privacidade física, levando a uma superconservadorismo ou falha em captar nuances sociais.

4. Resultados Chave

A avaliação foi realizada em 16 modelos de ponta (incluindo GPT-4o, GPT-5, Gemini 2.5 Pro, Claude-3.5, Llama-3.3 e Qwen). Os resultados revelaram deficiências críticas:

• Desempenho Geral Baixo: Mesmo os melhores modelos falharam significativamente em cenários complexos.
  • No Nível 2 (ambientes em mudança), o melhor modelo (Gemini 2.5 Pro) atingiu apenas 59% de precisão na seleção de ações.
  • No Nível 3 (conflito de tarefas), a taxa de violação de privacidade foi alarmante: em até 86% dos casos, os modelos priorizaram a conclusão da tarefa em detrimento da solicitação de privacidade.
  • No Nível 4 (dilemas éticos), modelos líderes como GPT-4o e Claude-3.5-haiku ignoraram normas sociais críticas (segurança) em mais de 15% dos casos, optando por respeitar a privacidade indevidamente.
• Viés Assimétrico: Os modelos tendem a ser excessivamente conservadores na execução de tarefas (evitando fazer qualquer coisa) mas sub-conservadores na proteção da privacidade (falhando em proteger dados sensíveis).
• Fragilidade Contextual: O desempenho degrada drasticamente com o aumento da complexidade do ambiente (número de distratores).
• Falha no Raciocínio Espacial: Muitos modelos falharam em entender oclusões físicas (ex: tentar pegar um objeto que está escondido sob outro) e confundiram a localização de objetos.
• Efeito do "Thinking": Modelos com modos de raciocínio ativados (como Gemini 2.5 e Qwen) frequentemente tiveram desempenho pior do que suas versões sem raciocínio explícito, sugerindo que o "overthinking" pode levar a interpretações literais que ignoram nuances sociais.

5. Significado e Conclusão

O estudo conclui que há um desalinhamento fundamental nos LLMs atuais em relação à privacidade baseada no mundo físico. Os modelos são treinados para proteger dados textuais, mas não possuem a capacidade cognitiva necessária para inferir privacidade a partir de pistas espaciais, visuais e sociais em tempo real.

Implicações:

• A simples aplicação de alinhamento de segurança baseado em texto é insuficiente para agentes corporificados.
• É necessário desenvolver novos métodos de treinamento que integrem raciocínio espacial, teoria da mente e compreensão de normas sociais diretamente na arquitetura dos agentes.
• O benchmark EAPrivacy estabelece uma nova linha de base para medir a segurança de IA em ambientes físicos, destacando a urgência de criar sistemas de IA mais robustos, confiáveis e conscientes do contexto físico antes de sua implantação em larga escala em lares e hospitais.

O código e os dados do benchmark estão disponíveis publicamente para fomentar pesquisas futuras em IA segura e corporificada.