What Your Posts Reveal: A Benchmark and Agentic Framework for User-Level Privacy Leakage on Social Media

Resumo Técnico: SopriBench e Argus para Vazamento de Privacidade ao Nível do Usuário

Declaração do Problema
A pesquisa atual sobre privacidade em redes sociais foca amplamente na autoculpa de nível de postagem ou na detecção de Informações Pessoais Identificáveis (PII) explícitas dentro de postagens individuais. No entanto, o artigo argumenta que o vazamento de privacidade ao nível do usuário é fundamentalmente cumulativo e trans-postagem (cross-post). Pistas fracas espalhadas por textos, imagens e metadados — inofensivas isoladamente — podem, conjuntamente, expor atributos sensíveis do usuário, como endereços residenciais, locais de trabalho, rotinas diárias e relacionamentos sociais quando agregadas.

As abordagens existentes sofrem de duas lacunas principais:

1. Falta de um Benchmark Unificado: Não existe um benchmark padronizado para vazamento de privacidade multimodal ao nível do usuário que considere a acumulação de pistas fracas através de múltiplas postagens e modalidades. Conjuntos de dados de usuários reais são difíceis de serem liberados devido à sensibilidade, e os conjuntos de dados sintéticos existentes muitas vezes permanecem no nível da postagem.
2. Métricas de Avaliação Inadequadas: As avaliações padrão dependem da precisão binária (correto/incorreto), o que falha em capturar a severidade da exposição. Uma inferência grosseira (ex: localização ao nível da cidade) e uma inferência detalhada (ex: um condomínio residencial específico) são tratadas igualmente, apesar dos riscos de privacidade vastamente diferentes. Além disso, a sensibilidade varia conforme o contexto (ex: inferir uma orientação sexual minoritária é mais sensível do que inferir uma majoritária).

Metodologia

1. SopriBench: Um Benchmark Sintético
Para resolver a lacuna de dados, os autores propõem o SopriBench, um benchmark sintético controlável guiado por padrões de vazamento abstraídos de um corpus de referência privado de 161 contas do Rednote e 157 do Instagram.

• Construção: O benchmark contém 50 perfis de usuários sintéticos, 500 postagens multimodais e 1.569 imagens. Ele evita copiar dados de usuários reais; em vez disso, utiliza padrões desidentificados (cenários, portadores de pistas, formas de vazamento) para gerar conteúdo sintético.
• Anotações: Cada postagem é anotada com atributos de verdade fundamental (ground-truth), sensibilidade contextual (escala de 1 a 5), granularidade de valor (ex: país a endereço), tipo de vazamento (explícito, implícito, trans-postagem), dificuldade de inferência e evidência de suporte.
• Pontuação de Exposição de Privacidade (PES): Os autores introduzem o PES como uma métrica de avaliação inovadora. Diferente da precisão binária, o PES pondera a granularidade do valor inferido pelo seu contexto de sensibilidade.
  $$PES = \frac{\sum_j g_j \cdot s_j}{\sum_j s_j}$$
  Onde $g_j$ é a pontuação de granularidade (0 a 1) e $s_j$ é a pontuação de sensibilidade. Esta métrica distingue entre exposição grosseira e detalhada e prioriza atributos sensíveis.

2. Argus: Um Framework de Inferência Agêntica
O artigo propõe o Argus, um framework agêntico livre de treinamento inspirado no raciocínio abdutivo (inferência para a melhor explicação). O Argus trata a inferência de privacidade como uma investigação iterativa baseada em evidências, em vez de uma tarefa de classificação de etapa única.

• Grafo de Evidências Trans-Postagem (CPeg): O Argus mantém uma estrutura de grafo persistente que armazena postagens, evidências brutas, hipóteses e suas relações de citação/suporte. Isso permite que o sistema conecte pistas fracas através de múltiplas postagens.
• Fluxo de Trabalho:
  1. Perceiver (Perceptor): Analisa postagens públicas para extrair evidências brutas (legendas, candidatos de OCR, tags visuais) e inicializa o CPeg.
  2. Hypothesizer (Hipotetizador): Gera hipóteses candidatas para atributos privados com base na evidência acumulada. As hipóteses são armazenadas como Candidata (não verificada) ou Não Resolvida (verificada, mas insuficiente).
  3. Investigator (Investigador): Direciona hipóteses ativas para as ferramentas apropriadas (OCR, busca na web, busca em mapas, reinspeção visual) para coletar evidências faltantes.
  4. Verifier (Verificador): Valida as evidências coletadas contra a hipótese. Apenas evidências fundamentadas são admitidas; hipóteses não suportadas são suspensas ou removidas.
  5. Profile Projection (Projeção de Perfil): Converte hipóteses suficientemente suportadas em evidências derivadas e as projeta em um perfil de privacidade final.
• Mecanismo Chave: O framework rastreia explicitamente a incerteza. Ele não se compromete com um valor de atributo específico até que as cadeias de evidência através das postagens e modalidades converjam para suportá-lo.

Resultados

Experimentos foram conduzidos no SopriBench comparando o Argus contra cinco baselines: TextLLM, PostVLM, SelfDisc, Holmes (perfilamento visual) e SingleAgent (um agente multimodal de uso de ferramentas sem a arquitetura específica do Argus).

• Desempenho: O Argus alcançou um PES de 0,55, representando uma melhoria relativa de 25% sobre o baseline mais forte, SingleAgent (0,44).
• Vazamento Trans-Postagem: Os ganhos mais significativos foram observados em cenários de vazamento trans-postagem, onde o Argus melhorou o PES em +0,17 (de 0,39 para 0,56) em comparação ao SingleAgent. Isso destaca a capacidade do framework de conectar pistas dispersas.
• Estudos de Ablação:
  • Remover o Verifier aumentou a precisão binária (0,71 para 0,74), mas diminuiu o PES (0,55 para 0,50), confirmando que a precisão binária recompensa suposições especulativas e grosseiras, enquanto o PES favorece exposições específicas, sensíveis e verificadas.
  • Remover o CPeg causou uma queda acentuada no PES trans-postagem (0,56 para 0,38), validando a necessidade de memória de evidência persistente para o vazamento cumulativo.
  • Remover o Investigator (roteamento de ferramentas) resultou na maior queda de desempenho geral, enfatizando a necessidade de coleta ativa de evidências.

Significância e Alegações

O artigo alega realizar três contribuições principais:

1. Identificação do Problema: Estabelece que o risco de privacidade ao nível do usuário em redes sociais públicas surge da natureza cumulativa de pistas fracas através de postagens e modalidades, e não da divulgação explícita em postagens únicas.
2. Benchmark e Métrica: Introduz o SopriBench e o PES, fornecendo o primeiro benchmark controlável para vazamento multimodal ao nível do usuário e uma métrica que captura a severidade da exposição além da precisão binária.
3. Framework Agêntico: Apresenta o Argus, um framework livre de treinamento que modela a inferência de privacidade como um processo de raciocínio abdutivo. Ao manter hipóteses explícitas e verificar evidências através de uma estrutura de grafo, o Argus agrega efetivamente pistas trans-postagem.

Os autores concluem que a avaliação da privacidade em redes sociais públicas exige uma mudança da detecção isolada de divulgação ao nível de postagem para um paradigma de inferência ao nível do usuário, multimodal e trans-postagem. Eles posicionam seu trabalho como um passo para melhor compreender e proteger a privacidade do usuário na era da exposição de dados cumulativa, observando as limitações relativas à natureza sintética do benchmark e às capacidades evolutivas dos modelos de fundação subjacentes.