What Your Posts Reveal: A Benchmark and Agentic Framework for User-Level Privacy Leakage on Social Media

Resumen Técnico: SopriBench y Argus para la Filtración de Privacidad a Nivel de Usuario

Declaración del Problema
La investigación actual sobre la privacidad en redes sociales se centra principalmente en la autorrevelación a nivel de publicación o en la detección de Información de Identificación Personal (PII) explícita dentro de publicaciones individuales. Sin embargo, el artículo sostiene que la filtración de privacidad a nivel de usuario es fundamentalmente acumulativa y trans-publicación. Las señales débiles dispersas en texto, imágenes y metadatos —inofensivas de forma aislada— pueden exponer conjuntamente atributos sensibles del usuario, como direcciones de domicilio, lugares de trabajo, rutinas diarias y relaciones sociales cuando se agregan.

Los enfoques existentes sufren de dos brechas principales:

1. Falta de un Benchmark Unificado: No existe un benchmark estandarizado para la filtración de privacidad multimodal a nivel de usuario que tenga en cuenta la acumulación de señales débiles a través de múltiples publicaciones y modalidades. Los conjuntos de datos de usuarios reales son difíciles de publicar debido a su sensibilidad, y los conjuntos de datos sintéticos existentes suelen permanecer a nivel de publicación.
2. Métricas de Evaluación Inadecuadas: Las evaluaciones estándar dependen de la precisión binaria (correcto/incorrecto), lo que no logra capturar la severidad de la exposición. Una inferencia gruesa (p. ej., ubicación a nivel de ciudad) y una inferencia de grano fino (p. ej., un complejo residencial específico) se tratan por igual, a pesar de tener riesgos de privacidad muy distintos. Además, la sensibilidad varía según el contexto (p. ej., inferir una orientación sexual minoritaria es más sensible que inferir una mayoritaria).

Metodología

1. SopriBench: Un Benchmark Sintético
Para abordar la brecha de datos, los autores proponen SopriBench, un benchmark sintético controlable guiado por patrones de filtración abstractos de un corpus de referencia privado de 161 cuentas de Rednote y 157 de Instagram.

• Construcción: El benchmark contiene 50 perfiles de usuario sintéticos, 500 publicaciones multimodales y 1,569 imágenes. Evita copiar datos de usuarios reales; en su lugar, utiliza patrones desidentificados (escenarios, portadores de pistas, formas de filtración) para generar contenido sintético.
• Anotaciones: Cada publicación está anotada con atributos de verdad fundamental (ground-truth), sensibilidad contextual (escala 1–5), granularidad de valor (p. ej., de país a dirección), tipo de filtración (explícita, implícita, trans-publicación), dificultad de inferencia y evidencia de soporte.
• Puntuación de Exposición de Privacidad (PES): Los autores introducen el PES como una métrica de evaluación novedosa. A diferencia de la precisión binaria, el PES pondera la granularidad del valor inferido por su sensibilidad contextual.
  $$PES = \frac{\sum_j g_j \cdot s_j}{\sum_j s_j}$$
  Donde $g_j$ es la puntuación de granularidad (0 a 1) y $s_j$ es la puntuación de sensibilidad. Esta métrica distingue entre la exposición gruesa y la de grano fino, y prioriza los atributos sensibles.

2. Argus: Un Marco de Inferencia Agéntico
El artículo propone Argus, un marco agéntico libre de entrenamiento inspirado en el razonamiento abductivo (inferencia a la mejor explicación). Argus trata la inferencia de privacidad como una investigación iterativa basada en evidencia, en lugar de una tarea de clasificación de un solo paso.

• Grafo de Evidencia Trans-Publicación (CPeg): Argus mantiene una estructura de grafo persistente que almacena publicaciones, evidencia bruta, hipótesis y sus relaciones de cita/soporte. Esto permite al sistema conectar señales débiles a través de múltiples publicaciones.
• Flujo de Trabajo:
  1. Perceptor (Perceiver): Escanea las publicaciones públicas para extraer evidencia bruta (subtítulos, candidatos de OCR, etiquetas visuales) e inicializa el CPeg.
  2. Hipotetizador (Hypothesizer): Genera hipótesis candidatas para atributos privados basadas en la evidencia acumulada. Las hipótesis se almacenan como Candidata (no verificada) o No Resuelta (verificada pero insuficiente).
  3. Investigador (Investigator): Dirige las hipótesis activas hacia las herramientas apropiadas (OCR, búsqueda web, búsqueda en mapas, reinspección visual) para recolectar la evidencia faltante.
  4. Verificador (Verifier): Valida la evidencia recolectada contra la hipótesis. Solo se admite la evidencia fundamentada; las hipótesis sin soporte son suspendidas o eliminadas.
  5. Proyección de Perfil (Profile Projection): Convierte las hipótesis suficientemente sustentadas en evidencia derivada y las proyecta en un perfil de privacidad final.
• Mecanismo Clave: El marco rastrea explícitamente la incertidumbre. No se compromete con un valor de atributo específico hasta que las cadenas de evidencia a través de publicaciones y modalidades convergen para respaldarlo.

Resultados

Los experimentos se realizaron en SopriBench comparando Argus contra cinco líneas base: TextLLM, PostVLM, SelfDisc, Holmes (perfilado visual) y SingleAgent (un agente multimodal de uso de herramientas sin la arquitectura específica de Argus).

• Desempeño: Argus logró un PES de 0.55, lo que representa una mejora relativa del 25% sobre la línea base más fuerte, SingleAgent (0.44).
• Filtración Trans-Publicación: Las ganancias más significativas se observaron en los escenarios de filtración trans-publicación, donde Argus mejoró el PES en +0.17 (de 0.39 a 0.56) en comparación con SingleAgent. Esto destaca la capacidad del marco para conectar pistas dispersas.
• Estudios de Ablación:
  • Eliminar el Verificador aumentó la precisión binaria (0.71 a 0.74) pero redujo el PES (0.55 a 0.50), confirmando que la precisión binaria premia las conjeturas especulativas y gruesas, mientras que el PES favorece las exposiciones específicas, sensibles y verificadas.
  • Eliminar el CPeg causó una caída drástica en el PES trans-publicación (0.56 a 0.38), validando la necesidad de una memoria de evidencia persistente para la filtración acumulativa.
  • Eliminar el Investigador (enrutamiento de herramientas) resultó en la mayor caída de desempeño general, enfatizando la necesidad de la recolección activa de evidencia.

Significancia y Reivindicaciones

El artículo afirma realizar tres contribuciones principales:

1. Identificación del Problema: Establece que el riesgo de privacidad a nivel de usuario en las redes sociales públicas surge de la naturaleza acumulativa de las señales débiles a través de publicaciones y modalidades, en lugar de la divulgación explícita en publicaciones individuales.
2. Benchmark y Métrica: Introduce SopriBench y PES, proporcionando el primer benchmark controlable para la filtración multimodal a nivel de usuario y una métrica que captura la severidad de la exposición más allá de la precisión binaria.
3. Marco Agéntico: Presenta Argus, un marco libre de entrenamiento que modela la inferencia de privacidad como un proceso de razonamiento abductivo. Al mantener hipótesis explícitas y verificar la evidencia a través de una estructura de grafo, Argus agrega eficazmente las pistas trans-publicación.

Los autores concluyen que evaluar la privacidad en las redes sociales públicas requiere pasar de la detección de divulgación aislada a nivel de publicación a un paradigma de inferencia a nivel de usuario, multimodal y trans-publicación. Posicionan su trabajo como un paso hacia la comprensión y protección de la privacidad del usuario en la era de la exposición de datos acumulativos, señalando las limitaciones respecto a la naturaleza sintética del benchmark y las capacidades evolutivas de los modelos fundacionales subyacentes.