What Your Posts Reveal: A Benchmark and Agentic Framework for User-Level Privacy Leakage on Social Media

Sintesi Tecnica: SopriBench e Argus per la fuga di privacy a livello utente

Problema
La ricerca attuale sulla privacy nei social media si concentra ampiamente sulla l'auto-rivelazione a livello di singolo post o sul rilevamento di informazioni personali identificabili (PII) esplicite all'interno di singoli post. Tuttavia, il documento sostiene che la fuga di privacy a livello utente sia fondamentalmente cumulativa e cross-post. Deboli indizi sparsi tra testo, immagini e metadati — innocui se isolati — possono insieme esporre attributi sensibili dell'utente come indirizzi di residenza, luoghi di lavoro, routine quotidiane e relazioni sociali quando vengono aggregati.

Gli approcci esistenti soffrono di due lacune primarie:

1. Mancanza di un benchmark unificato: Non esiste un benchmark standardizzato per la fuga di privacy multimodale a livello utente che tenga conto dell'accumulo di deboli indizi attraverso molteplici post e modalità. I dataset di utenti reali sono difficili da rilasciare a causa della loro sensibilità, e i dataset sintetici esistenti spesso rimangono a livello di singolo post.
2. Metriche di valutazione inadeguate: Le valutazioni standard si affidano all'accuratezza binaria (corretto/errato), il che non riesce a catturare la gravità dell'esposizione. Un'inferenza grossolana (ad esempio, la città) e un'inferenza granulare (ad esempio, un complesso residenziale specifico) vengono trattate allo stesso modo, nonostante i rischi per la privacy siano vastamente differenti. Inoltre, la sensibilità varia in base al contesto (ad esempio, inferire l'orientamento sessuale di una minoranza è più sensibile rispetto a quello di una maggioranza).

Metodologia

1. SopriBench: Un Benchmark Sintetico
Per colmare il divario dei dati, gli autori propongono SopriBench, un benchmark sintetico controllabile guidato da pattern di fuga astratti da un corpus di riferimento privato di 161 account Rednote e 157 Instagram.

• Costruzione: Il benchmark contiene 50 profili utente sintetici, 500 post multimodali e 1.569 immagini. Evita di copiare dati di utenti reali; utilizza invece modelli de-identificati (scenari, vettori di indizi, forme di fuga) per generare contenuti sintetici.
• Annotazioni: Ogni post è annotato con attributi di verità fondamentale (ground-truth), sensibilità contestuale (scala 1–5), granularità del valore (es. da paese ad indirizzo), tipo di fuga (esplicita, implicita, cross-post), difficoltà di inferenza ed evidenza a supporto.
• Privacy Exposure Score (PES): Gli autori introducono il PES come una nuova metrica di valutazione. A differenza dell'accuratezza binaria, il PES pesa la granularità del valore inferito in base alla sua sensibilità contestuale.
  $$PES = \frac{\sum_j g_j \cdot s_j}{\sum_j s_j}$$
  Dove $g_j$ è il punteggio di granularità (da 0 a 1) e $s_j$ è il punteggio di sensibilità. Questa metrica distingue tra esposizione grossolana e granulare e dà priorità agli attributi sensibili.

2. Argus: Un Framework di Inferenza Agente-centrico
Il documento propone Argus, un framework agente-centrico privo di addestramento (training-free) ispirato al ragionamento abduttivo (inferenza alla migliore spiegazione). Argus tratta l'inferenza della privacy come un'indagine iterativa basata sulle prove, piuttosto che come un compito di classificazione a colpo singolo.

• Cross-Post Evidence Graph (CPeg): Argus mantiene una struttura a grafo persistente che memorizza post, prove grezze, ipotesi e le loro relazioni di citazione/supporto. Ciò consente al sistema di collegare deboli indizi attraverso più post.
• Workflow:
  1. Perceiver: Scansiona i post pubblici per estrarre prove grezze (didascalie, candidati OCR, tag visivi) e inizializza il CPeg.
  2. Hypothesizer: Genera ipotesi candidate per attributi privati basandosi sulle prove accumulate. Le ipotesi sono archiviate come Candidate (non verificate) o Unresolved (controllate ma insufficienti).
  3. Investigator: Instrada le ipotesi attive verso gli strumenti appropriati (OCR, ricerca web, ricerca mappe, ri-ispezione visiva) per raccogliere le prove mancanti.
  4. Verifier: Valida le prove raccolte rispetto all'ipotesi. Solo le prove fondate vengono ammesse; le ipotesi non supportate vengono sospese o rimosse.
  5. Profile Projection: Converte le ipotesi sufficientemente supportate in prove derivate e le proietta in un profilo di privacy finale.
• Meccanismo Chiave: Il framework traccia esplicitamente l'incertezza. Non si impegna su un valore specifico di un attributo finché le catene di evidenza attraverso i post e le modalità non convergono per supportarlo.

Risultati

Gli esperimenti sono stati condotti su SopriBench confrontando Argus con cinque baseline: TextLLM, PostVLM, SelfDisc, Holmes (profilazione visiva) e SingleAgent (un agente multimodale che utilizza strumenti senza la specifica architettura di Argus).

• Performance: Argus ha raggiunto un PES di 0,55, che rappresenta un miglioramento relativo del 25% rispetto alla baseline più forte, SingleAgent (0,44).
• Fuga Cross-Post: I guadagni più significativi sono stati osservati negli scenari di fuga cross-post, dove Argus ha migliorato il PES di +0,17 (da 0,39 a 0,56) rispetto a SingleAgent. Ciò evidenzia la capacità del framework di collegare indizi sparsi.
• Studi di Ablazione:
  • Rimuovere il Verifier ha aumentato l'accuratezza binaria (da 0,71 a 0,74) ma ha abbassato il PES (da 0,55 a 0,50), confermando che l'accuratezza binaria premia le ipotesi speculative e grossolane, mentre il PES favorisce esposizioni specifiche, sensibili e verificate.
  • Rimuovere il CPeg ha causato un drastico calo del PES cross-post (da 0,56 a 0,38), validando la necessità di una memoria di evidenza persistente per la fuga cumulativa.
  • Rimuovere l'Investigator (instradamento degli strumenti) ha causato il calo di performance complessivo più significativo, sottolineando la necessità di una raccolta attiva delle prove.

Significatività e Rivendicazioni

Il documento sostiene di apportare tre contributi principali:

1. Identificazione del Problema: Stabilisce che il rischio di privacy a livello utente sui social media pubblici deriva dalla natura cumulativa dei deboli indizi attraverso i post e le modalità, piuttosto che dalla divulgazione esplicita in singoli post.
2. Benchmark e Metrica: Introduce SopriBench e PES, fornendo il primo benchmark controllabile per la fuga multimodale a livello utente e una metrica che cattura la gravità dell'esposizione oltre l'accuratezza binaria.
3. Framework Agente-centrico: Presenta Argus, un framework privo di addestramento che modella l'inferenza della privacy come un processo di ragionamento abduttivo. Mantenendo ipotesi esplicite e verificando le prove attraverso una struttura a grafo, Argus aggrega efficacemente gli indizi cross-post.

Gli autori concludono che la valutazione della privacy sui social media pubblici richiede uno spostamento dal rilevamento dell'auto-divulgazione isolata a livello di singolo post a un paradigma di inferenza a livello utente, multimodale e cross-post. Posizionano il loro lavoro come un passo verso una migliore comprensione e protezione della privacy dell'utente nell'era dell'esposizione cumulativa dei dati, pur prendendo nota dei limiti relativi alla natura sintetica del benchmark e alle capacità in evoluzione dei modelli di base sottostanti.