Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

1. Il Problema: Personalizzazione e Privacy negli Agenti GUI Mobile

Gli agenti GUI mobile, potenziati da Modelli Linguistici Multimodali (MLLM), sono in grado di eseguire compiti complessi direttamente sui dispositivi mobili. Tuttavia, la maggior parte dei sistemi esistenti si concentra sull'ottimizzazione del tasso di successo o dell'efficienza, trascurando la personalizzazione delle preferenze dell'utente, in particolare quelle legate alla privacy.

Il problema centrale identificato dagli autori è che diverse preferenze di privacy (es. utenti "privacy-first" vs. "utility-first") inducono eterogeneità strutturale nelle traiettorie di esecuzione:

• Utenti Privacy-First: Tendono a scegliere azioni protettive (rifiuto di permessi, disattivazione del tracciamento, logout, uso della navigazione in incognito), creando traiettorie più lunghe e strutturalmente diverse.
• Utenti Utility-First: Preferiscono percorsi diretti e ad alta efficienza, accettando permessi e tracciamento per ridurre l'attrito.

Le tecniche di ottimizzazione delle preferenze standard (come DPO - Direct Preference Optimization) falliscono in questo contesto perché:

1. Disallineamento strutturale: Le traiettorie preferite e quelle rifiutate hanno spesso lunghezze diverse e strutture non allineate.
2. Rumore di padding: Per allineare le traiettorie di lunghezza diversa, si inseriscono segnaposto (es. no_action), che diluiscono il segnale di apprendimento e confondono il modello.
3. Diluzione dei segnali critici: Le azioni relative alla privacy sono spesso sparse e critiche all'interno di traiettorie lunghe; i metodi standard trattano tutti i passaggi come ugualmente informativi, non dando peso sufficiente ai punti decisionali chiave.

2. Metodologia: Trajectory Induced Preference Optimization (TIPO)

Per risolvere queste sfide, gli autori propongono TIPO, un metodo di ottimizzazione delle preferenze progettato specificamente per traiettorie strutturalmente eterogenee e di lunghezza variabile. TIPO introduce due meccanismi innovativi:

A. Definizione del Problema

Il problema è definito come una selezione di traiettoria: dato lo stesso obiettivo di compito, l'agente deve selezionare la traiettoria che meglio si allinea con il "personaggio" (persona) di privacy dell'utente (es. Privacy-first o Utility-first), mantenendo comunque la fattibilità del compito.

B. Componenti Chiave di TIPO

1. Weighting dell'Intensità delle Preferenze (Preference-Intensity Weighting):

   • Invece di trattare tutti i passaggi allineati in modo uniforme, TIPO assegna un peso ($\alpha_t$) a ciascun passaggio basato sulla sua rilevanza per la preferenza di privacy.
   • Utilizza uno schema di scoring (basato su regole e assistito da LLM) per calcolare la differenza di punteggio tra l'azione preferita e quella rifiutata in un dato passaggio.
   • I passaggi critici per la privacy (es. negare un permesso) ricevono un peso più alto, permettendo al modello di concentrarsi sui punti decisionali che definiscono la persona, piuttosto che sui passaggi neutri.

2. Gating del Padding (Padding Gating):

   • Per gestire le differenze di lunghezza, le traiettorie vengono allineate inserendo segnaposto (no_action).
   • TIPO introduce un "cancello" ($m_t$) che imposta a zero il gradiente per questi segnaposto.
   • Questo impedisce al modello di imparare pattern falsi derivanti dai segnaposto di allineamento, riducendo il rumore durante l'addestramento.

La funzione di perdita combinata ($L_{TIPO}$) integra questi due fattori, massimizzando la probabilità della traiettoria allineata alla persona mentre sopprime il rumore e enfatizza i passaggi critici.

3. Dataset e Sperimentazione

• Privacy Preference Dataset: Gli autori hanno costruito un nuovo dataset contenente 151 istanze di compiti in 8 categorie (Shopping, Pagamenti, Navigazione, ecc.).
• Raccolta Dati: Per ogni compito, sono state raccolte coppie di traiettorie eseguite da umani che impersonano due ruoli: Privacy-first e Utility-first.
• Allineamento: Le traiettorie sono state allineate manualmente e semanticamente per creare coppie di preferenza $(x, y^+, y^-)$, dove $y^+$ è la traiettoria coerente con la persona e $y^-$ è l'alternativa meno coerente.
• Setup Sperimentale: Il modello di base utilizzato è Qwen2.5VL-3B. TIPO è stato confrontato con metodi di baseline come SFT (Supervised Fine-Tuning), DPO, ORPO, CPO, SimPO e IPO.

4. Risultati Principali

I risultati dimostrano che TIPO supera significativamente i metodi esistenti, bilanciando l'esecuzione del compito con l'allineamento alla persona:

• Successo del Compito (SR): TIPO ottiene un tasso di successo complessivo del 65.60%, dimostrando che l'allineamento alla privacy non compromette la capacità di completare il compito (superiore o paragonabile alle baseline).
• Adesione alla Persona (Compliance): TIPO raggiunge un punteggio di Compliance del 46.22, significativamente superiore a DPO (31.94). Questo indica una migliore capacità di generare comportamenti coerenti con la persona target (es. azioni di sicurezza per gli utenti Privacy-first).
• Distinzione della Persona (PD): TIPO ottiene il punteggio più alto di 66.67%, indicando che il modello riesce a generare traiettorie logicamente valide ma strutturalmente diverse quando cambia la preferenza di privacy, a differenza delle baseline che tendono a produrre output simili.
• Analisi per Categoria: Le prestazioni sono robuste attraverso diverse categorie di compiti (Navigazione, Gestione Account, Transazioni), con punteggi PD che raggiungono l'80% nella gestione di account e file.

5. Contributi Chiave

1. Ridefinizione del problema: La personalizzazione degli agenti GUI mobile è trattata come un problema di selezione di traiettoria piuttosto che semplice generazione di risposte, riconoscendo che le preferenze influenzano la struttura dell'esecuzione.
2. Nuovo Dataset: Creazione del Privacy Preference Dataset, che fornisce traiettorie accoppiate con eterogeneità strutturale e di lunghezza, fondamentale per studiare la personalizzazione.
3. Algoritmo TIPO: Proposta di un nuovo metodo di ottimizzazione che risolve l'eterogeneità strutturale tramite preference-intensity weighting e padding gating, rendendo l'apprendimento delle preferenze stabile ed efficace per traiettorie variabili.

6. Significato e Implicazioni

• Fiducia e Sicurezza: Il lavoro evidenzia che la soddisfazione dell'utente non dipende solo dal completamento del compito, ma anche da come viene completato, specialmente in contesti ad alto rischio come la privacy.
• Flessibilità del Framework: Sebbene il paper si concentri sulla privacy, il framework TIPO è applicabile ad altre preferenze utente (es. efficienza, costo, accessibilità), offrendo una via per creare agenti mobili che si adattano non solo all'obiettivo dell'utente, ma anche al suo stile di interazione.
• Implicazioni per gli Sviluppatori: Suggerisce che i pipeline di addestramento degli agenti dovrebbero includere la modellazione delle preferenze a livello di traiettoria, utilizzando coppie di traiettorie per supervisione, senza dover ridefinire gli obiettivi del compito.

In conclusione, questo studio dimostra che l'adeguamento delle preferenze a livello di traiettoria è un passo cruciale verso agenti GUI mobile più pratici, consapevoli dell'utente e capaci di gestire le complessità strutturali introdotte dalle diverse preferenze di privacy.