Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

Probleemstelling

Mobiele GUI-agenten, aangedreven door Multimodale Grootte Taalmodellen (MLLM's), zijn in staat om complexe taken op mobiele apparaten uit te voeren. Echter, bestaande systemen optimaliseren voornamelijk voor taaksucces of efficiëntie, waarbij ze de privacy-persoonlijkheid van de gebruiker negeren.

De kern van het probleem is dat verschillende gebruikers (bijvoorbeeld "privacy-first" versus "utility-first") voor dezelfde taak verschillende voorkeuren hebben wat betreft hoe de taak wordt uitgevoerd.

• Privacy-first gebruikers kiezen voor beschermende acties (bijv. weigeren van toestemmingen, uitloggen, incognito-modus), wat leidt tot langere en structureel verschillende uitvoeringstrajecten.
• Utility-first gebruikers kiezen voor directe, efficiënte paden, zelfs als dit meer privacy-risico's met zich meebrengt.

Bestaande methoden voor voorkeursoptimalisatie (zoals Direct Preference Optimization - DPO) gaan ervan uit dat de vergeleken trajecten homogeen zijn en gelijke lengte hebben. In de praktijk zijn deze trajecten echter structureel heterogeen en van variabele lengte. Dit zorgt ervoor dat standaard DPO-methoden instabiel worden, omdat het trainingsignaal wordt verdund door "padding" (opvulacties) en de model niet goed leert op de cruciale, maar zeldzame, privacy-gerelateerde stappen.

Methodologie: TIPO

Om dit probleem op te lossen, stellen de auteurs Trajectory Induced Preference Optimization (TIPO) voor. Dit is een voorkeursoptimalisatiemethode die specifiek is ontworpen voor structureel heterogene trajecten. TIPO verbetert het leerproces via twee kernmechanismen:

1. Preference-Intensity Weighting (Voorkeursintensiteit-gewicht):

   • In lange trajecten zijn privacy-critieke stappen vaak schaars en worden ze overschaduwd door neutrale stappen.
   • TIPO kent een gewicht ($\alpha_t$) toe aan elke stap in het traject op basis van hoe sterk die stap de voorkeur van de gebruiker weerspiegelt (bijv. het weigeren van een toestemming krijgt een hoog gewicht).
   • Dit zorgt ervoor dat het model meer leert van de cruciale beslispunten die de persoonlijkheid definiëren, in plaats van alle stappen gelijk te behandelen.

2. Padding Gating (Opvul-afsluiting):

   • Om trajecten van verschillende lengtes te kunnen vergelijken, worden ze op elkaar afgestemd (aligned) door no_action-placeholders toe te voegen aan het kortere traject.
   • Deze placeholders bevatten geen echte voorkeursinformatie en introduceren ruis in de training.
   • TIPO introduceert een "gate" ($m_t$) die deze no_action-stappen volledig uitsluit uit de verliesberekening. Hierdoor leert het model niet per ongeluk patronen van de opvulstappen.

De combinatie van deze twee technieken maakt het mogelijk om stabiel te leren van variabele lengte-paren van trajecten, waarbij het signaal van de echte voorkeuren wordt versterkt en de ruis wordt onderdrukt.

Dataset en Experimenten

• Dataset: De auteurs hebben een nieuwe Privacy Preference Dataset gebouwd. Deze bevat 151 taakinstanties over 8 categorieën (zoals winkelen, betalingen, browsen). Voor elke taak zijn gepaarde trajecten verzameld onder twee persona's: Privacy-first en Utility-first.
• Verzameling: De data is verzameld via menselijke rolspellen op echte Android-apparaten (met ADB-logging), waarbij 8 annotatoren ongeveer 320 uur hebben gewerkt.
• Basislijn: De methode is getest op een Qwen2.5VL-3B model en vergeleken met bestaande methoden zoals SFT, DPO, ORPO, CPO, SimPO en IPO.

Belangrijkste Resultaten

TIPO presteert over het algemeen beter dan bestaande methoden op het gebied van persoonlijkheidsalignement en onderscheid, terwijl het taaksucces behouden blijft:

• Taaksucces (SR): TIPO behaalde een 65,60% overall success rate, vergelijkbaar met of beter dan de beste baselines.
• Compliance (Naleving): TIPO scoorde 46,22, wat aanzienlijk hoger is dan DPO (31,94). Dit betekent dat het model beter in staat is om de gewenste privacy-acties uit te voeren.
• Persona Distinction (PD): TIPO behaalde een score van 66,67%, wat aangeeft dat het model voor dezelfde taak duidelijk verschillende trajecten kan genereren afhankelijk van de privacy-instelling van de gebruiker.
• Ablatie-studies: Het verwijderen van zowel de gewichtsfactor als de padding-gating leidde tot een daling in prestaties, wat bevestigt dat beide componenten noodzakelijk en complementair zijn.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Definitie van Personalisatie: Het definiëren van personalisatie voor mobiele GUI-agenten als een trajectselectie-taak, waarbij het doel niet alleen is om de taak te voltooien, maar om het traject te kiezen dat past bij de gebruikersvoorkeur (privacy).
2. Nieuwe Dataset: Het creëren van een dataset met gepaarde, structureel heterogene trajecten voor verschillende privacy-persona's, wat een zeldzaam en waardevol hulpmiddel is voor onderzoek.
3. TIPO Framework: Het introduceren van een nieuwe optimalisatiemethode die de beperkingen van standaard DPO oplost bij variabele lengte-trajecten door middel van intensiteitsgewichten en padding-gating.

Significantie:
Dit onderzoek toont aan dat gebruikersvoorkeuren fundamenteel de structuur van uitvoeringstrajecten kunnen veranderen. Het biedt een praktische oplossing voor ontwikkelaars om agents te maken die niet alleen "slim" zijn in het voltooien van taken, maar ook "trustworthy" door respect te tonen voor de privacy-voorkeuren van de gebruiker. De methode is niet beperkt tot privacy en kan worden toegepast op andere voorkeuren zoals kostenbewustzijn of toegankelijkheid, wat een belangrijke stap is naar echt gepersonaliseerde en betrouwbare mobiele agenten.