Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

Resumen Técnico: TIPO para Agentes GUI Móviles

1. Planteamiento del Problema

Los agentes de Interfaz Gráfica de Usuario (GUI) móviles, potenciados por Modelos de Lenguaje Multimodal (MLLM), han avanzado significativamente en la ejecución de tareas complejas. Sin embargo, la mayoría de los sistemas existentes se optimizan únicamente para maximizar la tasa de éxito o la eficiencia, ignorando las preferencias de privacidad del usuario.

• La Brecha: Los usuarios no solo valoran si una tarea se completa, sino cómo se realiza. Existen compensaciones (trade-offs) entre utilidad y privacidad. Por ejemplo, un usuario "prioritario en privacidad" puede rechazar permisos, iniciar sesión manualmente o borrar rastros, mientras que un usuario "prioritario en utilidad" aceptará configuraciones predeterminadas para mayor rapidez.
• El Desafío Técnico: Estas preferencias inducen heterogeneidad estructural en las trayectorias de ejecución. Las trayectorias de diferentes perfiles de usuario tienen longitudes variables y estructuras lógicas distintas (p. ej., una incluye pasos de defensa de privacidad que la otra omite).
• Limitación de los Métodos Actuales: Los métodos de optimización de preferencias estándar, como la Optimización Directa de Preferencias (DPO), asumen que las trayectorias comparadas son homogéneas y de longitud similar. Al aplicar DPO a trayectorias de longitud variable, se requiere un relleno (padding) que introduce ruido semántico (marcadores de posición sin significado real) y diluye las señales de aprendizaje en los pasos críticos de privacidad, llevando a una optimización inestable.

2. Metodología Propuesta: TIPO

Para abordar la heterogeneidad estructural, los autores proponen TIPO (Trajectory Induced Preference Optimization), un método diseñado específicamente para trayectorias de longitud variable y estructuralmente diferentes.

TIPO mejora el aprendizaje de preferencias mediante dos mecanismos clave:

1. Pesado de Intensidad de Preferencia (Preference-Intensity Weighting):

   • Reconoce que no todos los pasos en una trayectoria son igualmente informativos para la preferencia del usuario.
   • Asigna un peso ($\alpha_t$) a cada par de pasos alineados basándose en la diferencia de puntuación de relevancia de privacidad entre la trayectoria elegida ($y^+$) y la rechazada ($y^-$).
   • Esto amplifica la señal de aprendizaje en los pasos críticos (ej. denegar un permiso) y reduce la influencia de pasos neutrales.

2. Puerta de Relleno (Padding Gating):

   • Para comparar trayectorias de diferente longitud, se alinean insertando marcadores de posición (no_action).
   • TIPO introduce una puerta ($m_t$) que establece un peso de cero para estos marcadores de relleno.
   • Esto suprime el ruido generado por la alineación, evitando que el modelo aprenda patrones de relleno en lugar de preferencias reales.

Funcionamiento:
El objetivo de pérdida de TIPO ($L_{TIPO}$) combina estos elementos, calculando la puntuación de preferencia paso a paso, aplicando el peso de intensidad y la puerta de relleno antes de calcular la función de pérdida softplus. Esto permite que el modelo aprenda a seleccionar la trayectoria correcta basándose en la estructura lógica y los pasos clave, independientemente de la longitud total.

3. Contribuciones Clave

1. Definición del Problema: Se define la personalización de agentes GUI móviles como una tarea de selección de trayectorias, donde el objetivo es elegir una ruta coherente con la "persona" del usuario (privacidad vs. utilidad) manteniendo la viabilidad de la tarea.
2. Dataset de Preferencias de Privacidad: Se construyó un nuevo conjunto de datos que contiene trayectorias emparejadas para la misma tarea bajo dos perfiles distintos: Privacy-first (prioridad privacidad) y Utility-first (prioridad utilidad). El dataset incluye 151 tareas, 302 trayectorias y ~8.2k pasos anotados, capturando la heterogeneidad estructural real.
3. Algoritmo TIPO: Se propone un nuevo marco de optimización que estabiliza el aprendizaje de preferencias en trayectorias heterogéneas mediante el pesado de intensidad y la puerta de relleno, superando las limitaciones del DPO estándar en este contexto.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el modelo base Qwen2.5VL-3B y comparando TIPO con métodos baselines (Frozen, SFT, DPO, ORPO, CPO, SimPO, IPO).

• Rendimiento General: TIPO logró el mejor equilibrio global, alcanzando una Tasa de Éxito (SR) del 65.60%, preservando la capacidad de ejecución de tareas.
• Adherencia a la Persona (Compliance): TIPO obtuvo la puntuación más alta en cumplimiento de preferencias (46.22), superando significativamente a DPO (31.94). Esto demuestra una mejor capacidad para generar comportamientos defensivos cuando se requiere privacidad y comportamientos directos cuando se prioriza la utilidad.
• Distinción de Persona (PD): TIPO logró la mayor puntuación de distinción (66.67%), indicando que el modelo puede generar trayectorias lógicamente válidas pero estructuralmente distintas según el perfil de privacidad del usuario.
• Análisis de Ablación:
  • Sin pesado de intensidad, el cumplimiento cayó a 35.52.
  • Sin puerta de relleno, el cumplimiento fue de 38.93.
  • La combinación de ambos componentes en TIPO fue esencial para alcanzar el rendimiento óptimo (46.22), confirmando que ambos mecanismos son complementarios.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo demuestra que la personalización en agentes móviles no debe limitarse a la respuesta de texto o a la elección de alto nivel, sino que debe extenderse a la estructura de la trayectoria de ejecución.
• Confianza del Usuario: Al permitir que los agentes respeten preferencias de privacidad críticas (como no compartir datos o usar modo incógnito), se mejora la confianza del usuario y la seguridad en entornos móviles reales.
• Generalización: Aunque el estudio se centra en la privacidad, el marco TIPO es aplicable a otras preferencias de usuario que afectan la estructura de la tarea, como la sensibilidad al costo, la tolerancia al riesgo o la eficiencia.
• Relevancia Práctica: Proporciona una hoja de ruta para desarrolladores de agentes para integrar la alineación de preferencias en sus pipelines de entrenamiento sin redefinir los objetivos de la tarea, sino alineando el "cómo" se realiza la tarea.

En conclusión, TIPO representa un avance significativo hacia agentes GUI móviles más conscientes del usuario, capaces de navegar la compleja compensación entre completar tareas y respetar la privacidad individual mediante un aprendizaje de preferencias robusto y estructuralmente consciente.