Resumen Técnico: UI-MOPD

Declaración del Problema

El artículo aborda el desafío de entrenar agentes de GUI multi-plataforma unificados capaces de operar en entornos heterogéneos (específicamente escritorio y móvil) preservando las distintas convenciones de interacción de cada plataforma.

Los enfoques actuales para el aprendizaje multiplataforma suelen depender de:

1. Agregación de Datos: Mezclar señales de supervisión heterogéneas de diferentes plataformas.
2. Fusión de Modelos (Model Merging): Promediar los parámetros de modelos especializados.
3. Entrenamiento Secuencial: Entrenar en una plataforma y luego en la otra.

Los autores argumentan que estos métodos suelen fallar porque las plataformas de escritorio y móviles, aunque comparten capacidades fundamentales (comprensión visual, planificación), poseen semánticas de acción y convenciones de interacción conflictivas (por ejemplo, la navegación "atrás" difiere entre sistemas operativos). Mezclar la supervisión o promediar los parámetros tiende a desdibujar los comportamientos nativos, lo que conduce a una confluencia de capacidades, un rendimiento desequilibrado y la degradación de los sesgos previos (priors) específicos de cada plataforma. Además, los datos de interacción multiplataforma ejecutables de alta calidad han sido escasos, lo que dificulta el desarrollo de agentes unificados robustos.

Metodología: UI-MOPD

Para abordar estos desafíos, los autores proponen UI-MOPD (Destilación On-Policy de Multi-Profesor), un marco que integra el conocimiento especializado sin promediar las distintas convenciones de interacción. El enfoque consta de dos etapas principales:

1. Construcción de Datos: Uni-GUI

Los autores construyeron primero Uni-GUI, un conjunto de datos de alta calidad que contiene casi 10,000 trayectorias de interacción multiplataforma ejecutables.

• Recolección: Construido mediante un sistema unificado de escritorio-móvil, recolectando ~110K pasos de interacción de computadora y ~50K de móvil.
• Procesamiento: Se aplicaron rigurosos filtros, validación de trayectorias y control de calidad para asegurar acciones ejecutables y una alineación precisa entre estado y acción.

2. Marco de Entrenamiento: Destilación On-Policy de Multi-Profesor (MOPD)

El flujo de entrenamiento involucra dos etapas:

• Etapa 1 (Entrenamiento del Profesor): Ajuste Fino Supervisado (SFT) de un modelo fundacional de visión-lenguaje (Qwen3-VL-32B) sobre las particiones específicas de plataforma de Uni-GUI para crear dos profesores expertos: un Profesor de Escritorio ($\pi^d_{ref}$) y un Profesor Móvil ($\pi^m_{ref}$).
• Etapa 2 (Entrenamiento del Estudiante): Una política de estudiante compartida ($\pi_\theta$, inicializada desde un modelo de 8B) se entrena utilizando Destilación On-Policy de Multi-Profesor.
  • Rollouts On-Policy: El estudiante muestrea rollouts desde su política actual en entornos de plataforma mixtos.
  • Enrutamiento Condicionado por Plataforma: Cada rollout se enruta al profesor especializado en la plataforma correspondiente basándose en su etiqueta de entorno.
  • Anclaje de Comportamiento: El profesor proporciona guía solo en los estados realmente visitados por el estudiante. Esto actúa como un ancla de comportamiento condicionado por la plataforma, evitando que el estudiante sobrescriba los patrones de interacción nativos con señales de la otra plataforma.
  • Función de Pérdida: El objetivo de entrenamiento combina la optimización de política recortada (estilo PPO) con una penalización de divergencia KL inversa. El término KL se calcula entre el estudiante y el profesor enrutado, no un profesor unificado.
  • Máscara KL Adaptativa: Se aplica una máscara a nivel de grupo ($\mu$) para eliminar las penalizaciones del profesor cuando la retroalimentación de la tarea (recompensa) ya es suficiente, evitando restricciones innecesarias en la exploración de rollouts de alto rendimiento.

Principales Contribuciones

1. Conjunto de Datos Uni-GUI: La introducción de un conjunto de datos multiplataforma de alta calidad de ~10K trayectorias de interacción, abordando la escasez de datos multiplataforma ejecutables.
2. Marco UI-MOPD: La primera aplicación de la Destilación On-Policy de Multi-Profesor al entrenamiento de agentes de GUI unificados. Integra de manera única la experiencia complementaria de escritorio y móvil utilizando profesores condicionados por la plataforma como anclas de comportamiento en lugar de promediarlos.
3. Evaluación Sistemática: Experimentos exhaustivos que demuestran que UI-MOPD logra un rendimiento multiplataforma equilibrado, superando las estrategias de integración de parámetros emparejados (SFT/RL mixto, fusión de modelos, entrenamiento secuencial) mientras preserva las capacidades generales de grounding de GUI.

Resultados Experimentales

Los autores evaluaron UI-MOPD en los benchmarks OSWorld (escritorio) y MobileWorld (móvil), utilizando un modelo estudiante de 8B parámetros.

• Rendimiento:
  • OSWorld: Logró una tasa de éxito de tareas del 38.2% (una mejora relativa del 12.7% sobre el modelo base).
  • MobileWorld: Logró una tasa de éxito de tareas del 12.0% (una mejora relativa del 55.8% sobre el modelo base).
  • Equilibrio: UI-MOPD logró la Media Armónica (H-Mean) más alta de 18.3% entre todas las estrategias de integración de 8B, igualando el rendimiento de un modelo mucho más grande de 235B parámetros en términos de capacidad equilibrada.
• Comparaciones:
  • Superó estrategias como Mixed-SFT, Mixed-RL, Model Merging (Weight Averaging/TIES) y Sequential-RL.
  • Demostró que el uso de un único "Profesor Unificado" (entrenado con datos mixtos) o profesores de una sola plataforma era insuficiente en comparación con el enfoque de multi-profesor enrutado.
• Generalización:
  • El método preservó las capacidades generales de grounding de GUI, mostrando mejoras o una degradación insignificante en benchmarks estáticos como AndroidControl, ScreenSpot-Pro y OSWorld-G, mientras que otras estrategias de integración a menudo causaban una degradación más amplia.

Significado y Reivindicaciones

El artículo afirma que la Destilación On-Policy de Multi-Profesor proporciona un enfoque efectivo para construir agentes de GUI multiplataforma unificados. El núcleo de la significancia radica en el hallazgo de que:

• Integración de Conocimiento Especialista: Los profesores específicos de cada plataforma proporcionan una supervisión complementaria, no redundante. Actúan como anclas estables que permiten a una política compartida mejorar la finalización de tareas sin borrar los sesgos de comportamiento específicos de la plataforma.
• Resolución de Conflictos: Al enrutar los rollouts a profesores específicos, el método resuelve el conflicto entre las capacidades compartidas y las divergentes convenciones de interacción, evitando el efecto de "promedio" que plaga otros métodos de integración.
• Eficiencia: El enfoque permite que un solo modelo de 8B logre un rendimiento equilibrado en múltiples plataformas que típicamente requeriría modelos mucho más grandes o agentes especializados separados, sin sacrificar la comprensión general de la GUI.

Los autores concluyen que este marco establece un nuevo paradigma para entrenar agentes unificados en entornos heterogéneos, moviéndose más allá de la simple mezcla de datos hacia una integración de conocimiento estructurada y consciente de las condiciones.