Resumen Técnico: LiteGUI - Destilación de Agentes GUI Compactos con Aprendizaje por Refuerzo

Declaración del Problema

El desarrollo de agentes GUI de visión-idioma ligeros y en el dispositivo es crítico para la interacción automatizada eficiente entre plataformas. Sin embargo, los agentes en el dispositivo actuales (típicamente en escalas de 2B–3B parámetros) enfrentan cuellos de botella significativos en el rendimiento. El Ajuste Fino Supervisado (SFT) tradicional en modelos a pequeña escala a menudo conduce al sobreajuste, al olvido catastrófico de capacidades fundamentales y a la rigidez de la política, particularmente en entornos de interfaz de usuario dinámicos que requieren planificación a largo plazo. Además, los enfoques existentes de Aprendizaje por Refuerzo (RL) a menudo dependen de recompensas de solución única y de coincidencia de coordenadas ingenua, que sufren de esparsidad, falsos negativos e incapacidad para manejar la naturaleza de múltiples soluciones de las tareas GUI. Mientras que los modelos a gran escala (por ejemplo, GPT-4o, Claude 3.5) demuestran un rendimiento sólido, su sobrecarga computacional prohíbe su implementación localizada.

Metodología

Los autores proponen LiteGUI, un nuevo paradigma de entrenamiento sin SFT que combina Destilación Guiada en Política (Guided-OPD) y GRPO de Doble Nivel de Múltiples Soluciones (MD-GRPO). El marco opera en dos etapas:

1. Destilación Guiada en Política (Guided-OPD)

Para abordar la inestabilidad de destilar desde modelos maestros en configuraciones GUI complejas, los autores introducen un mecanismo que condiciona el modelo maestro en conjuntos de acciones válidas verificadas por humanos ($A^*_t$) durante el entrenamiento.

• Guía Privilegiada: El modelo maestro recibe la salida actual del estudiante junto con una señal de "guía" derivada de acciones válidas de verdad fundamental, mientras que el modelo estudiante recibe solo la entrada estándar. Esto sigue el paradigma de "Aprendizaje Usando Información Privilegiada".
• Recuperación Dinámica: Reconociendo que las tareas GUI a menudo tienen múltiples soluciones válidas, el método emplea una estrategia de Mejor Coincidencia con Verdad Fundamental (Most-Matched-GT). En lugar de seleccionar aleatoriamente una única verdad fundamental o proporcionar todas las acciones válidas (lo que podría diluir la señal), el sistema recupera dinámicamente la acción válida del grupo que mejor coincide con el comportamiento en política actual del estudiante utilizando una función de coincidencia unificada ($\phi_{gui}$). Esto reduce las alucinaciones y el desalineamiento cognitivo.
• Objetivo: El estudiante se optimiza utilizando un objetivo de divergencia KL inversa para alinearse con la distribución del maestro bajo este contexto privilegiado.

2. GRPO de Doble Nivel de Múltiples Soluciones (MD-GRPO)

Para superar las limitaciones de las recompensas de solución única en tareas a largo plazo, los autores proponen un marco de recompensa de doble nivel integrado en la Optimización de Política Relativa de Grupo (GRPO):

• Recompensa de Acción de Múltiples Soluciones ($R_{ms}$): En lugar de penalizar las desviaciones de una única acción anotada, la recompensa se calcula como la puntuación de coincidencia máxima entre la salida del modelo y cualquier acción válida en el conjunto de verdad fundamental ($A^*_t$). Esto mitiga las penalizaciones de "falsos negativos" para rutas alternativas válidas.
• Recompensa de Planificación a Largo Plazo ($R_{sub}$): Una recompensa de planificación de subtareas evalúa la calidad de la planificación intermedia del agente. Un juez VLM potente (Qwen3-VL-32B) evalúa la lista de subtareas generada basándose en la relevancia de la tarea, la anclaje visual, la granularidad de la descomposición y la consistencia del estado. Crucialmente, si el agente está atascado o en un estado de error, el plan debe proponer explícitamente un paso correctivo para recibir una puntuación alta.
• Optimización: La recompensa total combina estas dos señales, normalizadas dentro de un grupo de trayectorias muestreadas para calcular ventajas relativas para las actualizaciones de la política.

Infraestructura de Datos

Para apoyar este entrenamiento, los autores construyeron:

• Lite-Dataset: Un conjunto de datos GUI solo de visión que contiene 30K trayectorias y 11K anotaciones de múltiples soluciones verificadas por humanos en diversos escenarios (Sistema de Archivos, Web, Terminal).
• Lite-Bench: Una nueva prueba con 160 tareas diversas diseñadas para evaluar la planificación a largo plazo y la recuperación de errores en entornos realistas, prohibiendo estrictamente el uso de terminal para tareas de archivos para imponer la interacción GUI.
• Pipeline Automatizado: Un bucle de "generación-verificación-corrección" que utiliza un modelo maestro potente para sintetizar trayectorias, seguido de auditoría humana para crear las anotaciones de múltiples soluciones.

Contribuciones Clave

1. Nuevo Paradigma de Entrenamiento: El artículo propone el primer enfoque de entrenamiento sin SFT para agentes GUI ligeros, demostrando que combinar la destilación en política con RL puede desbloquear el potencial completo de modelos a escala de 2B–3B.
2. Destilación Guiada en Política: La introducción de referencias guiadas por oráculo y recuperación dinámica de trayectorias para reducir las alucinaciones y alinearse con la naturaleza de múltiples soluciones de las tareas GUI.
3. GRPO de Doble Nivel de Múltiples Soluciones: Un nuevo marco de RL que optimiza conjuntamente la planificación de subtareas a nivel macro y la coincidencia de ejecución a nivel micro, abordando efectivamente los cuellos de botella de exploración en tareas a largo plazo.
4. Recursos: El lanzamiento de Lite-Dataset (30K trayectorias, 11K anotaciones de múltiples soluciones) y Lite-Bench (160 instancias de evaluación) para abordar la escasez de datos GUI de alta calidad y de múltiples soluciones.

Resultados Experimentales

Se realizaron evaluaciones extensas en ScreenSpot-Pro, OS-World y el nuevo Lite-Bench.

• Rendimiento: El modelo Lite-GUI-2B logró una nueva precisión promedio de vanguardia (SOTA) de 46.86% en ScreenSpot-Pro, superando significativamente a modelos especializados mucho más grandes como UI-TARS-72B (35.7%) y JEDI-7B (39.5%).
• Escalabilidad: El modelo Lite-GUI-30B-A3B logró 58.95% en ScreenSpot-Pro, superando al modelo maestro Qwen3-VL-32B (58.57%) y a otros modelos especializados a gran escala.
• Tareas a Largo Plazo: En OS-World, Lite-GUI-2B logró una tasa de éxito de 13.24%, más del doble del rendimiento de su columna vertebral base (6.04%). En Lite-Bench, alcanzó una tasa de éxito de 61.76%, casi el doble de la línea base.
• Eficiencia de Datos: Notablemente, Lite-GUI-2B logró estos resultados utilizando solo 8K muestras de ShowUI-Desktop para ScreenSpot-Pro, destacando la eficiencia de datos del marco propuesto.

Significado y Afirmaciones

El artículo afirma que el método propuesto supera con éxito las limitaciones del SFT tradicional y el RL ingenuo para modelos a pequeña escala. Al evitar por completo el SFT y utilizar la destilación en política estructurada combinada con la exploración de doble nivel de múltiples soluciones, LiteGUI permite que los agentes en el dispositivo logren un rendimiento competitivo con modelos de escala mucho mayor. Los autores afirman que su enfoque desbloquea completamente las capacidades de los agentes a escala de 2B–3B, superando los límites de rendimiento del aprendizaje por imitación convencional y proporcionando un camino viable para la automatización GUI eficiente y localizada. El trabajo enfatiza que la combinación de destilación guiada y RL de doble nivel es esencial para manejar la complejidad, la naturaleza de múltiples soluciones y los requisitos a largo plazo de las tareas GUI del mundo real.