Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining

Resumen Técnico: Automatización de la Generación de SKILL.md para Agentes con Capacidad de Uso de Computadora mediante la Minería de Trayectorias de Interacción

Declaración del Problema
Los Agentes con Capacidad de Uso de Computadora (CUA, por sus siglas en inglés) operan en Interfaces Gráficas de Usuario (GUI) a través de acciones primitivas (hacer clic, escribir, desplazarse). A medida que estos agentes transitan de tareas de un solo paso hacia flujos de trabajo complejos, emergen patrones repetidos que pueden empaquetarse como "habilidades" (skills): procedimientos con nombre que se sitúan por encima de las acciones primitivas pero por debajo de los planes de tareas completos. Si bien las bibliotecas de habilidades explícitas (referidas aquí como archivos SKILL.md) facilitan la inspección y la depuración, suelen ser escritas a mano, lo que crea un cuello de botella para el nombramiento, el alcance y la actualización a medida que las interfaces evolucionan.

La pregunta central de este trabajo es si las bibliotecas de habilidades explícitas pueden minarse automáticamente de las trayectorias de interacción para mejorar las políticas de los agentes en tareas posteriores. Los autores distinguen entre la capacidad de descubrir grupos coherentes de acciones y la capacidad de transferir esos grupos en una política útil para nuevas tareas. Observan que un grupo puede ser coherente sin ser útil, y que las mejoras en la política pueden derivar de un mayor volumen de datos en lugar de la adquisición de un vocabulario de habilidades transferible.

Metodología
El artículo propone un pipeline de tres etapas para minar habilidades del conjunto de datos InteraSkill (IW) y evaluar su utilidad:

1. Fase 1: Segmentación de Trayectorias (Detección de Fronteras)

   • El pipeline segmenta las trayectorias basándose en "saltos de acción". Calcula la distancia euclidiana entre vectores de acción adyacentes ($\Delta a_t = \|a_t - a_{t-1}\|_2$).
   • Se selecciona un umbral $\theta$ en datos de IW no utilizados para el entrenamiento para maximizar la F1 de frontera. Si $\Delta a_t > \theta$, se marca una frontera.
   • Los vectores de acción consisten en 15 características normalizadas (acción primitiva one-hot, coordenadas de pantalla, marca de tiempo, longitud de texto, cantidad de desplazamiento), pero excluyen datos de DOM o capturas de pantalla.

2. Fase 2: Incrustación de Habilidades (Construcción de la Biblioteca)

   • Representación del Segmento: Cada segmento se resume como una "bolsa de acciones" utilizando la media ($\mu$) y la varianza diagonal ($\Sigma$) de sus vectores de acción. Esta representación es invariante a la longitud pero descarta el orden secuencial (por ejemplo, hacer clic antes de escribir frente a escribir antes de hacer clic).
   • Agrupamiento (Clustering): Los segmentos se agrupan utilizando la distancia Bures al cuadrado (un caso especial de la distancia 2-Wasserstein para Gaussianas diagonales) entre sus perfiles de media/varianza. Se realiza un agrupamiento aglomerativo con $k=8$ a $16$.
   • Refinamiento: Se entrena un codificador contrastivo supervisado (MLP) utilizando las asignaciones de los grupos como etiquetas pseudo-etiquetas. Esto refina las incrustaciones para que sean más consistentes internamente, mapeando entradas de 30 dimensiones (media + varianza) a un espacio latente de 16 dimensiones.

3. Fase 3: Entrenamiento de Política Consciente de Habilidades

   • Las etiquetas de habilidades minadas se utilizan para entrenar una política para la composición de secuencias de habilidades (predecir la siguiente etiqueta de habilidad dado un contexto de tarea).
   • Líneas Base (Baselines): Modelos simples de MLP y Transformer consumen las incrustaciones de segmentos aprendidas.
     [] El modelo Qwen3-8B es entrenado utilizando Optimización de Política Relativa de Grupo (GRPO) desde un modelo base. El modelo de recompensa califica las respuestas completas conscientes de la habilidad, y la política se actualiza sin arranques supervisados (warm starts).
   • Evaluación: La métrica principal es la precisión de paso de habilidad y la coincidencia exacta de secuencia en benchmarks mantenidos fuera del entrenamiento (WebArena, BrowseComp+), utilizando IW como el dominio de origen.

Contribuciones Clave

1. Pipeline para la Minería Automatizada de Habilidades: Los autores presentan un pipeline reproducible que segmenta trayectorias de GUI, las agrupa en candidatos a habilidades y genera artefactos de tipo SKILL.md.
2. Evaluación Diagnóstica de la Transferencia: El estudio evalúa rigurosamente si las habilidades minadas mejoran el rendimiento de la política en tareas posteriores, comparando los modelos aprendidos contra líneas base de cero disparos (zero-shot) y supuestos estadísticos triviales.
3. Resultados Negativos y Limitaciones: El artículo reporta que, si bien la estructura minada es legible en el dominio de origen, el pipeline actual no logra producir mejoras de política fiables en el cruce de dominios.

Resultos

• Legibilidad en el Dominio de Origen: En el benchmark de origen IW, los grupos minados son altamente legibles. Cinco de los ocho grupos logran una pureza $\ge 0.95$ contra las etiquetas de habilidades de la verdad de terreno de IW (ej. document_edit, data_transfer). El codificador contrastivo mejora la Información Mutua Normalizada (NMI) de 0.65 (base de Wasserstein) a 0.86.
• Deficiente Rendimiento de Transferencia:
  • Rendimiento de GRPO: El entrenamiento de Qwen3-8B con GRPO sobre habilidades minadas solo produce ganancias marginales en el dominio de origen (la precisión de paso de habilidad en IW aumenta del 18.5% al 20.5%) y degrada o no cambia en los dominios mantenidos fuera del entrenamiento (WebArena cae del 5 de 55.8% a 44.2%; BrowseComp+ permanece en ~43.3%).
  • Fallo de la Línea Base: Una línea base de frecuencia trivial (predecir la siguiente habilidad más común) supera tanto al MLP aprendido como a la política entrenada con GRPO en la precisión de paso de habilidad en IW (34.9% vs. 23.3% y 20.5%, respectivamente).
  • Distancia de Edición: Los archivos SKILL.md generados automáticamente tienen distancias de edición normalizadas más altas que la línea base de frecuencia en todos los tamaños de datos, fallando en superar al supuesto estadístico más simple.
• Problemas de Detección de Fronteras: La heurística de salto de acción sobre-segmenta las habilidades (baja precisión) y no es estable entre dominios. Aplicar el umbral derivado de IW a WebArena resulta en una caída drástica en la F1 (0.119), indicando que la señal de frontera no se transfiere.
• Limitaciones de Representación: La representación de "bolsa de acciones" (media/varianza) descarta el orden secuencial, lo cual es crítico para las habilidades de GUI (ej. copiar antes de pegar). Esto probablemente contribuye a la incapacidad de la política para aprender reglas de composición complejas.

Significancia y Reivindicaciones
Los autores enmarcan este trabajo explícitamente como un estudio diagnóstico en lugar de una afirmación de éxito. La significancia radica en aclarar los límites de los enfoques actuales de minería de trayectorias:

• Inspectabilidad vs. Utilidad: La minería de trayectorias puede exponer estructuras de habilidades inspeccionables en el dominio de origen, pero la legibilidad no implica transferibilidad.
• Insuficiencia del Pipeline: La combinación actual de un detector de fronteras $\ell_2$, una representación de segmento sin orden y un modelo de recompensa offline es insuficiente para una mejora fiable de la política en el cruce de dominios.
• Necesidad de Controles más Fuertes: El artículo argumenta que el trabajo futuro de descubrimiento de habilidades debe compararse contra frecuencias y supuestos de transición para asegurar que las mejoras no sean meros artefactos del desequilibrio de los datos o de la adaptación del formato de salida.
• Sin Ganancias de Cruce de Dominio: El estudio no encuentra evidencia de que los componentes aprendidos actualmente superen a las líneas base triviales o al diseño manual en un entorno de cruce de dominios.

El artículo concluye que, si bien las habilidades minadas sirven como estructuras inspeccionables útiles y señales de entrenamiento para modelos de recompensa, aún no son un reemplazo fiable para las líneas base estadísticas o el diseño manual para construir agentes robustos con capacidad de uso de computadora.