Resumen Técnico: VISUALSKILL

Planteamiento del Problema

Los agentes de uso de computadora (CUAs) han alcanzado un rendimiento cercano al humano en benchmarks de escritorio estandarizados, pero continúan teniendo dificultades con tareas de largo alcance y software desconocido. Esta limitación surge principalmente de la falta de conocimiento procedimental persistente y específico de la aplicación (por ejemplo, ubicaciones de menús específicos, secuencias de diálogos y estados de flujo de trabajo de múltiples pasos) que el preentrenamiento no suministra. Aunque las bibliotecas de habilidades existentes intentan abordar esto proporcionando conocimiento reutilizable, representan predominantemente las habilidades como artefactos de solo texto. Esta modalidad es inadecuada para la interacción con interfaces gráficas de usuario (GUI) por dos razones principales:

1. Pérdida de Información: Muchos elementos de la interfaz (iconos, diseños, relaciones espaciales) son verbosos o ambiguos para ser descritos textualmente. La verbalización de estos elementos provoca una pérdida de información presente en las capturas de pantalla originales.
2. Dificultad de Verificación: En flujos de trabajo de múltiples pasos, los agentes deben verificar los estados intermedios de la interfaz después de cada acción. Las descripciones textuales proporcionan solo un anclaje indirecto, lo que dificulta distinguir entre el estado deseado y estados similares visualmente pero incorrectos.

Metodología: VISUALSKILL

Los autores proponen VISUALSKILL, un artefacto de habilidad multimodal jerárquico diseñado para retener figuras visuales junto con procedimientos textuales.

Estructura de la Habilidad

Un VISUALSKILL se organiza como una jerarquía de dos capas por cada aplicación objetivo:

• Índice Central (skill.md): Enumera todos los temas con una breve descripción de "cuándo usar".
• Guías por Tema: Cada guía $g_t$ empareja un cuerpo de texto $p_t$ con un conjunto de figuras de la interfaz de usuario $F_t$.
• Mecanismo de Carga: El agente no carga la habilidad completa de antemano. En su lugar, consulta el índice e invoca una herramienta de Protocolo de Contexto de Modelo (MCP) load_topic(t) para obtener el texto y las figuras específicos de un tema bajo demanda. Esto asegura que las figuras se entreguen en línea con su texto de referencia, evitando que sean omitidas o separadas del contexto.

Pipeline de Construcción

VISUALSKILL se construye mediante un pipeline de dos etapas que genera tanto la habilidad multimodal ($S_{mm}$) como un control de solo texto emparejado ($S_{txt}$) a partir del mismo contenido de origen para aislar el efecto de la modalidad:

1. Etapa 1: Minería de Documentación:

   • Analiza la guía de usuario oficial de la aplicación (PDF/HTML).
   • Reutiliza la tabla de contenidos del documento como la jerarquía de temas.
   • Extrae figuras dibujadas por el proveedor de forma literal y genera cuerpos de texto para ambas modalidades mediante una llamada conjunta a un LLM.

2. Etapa 2: Exploración de la Interfaz en Vivo:

   • Aumenta la habilidad de la Etapa 1 mediante la conducción de la aplicación en vivo con un explorador controlado por un LLM para capturar el conocimiento faltante de la documentación (por ejemplo, diálogos de baja frecuencia, afectaciones visuales).
   • Explorador Libre: Un planificador particiona la ventana de la aplicación inactiva en regiones; los agentes trabajadores interactúan con cada región para capturar capturas de pantalla y resumir las afectaciones.
   • Explorador Dirigido por Trayectorias: Un revisor analiza las trayectorias de entrenamiento fallidas para identificar regiones de la interfaz donde la habilidad de la Etapa 1 tuvo un desempeño inferior. Los trabajadores son despachados a estas regiones específicas para capturar estados dinámicos faltantes.
   • Las capturas de pantalla y las notas capturadas se fusionan en las guías por tema.

Contribuciones Clave

1. Artefactos Multimodales Jerárquicos: El diseño de VISUALSKILL como una estructura indexada por temas donde las figuras visuales se retienen junto al texto, accedidas mediante una herramienta MCP bajo demanda.
2. Pipeline de Construcción de Dos Etapas: Un método que combina la minería de documentación de autoría con la exploración de la interfaz de la aplicación en vivo (tanto libre como dirigida por trayectorias) para crear conjuntos de habilidades integrales.
3. Evaluación Controlada: La creación de un control de solo texto emparejado generado a partir del mismo material de origen y pasos procedimentales exactos, diferenciándose únicamente en la modalidad. Esto aísla la ganancia de rendimiento atribuible específicamente a la presencia de figuras visuales.

Resultados Experimentales

Los autores evaluaron VISUALSKILL utilizando un agente de la CLI de Claude Code respaldado por Claude Opus 4.6 a través de 177 tareas de CUA-World y OSExpert-Eval.

• Mejora de la Línea Base: El agente logró un puntaje promedio de 0.303 sin habilidades.

• Impacto de la Etapa 1: Usando la VISUALSKILL derivada de la documentación, el puntaje aumentó a 0.363 (+6.0% absoluto).

• Impacto de la Etapa 2: Agregar la exploración de la interfaz (Etapa 2) aumentó aún más el puntaje a 0.456 (+15.3% absoluto sobre la línea base).

• Multimodal vs. Solo Texto:

  • En la Etapa 1, la habilidad multimodal superó al control de solo texto por +1.9% absoluto (0.344 vs. 0.363).
  • En la Etapa 2, la habilidad multimodal superó al control de solo texto por +8.3% absoluto (0.373 vs. 0.456).
  • La ventaja multimodal fue más pronunciada en dominios visualmente intensivos (por ejemplo, GIMP, OpenToonz, Tableau) donde el éxito depende del reconocimiento de iconos, diálogos y diseños.

• Ablación sobre el Mecanismo de Carga: Reemplazar la herramienta MCP load_topic con un mecanismo estándar de acceso a archivos Read resultó en una caída significativa del rendimiento. La herramienta MCP aseguró que el agente consultara la habilidad a lo largo de la trayectoria (mediana de última consulta en el paso 10.4) y cargó aproximadamente 7.9 figuras por tarea, mientras que el enfoque Read llevó al abandono temprano (mediana de paso 1.5) y cargó solo aproximadamente 0.8 figuras por tarea.

Significancia y Reivindicaciones

El artículo sostiene que retener figuras visuales en los artefactos de habilidad, en lugar de verbalizarlos, proporciona evidencia directa que ayuda a los agentes a:

1. Identificar elementos de la interfaz: Localizar con precisión iconos, diseños y relaciones espaciales que son ambiguos en texto.
2. Verificar estados de flujo de trabajo: Coincidir directamente la observación actual contra una captura de pantalla de referencia para confirmar estados intermedios, particularmente en fallos silenciosos (por ejemplo, campos de formulario que parecen aceptados pero son rechazados al realizar el envío).

Los autores concluyen que, para los agentes de uso de computadora, el artefacto de habilidad debe ser una referencia multimodal bajo demanda en lugar de un documento de solo texto. Enfatizan que la combinación de anclaje visual, el mecanismo de entrega basado en MCP y la exploración dirigida por trayectorias son individualmente necesarios para lograr las ganancias de rendimiento reportadas.

Limitaciones: Los autores señalan que los modelos actuales a veces tienen dificultades para decidir qué figuras específicas dentro de un tema cargado son relevantes, lo que lleva a la inflación del contexto. En modelos más débiles, esta granularidad gruesa puede degradar el rendimiento debido a la presión de la longitud del contexto, lo que sugiere que la gestión más efectiva del presupuesto de contexto para habilidades multimodales sigue siendo una pregunta abierta.