Resumen Técnico: OpenComputer

Enunciado del Problema

La escalabilidad de los agentes de uso informático se ve actualmente limitada por dos desafíos críticos: el alto costo de construir entornos de escritorio realistas y reproducibles, y la dificultad de verificar el éxito de las tareas en estados de software complejos. La creación tradicional de tareas requiere el diseño manual de objetivos de usuario y la inicialización del entorno (por ejemplo, poblar archivos, configurar ajustes), lo cual es tedioso y no estandarizado. Además, la evaluación a menudo depende de "LLM como juez" o de la inspección visual de capturas de pantalla, lo que falla al detectar errores sutiles en los estados subyacentes de las aplicaciones, los metadatos de los archivos o los efectos secundarios persistentes que no son visualmente aparentes. Las pruebas de referencia existentes son en gran parte curadas por humanos, limitadas en escala y a menudo carecen de señales de recompensa confiables y verificables por máquina.

Metodología: El Marco OpenComputer

OpenComputer es un marco fundamentado en verificadores diseñado para sintetizar mundos de software verificables para agentes de uso informático. Trata la verificación no como un paso de evaluación posterior, sino como el principio organizador para la construcción del entorno y las tareas. El marco consta de cuatro componentes estrechamente acoplados:

1. Verificadores de Estado Específicos de la Aplicación

OpenComputer construye una pila de verificación donde cada aplicación compatible se empareja con un módulo verificador sintético en Python que se ejecuta dentro de un entorno aislado (sandbox).

• Canales de Inspección: Los verificadores utilizan los canales de inspección específicos de la aplicación más fiables disponibles, como protocolos de depuración de navegadores (CDP), D-Bus, bases de datos de perfiles respaldadas por SQLite, APIs de accesibilidad (AT-SPI) y análisis directo de archivos (por ejemplo, para Inkscape, VS Code o Blender).
• Construcción de Puntos Finales: El sistema genera subcomandos de interfaz de línea de comandos (CLI) con salidas JSON que exponen superficies de estado estructuradas (contenido, preferencias, historial, metadatos).
• Protocolo de Pruebas: Los verificadores pasan por un ciclo estricto de depuración-corrección-reintento con pruebas unitarias y de integración para asegurar que inspeccionen de manera fiable el estado real del software en lugar de depender de coincidencias heurísticas.

2. Capa de Verificación de Autoevolución

Para abordar los errores residuales en los verificadores (por ejemplo, suposiciones de esquemas frágiles o cobertura incompleta), OpenComputer implementa un bucle de autoevolución:

• Calibración: Un conjunto pequeño de tareas fáciles a medias es ejecutado por un agente potente en un entorno aislado.
• Diagnóstico de Desacuerdos: Un evaluador LLM y el verificador programático producen independientemente veredictos sobre el estado final. Se identifican los desacuerdos atribuidos a errores del verificador (en lugar de fallos del agente).
• Refinamiento: El código del verificador, los puntos finales o la documentación se refinan basándose en esta retroalimentación. Este proceso itera hasta que el verificador se alinea con el juicio de referencia o se agota el presupuesto.

3. Pipeline de Generación de Tareas

Las tareas se sintetizan mediante un proceso consciente del verificador:

• Propuesta: El sistema propone objetivos de usuario realistas sin condicionarse a verificadores existentes para asegurar la diversidad.
• Filtrado: Las propuestas se filtran por complejidad y generabilidad de datos, priorizando flujos de trabajo de múltiples pasos.
• Fundamentación: Las tareas se fundamentan en la pila de verificación. Si un estado es inspeccionable pero carece de un punto final, se genera uno nuevo.
• Síntesis: El sistema materializa la tarea generando los archivos, configuraciones y perfiles requeridos, produciendo una instancia de tarea $\tau = (x, e, c)$ donde $x$ es la instrucción, $e$ es la inicialización del entorno y $c$ son los criterios de éxito verificables por máquina.

4. Entorno de Evaluación

El entorno ejecuta agentes en entornos de escritorio aislados frescos, registrando trayectorias completas de captura de pantalla-acción. El éxito se calcula ejecutando los comandos de verificación de la tarea contra el estado final del software. La recompensa es la fracción de comprobaciones superadas ($R = N_{pass}/N_{total}$), lo que permite crédito parcial mientras se mantienen condiciones de éxito exactas y verificables por máquina.

Contribuciones Clave

1. Marco OpenComputer: Un sistema fundamentado en verificadores para generar automáticamente mundos de software realistas, descripciones de tareas y verificadores sin construcción manual.
2. Validación de Fiabilidad: Evidencia empírica que muestra que los verificadores codificados manualmente se alinean más estrechamente con la adjudicación humana que la evaluación mediante "LLM como juez", particularmente para estados de aplicación de granularidad fina.
3. Prueba de Referencia a Gran Escala: Una publicación que comprende 33 aplicaciones de escritorio y 1.000 tareas finalizadas que abarcan navegadores, herramientas de oficina, software creativo, entornos de desarrollo y aplicaciones de comunicación.

Resultados Experimentales

Los autores evaluaron agentes de vanguardia y de código abierto en la prueba de referencia OpenComputer:

• Rendimiento de Vanguardia: GPT-5.4 logró el rendimiento más alto con una tasa de éxito de tareas completas del 68,3% y una recompensa promedio del 88,4%. Le siguieron Claude-Sonnet-4.6 (64,4%) y Kimi-K2.6 (58,8%). A pesar de un progreso parcial alto, la finalización confiable de extremo a extremo sigue siendo difícil.
• Brecha de Código Abierto: Los modelos de código abierto mostraron caídas significativas de rendimiento en comparación con sus puntuaciones reportadas en pruebas de referencia existentes como OSWorld. Por ejemplo, GUI-OWL-1.5-8B bajó de una puntuación de OSWorld del 52,3% al 5,7% en OpenComputer.
• Eficiencia: GPT-5.4 fue el más eficiente, promediando 19,0 pasos por tarea, en parte debido a su capacidad para combinar operaciones y evitar trazas de razonamiento largas en la salida.
• Alineación de Verificación: En una comparación de 120 tareas, los verificadores codificados manualmente coincidieron con los veredictos humanos el 94,1% de las veces, en comparación con el 79,2% para un juez LLM. El verificador fue particularmente superior en la detección de errores en registros de terminal, paneles colapsados y metadatos de archivos precisos que las capturas de pantalla pasan por alto.
• Impacto de la Autoevolución: La capa de verificación de autoevolución reparó el 89,4% de los errores del lado del verificador en tareas de calibración, mejorando el acuerdo entre humano y verificador del 85,2% al 94,1%.

Significado y Afirmaciones

El artículo afirma que OpenComputer proporciona una infraestructura fundamental para escalar la investigación de uso informático al acoplar mundos de software realistas con retroalimentación verificable por máquina. Los autores argumentan que:

• La Verificación es Crítica: La síntesis escalable para agentes debe acoplarse con inspección fiable en lugar de evaluaciones proxy débiles como jueces LLM o capturas de pantalla.
• Limitaciones Actuales: Incluso los agentes de vanguardia luchan con la finalización de extremo a extremo en flujos de trabajo de escritorio realistas, exponiendo una brecha en la automatización informática robusta.
• Utilidad Futura: El marco soporta no solo la evaluación sino también pipelines de entrenamiento (por ejemplo, SFT, RL) al proporcionar recompensas auditables y fundamentadas. Sirve como un punto de partida controlado para estudiar la fiabilidad de los agentes y los modos de fallo en entornos de software complejos.

Los autores reconocen limitaciones relacionadas con tareas que requieren juicios visuales o geométricos (por ejemplo, diseño espacial en Draw.io) que no pueden reducirse completamente a comprobaciones programáticas; tales tareas se excluyen de la prueba de referencia principal para mantener la reproducibilidad, pero se publican para futuras investigaciones de verificación híbrida.