Resumen Técnico: MYPCBENCH

Planteamiento del Problema

Los benchmarks actuales para agentes de uso de computadora (CUA, por sus siglas en inglés) evalúan modelos en entornos "impersonales". Estas evaluaciones suelen depender de escritorios vacíos, estados de aplicaciones genéricos o bases de datos mínimamente sembradas donde se le indica explícitamente al agente qué aplicaciones abrir y qué flujos de trabajo ejecutar. Este enfoque crea una brecha significativa entre la evaluación de investigación y el despliegue en el mundo real, donde los asistentes personales deben operar a través de toda la vida digital de un usuario, aprovechando el contexto, los datos históricos y las cuentas con sesión iniciada.

Esta brecha es particularmente aguda para las tareas web. Las evaluaciones en la web en vivo suelen evitar sitios que requieran inicio de sesión o información personal, pero estos son precisamente los entornos que un asistente personal real debe navegar. Los benchmarks existentes como AppWorld siembran identidades de usuario coherentes en la capa de la API en lugar de dentro de un entorno de escritorio vivido, fallando al capturar el entrelazamiento de datos entre aplicaciones de un usuario real (por ejemplo, un solo viaje que genera registros correlacionados en aplicaciones de banca, viajes, correo electrónico y mensajería). En consecuencia, las evaluaciones actuales no pueden determinar si un agente es verdaderamente "personal" o si el rendimiento de la personalización mejora con los nuevos lanzamientos de modelos.

Metodología

El Entorno MYPCBENCH

Los autores presentan MYPCBENCH, un benchmark de escritorio Linux reproducible y de código abierto diseñado para evaluar agentes como asistentes personales. El entorno está construido alrededor de una única persona canónica, Michael Scott (de The Office), y está empaquetado como un contenedor Docker que ejecuta una VM Ubuntu 24.04 con QEMU/KVM con GNOME Shell.

Características clave del entorno incluyen:

• Consistencia entre Aplicaciones: El entorno siembra 17 aplicaciones web del mundo real simuladas (clones de productos como Airbnb, Chase, Delta, DoorDash, etc.) y un stack de escritorio completo (LibreOffice, Firefox, administrador de archivos). Los datos se generan de forma determinista para que un solo evento (por ejemplo, un viaje) deje registros correlacionados en todas las aplicaciones relevantes (cargos bancarios, bloques de calendario, confirmaciones de correo electrónico, mensajes de chat e historial de navegación).
• Coherencia de la Persona: La persona no es una cuenta genérica, sino un individuo específico con una red social, perfil financiero, rutinas y preferencias definidas. La tubería de siembra de datos asegura que los amigos, compañeros de trabajo y preferencias estén entrelazados en todas las aplicaciones.
• Fidelidad al Mundo Real: Las 17 aplicaciones web son builds completos de Next.js (no mocks estáticos) que implementan flujos de trabajo reales (por ejemplo, generar pases de abordar con códigos QR, manejar transferencias Zelle). La interfaz de usuario y la navegación coinciden con sus análogos del mundo real.
• Escala: El entorno contiene 1,812 transacciones bancarias, 2,398 correos electrónicos, 679 eventos de calendario, 10,746 visitas al historial de navegación y miles de otros registros.

Suite de Tareas

El benchmark consiste en 184 tareas inspiradas en solicitudes reales de la comunidad OpenClaw. Los autores las curaron manualmente a partir de 2,749 casos de uso anonimizados, reescribiéndolas para alinearlas con los datos sembrados de Michael Scott.

• Tipos de Tarea: Las tareas se categorizan en seis tipos de comportamiento: Acción Acotada, Orquestación de Múltiples Pasos, Reconciliación de Fuentes Múltiples, Agregación y Reporte, Búsqueda Personal, e Inferencia de Patrones.
• Complejidad: Las tareas varían desde interacciones de una sola aplicación hasta aquellas que abarcan hasta 19 aplicaciones. El 68% de las tareas son de múltiples aplicaciones y el 40% abarcan al menos dos dominios web de alto nivel.
• Rúbrica de Evaluación: Cada tarea incluye una instrucción en lenguaje natural y una rúbrica detallada (3 a 13 criterios por tarea) generada por un agente de codificación y auditada por los autores.

Harness de Agente y Evaluación

Los autores utilizan un harness basado en el runner de OSWorld, tratando el entorno como un proceso de decisión markoviano parcialmente observable (POMDP).

• Observación: Los agentes reciben capturas de pantalla de 1280×800 del escritorio y un historial textual de acciones.
• Espacio de Acción: Para asegurar una comparación justa, todos los modelos se evalúan utilizando una superficie de herramienta uniforme de computadora + bash. Esto incluye acciones estándar de GUI (clic, escribir, arrastrar) y comandos de shell.
• Calificación: La evaluación utiliza un enfoque de "LLM-como-juez" (usando gemini-3.1-flash-lite-preview) para calificar las trayectorias contra la rúbrica. Las métricas incluyen:
  • Tasa de Perfección (Perfect Rate): La fracción de tareas donde se cumple cada criterio de la rúbrica.
  • Puntuación de la Rúbrica: Una suma ponderada que permite el crédito parcial.
  • Eficiencia de la Trayectoria: Puntuación de la rúbrica por paso del agente.

Principales Contribuciones

1. Entorno Personalizado Reproducible: Un escritorio Linux basado en Docker sembrado de extremo a extremo con una identidad de usuario coherente a través de 17 aplicaciones web y un stack de escritorio completo, permitiendo la evaluación de agentes sobre identidad persistente e historial entre aplicaciones.
2. 184 Tareas Inspiradas en el Mundo Real: Una suite de tareas derivada de solicitudes de usuarios reales, que presenta instrucciones en lenguaje natural y calificación basada en rúbricas para crédito parcial.
3. Benchmarking Exhaustivo: Evaluación de seis modelos (abiertos y cerrados: Claude Opus/Sonnet 4.6, GPT-5.5/5.4 mini, Qwen 3.5 35B/9B) bajo una superficie de herramienta uniforme, acompañada de una taxonomía de fallos y un análisis de escalabilidad.

Resultados

Los autores evaluaron seis modelos en la suite completa de 184 tareas.

• Rendimiento Superior: Claude Opus 4.6 es el único modelo que resuelve completamente más del 50% de las tareas (55.4% de tasa de perfección), con una puntuación de rúbrica del 81.8%. Supera significativamente al siguiente mejor modelo, Claude Sonnet 4.6 (39.1%).
• Varianza de Modelos: GPT-5.5 logró una tasa de perfección del 29.3%. Los modelos de pesos abiertos tuvieron un rendimiento significativamente inferior, con Qwen 3.5 35B-A3B en 7.6% y Qwen 3.5 9B en 2.7%.
• Escalado de Complejidad: El rendimiento se degrada drásticamente a medida que aumenta la complejidad de la tarea.
  • Complejidad entre Aplicaciones: Para tareas que tocan 7 o más aplicaciones, la tasa de perfección cae a 36% para Opus y 4.5% para GPT-5.5. GPT-5.4 mini, Qwen 35B y Qwen 9B alcanzan el 0% en estas tareas complejas.
  • Tipos de Tarea: Las brechas más grandes aparecen en tareas que requieren razonar sobre el historial de la persona o coordinar escrituras a través de múltiples aplicaciones (Agregación, Orquestación de Múltiples Pasos, Inferencia de Patrones).
• Eficiencia: Claude Opus 4.6 demuestra una alta eficiencia de trayectoria (3.61 puntos de rúbrica por paso), mientras que los modelos más pequeños a menudo entran en bucles improductivos o fallan al utilizar la superficie de la herramienta.

Análisis de Fallos

Los autores clasifican los fallos en cinco modos, revelando debilidades distintas por familia:

1. Terminación Prematura (Premature DONE): La familia GPT frecuentemente termina las tareas antes de completar todos los criterios de la rúbrica (354 hits totales, 235 de ellos de GPT).
2. Aplicación Requerida Saltada (Skipped Required App): Los agentes fallan al abrir las aplicaciones necesarias (323 hits).
3. Abandono por Error de Superficie (Surface-Error Abandonment): Los agentes se rinden tras errores de la interfaz de usuario (129 hits).
4. Artefacto Parcial (Partial Artifact): Los agentes completan solo parte de la tarea (47 hits).
5. Alucinación de Datos de la Persona (Hallucinated Persona Data): Los agentes inventan datos de usuario no presentes en el entorno (31 hits), un modo de fallo dominado por los modelos Qwen.

Además, los modelos Claude tienden a tomar "atajos" mediante scripts de bash en lugar de interactuar con la UI, mientras que Qwen 9B colapsa bajo el esquema de doble herramienta (GUI + bash).

Significado

MYPCBENCH aborda la brecha crítica entre el benchmarking impersonal y la realidad del despliegue de asistentes personales. Los autores argumentan que las evaluaciones actuales no logran probar si los sistemas son verdaderamente personales o capaces de manejar la naturaleza "entrelazada" de los datos del usuario entre aplicaciones.

El artículo concluye que incluso los agentes de frontera más fuertes actualmente resuelven apenas más de la mitad de las tareas en un entorno personalizado y de múltiples aplicaciones. La fuerte caída de rendimiento en tareas de largo horizonte y múltiples aplicaciones resalta que la personalización sigue siendo un desafío significativo. Al liberar el entorno, el conjunto de tareas y el harness de evaluación, los autores proporcionan una base para impulsar la investigación hacia agentes que puedan operar efectivamente dentro de una identidad de usuario coherente y persistente.