Synthetic Computers at Scale for Long-Horizon Productivity Simulation

1. Planteamiento del Problema

Los agentes de IA actuales están evolucionando desde asistentes conversacionales hacia agentes de codificación fundamentados en repositorios y, finalmente, hacia agentes a largo plazo capaces de operar dentro de entornos informáticos completos de los usuarios. Sin embargo, el entrenamiento y la evaluación de estos agentes enfrentan un cuello de botella crítico: la falta de datos de entrenamiento realistas y a gran escala.

• Dependencia del Contexto: El trabajo productivo realista está fuertemente condicionado por contextos específicos del usuario (estructuras de directorios, archivos históricos, estados de proyectos y retroalimentación de colaboradores).
• Escasez de Datos: La recolección de trayectorias del mundo real es inviable a gran escala debido a preocupaciones de privacidad (artefactos personales, datos empresariales) y al alto costo de la mano de obra humana.
• Limitaciones de los Datos Sintéticos Existentes: Los datos sintéticos actuales suelen centrarse en tareas aisladas o flujos de trabajo "de juguete". No logran sintetizar los entornos ricos, heterogéneos y cargados de artefactos (por ejemplo, jerarquías complejas de carpetas, dependencias entre archivos) que caracterizan el trabajo profesional real.
• La Brecha: Existe la necesidad de una metodología para generar entornos informáticos sintéticos específicos del usuario y escalables que puedan soportar simulaciones a largo plazo (que abarquen semanas de trabajo) para entrenar agentes en planificación, fundamentación, colaboración y creación de artefactos.

2. Metodología: Ordenadores Sintéticos a Escala

Los autores proponen un pipeline de tres etapas para crear y simular dentro de estos entornos: Creación Impulsada por Personas, Planificación del Entorno y Simulación a Largo Plazo.

A. Creación de Ordenadores Sintéticos

El proceso transforma una persona de alto nivel en un entorno informático completamente poblado y realista.

1. Perfiles de Usuario Impulsados por Personas: Partiendo de un gran conjunto de personas (por ejemplo, "Asesor Financiero Senior"), el sistema las expande en perfiles de usuario detallados. Estos perfiles capturan identidad, ocupación, historial laboral, responsabilidades, colaboradores y, crucialmente, comportamientos de uso informático (convenciones de nomenclatura, estilos de organización de archivos, hábitos de adjuntar y preferencias de herramientas).
2. Planificación del Sistema de Archivos:
   • Generación de Políticas: Se genera una política de sistema de archivos que define diseños de unidades, rutas predeterminadas y estilos de organización (por ejemplo, "Alta ordenación", "Sufijos de versión").
   • Planificación de Directorios e Inventario: El sistema planifica un árbol de directorios coherente e un inventario de archivos. Crucialmente, construye un grafo de dependencias dirigido donde los archivos no son muestras independientes, sino que están enlazados (por ejemplo, un informe PDF se deriva de un modelo de Excel, que a su vez se deriva de una descarga web). Esto asegura la consistencia lógica y la referencia cruzada entre archivos.
3. Creación de Artefactos:
   • El sistema materializa la estructura de directorios.
   • Población de archivos utilizando agentes LLM equipados con herramientas específicas de creación de artefactos (por ejemplo, minimax-docx, minimax-xlsx).
   • Los archivos se generan en orden de dependencia (orden topológico), asegurando que los archivos aguas abajo referencien correctamente el contenido de los archivos aguas arriba. Se recuperan artefactos web públicos si están disponibles; de lo contrario, se sintetizan.

B. Simulación de Productividad a Largo Plazo

Una vez que un ordenador sintético está listo, se ejecuta una simulación que involucra a dos agentes distintos:

1. Agente de Configuración:
   • Analiza el perfil de usuario y el estado actual del ordenador.
   • Genera objetivos de productividad adaptados al usuario (por ejemplo, "Actualizar Carteras de Modelos 2026", "Dar de alta a un nuevo cliente HNW"). Estos objetivos abarcan aproximadamente un mes de trabajo humano y requieren múltiples entregables profesionales (informes, hojas de cálculo, presentaciones).
   • Configura colaboradores simulados (gerentes, pares, clientes, oficiales de cumplimiento) con roles específicos, estilos de comunicación y materiales de referencia privados que el agente de usuario debe solicitar o recibir.
2. Agente de Trabajo:
   • Actúa como el usuario dentro del ordenador sintético.
   • Opera en un bucle de planificación semanal y ejecución diaria.
   • Acciones: Navega por el sistema de archivos, lee artefactos existentes, crea/revisa archivos, se comunica con colaboradores (enviando correos electrónicos, solicitando datos) e incorpora retroalimentación.
   • Duración: Las simulaciones promedian 2.272 turnos y 8,59 horas de tiempo de ejecución del agente por ordenador.

3. Contribuciones Clave

• Ordenadores Sintéticos a Escala: Una metodología novedosa para generar más de 1.000 entornos informáticos diversos, ricos en artefactos y específicos del usuario que imitan flujos de trabajo profesionales reales.
• Generación de Artefactos Consciente de Dependencias: A diferencia de métodos anteriores que generan archivos de forma aislada, este enfoque utiliza un grafo de dependencias para asegurar que los archivos sean lógicamente consistentes, versionados y con referencias cruzadas.
• Simulación Colaborativa a Largo Plazo: Introduce un marco de simulación donde los agentes deben coordinarse con partes interesadas simuladas, manejar retroalimentación y gestionar proyectos de varias semanas, en lugar de resolver tareas de un solo disparo.
• Señales de Aprendizaje Experiencial: El marco extrae señales ricas a nivel de proceso (planificación, fundamentación, revisión, recuperación de fallos) y señales a nivel de resultado (calidad del entregable final) de las simulaciones.
• Lanzamiento Abierto: Los autores lanzaron 100 ordenadores sintéticos (50 Windows, 50 macOS) e informes de análisis retrospectivo para 500 simulaciones para apoyar investigaciones futuras.

4. Resultados Experimentales

Los autores realizaron experimentos utilizando 1.000 ordenadores sintéticos y evaluaron la efectividad de los datos generados.

A. Estadísticas de Simulación

• Escala: Cada simulación involucra ~197 archivos (en aumento desde ~112 pre-simulación), 5,5 colaboradores y ~31 intercambios de comunicación.
• Complejidad: La duración promedio es de 8,59 horas con más de 2.000 turnos de interacción, superando ampliamente los puntos de referencia estándar (por ejemplo, GDPVal promedia 31 turnos).

B. Evaluación In-Dominio (Transferencia de Habilidades)

• Configuración: El equipo extrajo "habilidades" (lecciones, modos de fallo, patrones de trabajo) de 900 simulaciones de entrenamiento y las aplicó a 100 ordenadores de prueba retenidos.
• Resultado: Los agentes equipados con estas habilidades extraídas lograron una puntuación media de rúbrica del 68,6%, en comparación con el 61,6% de la línea base (una mejora de +7,0 puntos porcentuales).
• Escalado: La tasa de victoria de los agentes aumentados con habilidades sobre las líneas base aumentó con el número de ordenadores de entrenamiento (64% con 100, 75% con 500, 83% con 900), demostrando que una cobertura de simulación más amplia conduce a una mejor generalización.

C. Evaluación Out-of-Domain (Punto de Referencia GDPVal)

• Configuración: Las habilidades extraídas de sus simulaciones se probaron en el punto de referencia GDPVal (220 tareas de productividad realistas), un conjunto de datos distinto a su entorno sintético.
• Resultado: El agente aumentado con habilidades superó significativamente a la línea base en las tareas de GDPVal. Para el modelo principal (Claude Sonnet 4.6), el agente aumentado ganó 105 de 220 tareas (vs. 67 pérdidas), con significancia estadística ($p=0,002$).
• Implicación: Esto demuestra que las señales experienciales capturadas de simulaciones sintéticas a largo plazo se generalizan a tareas de productividad del mundo real, no solo al entorno sintético.

5. Significado y Direcciones Futuras

• Sustrato Fundamental para la Auto-mejora: El artículo argumenta que los ordenadores sintéticos proporcionan un sustrato escalable y seguro para la privacidad para la auto-mejora de agentes. El bucle implica: Simular $\rightarrow$ Extraer Experiencia (Habilidades) $\rightarrow$ Mejorar Agente $\rightarrow$ Ejecutar Simulaciones Más Fuertes.
• Escalabilidad: Con miles de millones de personas potenciales, esta metodología puede escalar a millones o miles de millones de mundos sintéticos, cubriendo diversas profesiones y contextos.
• Trabajo Futuro: Los autores sugieren mejoras futuras que incluyen:
  • Artefactos Personalizados: Variar estilos visuales y hábitos de formato.
  • Ruido Natural: Añadir rastros "desordenados" del mundo real (archivos abandonados, duplicados, descargas temporales).
  • Colaboración Dinámica: Simular colaboradores con sus propios flujos de trabajo activos y estados en evolución.

Conclusión: "Ordenadores Sintéticos a Escala" demuestra que la generación de entornos informáticos realistas y específicos del usuario permite la creación de datos de entrenamiento de alta calidad y a largo plazo. Estos datos mejoran significativamente el rendimiento de los agentes tanto en escenarios de productividad sintéticos como del mundo real, allanando el camino para agentes autónomos capaces de manejar trabajo profesional complejo y multi-paso.