💬 NLP

RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions

RealClawBench introduce un marco de evaluación en vivo derivado de sesiones reales de agentes-desarrolladores de OpenClaw que utiliza entornos de ejecución reconstruidos y evaluadores deterministas para transformar 281 tareas desafiantes del mundo real en evaluaciones reproducibles, revelando brechas de rendimiento significativas en los modelos actuales.

Autores originales: Zongwei Lv, Zhewen Tan, Yaoming Li, Yilun Yao, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Weihong Lin, Tong Yang, Guangxiang Zhao

Publicado 2026-06-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zongwei Lv, Zhewen Tan, Yaoming Li, Yilun Yao, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Weihong Lin, Tong Yang, Guangxiang Zhao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de probar qué tan bueno es un nuevo robot chef.

La forma antigua (Benchmarks convencionales):
Tradicionalmente, los investigadores escribían una lista de recetas perfectas y de libro de texto como "Haz un sándwich de queso a la parrilla" o "Hornea un pastel de chocolate". Le daban estas recetas al robot y veían si seguía los pasos. ¿El problema? La vida real no es un libro de texto. En el mundo real, un cliente podría decir: "Mi pan está un poco rancio, el queso está al fondo de la nevera y solo tengo un horno tostador, no una parrilla. ¿Puedes hacer algo comestible?". Las pruebas antiguas no comprobaban si el robot podía lidiar con esos detalles desordenados del mundo real.

La nueva forma (REALCLAWBENCH):
Los autores de este artículo se dieron cuenta de que, para probar verdaderamente a un "agente desarrollador" (un robot que ayuda a los programadores), necesitaban dejar de escribir pruebas falsas y empezar a observar a personas reales usando los robots en el mundo real.

Construyeron un sistema llamado REALCLAWBENCH. Así es como funciona, usando analogías simples:

1. Capturando momentos reales (La fuente)

En lugar de inventar tareas, el equipo observó 76,155 sesiones reales donde desarrolladores reales usaron una herramienta llamada "OpenClaw" para obtener ayuda con su código. Vieron a personas reales pidiendo ayuda con solicitudes desordenadas, complicadas y, a veces, vagas.

Analogía: Imagina una cámara de seguridad grabando a miles de clientes reales pidiendo comida en un restaurante concurrido, en lugar de un chef escribiendo un menú en una cocina tranquila.

2. La "Limpieza Mágica" (El pipeline)

No puedes simplemente tomar la grabación bruta de un cliente real y convertirla en una prueba. La grabación puede contener contraseñas privadas, archivos secretos de la empresa o referencias a computadoras que ya no existen.
El artículo describe un pipeline (una línea de producción paso a paso) que limpia estos momentos reales:

Pantalla de Privacidad: Eliminan todos los secretos e información privada, como si se desenfocaran rostros en un video.
Reconstrucción del Entorno: Si un desarrollador le pidió al robot que arreglara un archivo en su computadora específica, el equipo construye una versión falsa y segura de ese entorno de computadora para que la prueba pueda ejecutarse de nuevo más tarde.
Reescritura de la Solicitud: Transforman una solicitud vaga y conversacional ("Oye, ¿puedes mirar eso que mencioné antes?") en una instrucción clara e independiente ("Por favor, corrige el error en el archivo de inicio de sesión").
El Juez Automático: En lugar de un humano calificando el trabajo, escriben un programa de computadora que verifica el resultado. ¿Se arregló el archivo? Sí/No. No se permiten conjeturas.

3. El Resultado: Una prueba "en vivo"

El producto final es un benchmark con 281 tareas del mundo real.

Por qué es especial: Es "en vivo" y está "anclado". Esto significa que la prueba no es una lista estática de preguntas que se queda obsoleta. Debido a que lo construyeron a partir de un flujo continuo de datos de usuarios reales, pueden actualizar la prueba más tarde con nuevos ejemplos del mundo real para mantenerla fresca.
La "Brecha de Realismo": El artículo argumenta que las pruebas anteriores tenían una "brecha" entre lo que probaban y lo que realmente sucede. REALCLAWBENCH cierra esa brecha. Es como cambiar el probar a un conductor en una pista de carreras perfecta y vacía por probarlo en el tráfico real de la hora punta con baches y peatones confundidos.

¿Qué encontraron?

Probaron 14 de los modelos de IA más inteligentes disponibles actualmente en este test desordenado y real.

La puntuación: Incluso el mejor modelo de IA (Claude Opus 4.7) solo resolvió alrededor del 66% de las tareas.
La conclusión: Esto significa que todavía hay mucho margen de mejora. Los "superinteligentes" robots actuales todavía están luchando con el tipo de problemas desordenados y de la vida real que los desarrolladores reales enfrentan cada día.

Resumen

En resumen, el artículo dice: "Dejen de probar robots con escenarios perfectos y falsos. Probémoslos con los problemas desordenados y reales que realmente enfrentan, pero límpienlos lo suficiente como para poder calificarlos justamente".

Construyeron un sistema para hacer exactamente eso, y descubrieron que incluso los mejores robots actuales todavía están a solo dos tercios de camino de ser verdaderamente confiables en el mundo real.

Resumen Técnico: REALCLAWBENCH

Declaración del Problema

Los benchmarks actuales para agentes suelen fallar al reflejar la realidad de las sesiones de desarrollador-agente desplegadas. Aunque los benchmarks existentes (por ejemplo, SWE-bench, WebArena, AgentBench) han mejorado la ejecutabilidad y la conciencia de herramientas, dependen principalmente de tareas de autoría, artefactos públicos o entornos curados. Esto crea una "brecha de realismo" donde los benchmarks pueden ser ejecutables y difíciles, pero carecen del estado local, la intención implícita del usuario y los criterios de éxito que ocurren naturalmente en los flujos de trabajo de producción reales.

Las sesiones reales de desarrollador-agente (específicamente dentro del ecosistema OpenClaw) presentan desafíos únicos para la evaluación:

Dependencia de Contexto: Las tareas suelen depender de entornos de ejecución locales y estados de proyecto específicos.
Intención Implícita: Las solicitudes de los usuarios frecuentemente contienen objetivos subespecificados o elipsis conversacionales.
Dificultad de Verificación: Los criterios de éxito suelen ser no deterministas o requieren un juicio subjetivo, lo que dificulta la puntuación automatizada.

Consecuentemente, las evaluaciones existentes pueden no medir con precisión la capacidad de un agente para resolver tareas extraídas de la distribución real de uso desplegado.

Metodología

El artículo presenta REALCLAWBENCH, un marco de benchmark en vivo construido directamente a partir de sesiones reales de usuarios de OpenClaw. La metodología central consiste en un pipeline que transforma registros de despliegue brutos y sensibles de privacidad en tareas reproducibles, con protección de privacidad y puntuadas automáticamente.

1. Anclaje de la Distribución de la Fuente

El marco utiliza 76,155 sesiones de uso de herramientas desplegadas de OpenClaw como la distribución de origen. A diferencia de los enfoques previos que muestrean desde pools curados finales, REALCLAWBENCH ancla su muestreo al flujo de uso de herramientas limpio antes del filtrado de calidad final. Esto asegura que el benchmark preserve la distribución empírica de las demandas reales de los usuarios, incluyendo categorías raras y mezclas de tareas específicas.

2. Pipeline de Sesión-a-Tarea

Cada instancia liberada se construye mediante un proceso de transformación de cuatro etapas (ilustrado en la Figura 2):

Reconstrucción del Entorno ( $E_0$ ): El espacio de trabajo inicial se materializa a partir de la evidencia de la sesión, incluyendo archivos, dependencias, contextos de comandos y esquemas. Las tareas que dependen de servicios privados son respaldadas por fixtures o rechazadas.
Reescritura de la Solicitud ( $x$ ): Los mensajes originales de los usuarios se convierten en instrucciones independientes. Este proceso resuelve referencias locales y elipsis conversacionales mientras elimina identificadores privados. Crucialmente, las reescritas preservan la categoría de la tarea original sin añadir pistas de la solución.
Construcción del Verificador ( $V$ ): Se construye un programa determinista para verificar el espacio de trabajo final, el stdout y los subprocesos acotados. Los verificadores comprueban resultados estructurales (por ejemplo, existencia de archivos, validez de esquemas). Las tareas que requieren juicio subjetivo o estético se excluyen para asegurar una puntuación automática y determinista.
Revisión de Fidelidad: Los borradores de las instancias se someten a pruebas para detectar errores, redacción ambigua o instrucciones con "fugas". Solo las instancias que pasan los controles de reconstruibilidad y validez del verificador son liberadas.

3. Mecanismo de Lanzamiento en Vivo

REALCLAWBENCH soporta lanzamientos en vivo versionados. El mismo mapa de construcción ( $T$ ) puede aplicarse a ventanas temporales no superpuestas de logs futuros. Esto permite que el benchmark rastree cambios temporales en la demanda del usuario manteniendo un protocolo de evaluación controlado.

Contribuciones Clave

Identificación de la Brecha de Realismo: El artículo define formalmente la discrepencia entre los benchmarks de agentes ejecutables y la distribución real del uso de desarrollador-agente desplegado, resaltando la falta de estado local e intención implícita en los conjuntos de datos actuales.
Pipeline de Sesión-a-Tarea: Un pipeline novedoso que convierte registros de despliegue brutos y sensibles a la privacidad en tareas de benchmark reproducibles utilizando reconstrucción de entorno, reescritura de intención preservada y verificadores deterministas.
Lanzamiento de Benchmark en Vivo: El lanzamiento de REALCLAWBENCH, un benchmark anclado a la distribución que contiene 281 tareas ejecutables muestreadas de sesiones reales. Demuestra que el proceso de construcción puede ejecutarse nuevamente en logs futuros para producir actualizaciones versionadas sin rediseñar los filtros.

Resultados

Fidelidad Distribucional

El pipeline de construcción preserva con éxito la forma de la distribución real de los usuarios.

Divergencia de Jensen-Shannon (JSD): El lanzamiento final de 281 tareas mantiene una JSD máxima de 0.0448 contra la distribución de origen (76,155 sesiones) a través de cuatro ejes: tipo de tarea, turnos de usuario, herramientas definidas y llamadas a herramientas.
Impacto del Filtrado: El filtrado agresivo (desde las llamadas brutas hasta el conjunto final) no introdujo un desvío significativo en la distribución, manteniéndose todos los cambios entre etapas adyacentes por debajo de 0.05 bits.

Rendimiento de los Modelos (Leaderboard)

El benchmark se utilizó para evaluar 14 modelos contemporáneos (incluyendo Claude Opus/Sonnet, GPT-5.5, DeepSeek, Gemini y otros) bajo un harness compartido de OpenClaw con un tiempo de espera de 600 segundos.

Rendimiento Superior: El modelo con mejor desempeño, Claude Opus 4.7, alcanzó una tasa de éxito promedio de muestra del 65.8%.
Margen de Mejora (Headroom): El hecho de que el mejor modelo resuelva solo ~66% de las tareas revela un margen sustancial de mejora para los agentes actuales en cargas de trabajo de desarrollo realistas.
Eficiencia de Costos: El rendimiento y el costo no están estrechamente alineados. Por ejemplo, MiMo V2.5 Pro ofreció una relación favorable a un costo significativamente menor ($11.87) en comparación con modelos de mayor costo como GPT-5.5 ($61.87), que ocupó un rango inferior.
Comportamiento de Larga Cola (Long-Tail): Las puntuaciones promediadas macro (que tienen en cuenta la distribución desequilibrada de tipos de tareas) revelaron rankings diferentes en comparación con los promedios simples de muestra, resaltando la importancia de evaluar el rendimiento a través de diversas categorías de tareas del mundo real.

Validación de Benchmarking en Vivo

El pipeline fue probado en una ventana temporal posterior ( $W_{live}$ ) sin modificar filtros o reglas.

Rendimiento (Yield): El pipeline produjo exitosamente 34 casos finales de la ventana en vivo, con ratios de retención comparables a la ventana base.
Deriva (Drift): La ventana en vivo se mantuvo distribucionalmente cercana a la ventana base (JSD máxima de 0.0411), confirmando que el protocolo puede rastrear cambios en la demanda manteniendo la comparabilidad.

Significancia y Reivindicaciones

El artículo afirma que REALCLAWBENCH proporciona un camino práctico hacia benchmarks que midan mejor la capacidad de los agentes en el uso real. Al convertir sesiones de despliegue reales en instancias de evaluación controladas, el marco aborda las limitaciones de los benchmarks de autoría.

Las reivindicaciones clave incluyen:

Realismo: El benchmark captura la distribución, diversidad y dificultad del mundo real del uso de agentes desplegados, lo cual suele perderse en los conjuntos de datos curados.
Reproducibilidad: Demuestra que las sesiones reales pueden convertirse en tareas reproducibles y puntuadas automáticamente sin perder la "forma medida" de la distribución de origen.
Evaluación Dinámica: El marco soporta lanzamientos versionados en vivo que reducen la obsolescencia y la contaminación de datos, permitiendo que el benchmark evolucione junto con el uso de agentes desplegados.

Los autores enfatizan que el benchmark es específico para el ecosistema de OpenClaw y la población de usuarios orientada al desarrollo, y que los evaluadores programáticos favorecen resultados comprobables en un espacio de trabajo final, lo que podría omitir cualidades como la mantenibilidad del código o el progreso parcial. Sin embargo, el marco establece un nuevo estándar para fundamentar la evaluación de agentes en datos de despliegue del mundo real.