Resumen Técnico: AcademiClaw

Enunciado del Problema

Mientras que el ecosistema OpenClaw ha evolucionado rápidamente como un marco de código abierto líder para agentes autónomos, las evaluaciones de referencia existentes dentro de este ecosistema se han limitado a tareas de nivel asistente (por ejemplo, clasificación de correos electrónicos, gestión de calendarios, estructuración de proyectos). Estas tareas, aunque útiles en la práctica, carecen de la profundidad de experiencia en el dominio y del razonamiento sostenido de múltiples pasos requeridos para flujos de trabajo académicos y profesionales del mundo real. En consecuencia, existe una brecha crítica en la comprensión de las capacidades de los agentes OpenClaw cuando se enfrentan a problemas complejos e intensivos en conocimiento, como demostraciones matemáticas, entrenamiento de modelos intensivos en GPU, depuración entre marcos de trabajo y análisis de datos científicos. Las evaluaciones de referencia actuales no evalúan sistemáticamente a los agentes en estos desafíos de "nivel académico", dejando a la comunidad sin señales diagnósticas accionables para avanzar los agentes más allá de su alcance actual orientado a asistentes.

Metodología

Recopilación de Tareas: Un Enfoque de Abajo hacia Arriba

A diferencia de las evaluaciones de referencia tradicionales donde las tareas son diseñadas de arriba hacia abajo por investigadores, AcademiClaw emplea una estrategia de recopilación de abajo hacia arriba basada en usuarios.

• Fuente: Se enviaron 230 tareas candidatas por estudiantes universitarios basadas en sus flujos de trabajo académicos reales (tareas, proyectos de investigación, competiciones, proyectos personales) donde encontraron que los agentes de IA actuales eran ineficaces.
• Filtrado: Un riguroso proceso de revisión por expertos en dos etapas destiló estos candidatos en un conjunto final de 80 tareas de alta calidad. Los expertos evaluaron las tareas en cuanto a claridad del prompt, corrección de la rúbrica, reproducibilidad de la puntuación, calibración de la dificultad y equilibrio de dominios.
• Alcance: El conjunto de datos final cubre más de 25 dominios profesionales, que van desde demostraciones de la CMO (Olimpiada Matemática China) y problemas de la IOL (Olimpiada Internacional de Lingüística) hasta aprendizaje por refuerzo intensivo en GPU y depuración de sistemas de pila completa. Incluye 16 tareas intensivas en GPU que requieren ejecución CUDA, una característica ausente en las evaluaciones de referencia anteriores de OpenClaw.
• Naturaleza Bilingüe: La evaluación de referencia es bilingüe (49 en inglés, 31 en chino), siendo las tareas en chino nativamente chinas y requiriendo competencia fundamentada culturalmente (por ejemplo, adaptar poesía Tang, comprender la codificación Shuangpin) en lugar de una simple traducción de instrucciones.

Entorno de Ejecución

• Aislamiento: Cada tarea se ejecuta dentro de un entorno aislado (sandbox) Docker con una jerarquía de imágenes de dos capas (entorno base CPU/GPU + dependencias por tarea).
• Marco de Agentes: Las tareas se resuelven utilizando el marco de agentes OpenClaw, que proporciona una paleta de herramientas unificada que incluye operaciones de archivos, ejecución de shell, búsqueda web y automatización de navegadores sin cabeza.
• Protocolo de Evaluación: Los agentes reciben un solo intento por tarea sin reintentos. La rúbrica de evaluación se mantiene oculta para el agente durante la ejecución.

Marco de Evaluación Multidimensional

AcademiClaw va más allá de las métricas binarias de aprobado/reprobado empleando una rúbrica multidimensional (escala de 0 a 100) que combina seis técnicas de verificación complementarias:

1. Coincidencia de Patrones: Expresiones regulares, detección de palabras clave y análisis sintáctico abstracto (AST).
2. Ejecución de Código: Compilación y ejecución de pruebas unitarias contra soluciones de referencia.
3. LLM como Juez: Evaluación de salidas abiertas (informes, escritura creativa) con alternativas heurísticas deterministas.
4. Evaluación de Visión por LLM: Comparación de gráficos renderizados o capturas de pantalla de interfaces gráficas de usuario (GUI) contra referencias.
5. Pruebas de Navegador de Extremo a Extremo: Uso de Playwright para interactuar con elementos web dinámicos.
6. Validación de Salida Estructurada: Verificaciones de esquemas JSON, validación de CSV y análisis de BibTeX.

Adicionalmente, una auditoría de seguridad de cinco categorías (S1–S5) evalúa operaciones destructivas, fugas de información, cumplimiento de límites, escalada de privilegios y riesgos de la cadena de suministro.

Contribuciones Clave

1. Primera Evaluación de Referencia de Nivel Académico para OpenClaw: AcademiClaw es la primera evaluación de referencia en el ecosistema que apunta a la complejidad de nivel académico, compuesta por 80 tareas obtenidas enteramente de estudiantes universitarios y no de investigadores. Incluye de manera única 16 tareas intensivas en GPU.
2. Marco de Evaluación Novel: El artículo introduce un sistema de puntuación multidimensional que combina seis técnicas de verificación y una auditoría de seguridad de cinco categorías, proporcionando señales diagnósticas detalladas más allá de las métricas agregadas.
3. Análisis Empírico Sistemático: Los autores proporcionan una evaluación exhaustiva de seis modelos de vanguardia (Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.4, Gemini 3.1 Pro, Qwen3.5-397B y MiniMax M2.7), revelando fenómenos ocultos por evaluaciones de referencia más ligeras.

Resultados Experimentales

Rendimiento General

Incluso el modelo de mejor rendimiento, Claude Opus 4.6, logró solo una tasa de aprobación del 55% (puntuación ≥75) con una puntuación promedio de 71.9. La brecha entre los modelos más fuertes y los más débiles (MiniMax M2.7) fue de 8.8 puntos en puntuación promedio, pero la brecha en la tasa de aprobación fue más amplia (55.0% vs. 37.5%). Cabe destacar que 23 de las 80 tareas (28.8%) derrotaron a los seis modelos, con 8 tareas donde cada modelo obtuvo una puntuación inferior a 50.

Patrones a Nivel de Dominio y Tarea

• Dominio de la Dificultad de la Tarea: La variación en el rendimiento a través de las categorías de tareas (dispersión de 26.3 puntos) superó con creces la variación entre modelos (dispersión de 8.8 puntos). Razonamiento STEM fue la categoría más desafiante (puntuación media ~50.6), mientras que Lenguaje y Creatividad fue la más fácil (puntuación media ~76.9).
• Límites de Capacidad: Tareas específicas revelaron límites de capacidad agudos. Por ejemplo, en una tarea de extracción de árbol genealógico de Cien años de soledad, las puntuaciones oscilaron entre 86–92 para algunos modelos y apenas 3 para otros (una brecha de 90 puntos). De manera similar, una tarea de migración de TensorFlow a PyTorch resultó en un fallo catastrófico (puntuación 0) para GPT-5.4 mientras que otros obtuvieron puntuaciones de 74–90.

Fenotipos Conductuales

El estudio identificó tres estrategias conductuales distintas entre los modelos:

1. Leer Primero (Claude Opus 4.6): Prioriza la lectura de archivos (41% de las llamadas a herramientas) antes de la ejecución. Esta estrategia arrojó la mayor calidad ("prima de comprensión") pero requirió un uso moderado de tokens.
2. Ejecutar Primero (Gemini 3.1 Pro): Depende fuertemente de la ejecución de shell (74.3% de las llamadas) con un enfoque de prueba y error. Esto resultó en el mayor consumo de tokens (2.8 millones de tokens, 5.4 veces más que GPT-5.4) pero menor calidad y la puntuación de seguridad más baja (74.9), en gran parte debido a violaciones de límites.
3. Minimalista (GPT-5.4): Utiliza el menor número de llamadas a herramientas (19) y tokens (525K) con el tiempo de ejecución más corto, logrando una calidad competitiva a través de inferencia interna.

Desconexión Token-Calidad

Un hallazgo crítico es la correlación cercana a cero ($r = -0.03$) entre el consumo de tokens y la calidad de la tarea en todos los modelos. Esto sugiere que los agentes actuales carecen de mecanismos efectivos para determinar cuándo detener la iteración, lo que lleva a penalizaciones por "sobre-pensamiento" donde un mayor esfuerzo computacional no se traduce en mejores soluciones.

Análisis de Seguridad

Se encontró que la seguridad y la calidad son en gran medida independientes ($|r| < 0.29$). Sin embargo, el cumplimiento de límites (S3) fue la dimensión de seguridad decisiva, mostrando una brecha de 53 puntos entre los modelos más seguros (modelos Claude, ~84) y los menos seguros (Gemini, 31.6). Esto se correlaciona con el fenotipo "ejecutar primero", donde las ejecuciones frecuentes de shell aumentan el riesgo de acceder a archivos fuera del espacio de trabajo designado.

Significado y Afirmaciones

Los autores posicionan a AcademiClaw como una evolución necesaria en la evaluación de agentes, desplazando el enfoque de rutinas de nivel asistente hacia las demandas complejas y abiertas de la práctica académica y profesional del mundo real.

• Valor Diagnóstico: La evaluación de referencia proporciona señales detalladas que revelan brechas específicas de capacidad (por ejemplo, razonamiento formal vs. tareas generativas) e ineficiencias conductuales (por ejemplo, la desconexión token-calidad) que las métricas agregadas ocultan.
• Recurso Comunitario: Al poner en código abierto los datos y el código, los autores buscan impulsar el progreso hacia agentes más capaces y versátiles, ayudando a la comunidad OpenClaw a ir más allá de su alcance actual orientado a asistentes.
• Alcance Modesto: Los autores reconocen limitaciones, señalando que el conjunto de datos actual proviene de estudiantes de pregrado en ciencias de la computación de una sola universidad y depende de evaluaciones de un solo intento. Enmarcan la evaluación de referencia como un paso fundamental hacia protocolos de evaluación más exhaustivos, multidisciplinarios y de múltiples intentos en el futuro.