Resumen Técnico: RSIBench-Data

Declaración del Problema

La mejora recursiva del sí mismo (RSI, por sus siglas en inglés) requiere que los sistemas de IA conviertan iterativamente la evidencia de los fallos del modelo en mejoras efectivas. Un componente crítico de este proceso es la investigación de post-entrenamiento centrada en los datos, que implica diagnosticar brechas de capacidad, diseñar estrategias de datos de entrenamiento y aprender del feedback de los checkpoints. Mientras que los benchmarks recientes evalúan sistemas de post-entrenamiento automatizados, a menudo entrelazan las decisiones de investigación con la optimización, el servicio, la evaluación y la implementación del sistema. Esta confusión dificulta aislar la capacidad de investigación específica de los agentes de Modelos de Lenguaje de Gran Escala (LLM). Los paradigmas existentes se centran ya sea en la selección estática de datos de corpora fijos o evalúan sistemas de extremo a extremo donde los cambios en la infraestructura confunden la evaluación de la política de investigación del agente.

La pregunta central abordada es: ¿Pueden los agentes de LLM automatizar de manera fiable la investigación de post-entrenamiento centrada en los datos? Específicamente, ¿puede un agente formular hipótesis sobre los fallos del modelo, traducirlas en datos de entrenamiento ejecutables y revisar su estrategia de síntesis basándose en un feedback controlado, todo ello mientras el stack de entrenamiento y evaluación circundante permanece fijo?

Metodología: RSIBench-Data

Para abordar esta brecha, los autores presentan RSIBench-Data, un benchmark controlado diseñado para aislar el componente de investigación centrado en los datos del RSI.

1. Infraestructura y Límites Fijos

A diferencia de los benchmarks anteriores que permiten a los agentes modificar todo el stack de post-entrenamiento, RSIBench-Data fija el "stack circundante" para asegurar que las variaciones de rendimiento sean atribuibles únicamente a las decisiones de investigación del agente.

• Modelo Base: Se utiliza un modelo base fijo ($M_0$) para todos los experimentos.
• Interfaz de Entrenamiento: Los agentes interactúan a través de una interfaz de configuración limitada. Envían datos de entrenamiento ($D_t$) y una configuración permitida ($c_t$), pero no pueden modificar el optimizador, la ruta de servicio o el backend subyacente de LoRA SFT (implementado mediante servicios compartidos de Tinker).
• Evaluación: La evaluación oficial se realiza mediante sandboxes E2B orquestados por Harbor con verificadores y reglas de puntuación fijos. Los agentes reciben únicamente feedback de selección permitido (puntuaciones, trayectorias, diagnósticos) para la iteración, no los resultados oficiales finales.

2. El Bucle de Investigación

El benchmark evalúa un proceso iterativo donde un agente investigador ($\pi$) opera bajo un presupuesto de recursos fijo ($\mathcal{C}$):

1. Hipótesis y Estrategia: El agente observa la evidencia del benchmark ($S$) y el historial ($H_{<t}$) para proponer una estrategia de datos de entrenamiento.
2. Síntesis y Entrenamiento: El agente sintetiza datos y los envía para el entrenamiento, produciendo un checkpoint ($M_t$).
3. Feedback: El servicio de evaluación fijo devuelve feedback de selección ($h_t$).
4. Revisión: El agente utiliza $h_t$ para refinar su estrategia para la siguiente ronda o seleccionar un checkpoint final.

La métrica principal es el rendimiento oficial del checkpoint seleccionado ($M_{t^*}$) en un conjunto de prueba no visto, con un análisis secundario de la trayectoria de los intentos y la eficiencia de los recursos.

3. Configuración Experimental

• Agentes: Se evaluaron cuatro agentes investigadores de LLM de frontera: Claude Code (Opus-4.8, Sonnet-5) y Codex (gpt-5.6-sol, gpt-5.6-terra).
• Benchmarks: Se utilizaron seis benchmarks distintos para probar diferentes regímenes de experiencia de entrenamiento:
  • Ingeniería de Software: SWE-bench Verified, Multilingual y Pro.
  • Uso de Terminal: Terminal-Bench 2.0.
  • Razonamiento: GPQA Diamond y AIME 2026.
• Restricciones: Cada ejecución tuvo un presupuesto fijo (por ejemplo, 16 horas de tiempo de reloj, $500 de coste de Tinker) y estrictas restricciones de uso de datos (por ejemplo, no usar etiquetas exclusivas de evaluación para el entrenamiento).

Contribuciones Clave

1. Un Nuevo Objetivo de Evaluación: El artículo define la "investigación centrada en los datos para la mejora recursiva del sí mismo" como un bucle de investigación distinto y automatizable donde un agente gestiona la formación de hipótesis, la validación de la estrategia y la selección de checkpoints bajo un presupuesto fijo.
2. Un Benchmark Controlado: RSIBench-Data proporciona el primer benchmark que aisla la capacidad de investigación del agente al fijar la infraestructura de entrenamiento, servicio y evaluación. Esto permite experimentos auditables donde los cambios de infraestructura se separan del progreso de la investigación.
3. Evidencia Empírica de Capacidades y Fragilidad: El estudio proporciona la primera evidencia a gran escala de cómo los agentes de frontera se desempeñan en este rol específico, revelando una "brecha de descubrimiento-fiabilidad".

Resultados y Análisis

1. Descubrimiento vs. Fiabilidad

• Éxito Inicial: Los agentes demostraron capacidades de investigación centrales, mejorando su primer intento válido en el 58.33% de los casos mediante el refinamiento de estrategias basadas en el feedback.
• Inconsistencia: Sin embargo, los agentes no lograron mejorar de manera consistente. Entre las búsquedas que continuaron después de alcanzar su mejor puntuación observada, el 78.26% terminaron con un intento final con una puntuación inferior al pico, mientras que el resto solo recuperó el mismo pico. Esto indica que los agentes a menudo fallan al traducir el feedback adicional en mejores estrategias, lo que conduce a un rendimiento no monotónico.

2. Dependencia de la Tarea y Falta de Dominio

• Ningún agente dominó todos los benchmarks. Por ejemplo, Codex gpt-5.6-sol lideró en los benchmarks no relacionados con SWE, pero las tres tareas de estilo SWE fueron ganadas por tres agentes diferentes.
• Las brechas de rendimiento fueron significativas (hasta 20 puntos porcentuales en AIME 2026), reflejando la interacción entre la política del agente y la estructura del benchmark, más que una superioridad inherente del modelo.

3. Eficiencia y Coste

• Las puntuaciones oficiales altas no fueron uniformemente costosas. Algunos agentes lograron resultados sólidos con costes bajos (por ejemplo, Codex gpt-5.6-sol en GPQA Diamond: 65% de puntuación, $10.37 de coste), mientras que otros gastaron significativamente más para obtener ganancias modestas.
• Regresión Post-Pico: Muchas ejecuciones continuaron la búsqueda después de encontrar un candidato fuerte, incurriendo en costes adicionales sin refrescar la frontera de rendimiento. La detención efectiva y la selección de checkpoints se identificaron como críticas para la eficiencia.

4. Análisis de Mecanismos

El análisis de la trayectoria de las ejecuciones exitosas identificó cuatro patrones asociados con un mayor rendimiento:

1. Hipótesis Precisas: Diagnosticar correctamente la brecha de capacidad objetivo.
2. Supervisión Basada en Validación: Utilizar señales de validación para guiar la síntesis de datos.
3. Datos Alineados con el Comportamiento: Asegurar que los datos de entrenamiento coincidan con el comportamiento evaluado.
4. Preservación de Checkpoints: Evitar la pérdida de checkpoints fuertes durante las revisiones iterativas.

Un experimento temprano con una configuración de RSI de la misma familia (Kimi-K2.6) mostró evolución de la estrategia pero no logró producir una mejora del modelo sobre la referencia no adaptada, lo que sugiere que las capacidades actuales de RSI son insuficientes para mejorar modelos ya capaces de instrucción en benchmarks agénticos complejos.

Significado y Reivindicaciones

El artículo afirma que RSIBench-Data proporciona un banco de pruebas medible y auditable para estudiar las capacidades de investigación centradas en los datos requeridas para la mejora recursiva del sí mismo.

Los autores concluyen que, si bien los agentes de LLM actuales pueden realizar descubrimientos útiles de investigación centrada en los datos (mejorando los intentos iniciales en más de la mitad de los casos), aún no pueden traducir el feedback en mejoras de manera consistente. La "brecha de descubrimiento-fiabilidad" observada destaca que los agentes tienen dificultades para mantener el progreso a través de bucles de feedback iterativos, regresando a menudo después de encontrar un pico. El benchmark está diseñado para ayudar a desarrollar agentes de investigación centrados en los datos más dependientes mediante la creación de procesos de investigación transparentes e aislables de las variables de infraestructura.