A-Evolve-Training: Autonomous Post-Training of a 30B Model

Resumen Técnico: A-Evolve-Training

Planteamiento del Problema
Los sistemas de investigación autónoma actuales, como la línea de trabajo "AI Scientist", operan en una escala (por ejemplo, clase GPT-2, ~124M de parámetros) donde el coste de un único ensayo experimental es insignificante. En este régimen, los bucles pueden depender de reintentos económicos, barridos exhaustivos y agentes especializados que transfieren estados intermedios. Sin embargo, el post-entrenamiento de frontera (por ejemplo, 30B+ de parámetros) presenta una estructura de costes fundamentalmente diferente: una única ejecución de entrenamiento dura semanas en clústeres de GPUs H200, y el ruido en una sola ejecución es vinculante en lugar de promediable. El problema central abordado es si un bucle autónomo puede cerrarse eficazmente bajo estas restricciones de "frontera", donde los movimientos que son gratuitos a pequeña escala (reintentos, acumulación de estados) se vuelven prohibitivos, y donde el espacio de búsqueda involucra recetas complejas de código y datos en lugar de hiperparámetros fijos.

Metodología: El Sistema A-Evolve-Training
Los autores proponen un sistema diseñado específicamente para sobrevivir a la estructura de costes del post-entrenamiento de frontera. La arquitectura se construye sobre tres pilares unificados por el principio de libertad asimétrica: otorgar cero libertad en los ejes que deben permanecer invariantes para la comparabilidad, y máxima libertad en los ejes donde la exploración crea valor.

1. Sustrato de Referencia Inmutable:
   El sistema se ancla en un espacio de trabajo único, verificado por humanos (default/), que contiene el checkpoint base, el pipeline de construcción de datos y el código de entrenamiento/evaluación. Cada ronda se bifurca desde este sustrato inmutable. Crucialmente, el sustrato nunca es sobrescrito por una receta "ganadora", y ninguna ronda se bifurca de un ganador de una ronda anterior. Esto asegura que todos los candidatos sean medidos contra la misma base, evitando la deriva y la varianza no observada que plagó diseños anteriores que utilizaban agentes especializados pasando estados intermedios.

2. Trabajadores Homogéneos y Sin Memoria:
   En lugar de agentes especializados (por ejemplo, un agente de datos entregando el control a un entrenador), cada ronda lanza $N=8$ agentes de pila completa idénticos. A cada trabajador se le asigna un eje específico para explorar (por ejemplo, mezcla de datos, cronograma, filtrado) y opera de forma independiente sin transportar estado a través de las rondas. Este diseño evita la acumulación de varianza no observada que ocurre cuando los agentes construyen sobre los estados intermedios de otros.

3. Agregación de Evidencia a Nivel de Ronda y Promoción Solo de la Política:
   La selección ocurre a nivel de ronda, no a nivel de candidato individual. Un agente recolector de "un solo paso" (one-shot) agrega los resultados de todos los trabajadores en un reporte de esquema fijo. Un meta-agente, restringido por una "constitución" congelada (un system prompt de solo lectura que no puede modificar), reescribe la política de búsqueda continua para la siguiente ronda basándose en esta evidencia.

   • Mecanismo de Promoción: El sistema no promueve una receta específica al sustrato. En su lugar, actualiza la polática (por ejemplo, qué ejes explorar, cuál debería ser la receta base, cuál es el umbral de ruido). El sustrato permanece estático; solo evoluciona la estrategia de búsqueda.

Contribuciones Clave

• Escalado de Bucles Autónomos a la Clase de Frontera: El artículo reporta la primera ejecución de post-entrenamiento autónomo de clase frontera conocida públicamente, operando durante varias semanas en clústeres de GPU sin intervención humana entre la configuración inicial del sustrato y la entrega final.
• Cambio Arquitectónico para Entornos de Alto Coste: Los autores demuestran que el paradigma de "agente especializado" falla a gran escala debido a la acumulación de estados. Proponen "trabajadores homogéneos y sin memoria" y un "sustrato inmutable" como el patrón de diseño necesario para entornos de alto coste y pocos reintentos.
• Descubrimiento Autónomo de Fallo de Proxy: El sistema no solo optimizó dentro de un marco fijo; detectó que su métrica de desarrollo interna se había convertido en un proxy engañoso para el rendimiento externo. Específicamente, el bucle identificó que maximizar el rendimiento en un dominio de razonamiento "débil" (que impulsaba sus puntuaciones internas a máximos históricos) no se traducía en el rendimiento externo. En consecuencia, el buulo revisó autónomamente su política de búsqueda para bajar el proxy interno en ese dominio mientras mejoraba el objetivo externo, falsificando efectivamente su propia premisa de búsqueda.

Resultados

• Rendimiento: El modelo producido autónomamente logró una puntuación en el leaderboard de datos no vistos de 0.86 en el NVIDIA Nemotron-Reasoning Challenge, comparado con la puntuación del mejor humano (0.87). Esto situó al sistema autónomo en el 8º lugar de aproximadamente 4,000 entradas.
• Convergencia: El sistema se ejecutó durante cuatro rondas, mostrando una mejora monotónica.
• Reversión Estratégica: En rondas posteriores, el sistema descubrió que presionar el metrica interna (específicamente en un dominio de razonamiento débil) ya no era el cuello de botella causal. Invirtió su objetivo, buscando intervenciones que bajaran el proxy interno pero mejoraran el objetivo externo, un movimiento que sería contraintuitivo para un agente de optimización fijo.
• Evidencia de Escalabilidad: El mismo sistema se aplicó a modelos Nemotron de 120B y 550B, demostrando que el bucle se cierra a estas escalas, aunque los autores difieren en hacer afirmaciones de competitividad con recetas humanas para estos tamaños debido a la falta de líneas de base humanas públicas en el desafío.

Significación y Reivindicaciones
El artículo adopta una visión operativa modesta de la "auto-mejora recursiva" (RSI). No pretende haber resuelto la RSI ni haber igualado a los investigadores humanos en un sentido general. En su lugar, afirma haber superado un umbral específico y auditable: la capacidad de realizar el post-entrenamiento de extremo a extremo de un modelo de clase frontera.

Los autores argumentan que el hallazgo más significativo no es la puntuación final, sino la capacidad del sistema para revisar las reglas de su propia búsqueda. Al detectar que su marco de medición se había vuelto engañoso y cambiar autónomamente lo que contaba como evidencia (pasando de maximizar el proxy interno a optimizar el objetivo externo a pesar de la caída del proxy), el sistema demostró "descubrimiento" en lugar de mera "optimización". Esto sugiere que los bucles autónomos escalados pueden producir hallazgos que se encuentran fuera de las suposiciones previas de un operador sobre lo que constituye evidencia válida.

El artículo concluye que, si bien el resultado actual es un único punto de datos con limitaciones (un único modelo base, un único benchmark, sustrato pre-auditado), demuestra que el umbral para el post-entrenamiento autónomo de clase frontera es alcanzable y que tales bucles pueden exhibir comportamientos de autocorrección respecto a sus propias estrategias de búsqueda.