Resumen Técnico: GRACE – Curación de Datos de Razonamiento Alineados con el Gradiente para un Entrenamiento Posterior Eficiente

Enunciado del Problema

Las pipelines existentes para la curación de datos de razonamiento (Cadena de Pensamiento, CoT) operan típicamente a nivel de muestra, asignando una puntuación única a toda una traza de razonamiento basada en métricas como la corrección de la respuesta final o las puntuaciones de un modelo de recompensa. Este enfoque trata cada paso intermedio dentro de una traza como igualmente valioso. Sin embargo, las trazas de razonamiento son heterogéneas; algunos pasos apoyan directamente la respuesta final, mientras que otros reafirman contenido, exploran tangentes irrelevantes o introducen ruido. Entrenar uniformemente sobre tales trazas desperdicia el presupuesto computacional en pasos de bajo valor y diluye la contribución de los útiles. Además, los métodos actuales carecen de un mecanismo para evaluar cómo los pasos individuales de razonamiento contribuyen al proceso de optimización, a menudo pasando por alto los "roles de optimización paso a paso" dentro de una traza.

Metodología: GRACE

Los autores proponen GRACE (Curación de Datos de Razonamiento Alineados con el Gradiente para un Entrenamiento Posterior Eficiente), un método que desplaza la granularidad de la curación del nivel de muestra al nivel de paso. GRACE considera una traza de razonamiento no como un objetivo de supervisión estático, sino como una secuencia de eventos de optimización.

1. Utilidad de Optimización a Nivel de Paso

GRACE define la utilidad de un paso de razonamiento basándose en su contribución a la optimización de un objetivo específico. Puntuación cada paso $k$ utilizando dos señales complementarias derivadas de la dinámica interna de optimización del modelo:

• Alineación Orientada a la Respuesta ($A_{ans}^k$): Mide la similitud del coseno entre el gradiente inducido por el paso actual ($g_k$) y el gradiente inducido por el segmento de la respuesta final ($g_{ans}$). Esto determina si el paso apoya constructivamente el objetivo final.
• Consistencia de la Trayectoria ($A_{hist}^k$): Mide la similitud del coseno entre el gradiente del paso actual y una dirección de referencia histórica ($r_k$), que es un promedio ponderado de gradientes de los pasos anteriores. Esto asegura que el paso mantenga coherencia con la trayectoria de razonamiento en evolución.

La puntuación final a nivel de paso es una combinación ponderada:
$$\text{Puntuación}_k = \alpha A_{ans}^k + (1-\alpha) A_{hist}^k$$
donde $\alpha$ equilibra las dos señales. Estas puntuaciones de paso se agregan para calcular un valor a nivel de muestra $V(z)$, que se utiliza para seleccionar el subconjunto superior-$\rho$ de datos.

2. Proxy de Gradiente a Nivel de Representación

Un desafío principal es que el cálculo de gradientes reales a nivel de paso requiere descomponer trazas y realizar pasadas hacia atrás repetidas, lo cual es computacionalmente intratable a escala. Para abordar esto, GRACE introduce un proxy de gradiente a nivel de representación:

• En lugar de calcular gradientes en el espacio de parámetros ($\nabla_\theta L$), el método opera sobre las señales aguas arriba en la interfaz de representación (los estados ocultos antes de la proyección de salida).
• Para cada token $t$, se calcula una señal aguas arriba $u_t = W_{out}(p_t - y_t)$, donde $p_t$ es la probabilidad predicha y $y_t$ es la verdad fundamental.
• Los gradientes a nivel de paso se aproximan promediando estas señales a nivel de token ($g_k = \frac{1}{|T_k|} \sum u_t$).
• Crucialmente, este proxy permite estimar la alineación a nivel de paso utilizando solo una pasada hacia adelante por muestra, evitando la retropropagación por paso y la necesidad de modelos de recompensa externos o anotaciones de pasos.

Contribuciones Clave

1. Perspectiva Basada en Optimización: El artículo reformula la curación de datos de razonamiento modelando las trazas como secuencias de eventos de optimización, destacando que la alineación a nivel de paso con el objetivo de destino y la trayectoria es crítica para un aprendizaje efectivo.
2. Marco GRACE: Un método de curación novedoso que agrega señales de optimización a nivel de paso (alineación con la respuesta y consistencia de trayectoria) para una selección de subconjuntos de alta granularidad.
3. Proxy Escalable: El desarrollo de un proxy de gradiente a nivel de representación que permite una valoración de datos a nivel de paso eficiente, sin el costo computacional del cálculo de gradientes por paso.

Resultados Experimentales

Los autores evaluaron GRACE mediante el entrenamiento posterior de Qwen3-VL-2B-Instruct en el conjunto de datos MMathCoT-1M (un corpus de razonamiento matemático multimodal a gran escala) y pruebas en diversas referencias, incluido el razonamiento matemático (MathVista, MathVision) y la respuesta general a preguntas visuales (HallusionBench, MMBench, MME).

• Rendimiento vs. Volumen de Datos:
  • Utilizando solo el 20% de los datos curados, GRACE logró el 108.8% del rendimiento de los datos completos (promediado en las referencias), superando significativamente al conjunto de datos completo y a todas las líneas base.
  • Utilizando solo el 5% de los datos, GRACE mantuvo el 100.2% del rendimiento de los datos completos.
• Comparación con Líneas Base: GRACE superó consistentemente a los selectores heurísticos (Aleatorio, Más Largo, PasoMáximo) y a los métodos de selección de datos basados en gradientes más avanzados (LESS, ICONS, CADC). Por ejemplo, con el 20% de los datos, GRACE (108.8%) superó a CADC (102.6%) y LESS (101.7%).
• Transferibilidad: Los subconjuntos seleccionados por GRACE utilizando un modelo de puntuación Qwen3-VL-2B se transfirieron eficazmente a otros backbones (Qwen2.5-VL-3B, LLaVA-1.5-7B, Qwen3-VL-8B), superando consistentemente sus respectivas líneas base de datos completos. Esto sugiere que el valor de los datos capturado es intrínseco a la estructura de razonamiento y no específico del modelo.
• Eficiencia: El proceso de extracción del proxy es ligero, requiriendo solo pasadas hacia adelante. Los autores informan que la recolección de señales para el grupo de candidatos tomó 6.5 horas de nodo único y 5.7 GB de almacenamiento, evitando las costosas pasadas hacia atrás requeridas por los métodos de proyección de gradientes.

Significado y Afirmaciones

El artículo afirma que el valor de los datos de razonamiento no depende meramente de indicadores externos de calidad (corrección, longitud o puntuaciones de preferencia), sino de si los pasos intermedios apoyan constructivamente la trayectoria de optimización.

GRACE demuestra que:

1. La granularidad a nivel de paso es esencial: Tratar las trazas de razonamiento como unidades indivisibles pasa por alto la utilidad variable de los pasos intermedios.
2. Las señales internas son suficientes: Se puede lograr una curación de datos de alta calidad utilizando solo las señales internas de optimización del modelo (gradientes/proxies) sin modelos de recompensa externos ni anotaciones humanas.
3. Eficiencia y Rendimiento: La curación consciente de la optimización permite que los modelos igualen o superen el rendimiento de datos completos utilizando una fracción de los datos de entrenamiento, reduciendo sustancialmente los costos de entrenamiento posterior (horas de GPU) mientras se mantienen o mejoran las capacidades posteriores.

Los autores señalan limitaciones, incluida la dependencia de una configuración fija del modelo de puntuación y el enfoque actual en datos de CoT multimodal, sugiriendo que el trabajo futuro podría extender estos principios al razonamiento puramente lingüístico o al entrenamiento posterior basado en aprendizaje por refuerzo.