Resumen Técnico: Dinámicas de Estado Oculto de Un Solo Despliegue para la Selección de Datos RLVR sin Entrenamiento

Formulación del Problema

El artículo aborda el cuello de botella crítico en el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR): la selección de instancias de entrenamiento de alto impacto a partir de un gran conjunto no etiquetado. Si bien se sabe que el RLVR es altamente eficiente en datos, pudiendo generar ganancias significativas en razonamiento a partir de muy pocos ejemplos, su rendimiento es extremadamente sensible a qué ejemplos se eligen.

Las pipelines existentes de selección de datos suelen depender de:

1. Señales durante el entrenamiento: Ejecutar un ajuste fino parcial o RL sobre un conjunto de candidatos para observar las dinámicas de optimización (por ejemplo, trayectorias de recompensa, varianza de gradientes).
2. Dependencias de verdad fundamental: Acceso a recompensas verificables o respuestas correctas para todo el conjunto de candidatos para clasificar las instancias.

Estos requisitos a menudo son inviables en dominios especializados y de bajos recursos (por ejemplo, preguntas y respuestas médicas) donde las anotaciones son costosas y ejecutar entrenamiento de prueba en miles de candidatos es computacionalmente derrochador. Los autores formalizan un régimen pre-RL donde la selección debe realizarse sobre un gran conjunto no etiquetado sin ninguna etiqueta de verdad fundamental, recompensas verificables o señales de optimización durante el entrenamiento.

Metodología: SHIFT

Los autores proponen SHIFT, un selector de un solo disparo, sin entrenamiento y sin etiquetas. SHIFT aprovecha las dinámicas de estado oculto en tiempo de inferencia para estimar la utilidad de una instancia para el RLVR aguas abajo sin realizar ningún entrenamiento.

Mecanismo Central: Desplazamiento de Representación Inducido por Razonamiento (RIRS)

La hipótesis central es que las dinámicas internas de un modelo durante una traza de razonamiento codifican su potencial de aprendizaje.

1. Un Solo Despliegue Determinista: Para cada instancia candidata $x$, SHIFT ejecuta una única traza de razonamiento determinista utilizando decodificación codiciosa ($T=0$).
2. Extracción de Anclaje: Identifica los estados ocultos al principio ($s(x)$) y al final ($e(x)$) de la traza de razonamiento (específicamente, el inicio y el final del segmento de Cadena de Pensamiento).
3. Cálculo de RIRS: El Desplazamiento de Representación Inducido por Razonamiento se calcula como la diferencia entre estos estados:
   $$\Delta(x) = e(x) - s(x)$$
   La magnitud $\|\Delta(x)\|_2$ sirve como un proxy ligero para la utilidad (informatividad) de la instancia, hipotetizando que desplazamientos más grandes indican una mayor participación de la computación interna del modelo.

Algoritmo de Selección: CoreSet de Primero Más Lejano Ponderado por Calidad

Para asegurar que el subconjunto seleccionado sea de alta calidad y diverso, SHIFT emplea una estrategia de selección codiciosa en un espacio de características aumentado:

1. Construcción de Características: Cada instancia se representa mediante un vector concatenado $\phi(x) = [s(x); \Delta(x)]$, normalizado a la esfera unitaria. Esto captura tanto el contexto inicial ($s(x)$) como la transformación de razonamiento ($\Delta(x)$).
2. Puntuación de Utilidad: Se deriva una puntuación de utilidad $\tilde{q}(x)$ a partir de la magnitud de RIRS (transformada logarítmicamente para estabilidad).
3. Selección Codiciosa:
   • Inicializar el conjunto $S$ con la instancia que tiene la mayor utilidad.
   • Seleccionar iterativamente la siguiente instancia $x^*$ que maximiza el producto de su utilidad y su distancia al conjunto actual:
     $$x^* = \arg\max_{x \in U \setminus S} \tilde{q}(x) \cdot \min_{x' \in S} \|\phi(x) - \phi(x')\|_2$$
     Esto equilibra la informatividad (RIRS alto) con la cobertura (diversidad en el espacio aumentado por RIRS).

Contribuciones Clave

1. Formalización del Problema: Definición del problema de selección de datos RLVR en un entorno pre-RL estricto donde no hay etiquetas, recompensas ni señales de entrenamiento disponibles durante la selección.
2. Marco SHIFT: Introducción de un selector sin entrenamiento basado en dinámicas de estado oculto en tiempo de inferencia, específicamente la métrica RIRS.
3. Innovación Algorítmica: Desarrollo de un algoritmo de CoreSet de primero más lejano ponderado por calidad y de un solo despliegue que escala a grandes conjuntos no etiquetados.
4. Validación Empírica: Demostración de mejoras consistentes sobre líneas base sin entrenamiento (muestreo de diversidad, heurísticas de dificultad, métodos basados en incertidumbre) en benchmarks de razonamiento matemático y preguntas y respuestas médicas bajo presupuestos ultra bajos (0.1%–4% de los datos).

Resultados Experimentales

Los autores evaluaron SHIFT en modelos Qwen (1.5B y 1.7B) en dos dominios:

• Razonamiento Matemático (MATH-500 y AMC): Bajo un presupuesto del 2%, SHIFT logró una precisión del 62.67% en MATH-500 y del 38.55% en AMC (OOD), superando significativamente al muestreo aleatorio (+8.94 / +12.77) y a otras líneas base. Cabe destacar que superó la referencia completa de RLVR en el benchmark OOD de AMC.
• Preguntas y Respuestas Médicas (MEDQA y Transferencia): Bajo un presupuesto del 0.1%, SHIFT logró un 50.35% en MEDQA, superando al muestreo aleatorio (45.28%) y a otras heurísticas. Mostró una transferencia particularmente fuerte a subconjuntos clínicamente desafiantes (MedXpertQA), igualando casi el rendimiento de datos completos con solo el 0.1% de los datos.

Ablación y Análisis

• Validez de RIRS: El análisis de correlación confirmó que RIRS no es meramente un proxy para la longitud de entrada/salida (Spearman $\rho \approx 0$ con la longitud de la respuesta).
• Correlación de Utilidad: Un estudio piloto mostró una fuerte correlación positiva (Spearman $\rho = 0.818$) entre la clasificación RIRS pre-RL y la ganancia real de RLVR aguas abajo.
• Ablaciones: Eliminar ya sea la cobertura basada en RIRS ($\phi_{s+\Delta}$) o la ponderación de calidad ($\tilde{q}(x)$) degradó el rendimiento, confirmando que tanto las señales de diversidad como las de utilidad son complementarias.
• Eficiencia Computacional: SHIFT requiere solo un despliegue determinista por candidato, haciéndolo significativamente más barato en el momento de la selección que las líneas base de auto-consistencia (que requieren ~32 despliegues estocásticos).

Significado y Afirmaciones

El artículo afirma que SHIFT permite una adaptación efectiva de RLVR en escenarios previamente considerados inviables debido a los costos de anotación y las restricciones computacionales. Al identificar ejemplos "impactantes" a través de dinámicas de estado oculto inducidas por razonamiento en lugar de señales de entrenamiento, SHIFT permite:

• Reducción drástica de la sobrecarga de anotación y entrenamiento: Lograr un rendimiento sólido con <1% de los datos.
• Accesibilidad: Hacer viable la adaptación de RL para dominios especializados (por ejemplo, medicina) donde las etiquetas de verdad fundamental son escasas.
• Generalización: Mejorar la transferencia a configuraciones de evaluación más difíciles y fuera de distribución en comparación con la selección estándar basada en diversidad o dificultad.

Los autores mantienen una postura modesta, reconociendo que RIRS es un sustituto empírico motivado por dinámicas teóricas a nivel de bloque en lugar de una derivación formal, y que la robustez en familias de modelos más amplias y la estratificación de errores sensibles a la seguridad sigue siendo un área abierta para trabajo futuro.