Resumen Técnico: Selección Unificada de Datos para el Razonamiento de LLM

Declaración del Problema

El avance de los Modelos de Lenguaje Grandes (LLM) en el razonamiento complejo y de largo alcance mediante Cadenas de Pensamiento (CoT) está actualmente limitado por la necesidad de volúmenes masivos de datos de entrenamiento de alta calidad. Las estrategias existentes de selección de datos enfrentan dos desafíos principales:

1. Costo Computacional: Los métodos que dependen del entrenamiento de modelos auxiliares específicos de tareas o del uso de LLMs potentes para filtrar datos incurrir en una sobrecarga computacional sustancial.
2. Limitaciones de las Métricas: Las métricas tradicionales, como la longitud de la secuencia, la perplejidad o la entropía promedio de los tokens, no logran distinguir muestras de razonamiento de alta calidad en escenarios de CoT largo. Estas métricas globales asignan el mismo peso a todos los tokens, enmascarando así la estructura matizada y multifase del razonamiento complejo (planificación, exploración, reflexión) y fallando en capturar los puntos de decisión críticos donde el modelo enfrenta incertidumbre.

El problema central es la falta de una métrica robusta, eficiente y libre de entrenamiento capaz de distinguir rápidamente las rutas de razonamiento de alta calidad de las de baja calidad a través de diferentes paradigmas de entrenamiento.

Metodología

Los autores proponen la Suma de Alta Entropía (HES), una métrica libre de entrenamiento diseñada para cuantificar la calidad del razonamiento centrándose en la información crítica y de grano fino incrustada en las respuestas de razonamiento.

La Métrica HES

La metodología se basa en la observación de que los tokens de alta entropía, aquellos donde el modelo exhibe alta incertidumbre, a menudo corresponden a puntos de "bifurcación" críticos en una ruta de razonamiento donde se toman decisiones no triviales.

• Definición: HES se calcula sumando los valores de entropía del top $k\%$ (por ejemplo, 0.5%) de los tokens con mayor entropía en una respuesta.
• Formulaciones:
  • HES$_{relativo}$: Utiliza un umbral basado en percentiles (por ejemplo, el top 0.5% de los tokens) para adaptarse a longitudes de secuencia y distribuciones de modelos variables. Esta es la formulación principal utilizada.
  • HES$_{absoluto}$: Utiliza un umbral de entropía fijo (por ejemplo, $\tau = 1.6$) para la suma.
• Fundamento: A diferencia de la entropía promedio, que diluye las señales críticas al promediar sobre secuencias largas, HES aísla la intensidad acumulada de momentos pivotales de alta incertidumbre. El análisis empírico (Figura 1) demuestra que, mientras que las métricas de entropía promedio no pueden distinguir entre muestras correctas e incorrectas, la suma de los tokens de alta entropía proporciona una separación robusta.

Marco Unificado de Selección de Datos

El artículo propone una estrategia unificada de selección de datos aplicable a tres paradigmas de entrenamiento dominantes:

1. Ajuste Fino Supervisado (SFT): El conjunto de datos completo se clasifica según las puntuaciones HES. El modelo se entrena con el top $\rho$ percentil (por ejemplo, el top 20%) o el conjunto de datos se poda eliminando el bottom $\rho$ (por ejemplo, el bottom 20%).
2. Ajuste Fino por Rechazo (RFT): Para cada consulta, se generan múltiples respuestas candidatas. HES se utiliza para seleccionar las soluciones correctas de mayor calidad, ya sea por consulta (seleccionando el top-$k$ de los candidatos locales) o globalmente (seleccionando el top-$N$ de un grupo global de trayectorias correctas).
3. Aprendizaje por Refuerzo (RL): Los autores introducen una estrategia de muestreo asimétrica para la Optimización de Políticas Relativas de Grupo (GRPO). Priorizan la selección de las trayectorias positivas de mayor HES (para fomentar el dominio de patrones complejos) mientras retienen trayectorias negativas aleatorias (para asegurar la exposición a diversos modos de error). Esto contrasta con el muestreo uniforme estándar o las actualizaciones de lote completo.

Contribuciones Clave

1. Introducción de HES: Una métrica novedosa y libre de entrenamiento que cuantifica la calidad del razonamiento analizando únicamente los tokens de alta entropía en las rutas de respuesta, capturando efectivamente la complejidad acumulada de los puntos de decisión críticos.
2. Marco Unificado de Selección: Un método eficiente de selección de datos compatible con los paradigmas SFT, RFT y RL, eliminando la necesidad de mecanismos de selección separados y costosos para cada uno.
3. Transferibilidad de Pequeño a Grande: Demostración de que un modelo proxy ligero (por ejemplo, 0.6B) puede filtrar datos eficazmente para modelos base más grandes (por ejemplo, 8B), reduciendo significativamente el costo de inferencia de la curaduría de datos offline sin comprometer la calidad de la selección.

Resultados Experimentales

Se realizaron experimentos extensos en los dominios de Matemáticas, STEM y Código utilizando puntos de referencia como AIME, HMMT, GPQA y LiveCodeBench.

• Rendimiento en SFT:
  • El entrenamiento con el 20% superior de los datos clasificados por HES logró un rendimiento comparable al del conjunto de datos completo en diversos dominios.
  • En la configuración de "Desruido", eliminar el 20% inferior de los datos clasificados por HES mejoró el rendimiento sobre el conjunto de datos completo.
  • Por el contrario, el entrenamiento con el 20% inferior de los datos por HES resultó en una degradación drástica del rendimiento, validando la capacidad de la métrica para identificar ruido dañino.
  • Eficiencia: El uso de un modelo proxy de 0.6B para la selección arrojó resultados (30.20% promedio) comparables al uso del propio modelo de 8B (31.34% promedio), reduciendo los costos de selección en un orden de magnitud.
• Rendimiento en RFT:
  • La selección basada en HES superó significativamente a la selección aleatoria y a las líneas base heurísticas (longitud, dificultad) tanto en configuraciones por consulta como de grupo global.
  • La selección por consulta a menudo arrojó un rendimiento superior al de la selección de grupo global, lo que sugiere que mantener la diversidad a nivel de consulta es crucial junto con el filtrado de calidad.
• Rendimiento en RL:
  • La estrategia "Pos-Alta, Neg-Aleatoria" (seleccionar positivos de mayor HES y negativos aleatorios) superó al entrenamiento estándar de lote completo y a otras estrategias de muestreo.
  • Este enfoque logró una precisión superior (19.26% promedio) utilizando solo el 50% de los datos por paso en comparación con la línea base de lote completo (18.34%), confirmando que priorizar señales positivas de alta calidad es más efectivo que aumentar el tamaño del lote con datos indiferenciados.
• Comparación de Métricas: HES superó consistentemente a las métricas alternativas basadas en entropía (Entropía Promedio, Alta Entropía Promedio, Suma Total de Entropía), confirmando que la magnitud acumulada de los puntos de bifurcación críticos es el proxy más efectivo para la calidad del razonamiento.

Significado y Afirmaciones

El artículo establece HES como una métrica robusta y libre de entrenamiento que habilita un método unificado, efectivo y eficiente para desarrollar razonamiento avanzado en LLMs. Los autores afirman que:

• Eficiencia: HES permite una selección proxy escalable utilizando modelos pequeños en SFT offline e incurre en una sobrecarga de almacenamiento/computación insignificante en configuraciones online de RFT y RL (ya que la entropía puede calcularse de forma síncrona durante la generación sin pasadas forward adicionales).
• Efectividad: Al centrarse en los "tokens minoritarios de alta entropía", el método filtra exitosamente señales redundantes y ruido de entrenamiento, permitiendo que los modelos aprendan patrones de razonamiento sólidos a partir de un subconjunto curado de datos.
• Generalizabilidad: El método es aplicable a diferentes arquitecturas de modelos (Qwen, Llama, DeepSeek) y dominios de razonamiento (Matemáticas, Código, STEM), lo que sugiere que HES captura la complejidad intrínseca del razonamiento en lugar de artefactos específicos del modelo.

El trabajo concluye que HES proporciona una solución rentable para escalar las capacidades de razonamiento de los LLM, destacando el papel pivotal de los tokens críticos en la selección de datos y reduciendo la carga computacional asociada con el entrenamiento de modelos de razonamiento de alto rendimiento.