From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning

Resumen Técnico: De la Selección de Instancias a la Búsqueda de Recetas de Datos de Pool Fijo

Formulación del Problema

Los enfoques actuales para la selección de datos de Ajuste Fino Supervisado (SFT) se formulan predominantemente como clasificación a nivel de instancia: puntuar muestras individuales basándose en heurísticas, estimaciones de influencia o representaciones aprendidas, y retener un subconjunto superior de $k$ elementos. Aunque efectivo, este enfoque abstrae la realidad práctica del ensamblaje de conjuntos de datos para SFT, que a menudo implica flujos de trabajo de curación multietapa que incluyen filtrado, mezcla de fuentes, deduplicación y limpieza.

Este artículo reformula el problema como búsqueda de recetas de datos de pool fijo. En este escenario:

• El pool de instrucciones sin procesar ($D_0$) es fijo.
• Existe una biblioteca de operadores fundamentados ($O$) (por ejemplo, filtrado por dificultad, deduplicación, mezcla).
• Una "receta" candidata es una secuencia ordenada de estos operadores.
• El objetivo no es asignar una puntuación final a cada instancia, sino descubrir una receta ejecutable que construya un subconjunto seleccionado de alta calidad bajo un presupuesto limitado de evaluaciones completas de SFT.
• Crucialmente, el método no genera, reescribe ni aumenta muestras de entrenamiento; solo selecciona y compone datos existentes.

Esta formulación subsume la selección top-$k$ de un solo operador (vista como una receta degenerada de longitud uno), pero optimiza explícitamente la composición de operadores, su ordenamiento y los estados intermedios resultantes del subconjunto.

Metodología: AutoSelection

Los autores introducen AutoSelection, un solucionador de dos capas diseñado para navegar eficientemente el espacio de recetas composicionales bajo restricciones de validación costosas.

1. Capa de Materialización de Pool Fijo (Razonamiento Económico en el Lado de la Búsqueda)
Para evitar recalcular señales costosas para cada candidata, AutoSelection almacena en caché señales fundamentadas sobre el pool sin procesar canónico ($D'_0$):

• Señales del lado de la tarea: Similitud de activación condicionada a la evaluación de referencia (siguiendo a MONA).
• Señales del lado de los datos: Propiedades intrínsecas como la diversidad léxica (entropía de N-gramas) y la ramificación acción-objeto.
• Señales del lado del modelo: Respuestas en caché del modelo base, incluida la dificultad de seguimiento de instrucciones (IFD), la varentropía y estadísticas de activación dispersa.
• Vectores de Estado: Para cualquier receta materializada, un vector de estado $z(r)$ resume las propiedades del subconjunto realizado (por ejemplo, ratios de tokens retenidos, deriva de distribución, relevancia de la tarea). Esto permite al controlador de búsqueda comparar subconjuntos candidatos antes de comprometerse con una evaluación completa de SFT.

2. Capa de Controlador de Búsqueda (Asignación de Presupuesto)
El controlador gestiona la compensación exploración-explotación utilizando un presupuesto de $B$ evaluaciones completas:

• Sondas de Calentamiento: La búsqueda comienza sondeando tres regímenes distintos de escala de datos (baja, media y alta retención) para establecer un ancla inicial de semilla e identificar niveles de retención prometedores.
• Refinamiento Local: Utilizando un Resumidor, el sistema convierte el historial evaluado en hipótesis respaldadas por datos. Un Propone genera recetas candidatas hermanas realizando ediciones locales (insertar, eliminar, intercambiar o reajustar pasos) alrededor de la semilla actual.
• Clasificación: Un Clasificador selecciona el único mejor candidato para evaluación completa. Combina:
  • La estructura de la receta.
  • El vector de estado realizado (propiedades del subconjunto).
  • Un prior de sustituto de Proceso Gaussiano (GP) basado en codificaciones de recetas.
  • Datos históricos de búsqueda.
• Reinicialización Desencadenada por Estancamiento: Si la búsqueda no logra mejorar la puntuación mejor actual durante $P$ pasos consecutivos, un Reinicializador refresca el ancla de semilla seleccionando un nuevo motivo prometedor del historial, evitando que la búsqueda se quede atrapada en regiones locales saturadas.

Los modelos de lenguaje (específicamente DeepSeek-R1) se utilizan estrictamente como asistentes en el lado de la búsqueda para resumir el historial, proponer ediciones fundamentadas, clasificar candidatos y reinicializar; no reescriben ni generan datos de entrenamiento.

Contribuciones Clave

1. Formulación del Problema: Los autores formalizan la curación de datos para SFT como un problema de optimización de caja negra con presupuesto sobre recetas ejecutables en un pool sin procesar fijo, haciendo de la composición y el ordenamiento de operadores objetivos de optimización explícitos.
2. Método (AutoSelection): Un solucionador de dos capas que desacopla la materialización de candidatos en caché de la evaluación completa costosa de SFT, utilizando sondas de calentamiento, ediciones locales conscientes del estado, clasificación asistida por GP y reinicialización desencadenada por estancamiento.
3. Evidencia Empírica: Evaluación exhaustiva en tres modelos base (Qwen2.5-1.5B/3B, Llama3.2-1B) sobre un pool de 90K instrucciones.

Resultados Experimentales

Evaluado en un pool de instrucciones de 90K muestras con un presupuesto de 15 evaluaciones completas de SFT:

• Rendimiento: AutoSelection logró el promedio de razonamiento en distribución más fuerte en los tres modelos base, superando al entrenamiento con datos completos, a la búsqueda aleatoria de recetas, al top-$k$ aleatorio y a selectores de un solo operador.
  • Mejoras sobre el entrenamiento con datos completos: +1.82 (Llama3.2-1B), +3.40 (Qwen2.5-1.5B) y +3.72 (Qwen2.5-3B) puntos.
  • Mejoras sobre la línea base más fuerte no-AutoSelection: de +0.90 a +2.89 puntos.
• Generalización OOD: En las pruebas de razonamiento en grafos retenidas (GraphWiz, NLGraph), AutoSelection se mantuvo competitiva, clasificándose en primer lugar en Qwen2.5-1.5B y empatando casi con la mejor línea base en Qwen2.5-3B.
• Estabilidad: Tres ejecuciones independientes en el modelo de 1.5B mostraron un rango de puntuación estrecho (0.59 puntos), lo que indica que las ganancias no se deben a una sola ejecución afortunada.
• Ablaciones:
  • Eliminar el Calentamiento provocó que la búsqueda pasara las primeras evaluaciones en regiones de baja puntuación.
  • Eliminar el Resumidor resultó en una trayectoria más suave pero en una mejor receta final más débil.
  • Eliminar la Reinicialización condujo a una curva de mejor hasta ahora más plana, indicando dificultad para escapar de óptimos locales.
  • Eliminar los Vectores de Estado expuso la búsqueda a candidatos con formas prometedoras pero estados de subconjunto realizados débiles.
• Sensibilidad Estructural: Ablaciones estructurales con semilla coincidente confirmaron que el ordenamiento y la composición de operadores impactan significativamente el rendimiento más allá de la mera presencia de operadores específicos.
• Transferibilidad: Una verificación de transferencia de 1.5B a 7B mostró una correlación de rango de Spearman positiva ($\rho=0.82$), lo que sugiere que los motivos de datos de alta calidad descubiertos en modelos más pequeños pueden ser útiles para modelos más grandes, aunque no se garantiza la preservación exacta del rango.

Significado y Afirmaciones

El artículo afirma que el valor de AutoSelection no reside en descubrir un único selector universalmente mejor, sino en asignar un pequeño número de evaluaciones completas para encontrar una composición más fuerte de decisiones de curación fundamentadas.

Los autores argumentan que:

1. La Estructura de la Receta Importa: El ordenamiento y la interacción de los operadores (por ejemplo, filtrar antes que deduplicar vs. después) tienen un impacto medible en el rendimiento posterior de SFT, apoyando la visión de las recetas de datos como objetos de optimización de primera clase.
2. Control de Pool Fijo: Al restringir la búsqueda a un pool sin procesar fijo sin generación ni reescritura, el método aísla los efectos de las elecciones de operadores de los factores de confusión introducidos por la síntesis de datos o la ingeniería de prompts.
3. Eficiencia: El enfoque demuestra que las estrategias de búsqueda eficientes (calentamiento, clasificación consciente del estado, reinicialización) pueden producir subconjuntos mejores que el entrenamiento con datos completos o la búsqueda aleatoria dentro de un presupuesto de evaluación estricto.

El trabajo se posiciona como una alternativa controlada a los sistemas de generación de datos impulsados por LLM, centrándose en la optimización de flujos de trabajo de datos existentes en lugar de la síntesis de nuevos datos.