Resumen Técnico: Desentrañando la Síntesis de Fuente Fija de la Expansión de la Fuente en el Escalamiento de Datos Sintéticos

Declaración del Problema

Los datos sintéticos se han convertido en un componente estándar para el entrenamiento de modelos de lenguaje extensos (LLMs), con un rendimiento descendente que escala de manera predecible con el tamaño del conjunto de datos. Sin embargo, los estudios de escalamiento existentes suelen confundir dos rutas distintas para expandir los conjuntos de datos sintéticos:

1. Expansión de la Fuente (SE - Source Expansion): Ampliar las fuentes de información añadiendo materiales semilla (por ejemplo, nuevos documentos o preguntas) o cambiando a generadores más fuertes.
2. Síntesis de Fuente Fija (FSS - Fixed-Source Synthesis): Mantener fija la fuente (preguntas semilla y modelo profesor) mientras se escala el presupuesto de generación (es decir, generar más respuestas por cada pregunta).

El trabajo previo se centra predominantemente en la SE, dejando poco explorados los rendimientos de la FSS. Este artículo tiene como objetivo aislar la FSS para determinar sus límites de escalamiento, derivar una ley de escalamiento predictiva para ella y comparar su eficacia frente a la SE y diversos protocolos de síntesis bajo presupuestos de muestras totales equiparados.

Metodología

Los autores modelan el flujo de trabajo de los datos sintéticos como una terna $(Q, T, p)$, donde $Q$ es un conjunto de preguntas semilla, $T$ es un modelo profesor y $p$ es un protocolo de síntesis. Aíslan la FSS fijando $(Q, T)$ y variando únicamente el presupuesto de respuesta por pregunta $r$ mediante Muestreo de Rechazo (RS - Rejection Sampling).

Configuración Experimental:

• Dominios: Matemáticas y Física (de SuperGPQA).
• Modelos: El profesor principal es DeepSeek-V3.1 ($T_{DS}$); el estudiante principal es Qwen2-7B-Instruct ($S_{Q7}$). Las comprobaciones de pares cruzados utilizan Qwen2.5-72B ($T_{Q72}$) y Llama-3.1-8B ($S_{L8}$).
• Protocolo Base: RS con temperatura 1.2, recolectando hasta 32 respuestas correctas por cada pregunta semilla.
• Métrica de Evaluación: Mean@8 (la media de la fracción de respuestas correctas al muestrear 8 salidas del estudiante a una temperatura de 0.7).
• Escala: El estudio involucró aproximadamente 2 mil millones de tokens de inferencia del profesor y más de 500 ejecuciones de ajuste fino (fine-tuning) del estudiante.

Preguntas de Investigación (RQs):

1. RQ1 (Escalamiento de FSS): Con $(Q, T)$ fijo, ¿mejora la FSS la precisión del estudiante y cómo escala la ganancia con $r$?
2. RQ2 (SE vs. FSS): Con presupuestos de muestras totales equiparados, ¿cómo se comparan las ganancias de la SE (añadir semillas) con la FSS (aumentar $r$)?
3. RQ3 (Eficacia del Protocolo): Dentro de la FSS, ¿superan los protocolos avanzados de síntesis (diversificación, selección, reescritura) al plain RS?

Contribuciones Clave y Resultados

1. Ley de Escalamiento de FSS y Rendimientos Decrecientes (RQ1)

Los autores derivan una forma de escalamiento específica para la FSS basada en la "visión de cuantos" del aprendizaje, donde las características se cubren de forma binaria (aprendidas o no). A diferencia de las leyes de escalamiento estándar donde el tamaño de los datos es el eje, la FSS escala una fuente fija.

• Forma Derivada: El rendimiento $P(r)$ sigue una caída de ley de potencia hacia un techo determinado por la fuente:
  $$P(r) \approx P_{\infty} - A r^{-\alpha}$$
  Aquí, $P_{\infty}$ es el techo determinado por la fuente fija $(Q, T)$, no por el ruido intrínseco de la tarea.
• Hallazgos: La FSS mejora consistentemente la precisión del estudiante, pero las ganancias disminuyen rápidamente a medida que $r$ aumenta. La curva se satura más temprano para profesores más débiles.
• Predicción: Una forma ajustada con presupuestos bajos ($r \le 16$) predice con éxito el rendimiento en el presupuesto más alto no visto ($r=32$) para todos los pares profesor-estudiante.

2. La Expansión de la Fuente Supera el Escalamiento de Fuente Fija (RQ2)

El estudio compara la SE (aumentar el número de preguntas semilla $|Q|$) frente a la FSS (aumentar las respuestas $r$) con conteos de ejemplos totales equiparados ($B = |Q| \times r$).

• Hallazgos: A presupuestos pequeños, la SE y la FSS son comparables. Sin embargo, a medida que el presupuesto crece, la expansión del conjunto real de preguntas semilla (SE) supera significativamente al gasto del mismo presupuesto en más respuestas de menos semillas.
• Síntesis de Preguntas: Sintetizar nuevas preguntas a partir de las semillas existentes (una variante de FSS) no genera ganancias sobre el plain RS cuando se iguala el conteo de muestras totales. El beneficio aparente de la síntesis de prompts en trabajos previos se atribuye a efectos de presupuesto más que a la calidad de la síntesis.

3. Eficacia Limitada de los Protocolos de Síntesis (RQ3)

Bajo una fuente fija $(Q, T)$, los autores evaluaron varios protocolos frente al plain RS, incluyendo:

• Variantes de temperatura (0.6, 0.001).
• Selección de diversidad basada en embeddings.
• Prompting de persona.
• Filtrado sin juez (admisión de trazas erróneas).
• Reparación a nivel de traza (reescribir $\to$ verificar $\to$ corregir).
• Hallazgos: Aunque estos protocolos lograron desplazar sus métricas intrínsecas objetivo (por ejemplo, diversidad, niveles de ruido), ninguno mejoró consistentemente el rendimiento del estudiante sobre el plain RS a través del barrido de presupuesto. Las ganancias por cambios de protocolo son insignificantes una vez que la fuente está fija.

4. Robustez en Fuentes Heterogéneas

Experimentos en un conjunto de datos STEM mixto confirmaron que el límite de FSS persiste incluso con fuentes heterogéneas. Con presupuestos equiparados, aumentar la cobertura de las preguntas semilla reales (SE) sigue siendo superior a aumentar el conteo de respuestas en un grupo más pequeño.

Significancia y Reivindicaciones

El artículo afirma proporcionar un entorno controlado para evaluar el escalamiento de datos sintéticos al desentrañar la expansión de la fuente de la síntesis dentro de la misma fuente.

• Escalamiento Acotado: La FSS es un eje de escalamiento acotado. Mejora el rendimiento, pero está limitada por el "techo de la fuente" ($P_{\infty}$) definido por el conjunto de semillas y la fuerza del profesor.
• Evaluación de Protocolos: El entorno de fuente fija sirve como un control riguroso para comparar protocolos de síntesis. Los autores encuentran que, bajo fuentes fijas, las variaciones de protocolo contribuyen poco en comparación con la elección fundamental de la expansión de la fuente.
• Asignación de Recursos: Para los profesionales, los resultados sugieren que, al escalar datos sintéticos, añadir nuevas y diversas preguntas semilla (Expansión de la Fuente) es una estrategia más fiable que simplemente aumentar el presupuesto de generación en un conjunto fijo de semillas o confiar en protocolos de síntesis complejos.

Los autores concluyen que las atribuciones previas de las ganancias a la "escalabilidad de datos sintéticos" a menudo confundieron los beneficios de la expansión de la fuente con los del aumento de muestreo o el refinamiento de protocolos. Al aislar la FSS, demuestran que, si bien es una ruta de escalamiento válida, es inherentemente limitada y menos efectiva que la expansión del soporte de la fuente.