Optimsyn: Influence-Guided Rubrics Optimization for Synthetic Data Generation

1. El Problema

Aunque los Modelos de Lenguaje Grandes (LLMs) han logrado un rendimiento excepcional gracias a la abundancia de datos de ajuste fino supervisado (SFT), existe una escasez crítica de datos de alta calidad en dominios intensivos en conocimiento (como humanidades, ciencias sociales, medicina, derecho y finanzas). Los desafíos principales son:

• Costo y Escasez: La curación experta es costosa y limitada.
• Privacidad: Las restricciones estrictas dificultan el uso de datos reales.
• Inconsistencia: Mantener la consistencia en la anotación a gran escala es difícil.

Las soluciones actuales de datos sintéticos suelen seguir un paradigma de "generar y filtrar": un modelo generador crea pares pregunta-respuesta basados en documentos, y un conjunto de rúbricas (reglas o prompts diseñados manualmente por expertos) filtra o guía la generación. Sin embargo, este enfoque tiene dos limitaciones fundamentales:

1. Baja Transferibilidad: Las rúbricas diseñadas para un dominio específico raramente funcionan bien en otros.
2. Optimización Heurística Frágil: El ciclo de mejora ("escribir rúbrica → sintetizar → entrenar → inspeccionar → ajustar") depende de la intuición humana y carece de retroalimentación cuantitativa y fiable sobre cómo contribuyen realmente los datos sintéticos al rendimiento del modelo objetivo.

2. Metodología: OptimSyn

Los autores proponen OptimSyn, un marco de optimización que sustituye el diseño manual de rúbricas por un proceso de aprendizaje guiado por la influencia del modelo objetivo.

A. Estimación de Influencia Sensible al Optimizador

En lugar de medir la calidad de los datos sintéticos mediante similitud semántica (espacio de incrustaciones/embeddings), el método utiliza funciones de influencia para cuantificar la utilidad de entrenamiento de cada muestra sintética.

• Fundamento: Se adapta la estimación de influencia clásica (TracIn) para ser compatible con el optimizador Adam, que es el estándar en el ajuste fino de LLMs.
• Cálculo: Se calcula cómo una muestra sintética $(Q, A)$ afectaría a la función de pérdida en un conjunto de validación, utilizando la información de los gradientes y las estadísticas de los momentos (momentos $m$ y $v$) del optimizador.
• Hallazgo Clave: Los autores demuestran que muestras sintéticas cercanas en el espacio de incrustaciones a datos reales pueden tener una influencia de entrenamiento muy diferente (y a menudo inferior). La similitud en el espacio de gradientes es un predictor mucho más fiable del rendimiento futuro que la similitud semántica.

B. Aprendizaje por Refuerzo (RL) para la Generación de Rúbricas

El marco cierra el ciclo de retroalimentación mediante un bucle de Aprendizaje por Refuerzo:

1. Agente (Prompter): Un modelo de lenguaje (Policy Model) recibe un documento semilla ($S$) y genera una rúbrica específica ($B$).
2. Generador: Un modelo generador (Teacher LLM) utiliza la rúbrica $B$ y el documento $S$ para sintetizar un par pregunta-respuesta $(Q, A)$.
3. Recompensa: El modelo objetivo (Target LLM) proporciona una recompensa basada en:
   • Puntuación de Influencia ($IF$): La contribución estimada de la muestra al objetivo de validación.
   • Verificabilidad: Comprobaciones ligeras de formato, seguridad y no trivialidad.
   • La fórmula de recompensa es: $R(\tau) = \text{Valid}(Q, A) \cdot IF(Q, A) - \lambda(1 - \text{Valid}(Q, A))$.
4. Optimización: Se utiliza el algoritmo GRPO (Group Relative Policy Optimization) para actualizar el Prompter, maximizando la recompensa esperada. Esto permite que el generador de rúbricas aprenda a crear instrucciones que produzcan datos sintéticos que realmente mejoren el modelo objetivo.

3. Contribuciones Clave

1. Estimación de Influencia Sensible al Optimizador: Adaptan las funciones de influencia clásicas para pipelines de datos sintéticos modernos, derivando un estimador práctico alineado con la dinámica de optimización de Adam.
2. De Heurística a Supervisión Basada en Modelo: Reemplazan la ingeniería manual de rúbricas por un objetivo de impacto en el modelo. El generador de rúbricas se entrena para maximizar el beneficio downstream estimado, eliminando la dependencia de expertos humanos para cada dominio.
3. Generalización y Eficiencia: El marco demuestra ganancias consistentes a través de múltiples dominios (Humanidades/Sociales y Salud), familias de modelos objetivo (Qwen, Llama) y generadores de datos, sin necesidad de ajuste específico por tarea.

4. Resultados Experimentales

Los experimentos se realizaron en dos dominios principales: Humanidades y Ciencias Sociales (HSS) y Salud/Medicina.

• Rendimiento Superior: OptimSyn superó consistentemente a los modelos base (Qwen3-8B-Base) y a los modelos ajustados con corpus SFT abiertos de alta calidad (como OpenHermes, WildChat, etc.).
  • En tareas de HSS, el método rivalizó o superó a modelos con razonamiento deliberado, logrando un +27.2% de mejora relativa en el benchmark HLE.
  • En el dominio médico, superó a baselines especializados (como ChatDoctor, MedQA) en benchmarks clave como HealthBench y PubMedQA.
• Generalización: El método funcionó bien al cambiar el modelo objetivo (de Qwen a Llama) y al variar el tamaño del modelo (de 4B a 14B), demostrando que no depende de la capacidad del modelo para ser efectivo.
• Robustez al Generador: Los resultados se mantuvieron sólidos al usar diferentes modelos generadores (Qwen-235B, GPT-4.1, Gemini-2.5-Pro), indicando que la mejora proviene del mecanismo de selección de datos y no de un generador específico.
• Correlación con la Precisión: Se encontró una fuerte correlación positiva entre la puntuación de influencia agregada de un subconjunto de datos sintéticos y la precisión final del modelo, validando la puntuación de influencia como un proxy fiable de calidad.

5. Significado e Impacto

OptimSyn representa un cambio de paradigma en la generación de datos sintéticos:

• Automatización de la Curación: Convierte el diseño de rúbricas, tradicionalmente un arte manual y frágil dependiente de expertos, en un problema de optimización aprendible.
• Alineación con el Objetivo Real: Al utilizar la influencia en el modelo objetivo como señal de recompensa, asegura que los datos generados no solo parezcan "buenos" semánticamente, sino que sean útiles para el entrenamiento.
• Escalabilidad en Dominios Críticos: Ofrece una solución viable para la escasez de datos en campos de alto riesgo y conocimiento especializado (medicina, derecho), donde la privacidad y la calidad son imperativas y la anotación manual es inviable.

En resumen, el trabajo demuestra que al cerrar el ciclo entre la generación de datos y la evaluación del impacto en el entrenamiento mediante gradientes, es posible crear conjuntos de datos sintéticos de alta calidad que superan a los métodos heurísticos actuales, mejorando la eficiencia y la portabilidad del ajuste fino de LLMs.