🤖 machine learning

Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training

Este artículo propone Data-DPO, un nuevo método de selección de datos para el post-entrenamiento de LLM que aprovecha el sondeo de un solo paso para aprender preferencias de datos conscientes del modelo objetivo mediante un modelo de recompensa ligero, construyendo así un subconjunto de entrenamiento de alta calidad que supera consistentemente a las líneas base existentes e incluso al entrenamiento con la totalidad de los datos.

Autores originales: Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

Publicado 2026-08-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, los modelos de lenguaje extensos se han convertido en herramientas poderosas capaces de escribir, razonar y resolver problemas complejos. Sin embargo, enseñar a estos modelos a realizar tareas específicas requiere un proceso llamado ajuste fino supervisado, donde el sistema aprende a partir de vastas colecciones de ejemplos. Imagine intentar enseñar a un estudiante entregándole una biblioteca entera de libros; si bien el estudiante podría aprender eventualmente, el proceso es increíblemente lento, costoso y a menudo ineficiente porque gran parte del material es redundante o irrelevante para la lección específica en cuestión. Los investigadores han buscado durante mucho tiempo una forma de seleccionar solo las páginas más útiles de esa biblioteca, con la esperanza de entrenar al modelo de forma más rápida y barata sin sacrificar su inteligencia. La suposición prevaleciente en este campo ha sido que algunos datos son simplemente "mejores" que otros basándose en su propia calidad inherente, de forma muy similar a cómo un libro de texto se juzga por la claridad de su escritura.

Un nuevo estudio desafía esta visión estática de la calidad de los datos. Los investigadores, liderados por un equipo de la Universidad de Nanjing y otras diversas instituciones, argumentan que el valor de un ejemplo de entrenamiento depende no solo del ejemplo en sí, sino de qué tan bien encaja con el modelo específico que está siendo enseñado. Así como un problema de física difícil podría ser perfecto para un estudiante avanzado pero abrumador para un principiante, una muestra de datos de alta calidad podría ser inútil para un modelo de inteligencia artificial mientras que para otro modelo podría ser exactamente lo que necesita para mejorar. Para resolver esto, el equipo desarrolló un método llamado Data-DPO, que actúa como una guía personalizada para la selección de datos de entrenamiento. En lugar de depender de una lista preescrita de ejemplos "buenos", este método observa cómo reacciona un modelo específico a diferentes muestras durante una breve prueba de ensayo. Al observar qué ejemplos ayudan al modelo a aprender más en un solo paso, el sistema construye un mapa de preferencias personalizado, identificando los datos que realmente resuenan con las necesidades actuales de ese modelo en particular.

El núcleo de este enfoque involucra un proceso ingenioso de dos pasos. Primero, los investigadores toman un grupo pequeño y representativo de datos y dejan que el modelo objetivo practique con ellos durante solo un momento. Miden cuánto mejora el rendimiento del modelo tras este diminuto paso. Si un ejemplo específico provoca una caída significativa en los errores, esto señala que el modelo se está "activando" o despertando ante esa pieza de información. El sistema luego compara estas reacciones, creando una clasificación de qué muestras son más efectivas para ese modelo específico en ese momento específico. Esto es un alejamiento de los métodos anteriores que trataban el valor de los datos como una propiedad fija, independiente del aprendiz. Los investigadores descubrieron que, al usar este feedback en vivo, podían construir un conjunto de entrenamiento que era mucho más eficiente que uno elegido al azar o por controles de calidad estándar.

Para asegurar que los datos seleccionados no fueran solo fáciles de aprender, sino también diversos y de alta calidad, el equipo combinó este feedback específico del modelo con otros factores. Añadieron una capa de evaluación de calidad externa para asegurar que las respuestas fueran correctas y una medida de diversidad para asegurar que el modelo viera una amplia variedad de situaciones. Este enfoque híbrido les permitió elegir un subconjunto pequeño de datos que cubría el terreno necesario sin redundancia. Al ser probados en dos tipos diferentes de tareas —una que involucraba instrucciones visuales generales y otra enfocada en el razonamiento complejo— el nuevo método superó consistentemente a las técnicas de selección existentes. En muchos casos, los modelos entrenados en estos subconjectos cuidadosamente seleccionados funcionaron mejor que los modelos entrenados en el conjunto de datos original completo, logrando resultados que fueron superiores al 100 por ciento del rendimiento de los datos completos en algunos escenarios.

El estudio también probó rigurosamente si este método dependía de un tipo específico de modelo o de una forma específica de medir la calidad. Los resultados mostraron que el enfoque se mantuvo robusto incluso cuando los investigadores cambiaron el modelo objetivo a uno de diferente tamaño o familia, o cuando intercambiaron las herramientas utilizadas para juzgar la calidad de los datos. Esto sugiere que el método no es un truco frágil que funciona solo bajo condiciones perfectas, sino una estrategia confiable para encontrar los datos adecuados para el modelo adecuado. Los investigadores señalaron, sin embargo, que el método aún requiere cierto esfuerzo computacional inicial para ejecutar estas sondas de prueba, y funciona mejor cuando la distribución de los datos permanece relativamente estable. En última instancia, el trabajo demuestra que, en la era de los grandes modelos, los datos de entrenamiento más efectivos no son una constante universal, sino una relación dinámica entre el aprendiz y la lección. Al escuchar el propio feedback del modelo, los investigadores pueden ahora curar conjuntos de entrenamiento que no son solo más pequeños, sino más inteligentes.

Resumen Técnico: Data-DPO

Planteamiento del Problema

El Ajuste Fino Supervisado (SFT, por sus siglas en inglés) es un paso crítico para mejorar los Grandes Modelos de Lenguaje (LLMs), pero entrenar con conjuntos de datos de instrucción a escala completa es computacionalmente costoso y, a menudo, subóptimo. Los métodos de selección de datos existentes suelen abordar esto seleccionando subconjuntos basados en la importancia de la muestra (similitud de gradiente, reducción de pérdida) o en la diversidad de los datos (cobertura de embeddings, reducción de redundancia).

Sin embargo, los autores argumentan que estos métodos tratan el valor de los datos como una propiedad estática, determinada únicamente por la calidad intrínseca de la muestra o su posición en un espacio de representación. Esto pasa por alto una dinámica crucial: la compatibilidad entre un campione de datos y la distribución de capacidades del modelo objetivo específico. Una muestra que es "de alta calidad" o "informativa" en un sentido general puede ser demasiado difícil para un modelo más débil o redundante para uno más fuerte. Por lo tanto, el problema central abordado es cómo seleccionar datos que no sean solo de alta calidad, sino específicamente adecuados para las necesidades de aprendizaje actuales del modelo objetivo.

Metodología: Data-DPO

El artículo propone Data-DPO, un marco de selección de datos orientado al modelo objetivo. A diferencia de los métodos que dependen de proxies estáticos o puntuaciones precomputadas, Data-DPO observa activamente la dinámica de entrenamiento local del modelo objetivo para derivar preferencias. El pipeline consta de cuatro etapas principales:

1. Codificación de Doble Vista (Dual View Encoding)

Cada muestra candidata $z_i = (c_i, y_i)$ (condición y respuesta) se codifica en dos representaciones complementarias utilizando un modelo de embedding congelado:

Embedding de Condición ( $e^c_i$ ): Codifica solo la entrada $c_i$ . Se utiliza para la construcción del conjunto de sondeo (probe set) y para medir la diversidad marginal.
Embedding de Supervisión ( $e^s_i$ ): Codifica el par completo $(c_i, y_i)$ . Se utiliza para el aprendizaje de preferencias y la puntuación.

2. Construcción del Conjunto de Sondeo y Sondeo de Activación

Para caracterizar cómo reacciona el modelo objetivo $M_0$ ante diferentes muestras, se construye un conjunto de sondeo representativo $D_p$ mediante clustering y una estrategia greedy k-center para asegurar la cobertura.

Sondeo de un Paso (One-Step Probing): El método realiza $T$ rondas de actualizaciones de un paso. Para un lote $B_t$ , calcula la pérdida de SFT antes ( $\ell^0_i$ ) y después de una actualización temporal de un paso ( $\ell^1_i$ ).
Ganancia de Activación: La ganancia se define como $g^{(t)}_i = \log(\frac{\ell^0_i + \epsilon}{\ell^1_i + \epsilon})$ . Una mayor ganancia indica que la muestra activa fuertemente al modelo objetivo localmente.
Construcción de Preferencias: Estas ganancias se normalizan dentro de los lotes y se agregan para formar preferencias de pares ( $z_w \succ z_l$ ) basadas en qué muestra genera una mayor activación.

3. Aprendizaje de Preferencias (Estilo DPO)

Se entrena un modelo de recompensa ligero (MLP residual) para predecir las preferencias de los datos condicionadas al modelo objetivo.

Objetivo: El modelo se entrena utilizando un objetivo de Optimización de Preferencia Directa (DPO) en el espacio de los datos.
Política de Referencia: A diferencia del DPO estándar, que utiliza una política de un modelo base como referencia, Data-DPO utiliza una referencia empírica uniforme sobre el conjunto de sondeo, ya que el conjunto candidato está predefinido en lugar de ser muestreado de una política.
Entrenamiento: El modelo aprende a asignar recompensas más altas a las muestras preferidas por la retroalimentación de un paso del modelo objetivo.

4. Selección Secuencial

El subconjunto final se selecciona de forma codiciosa (greedy) combinando tres señales:

Preferencia del Modelo Objetivo ( $p_i$ ): La puntuación del modelo de recompensa entrenado.
Calidad Externa ( $q_i$ ): Una puntuación de calidad independiente (por ejemplo, de un LLM separado).
Diversidad Marginal ( $d_i$ ): Medida por la similitud de coseno de los embeddings de condición frente al conjunto ya seleccionado.
La recompensa del paso es $R(S_t, z_i) = p_i + q_i + d_i(S_t)$ , asegurando que el subconjunto seleccionado equilibre la activación específica del modelo, la calidad general y la cobertura de la distribución.

Contribuciones Clave

Perspectiva Condicionada al Modelo Objetivo: El artículo redefine la selección de datos enfatizando que el valor de los datos es dinámico y depende de la compatibilidad con la distribución de capacidades del modelo objetivo, en lugar de ser una propiedad intrínseca estática.
Marco Data-DPO: Introduce un método que construye preferencias de datos directamente a partir de la retroalimentación de un paso de entrenamiento del modelo objetivo, entrenando un modelo de recompensa para aprender estas preferencias específicas.
Estrategia de Selección Híbrida: Propone un mecanismo de selección que integra las preferencias del modelo objetivo con la calidad externa y la diversidad marginal para evitar el sobreajuste a muestras que son localmente fáciles de activar.
Validación Empírica: Experimentos sistemáticos demuestran que Data-DPO supera consistentemente a las líneas base existentes (incluyendo métodos basados en importancia, en diversidad y métodos híbridos) y supera de forma estable el rendimiento del entrenamiento con datos completos en múltiples presupuestos de datos.

Resultados Experimentales

El método fue evaluado en Vision-Flan (instrucción general) y LLaVA-CoT (razonamiento) utilizando modelos objetivo LLaVA y Llama-3.2 bajo presupuestos de datos del 5%, 10% y 15%.

Rendimiento: Data-DPO superó consistentemente a todas las líneas base (por ejemplo, Random, LESS, COINCIDE, EL2N) en Vision-Flan y en presupuestos bajos en LLaVA-CoT.
- En Vision-Flan, logró un Rendimiento Relativo Promedio (ARP) de 100.76%, 102.63% y 102.70% para los presupuestos del 5%, 10% y 15% respectivamente, todos superando el entrenamiento con datos completos.
- En LLaVA-CoT, logró un ARP de 102.73% y 103.93% en los presupuestos del 5% y 10%, superando significativamente a las líneas base. Sin embargo, al presupuesto del 15%, EL2N alcanzó un ARP de 102.46, ligeramente superior al 101.31 de Data-DPO. A pesar de esto, Data-DPO superó a todos los demás métodos y mantuvo un rendimiento por encima del entrenamiento con datos completos.
Estudios de Ablación:
- Modelos Proxy: El uso de un modelo proxy (entrenado con el 5% de los datos) para el sondeo en lugar del modelo objetivo original degradó significativamente el rendimiento, validando la necesidad de la retroalimentación directa del modelo objetivo.
- Combinación de Señales: El uso de solo la preferencia del modelo funcionó peor que la selección aleatoria. La combinación de Preferencia + Calidad + Diversidad fue esencial para obtener resultados óptimos, mostrando la complementariedad de estas señales.
- Robustez: El método se mantuvo efectivo a través de diferentes escalas de modelos objetivo (7B vs 13B), diferentes familias de modelos, diferentes fuentes de puntuación de calidad y diferentes modelos de embedding.

Significado y Reivindicaciones

El artículo afirma que Data-DPO ofrece un cambio de paradigma en la selección de datos al pasar de una evaluación estática centrada en la muestra a una evaluación dinámica centrada en el modelo.

Visión Central: El valor de los datos en SFT no es absoluto; es relativo al estado actual del modelo objetivo. Una muestra que activa las capacidades latentes de un modelo es más valiosa que una que es simplemente "de alta calidad" de forma aislada.
Estabilidad: Al combinar las preferencias específicas del modelo con restricciones de calidad y diversidad, Data-DPO evita los problemas de seleccionar solo muestras "fáciles" que podrían conducir a distribuciones de entrenamiento estrechas.
Eficiencia: Aunque requiere una fase de sondeo, evita entrenar modelos proxy pesados para las señales de selección, apoyándose en un modelo de recompensa ligero entrenado con retroalimentación de un solo paso.

Los autores concluyen que su método proporciona una solución robusta y consciente del modelo para la selección de datos de SFT, permitiendo que los modelos alcancen un rendimiento superior con una cantidad de datos de entrenamiento significativamente reducida.