Resumen Técnico: DeltaPrompts – Escapando de la Trampa del Cero-Delta en la Destilación Multimodal

Declaración del Problema

La destilación de conocimiento se ha convertido en un mecanismo pivotal para dotar a Modelos Visión-Lenguaje (VLM) compactos de capacidades de razonamiento sólidas, aprovechando modelos docentes más potentes. Sin embargo, las prácticas actuales dependen en gran medida de conjuntos de datos comerciales (por ejemplo, ChartQA, SciVQA) donde los prompts se seleccionan mediante heurísticas simples o se agregan de pools existentes. Los autores identifican una ineficiencia crítica en este enfoque: una porción significativa de estos prompts son "cero-delta".

Un prompt se define como cero-delta cuando los modelos docente y estudiante inducen exactamente la misma distribución de respuestas para una entrada dada. En tales casos, la señal de destilación proporciona un valor de aprendizaje mínimo porque el estudiante no se expone a una brecha de capacidad que necesite superar. El artículo revela que hasta el 69% de los prompts en conjuntos de datos estándar de razonamiento con gráficos y documentos son efectivamente cero-delta. El entrenamiento con estos prompts provoca que el rendimiento del estudiante se sature rápidamente, independientemente de la escala de los datos. Además, filtrar simplemente los conjuntos de datos existentes para retener solo prompts no cero-delta es subóptimo, ya que reduce drásticamente la diversidad de los datos de entrenamiento (hasta en un 29,4%), lo que conduce a una compensación donde se gana divergencia a expensas de la generalización.

Metodología

Para abordar la trampa del cero-delta, los autores proponen un cambio de la curación pasiva de datos a la síntesis activa de prompts impulsada por el principio de Divergencia de Respuestas ($\Delta$).

1. Definición de Divergencia de Respuestas

En lugar de medir la divergencia a nivel de secuencia (que es ruidosa y computacionalmente intratable debido a las salidas de longitud variable), los autores definen la Divergencia de Respuestas sobre el espacio discreto de las respuestas finales.

• Métrica: $\Delta(x) = D_{KL}(P_\theta(\cdot|x) \parallel P_T(\cdot|x))$, donde $P_\theta$ y $P_T$ son las distribuciones empíricas de respuestas del estudiante y del docente, respectivamente.
• Estimación: Las distribuciones se aproximan muestreando $K=16$ trayectorias de ambos modelos. Un juez LLM (Qwen3-32B) agrupa respuestas semánticamente equivalentes para manejar variaciones a nivel superficial, permitiendo un cálculo robusto de la divergencia incluso para respuestas abiertas.

2. El Pipeline de Síntesis DELTAPROMPTS

Los autores proponen un pipeline de síntesis por etapas que reutiliza los conjuntos de datos existentes como semillas en lugar de recursos de entrenamiento directos. El pipeline consta de tres etapas:

• Etapa 1: Generación guiada por semillas: Los pares imagen-prompt existentes se utilizan como ejemplos de pocos disparos (few-shot) para incitar al modelo docente a generar problemas nuevos y más difíciles para nuevas imágenes. Esto expande el pool de candidatos.
• Etapa 2: Generación guiada por habilidades: Para atacar explícitamente los modos de fallo del estudiante, el pipeline extrae "habilidades" contrastando las trayectorias del docente (correctas) contra las trayectorias del estudiante (incorrectas) para prompts con divergencia no cero. Estas habilidades (por ejemplo, "interpolación de escalas logarítmicas") se utilizan luego para condicionar el generador de datos, forzándolo a crear prompts que requieran estas capacidades específicas faltantes.
• Etapa 3: Rechazo de Cero-Delta: Todos los prompts generados se evalúan en cuanto a la divergencia de respuestas. Los prompts donde el docente y el estudiante coinciden (cero-delta) se rechazan. Solo se retienen los prompts con alta consistencia del docente y divergencia no cero.

Este proceso da como resultado DELTAPROMPTS, un conjunto de datos de 200k problemas de razonamiento sintéticos y de alta divergencia que cubren el razonamiento con gráficos/documentos y el razonamiento centrado en la percepción de alta resolución.

Contribuciones Clave

1. Identificación de la Trampa del Cero-Delta: El artículo demuestra empíricamente que los conjuntos de datos estándar de razonamiento multimodal están dominados por prompts cero-delta, lo que conduce a una saturación temprana del rendimiento del estudiante durante la destilación.
2. Divergencia de Respuestas como Métrica Principiada: Los autores introducen la divergencia de respuestas como una métrica tratable y crítica para cuantificar la brecha de capacidad entre docente y estudiante, mostrando que es un predictor más fuerte del éxito de la destilación que la escala de datos cruda o la diversidad por sí solas.
3. Un Pipeline de Síntesis de Dos Etapas: Un método novedoso para generar datos de entrenamiento de alta calidad que busca activamente los modos de fallo del estudiante mediante la generación guiada por habilidades, en lugar de filtrar pasivamente los datos existentes.
4. Conjunto de Datos DELTAPROMPTS: Un conjunto de datos a gran escala y diverso de 200k prompts diseñados específicamente para maximizar la divergencia de respuestas, superando a las mezclas existentes tanto en métricas de divergencia como de diversidad.

Resultados Experimentales

Los autores evalúan DELTAPROMPTS en tres configuraciones distintas utilizando las familias de modelos Qwen3-VL y GLM-4:

• Destilación On-Policy: Al destilar un estudiante (Qwen3-VL-8B-Thinking) desde un docente (Qwen3-VL-235B-Thinking), DELTAPROMPTS produce hasta un 15% de mejora relativa en 10 puntos de referencia (incluyendo ChartQA, InfoVQA y RealWorldQA), incluso cuando el estudiante base ya es un modelo de razonamiento altamente optimizado.
• Transferencia entre Familias: El conjunto de datos se generaliza a una familia de modelos diferente (GLM-4.1V-9B-Thinking) sin regenerar los datos, simplemente volviendo a filtrar para obtener divergencia no cero bajo el nuevo par.
• Ajuste Fino Off-Policy (SFT): Cuando se utiliza para el ajuste fino supervisado estándar en un modelo no razonador (Qwen3-VL-8B-Instruct), DELTAPROMPTS supera sustancialmente al SFT en mezclas de datos existentes y muestra una mejor retención en tareas fuera de dominio (Matemáticas, Lógica, STEM) en comparación con el SFT estándar.
• Estudios de Ablación:
  • Divergencia vs. Diversidad: Controlando la diversidad, el entrenamiento con prompts delta ($\Delta > 0$) continúa mejorando el rendimiento con el tamaño de los datos, mientras que los prompts cero-delta ($\Delta = 0$) se saturan inmediatamente.
  • Filtrado de Consistencia: Los prompts donde el docente es inconsistente (difíciles de resolver incluso para el docente) degradan el rendimiento, validando la necesidad de un filtrado basado en la consistencia en el pipeline de síntesis.

Significado y Afirmaciones

El artículo afirma que el cuello de botella central en la destilación multimodal no es la agregación de más prompts o trayectorias, sino la construcción de prompts donde el docente y el estudiante discrepan significativamente.

Al cambiar el enfoque de la cantidad de datos a la calidad de la divergencia, los autores demuestran que la síntesis dirigida de prompts puede generar ganancias sustanciales con significativamente menos datos en comparación con la agregación heurística de conjuntos de datos existentes. El trabajo sugiere que la divergencia de respuestas es una propiedad fundamental para una escalabilidad efectiva en la destilación, ofreciendo un camino para entrenar modelos compactos capaces de manera más eficiente. Los autores posicionan a DELTAPROMPTS no solo como un conjunto de datos, sino como una prueba de concepto para un enfoque más principiado y centrado en los datos de la destilación que ataca activamente las brechas de capacidad específicas del modelo estudiante.