Resumen Técnico: Optimización de la Política de Auto-Destilación mediante Retroalimentación Visual

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLMs) generadores de código se ven cada vez más encargados de producir artefactos visuales (gráficos, páginas web, diapositivas) mediante la escritura de código ejecutable. Existe una desconexión fundamental entre el objetivo de optimización del modelo (código sintácticamente válido) y el objetivo de evaluación del usuario (el resultado visual renderizado). Debido a que el proceso de renderizado no es diferenciable, el modelo debe comprometerse con el código antes de observar el resultado visual. En consecuencia, incluso el código ejecutable produce frecuentemente artefactos con defectos visuales notables, tales como elementos superpuestos, texto recortado, alineación rota, bajo contraste y desbordamiento.

Los enfoques existentes para cerrar este "gap de código-visión" enfrentan limitaciones significativas:

• Reflexión visual en tiempo de inferencia: Los bucles iterativos de renderizar–criticar–revisar requieren re-ejecutar renderizadores y consultar críticos en el tiempo de inferencia, lo que conlleva altos costos de despliegue y latencia.
• Aprendizaje por Refuerzo (RL) con recompensa visual: Los métodos que optimizan contra recompensas escalares a nivel de imagen (por ejemplo, vía GRPO o DPO) sufren de una supervisión dispersa a nivel de trayectoria. Colapsan los diagnósticos por elemento en un solo número antes de que los gradientes puedan formarse, perdiendo la granularidad espacial.

2. Metodología: Visual-SDPO

El artículo propone Visual-SDPO, un marco de optimización de la política de auto-destilación que trata la retroalimentación visual renderizada como "contexto privilegiado" para un modelo profesor que comparte pesos, destilando esta retroalimentación en un modelo estudiante de codificación que opera sin el renderizador durante la inferencia.

2.1 Auto-Destilación con Retroalimentación Visual

El marco emplea una arquitectura profesor-estudiante donde ambos comparten pesos ($\pi_\theta$):

• Estudiante: Genera un despliegue de código $y$ condicionado únicamente en el prompt original $x$.
• Profesor: Re-califica los tokens del estudiante condicionado en el prompt $x$ más el contexto visual privilegiado $v$. El contexto $v$ se deriva del propio despliegue del estudiante:
  • Canal de Imagen: El artefacto renderizado bruto (o mensajes de error de ejecución si el renderizado falla).
  • Canal de Rúbrica: Una tabla binaria estructurada de defectos (por ejemplo, alineación, superposición, color) extraída del artefacto.
• Objetivo: El estudiante minimiza la divergencia de Kullback-Leibler (KL) entre su distribución de tokens y la distribución del profesor, la cual tiene acceso al resultado visual. Esto transfiere la comprensión visual al estudiante sin requerir un renderizador durante la inferencia.

2.2 Ponderación de Crédito de Código Basada en lo Visual

La destilación estándar a nivel de token trata todos los tokens de salida por igual, lo que puede inducir un desvío de la política en el andamiaje no visual (por ejemplo, importaciones, flujo de control). Para abordar esto, los autores introducen la Ponderación de Crédito de Código Basada en lo Visual, que apunta espacialmente la supervisión:

1. Detección de Defectos: Un detector identifica los defectos visuales $D$ (regiones y severidad) en el artefacto renderizado.
2. Mapeo Región-a-Código ($M$): Un mecanismo de mapeo rastrea cada región de defecto de vuelta a las sentencias de código específicas responsables de los elementos afectados. Esto se logra mediante:
   • Introspección en Tiempo de Ejecución: Instrumentar los renderizadores (matplotlib, Playwright, python-pptx) para registrar las sentencias de origen para cada elemento.
   • Mapeo basado en VLM: Usar el VLM profesor para identificar las sentencias responsables a partir del código y las imágenes anotadas.
3. Pérdida Ponderada por Sentencia: Se calcula una puntuación de responsabilidad $resp(s)$ para cada sentencia $s$ basada en la superposición (IoU) entre sus regiones generadas y los defectos detectados. Esta puntuación se convierte en un peso por token $w_t$:
   $$w_t = 1 + (\alpha - 1) \cdot resp(s(t))$$
   donde $\alpha \ge 1$ es un factor de amplificación. Los tokens en sentencias que causan defectos reciben pesos más altos, concentrando el gradiente de destilación en el código específico responsable de los errores visuales.

2.3 Objetivo de Entrenamiento Final

El marco combina la pérdida de destilación densa y localizable a nivel de token con una recompensa de Optimización de Política Relativa de Grupo (GRPO) a nivel de secuencia:
$$L(\theta) = L_{VSDPO}(\theta) + \beta \cdot L_{GRPO}(\theta)$$

• Término de Destilación ($L_{VSDPO}$): Proporciona supervisión densa y eficiente de muestras ponderada por defectos visuales.
• Término GRPO ($L_{GRPO}$): Utiliza una recompensa multiplicativa $r(y) = r_{exec}(y) \cdot r_{vis}(y)$, donde $r_{exec}$ asegura la ejecutabilidad del código y $r_{vis}$ es una puntuación graduada basada en el extractor de rúbricas. Esto ancla el entrenamiento a través de dominios y proporciona una señal incluso cuando el código no logra ejecutarse (mediante retroalimentación de mensajes de error).

3. Contribuciones Clave

1. Marco Visual-SDPO: Un enfoque de auto-destilación para artefactos visuales generados por código donde el profesor que comparte pesos observa los artefactos renderizados como contexto privilegiado, destilando la retroalimentación visual en un estudiante que no requiere un renderizador durante la inferencia.
2. Ponderación de Crédito de Código Basada en lo Visual: Un mecanismo que rastrea los defectos visuales hacia las sentencias de código responsables para ponderar la destilación a nivel de token, asegurando que los gradientes se enfoquen en el código espacialmente relevante en lugar de un emparejamiento de tokens uniforme.
3. Evaluación Unificada: Una instanciación y evaluación exhaustiva a través de tres dominios distintos (gráficos, web/UI, diapositivas) utilizando un único backbone Qwen3-VL-8B-Instruct, demostrando la versatilidad del método.

4. Resultados Experimentales

El método fue evaluado en ChartMimic (gráficos), Design2Code (web/UI) y AeSlides (diapositivas).

• Ganancias de Rendimiento: Visual-SDPO mejoró sobre el base zero-shot en más de 10 puntos absolutos en las métricas primarias en todos los benchmarks.
  • ChartMimic: +10.7 puntos sobre zero-shot; +1.6 puntos sobre el baseline más fuerte de un solo señal (OPSD).
  • Design2Code: +10.5 puntos sobre zero-shot; +2.6 puntos sobre GRPO.
  • AeSlides: +11.2 puntos sobre zero-shot; +2.5 puntos sobre GRPO.
• Perspectivas de Ablación:
  • Complementariedad: La combinación de la destilación densa a nivel de token (con ponderación de crédito) y GRPO a nivel de secuencia superó a cualquiera de las dos señales por sí sola. La supervisión a nivel de token fue particularmente efectiva para detalles estructurales de bajo nivel (por ejemplo, APIs de matplotlib, propiedades CSS), mientras que GRPO ancló la trayectoria general.
  • Eficiencia: Visual-SDPO logró un rendimiento comparable al entrenamiento de GRPO completo con significativamente menos generaciones de despliegues (aproximadamente el 29% del presupuesto de GRPO) y menos tiempo de ejecución, demostrando una eficiencia de muestra superior.
• Backbone: Todos los experimentos utilizaron un backbone unificado Qwen3-VL-8B-Instruct.

5. Significación y Reivindicaciones

El artículo posiciona a Visual-SDPO en la intersección de la auto-destilación con privilegios, la formación con retroalimentación visual y los artefactos visuales generados por código. Su principal significación radica en:

• Cerrar la Brecha: Aborda eficazmente el gap de código-visión utilizando la retroalimentación renderizada como una señal privilegiada sin incurrir en costos de inferencia.
• Supervisión Granular: A diferencia de los métodos de recompensa escalar, proporciona retroalimentación localizable y espacialmente dirigida, identificando exactamente qué sentencias de código causan defectos visuales específicos.
• Estabilidad y Eficiencia: Al combinar la destilación densa con recompensas a nivel de trayectoria, logra un entrenamiento estable que es más eficiente en muestras que los enfoques de RL puro.

Los autores señalan que este enfoque evita la necesidad de críticos VLM externos o renderizadores durante la inferencia, lo que lo hace adecuado para el despliegue en entornos con recursos limitados manteniendo una alta fidelidad visual en los artefactos generados.