Resumen Técnico: Síntesis de Preferencias Impulsada por la Visión para Mitigar Alucinaciones en VLMs

Declaración del Problema

Los Modelos de Lenguaje-Visión (VLMs) han demostrado capacidades significativas en la comprensión visual, pero siguen siendo propensos a las alucinaciones, donde los modelos generan contenido inconsistente con la imagen de entrada, inventando a menudo objetos inexistentes. Este problema surge de un desequilibrio entre las modalidades de lenguaje y visión, donde los fuertes sesgos lingüísticos (language priors) causan que los modelos dependan de las estadísticas de texto en lugar de la evidencia visual.

Si bien la Alineación de Preferencias (específicamente la Optimización de Preferencia Directa, o DPO) ha surgido como una solución prometedora para mejorar la fidelidad visual, su eficacia depende en gran medida de la calidad de los pares de preferencia construidos (respuestas preferidas frente a las no preferidas). Los métodos existentes para construir estos pares sufren dos limitaciones primarias:

1. Los métodos basados en intervención (por ejemplo, inyección o corrección de alucinaciones) a menudo introducen respuestas que se desvían significativamente de la distribución de política natural del modelo, creando un desajuste de distribución.
2. Los métodos basados en muestreo (por ejemplo, muestreo juzgado externamente o muestreo guiado por SFT) reducen este desajuste de distribución, pero frecuentemente infrautilizan la información visual, dependiendo en su lugar de los sesgos lingüísticos para determinar la preferencia.

Metodología: ViPSy

Los autores proponen ViPSy (Síntesis de Preferencias Impulsada por la Visión), un marco de dos etapas diseñado para construir datos de preferencia que sean tanto alineados con la política (cercanos a la distribución de respuesta del modelo) como anclados visualmente (basados en la evidencia de la imagen).

Etapa 1: Síntesis Semántica Auto-etiquetada para la Extracción de Claves Consistentes

Para extraer claves visuales fiables sin sesgo externo, ViPSy aprovecha las propias capacidades del modelo de política:

1. Auto-etiquetado (Self-Captioning): El modelo de política ($\pi_\theta$) genera $N_c$ subtítulos para una imagen fuente $m$ utilizando un prompt de subtitulado estándar.
2. Síntesis Semántica: Estos subtítulos sirven como prompts para un modelo de difusión de Texto-a-Imagen (T2I) ($P_\psi$) para sintetizar $N_c$ variantes de imagen semánticamente alineadas ($m'_j$).
3. Extracción de Claves (Cue Extraction): Un modelo juez ($\pi_\phi$) compara cada variante sintética $m'_j$ con la imagen original $m$ para extraer evidencia de nivel de objeto ($c_j$) que sea consistente entre ellas.
4. Agregación: El juez agrega estas claves por pares en una única clave visual ($c$) consistente. La intuición es que los objetos que recurren a través de diversas variaciones sintéticas derivadas de la misma imagen fuente tienen una alta probabilidad de estar anclados en la imagen original.

Etapa 2: Auto-destilación Condicionada por Claves para la Síntesis de Preferencias

Una vez establecida la clave visual $c$, el marco genera pares de preferencia:

1. Rollouts Condicionados por Claves: El modelo de política muestrea $N_s$ respuestas candidatas ($y^{(s)}$) condicionadas a la imagen original $m$, el prompt $x$ y la clave visual extraída $c$. Esto asegura que los candidatos permanezcan cerca de la distribución de la política mientras son guiados explícitamente por la evidencia visual.
2. Selección de Preferencia: El modelo juez evalúa el conjunto de candidatos $\{y^{(s)}\}$ contra la imagen original $m$ para seleccionar una respuesta preferida ($y_w$) (la más anclada visualmente) y una respuesta no preferida ($y_l$) (la menos anclada).
3. Optimización: El conjunto de datos resultante $\mathcal{D}_{pref} = \{(x, m, y_w, y_l)\}$ se utiliza para entrenar al modelo mediante la Optimización de Preferencia Directa (DPO). Crucialmente, las claves visuales y las imágenes sintéticas solo se utilizan durante la construcción de los datos; el paso de optimización final condiciona la política únicamente al par prompt-imagen original, destilando la capacidad de anclaje visual en el modelo.

Contribuciones Clave

1. Marco ViPSy: Un nuevo enfoque de síntesis de preferencias impulsado por la visión que construye pares de preferencia anclados visualmente manteniendo la alineación con la distribución de respuesta de la política.
2. Estrategia de Dos Etapas:
   • Síntesis semántica auto-etiquetada: Utiliza los propios subtítulos del modelo para impulsar la síntesis T2I, agregando la evidencia de objetos recurrentes para extraer claves visuales consistentes, reduciendo así la dependencia de los sesgos lingüísticos.
   • Auto-destilación condicionada por claves: Guía los propios rollouts de la política con estas claves para generar candidatos que varían en calidad de anclaje visual, permitiendo la selección de pares de preferencia de alta calidad.
3. Rendimiento de Vanguardia (State-of-the-Art): El marco logra nuevos resultados de vanguardia en la mitigación de alucinaciones y mejora las capacidades generales de anclaje visual.

Resultados Experimentales

Los autores evaluaron ViPSy en LLaVA-1.5 (7B y 13B) y varios otros modelos de política (Qwen2.5-VL, InternVL3.5, etc.), comparándolo con métodos de decodificación, enfoques basados en desaprendizaje (unlearning) y líneas base de alineación de preferencias existentes.

• Mitigación de Alucinaciones:
  • En LLaVA-1.5-7B, ViPSy redujo las tasas de alucinación en AMBER en un 35.7% y en Object HalBench en un 24.5% en comparación con el estado de la técnica anterior (SENTINEL).
  • En LLaVA-1.5-13B, superó a todas las líneas base en todos los benchmarks de alucinación, mostrando mejoras significativas sobre los mejores métodos anteriores.
• Anclaje Visual General:
  • A diferencia de algunas líneas base que degradan el rendimiento general, ViPSy mejoró las puntuaciones en benchmarks generales que requieren anclaje visual: MMStar (+6.0%), MMVP (+31.3%) y CV-Bench (+4.0%) en el modelo de 7B.
• Mejoras en el Codificador de Visión:
  • Las evaluaciones de linear probing y segmentación en ImageNet-1k, ImageNet-O y MS COCO mostraron ganancias en precisión y recuperación (recall). Esto sugiere que ViPSy mejora las representaciones visuales subyacentes, no solo la generación a nivel de respuesta.
• Generalización:
  • El método demostró mejoras consistentes en diversos modelos de política (Qwen, InternVL, mPLUG-Owl, Kimi), lo que indica que no es específico para una sola arquitectura.
• Estudios de Ablación:
  • Se encontró que los auto-rollouts son superiores a los rollouts de VLMs externos, confirmando la importancia de permanecer cerca de la distribución de la política.
  • La síntesis basada en difusión superó a las transformaciones simples de imagen (redimensionar, recortar) y a las variaciones basadas en video, resaltando la necesidad de una diversidad semántica rica para la extracción de claves.
  • El método se mantuvo robusto a través de diferentes modelos juez (Qwen3-VL, GPT-5 mini).

Significado y Reivindicaciones

El artículo afirma que ViPSy aborda el compromiso fundamental en la construcción de preferencias: equilibrar la alineación con la política con el anclaje visual. Al derivar claves visuales de la intersección entre la propia comprensión semántica de la política y las variaciones de imágenes sintéticas, ViPSy evita el desajuste de distribución de los métodos basados en intervención y el descuido visual de los métodos de muestreo estándar.

Los autores sostienen que su enfoque no solo establece un nuevo estado de la cuestión en la reducción de alucinaciones, sino que también mejora las capacidades visuales generales del modelo y la calidad de las representaciones del codificador de visión. Enfatizan que el marco destila eficazmente el anclaje visual en la política sin requerir un modelado de recompensa complejo o aprendizaje por refuerzo en línea, lo que lo convierte en una solución práctica y efectiva para mejorar la fiabilidad de los VLM en aplicaciones del mundo real.