💬 NLP

PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment

Este artículo presenta la Optimización de Preferencia Directa con Alineación Mejorada por Percepción (PEA-DPO), un nuevo marco que aborda la insensibilidad visual de los modelos de lenguaje de gran tamaño multimodales mediante el aprovechamiento explícito de las señales de preferencia visual, reduciendo así significativamente las alucinaciones y mejorando la alineación multimodal al tiempo que preserva las capacidades lingüísticas.

Autores originales: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Publicado 2026-08-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de sistemas que pueden ver y hablar al mismo tiempo. Estos modelos de lenguaje de gran tamaño multimodales están entrenados para mirar una imagen y describir lo que ven, o para responder preguntas sobre una fotografía. Para que estas máquinas sean verdaderamente útiles y seguras, deben alinearse con los valores humanos, lo que significa que sus respuestas deben ser precisas, útiles y estar fundamentadas en la realidad visual presentada ante ellas. Un desafío importante en la enseñanza de estos sistemas ha sido la tendencia a alucinar, o a describir con confianza objetos o acciones que simplemente no están allí. Para solucionar esto, los investigadores han recurrido a una técnica llamada optimización de preferencia directa, un método que enseña al modelo mostrándole pares de respuestas —una buena y una mala— y pidiéndole que aprenda por qué la primera es mejor. Este enfoque ha funcionado de maravilla para los modelos de solo texto, pero cuando se aplica a sistemas que también procesan imágenes, se ha descubierto un fallo oculto que les impide "ver" realmente la diferencia entre una foto clara y una donde los detalles más importantes han sido oscurecidos.

Un equipo de investigadores de la Universidad de Ciencia y Tecnología de China y la Universidad Nacional de Singapur ha identificado esta debilidad específica y ha desarrollado un nuevo marco para curarla. Descubrieron que los métodos de entrenamiento estándar a menudo tratan la imagen simplemente como un telón de fondo, un escenario estático para la conversación, en lugar de como la fuente primaria de verdad en la que el modelo debe confiar. Debido a esto, los modelos se volvieron visualmente insensibles. En sus experimentos, los investigadores demostraron que estos modelos no podían distinguir entre una imagen de personas haciendo un picnic y una imagen de personas leyendo, incluso cuando la evidencia visual de una había sido completamente eliminada. Los modelos generaban respuestas casi idénticas para ambas, sin notar que las pistas visuales clave habían desaparecido. También tuvieron dificultades para distinguir entre objetos específicos dentro de una sola imagen, como confundir un cepillo de baño con una herramienta genérica, porque no estaban prestando suficiente atención a las señales visuales críticas que definían el objeto.

Para resolver esto, los investigadores crearon un método que llaman Alineación Mejorada de la Percepción. En lugar de solo enseñar al modelo a elegir la mejor respuesta de texto, rediseñaron el proceso de entrenamiento para obligar al modelo a prestar atención al contexto visual en sí mismo. Comenzaron tomando una imagen clara y creando una serie de versiones alteradas donde partes aleatorias eran enmascaradas. Utilizando un sistema visual separado y altamente sensible, identificaron qué versión alterada había perdido la información más crítica, creando efectivamente una imagen "rechazada" que carecía de los detalles clave necesarios para responder una pregunta correctamente. Luego, emparejaron esta imagen con información faltante con la imagen original y completa. Durante el entrenamiento, se le presentaba al modelo la misma pregunta y la misma respuesta de texto, pero mostrándole primero la imagen completa y luego la incompleta. Se le enseñó al modelo que debería preferir fuertemente la respuesta cuando tuviera la evidencia visual completa, y que debería reconocer la respuesta como menos fiable cuando el contexto visual clave no estuviera presente.

Este enfoque dual enseñó al modelo dos cosas a la vez. Primero, aprendió a distinguir entre una buena respuesta de texto y una mala, tal como antes. Segundo, y más importante, aprendió a reconocer cuándo la evidencia visual era insuficiente para respaldar una afirmación. Los investigadores probaron este nuevo método en dos tamaños diferentes de modelos de imagen-texto, uno con siete mil millones de parámetros y otro con trece mil millones. Los resultados fueron sorprendentes. En las pruebas estándar diseñadas para medir con qué frecuencia estos modelos inventan cosas, el nuevo método redujo las alucinaciones por márgenes significativos. Para el modelo más pequeño, la tasa de detalles inventados cayó casi un tercio en un importante punto de referencia, y más del noventa por ciento en otro. El modelo más grande mostró mejoras similares, superando a menudo incluso a algunos de los sistemas comerciales más avanzados disponibles. Los modelos se volvieron mucho mejores para describir exactamente lo que había en la imagen, como identificar correctamente el título de un libro o una herramienta específica, en lugar de adivinar basándose en el conocimiento general.

Los investigadores también verificaron para asegurar que este nuevo enfoque en la precisión visual no hiciera que los modelos fueran peores en otras tareas. Encontraron que los modelos conservaron su capacidad para seguir instrucciones y responder preguntas generales, y en algunos casos, su rendimiento en estas tareas generales de hecho mejoró ligeramente. El único compromiso notable fue que los modelos se volvieron ligeramente más conservadores; eran menos propensos a adivinar cuando no estaban seguros, lo que significaba que a veces proporcionaban menos detalles en general, pero los detalles que sí proporcionaban eran mucho más propensos a ser ciertos. Al enseñar explícitamente al modelo a valorar la evidencia visual tanto como el texto, los investigadores demostraron que es posible construir inteligencia artificial que no solo mira una imagen, sino que realmente la ve. Este trabajo sugiere que, para que las máquinas sean socios fiables en la comprensión del mundo visual, deben ser entrenadas para sentir el peso de la información faltante, asegurando que su confianza esté siempre correspondida por la claridad de lo que realmente está ante sus ojos.

Resumen Técnico: PEA-DPO

Planteamiento del Problema

Si bien la Optimización de Preferencia Directa (DPO) ha demostrado ser eficaz para alinear modelos de lenguaje de gran tamaño (LLM) solo de texto con las preferencias humanas, su aplicación directa a los Modelos de Lenguaje de Gran Tamaño Multimodales (MLLM) revela una limitación crítica: la insensibilidad visual. Los autores identifican que el DPO multimodal estándar a menudo trata las imágenes simplemente como entradas de condicionamiento estáticas en lugar de objetivos activos de preferencia. En consecuencia, los modelos no logran distinguir entre una imagen original y una donde se ha eliminado el contexto visual crítico, lo que conduce a respuestas que están débilmente fundamentadas en la evidencia visual.

A través del análisis representacional y la descomposición teórica, los autores formalizan este fallo en dos manifestaciones distintas:

Insensibilidad Entre Imágenes (Across-Image Insensitivity): El modelo asigna puntuaciones de preferencia casi idénticas a respuestas generadas a partir de imágenes distintas (por ejemplo, no diferenciar entre una imagen de una actividad de lectura al aire libre y un picnic), lo que indica una falta de discriminación entre diferentes contextos visuales.
Insensibilidad Dentro de la Imagen (Within-Image Insensitivity): El modelo no logra distinguir entre señales semánticamente críticas y otras irrelevantes dentro de una misma imagen (por ejemplo, confundir un cepillo de baño con una herramienta genérica), lo que provoca alucinaciones incluso cuando la evidencia visual correcta está presente.

Metodología: PEA-DPO

Para abordar estas limitaciones, los autores proponen la Optimización de Preferencia Mejorada por la Percepción (PEA-DPO). Este marco desplaza el paradigma de optimización de tratar las imágenes como contexto estático a optimizar conjuntamente la calidad de la respuesta y las preferencias del contexto visual.

1. Construcción de Datos de Preferencia Mejorados por la Percepción

El método genera pares de preferencia visual de alta calidad mediante la eliminación explícita del contexto visual crítico:

Perturbación: Partiendo de una imagen elegida ( $m_w$ ), el sistema aplica máscaras aleatorias para generar un conjunto de imágenes perturbadas candidatas.
Selección vía CLIP: Utilizando embeddings de CLIP, el sistema calcula la similitud semántica entre la imagen original y la perturbada. La imagen perturbada con la puntuación de similitud más baja (que indica la eliminación del contexto visual más crítico) se selecciona como la imagen rechazada ( $m_l$ ).
Estructura de Datos: Esto crea un triplete de preferencia $(x, m_w, m_l, y_w)$ , donde el modelo debe aprender a preferir la respuesta $y_w$ cuando está condicionado a la imagen completa $m_w$ sobre la imagen con el contexto reducido $m_l$ .

2. Objetivo de Optimización Conjunta

PEA-DPO introduce una función de pérdida de doble objetivo que optimiza simultáneamente dos señales complementarias:

Optimización de Preferencia de Calidad de Respuesta (RPO): El término estándar de DPO multimodal donde el modelo aprende a preferir una respuesta de alta calidad ( $y_w$ ) sobre una de menor calidad ( $y_l$ ) dada la misma imagen ( $m_w$ ).
Optimización de Preferencia de Contexto Visual (VPO): Un término novedoso donde el modelo aprende a preferir la respuesta $y_w$ cuando está condicionado a la imagen completa ( $m_w$ ) sobre la misma respuesta condicionada a la imagen con el contexto reducido ( $m_l$ ).

El objetivo final combina estos términos:
$\mathcal{L}_{PEA-DPO} = \mathcal{L}_{RPO} + \alpha \cdot \mathcal{L}_{VPO}$

Para reducir la carga computacional y mejorar la capacidad de control, los autores refinan esto aún más en mPEA-DPO mediante:

Reemplazar las razones de log-probabilidad por log-probabilidades normalizadas por longitud (eliminando la necesidad de un modelo de referencia).
Reemplazar la función sigmoide por ReLU para filtrar puntos de datos triviales.
Introducir márgenes de objetivo ( $\gamma_r, \gamma_m$ ) para imponer separaciones mínimas entre los pares preferidos y rechazados.

Análisis Teórico

El artículo proporciona una prueba teórica que demuestra que mPEA-DPO mitiga directamente los modos de fallo identificados:

La Insensibilidad Entre Imágenes corresponde a un margen a nivel de imagen ( $G_m$ ) cercano a cero, que representa la incapacidad del modelo para distinguir entre $m_w$ y $m_l$ . El término $\mathcal{L}_{VPO}$ impone explícitamente un margen positivo aquí.
La Insensibilidad Dentro de la Imagen corresponde a un margen a nivel de respuesta ( $G_r$ ) cercano a cero, que representa la incapacidad del modelo para distinguir entre $y_w$ y $y_l$ incluso con la entrada visual correcta. El término $\mathcal{L}_{RPO}$ impone este margen.
Los autores demuestran que la combinación lineal de estos términos en mPEA-DPO amplía de manera demostrable ambos márgenes, abordando así ambos modos de fallo simultáneamente.

Resultados Experimentales

Los autores evaluaron mPEA-DPO en modelos LLaVA-v1.5 (7B y 13B parámetros) a través de tres benchmarks de alucinación: MMHal-Bench, Object HalBench y AMBER.

Reducción de Alucinaciones: mPEA-DPO redujo significativamente las tasas de alucinación. Para el modelo de 7B, redujo la tasa de alucinación de MMHal-Bench en un 33% en comparación con el modelo base. En Object HalBench, logró reducciones del 92% (nivel de respuesta) y 87% (nivel de objeto) en las tasas de alucinación.
Comparación con SOTA: El método superó a las líneas base existentes de RLHF/RLAIF de código abierto (por ejemplo, LLaVA-RLHF, mDPO, OPA-DPO, DAMA) en la mayoría de las métricas de alucinación. Aunque los modelos propietarios como GPT-4V y Gemini-2.5-Pro lograron puntuaciones generales más altas en MMHal-Bench y puntuaciones CHAIR más bajas en Object HalBench, mPEA-DPO demostró un rendimiento superior en la reducción de las tasas de alucinación en comparación con otros métodos de código abierto. Notablemente, en el benchmark AMBER, mPEA-DPO (7B) alcanzó una tasa de alucinación de 10.3 y una puntuación de cognición de 0.6, superando significativamente a GPT-4V, que registró una tasa de alucinación de 30.7 y una puntuación de cognición de 2.6.
Estudios de Ablación:
- Se encontró que tanto los componentes RPO como VPO eran efectivos individualmente, pero su combinación produjo el mejor rendimiento.
- La estrategia propuesta de "Mejora por Percepción" para construir imágenes rechazadas (eliminando el contexto clave mediante la selección de CLIP) superó a otras estrategias alternativas como el enmascaramiento de bloques aleatorios, rotación, recorte o la oscuridad total.
- El rendimiento escaló positivamente con el tamaño de los datos de entrenamiento, mostrando efectividad incluso con conjuntos de datos más pequeños (2.8k instancias).
Capacidades Generales: Las evaluaciones en benchmarks generales (MMStar, AI2D, LLaVA-Bench, MMMU) indicaron que mPEA-DPO preservó o mejoró ligeramente sus capacidades de seguimiento de instrucciones y razonamiento general, lo que sugiere que el método no degrada el rendimiento general.

Significado y Reivindicaciones

El artículo afirma que PEA-DPO aborda una brecha fundamental en la alineación multimodal actual: la tendencia de los modelos a ignorar la evidencia visual al optimizar las preferencias de texto. Al modelar explícitamente la insensibilidad visual e introducir un marco de aprendizaje de doble preferencia, los autores demuestran que:

La insensibilidad visual es un modo de fallo medible y corregible en el DPO multimodal.
Es necesario aprovechar explícitamente las señales de preferencia visual (comparando imágenes completas frente a contextos reducidos) para fundamentar las respuestas de los MLLM en la evidencia visual.
El método propuesto logra un rendimiento de vanguardia (SOTA) entre los métodos de código abierto en la reducción de alucinaciones mientras mantiene las capacidades de lenguaje general del modelo base, superando a otras líneas base de código abierto y mostrando un rendimiento competitivo contra modelos propietarios en métricas específicas de alucinación.

Los autores señalan las limitaciones, incluyendo el costo computacional adicional para generar datos mejorados por la percepción y un ligero compromiso en las métricas de cobertura (sugiriendo una estrategia de generación más conservadora), pero concluyen que el marco ofrece un camino robusto hacia MLLM más fiables y visualmente fundamentados.