Resumen Técnico: SENTINEL

Enunciado del Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLMs) han avanzado en la comprensión cruzada de modalidades, pero sufren de alucinaciones de objetos, donde los modelos generan texto que es semánticamente coherente pero factualmente inconsistente con la entrada visual. Las estrategias de mitigación existentes enfrentan limitaciones significativas:

• Los métodos basados en decodificación (por ejemplo, decodificación contrastiva) a menudo incurren en costos computacionales prohibitivos y aumentan la latencia de inferencia.
• Los métodos de alineación de preferencias dependen frecuentemente de recursos externos costosos, como Modelos de Lenguaje Grandes (LLMs) propietarios para la reescritura o anotadores humanos para la curación de datos. Además, estos métodos a menudo introducen desajustes de distribución entre los datos de entrenamiento (reescritos por modelos externos) y la distribución de salida original del modelo objetivo, lo cual puede dañar las capacidades de generalización.

Metodología: SENTINEL

Los autores proponen SENTINEL (Intervención Temprana a Nivel de Oración mediante Aprendizaje de Preferencias en Dominio), un marco diseñado para mitigar las alucinaciones interviniendo en la etapa más temprana de su ocurrencia sin depender de reescritura externa ni anotación humana. El método opera a través de seis pasos clave:

1. Arranque de Candidatos en Dominio:

   • El MLLM actual genera múltiples respuestas candidatas mediante muestreo.
   • Los objetos mencionados en estas salidas se extraen utilizando un Analizador de Gráficos de Escena (Scene-GraphParser).
   • Validación Cruzada: Se utilizan dos detectores de objetos de vocabulario abierto (GroundingDINO y YOLO World) para verificar cruzadamente la existencia de estos objetos en la imagen de entrada.
   • Los objetos se clasifican como factuales (ambos detectores confirman la presencia), alucinados (ambos confirman la ausencia) o inciertos. Las oraciones que contienen objetos alucinados se marcan como muestras negativas; aquellas con solo objetos factuales son muestras positivas. Los objetos inciertos se ignoran para garantizar la calidad de los datos.

2. Generación de Datos de Preferencia Consciente del Contexto:

   • El marco construye pares de preferencia $(y_w^+, y_l)$ donde $y_w^+$ es una oración sin alucinaciones y $y_l$ es una alucinada.
   • Crucialmente, la muestra positiva $y_w^+$ se selecciona para ser coherente con el contexto, lo que significa que los objetos descritos en la oración se referencian explícitamente o están conectados lógicamente con el contexto precedente. Esto contrasta con las muestras agnósticas al contexto, que los autores encuentran menos efectivas para la generalización.

3. Arranque Contextual Iterativo (ICB):

   • Para mejorar la robustez en diversos escenarios, el marco extiende iterativamente el contexto de generación. Tras identificar una muestra positiva sin alucinaciones, esta se agrega al contexto $c$ para la siguiente iteración. Esto permite que el modelo aprenda de contextos progresivamente complejos y variados mientras mantiene una base libre de alucinaciones.

4. Aprendizaje de Preferencias Consciente del Contexto (C-DPO):

   • El modelo se entrena utilizando una función de pérdida Direct Preference Optimization (DPO) modificada, denominada C-DPO.
   • La entrada al modelo de política se aumenta con el contexto $c$: $x' = [v, q, c]$.
   • La función de pérdida maximiza la probabilidad de generar la muestra positiva coherente con el contexto $y_w^+$ mientras minimiza la muestra negativa alucinada $y_l$.
   • Diseño Clave: El contexto $c$ se excluye del cálculo de la pérdida (enmascarado). Los gradientes se derivan únicamente de la discriminación entre $y_w^+$ y $y_l$, asegurando que el modelo aprenda a distinguir alucinaciones a nivel de oración sin estar sesgado por los tokens de contexto durante la optimización.

Contribuciones Clave

1. Perspectiva de Intervención Temprana: Los autores demuestran mediante análisis que la intensidad de la alucinación escala con la longitud del texto y que intervenir en la primera ocurrencia de una alucinación previene significativamente su propagación en salidas posteriores.
2. Marco Eficiente y en Dominio: SENTINEL elimina la dependencia de modelos propietarios externos o anotadores humanos. Al utilizar las propias salidas del modelo y detectores ligeros de vocabulario abierto, construye datos de preferencia de alta calidad y consistentes en estilo.
3. Rendimiento Agnóstico al Modelo: El método logra resultados de vanguardia en benchmarks de alucinaciones mientras preserva o mejora las capacidades generales, demostrando que el aprendizaje de preferencias en dominio es superior a los enfoques basados en reescritura.

Resultados Experimentales

Los experimentos se realizaron en modelos LLaVA-v1.5 (7B y 13B) a través de múltiples benchmarks:

• Mitigación de Alucinaciones:

  • En Object HalBench, SENTINEL redujo la tasa de alucinaciones a nivel de respuesta del 52.7% (línea base) al 4.3% para el modelo 7B, superando al SOTA anterior (TPO) por un margen significativo.
  • En AMBER, las alucinaciones se redujeron aproximadamente un 92% (Object HalBench) y un 65% (AMBER) en comparación con el modelo original.
  • El método redujo efectivamente las alucinaciones en las seis categorías (Existencia, Atributo, Estado, Relación, Acción, Número).

• Capacidades Generales:

  • A diferencia de muchos métodos de mitigación que degradan el rendimiento general, SENTINEL mantuvo o mejoró las puntuaciones en VQAv2, TextVQA, ScienceQA y MM-Vet.
  • Por ejemplo, en MM-Vet, el modelo 7B mejoró de 31.0 a 32.6, y el modelo 13B mejoró de 36.0 a 36.2.

• Estudios de Ablación:

  • Reescritura vs. En Dominio: El entrenamiento con datos reescritos (mediante GPT-4) resultó en una degradación del rendimiento, confirmando la importancia de preservar la distribución intrínseca del modelo.
  • Coherencia Contextual: El uso de muestras positivas coherentes con el contexto ($y_w^+$) produjo mejores resultados que las muestras agnósticas al contexto.
  • Validación Cruzada: El uso de dos detectores para la validación superó significativamente a los enfoques de un solo detector.
  • Escalabilidad: El rendimiento mejoró a medida que aumentaba la escala de los datos de entrenamiento, demostrando la eficiencia del método para utilizar conjuntos de datos más grandes sin anotación costosa.

Significado y Afirmaciones

El artículo afirma que SENTINEL ofrece una solución escalable, eficiente y agnóstica al modelo para mejorar la fiabilidad de los MLLMs. Su principal significado radica en cambiar el paradigma de intervenciones externas costosas y que desplazan la distribución hacia una intervención temprana a nivel de oración en dominio. Al centrarse en el momento preciso en que surgen las alucinaciones y aprovechar la propia distribución del modelo, SENTINEL frena con éxito la propagación de errores sin comprometer las capacidades generales de razonamiento o generación de lenguaje del modelo.

Los autores señalan una limitación: el marco actual carece de capacidades de razonamiento espacio-temporal, lo que significa que podría no abordar completamente los problemas de alucinación en MLLMs basados en video que requieren razonamiento a largo plazo. Sin embargo, para la comprensión de imágenes estáticas, establece un nuevo estándar para la mitigación eficiente de alucinaciones.