Resumen Técnico: KnowHal

Planteamiento del Problema

A pesar de los avances significativos en los Modelos de Lenguaje de Gran Escala Multimodales (MLLM), la alucinación —la discrepancia entre el contenido generado por el modelo y la verdad fundamental— sigue siendo una barrera crítica para el despliegue confiable en dominios de alto riesgo como el diagnóstico médico, el razonamiento legal y la conducción autónoma. Los benchmarks de evaluación existentes se centran principalmente en las alucinaciones a nivel perceptual (Entidad, Atributo y Relación) preguntando "¿Qué ve el modelo?". Sin embargo, descuidan ampliamente las alucinaciones a nivel de conocimiento, donde los modelos generan información fácticamente incorrecta sobre las entidades representadas que contradice el conocimiento del mundo externo. Además, los marcos actuales carecen de un protocolo unificado para evaluar errores perceptuales, errores de conocimiento y la susceptibilidad del modelo a las premisas falsas (aceptar pistas engañosas) bajo contextos visuales compartidos. Esto deja insuficientemente abordada la pregunta "¿Qué sabe el modelo?" y su robustez frente a entradas engañosas.

Metodología: El Benchmark KnowHal

Para cerrar esta brecha, los autores proponen KnowHal, un benchmark integral diseñado para evaluar las alucinaciones a través de cuatro dimensiones: Entidad, Atributo, Relación y Conocimiento.

1. Diseño y Estructura del Benchmark

• Diseño de Preguntas Emparejadas: La innovación central de KnowHal es la construcción de preguntas positivas y negativas emparejadas para cada muestra de imagen-entidad.
  • Preguntas Positivas: Consultan evidencia visual válida o conocimiento factual asociado con la entidad.
  • Preguntas Negativas: Introducen premisas cuidadosamente controladas, semánticamente plausibles pero fácticamente falsas para probar la robustez.
• Cuatro Estrategias de Inducción Negativa:
  1. Variante de Atributo: Reemplazar un atributo con uno similar pero incorrecto.
  2. Sustitución de Objeto: Reemplazar la entidad objetivo con una entidad semánticamente relacionada pero ausente.
  3. Relación Espacial: Revertir o alterar la relación espacial real entre las entidades.
  4. Fabricación de Acción: Asignar acciones o estados inexistentes a entidades visibles.
• Dimensiones:
  • Entidad, Atributo, Conocimiento: Formulados como tareas de Respuesta Visual a Preguntas (VQA) de respuesta abierta.
  • Relación: Formulada como Preguntas de Opción Múltiple (MCQ) para evitar la ambigüedad en las descripciones sinónimas.

2. Pipeline de Construcción de Datos

El conjunto de datos comprende 1,800 muestras únicas de entidad-imagen que abarcan 10 dominios y 50 categorías, lo que resulta en 14,400 pares de QA totales. La construcción sigue un pipeline semiautomatizado:

1. Selección de Entidades: Definición manual de 10 dominios e identificación de entidades con características visuales distintivas.
2. Recolección de Imágenes: Los LLM analizan las entidades para generar consultas conscientes de la relación. Las imágenes se recuperan mediante Google Image Search y se filtran usando CLIP para asegurar la consistencia semántica con las consultas.
3. Construcción de Pares de QA:
   • Positivo: Generado mediante plantillas (Entidad), observación directa de VLM (Atributo) o hechos derivados de Wikipedia (Conocimiento).
   • Negativo: Generado mediante prompts específicos que implementan las cuatro estrategias de inducción.
4. Verificación Humana: Tres anotadores realizan un control de calidad riguroso, validando la corrección fáctica, la consistencia lógica y la unicidad de las respuestas. El acuerdo entre anotadores fue alto (Fleiss' $\kappa = 0.854$).

3. Métricas de Evaluación

Los autores evalúan 14 MLLM representativos (5 de código cerrado, 9 de código abierto) en un entorno zero-shot.

• Métrica Primaria: Precisión (Accuracy), reportada por separado para preguntas positivas y negativas en las cuatro dimensiones.
• Puntuación de Propensión a la Alucinación (HPS): Una métrica derivada definida como $HPS = (1 - \frac{Acc_{neg}}{Acc_{pos}}) \times 100\%$. Esta mide la degradación relativa del rendimiento cuando los modelos se exponen a entradas engañosas; puntuaciones más altas indican una mayor susceptibilidad a la alucinación.
• Juicio: Las preguntas positivas utilizan el emparejamiento suave (soft matching) estándar de VQA; las preguntas negativas son evaluadas por GPT-4o-mini como un juez automático, con una verificación humana que confirma una tasa de acuerdo del 94.3%.

Resultados Clave

Los experimentos en 14 MLLM revelan varios patrones sistemáticos:

1. El Conocimiento es la Dimensión más Difícil: En casi todos los modelos, la dimensión de Conocimiento arroja consistentemente la precisión más baja, quedando significativamente rezagada respecto a Entidad, Atributo y Relación. Por ejemplo, incluso los modelos con mejor desempeño muestran caídas sustanciales en la precisión de conocimiento comparado con las tareas perceptuales.
2. Brecha de Robustez en Preguntas Negativas: La mayoría de los modelos exhiben una degradación significativa del rendimiento en las preguntas negativas en comparación con las positivas. Esto indica que una alta precisión en consultas fácticas no garantiza la robustez contra premisas falsas.
3. Código Cerrado vs. Código Abierto: Los modelos de código cerrado generalmente superan a sus contrapartes de código abierto, particularmente en las preguntas positivas. Sin embargo, la serie Qwen (código abierto) demuestra una robustez competitiva en las preguntas negativas, lo que sugiere que el entrenamiento dirigido puede mitigar la alucinación.
4. Efectos de Escalamiento: Aumentar el tamaño del modelo generalmente mejora tanto la precisión fáctica como la robustez frente a entradas engañosas. Sin embargo, el escalamiento no resuelve uniformemente las alucinaciones de conocimiento; la dimensión de Conocimiento sigue siendo un cuello de botella incluso para modelos más grandes.
5. Variabilidad de Dominio: Los modelos más fuertes mantienen un rendimiento equilibrado entre dominios, mientras que los modelos más débiles muestran una varianza significativa, particularmente en los dominios de Arte y Ciencia y Tecnología en las preguntas negativas.

Significancia y Contribuciones

El artículo reclama tres contribuciones primarias:

1. Marco Unificado: KnowHal aborda un vacío importante en los marcos de evaluación existentes al unificar sistemáticamente la evaluación de alucinaciones de nivel perceptual (Entidad, Atributo, Relación) y de nivel de conocimiento dentro de un único protocolo centrado en la imagen.
2. Evaluación Controlada mediante Diseño Emparejado: Al introducir preguntas positivas y negativas emparejadas, KnowHal permite una comparación controlada de la capacidad de un modelo para interpretar evidencia válida frente a su capacidad para rechazar supuestos plausibles pero falsos. Esto aborda directamente la brecha de "aceptación de premisas falsas" en la literatura existente.
3. Utilidad Diagnóstica: A través de la evaluación extensiva de 14 modelos y un análisis detallado (por escalamiento, por dominio y estudios de caso), KnowHal revela que la alucinación de conocimiento es un desafío persistente y distinto, y que los modelos actuales carecen de robustez frente a entradas engañosas, proporcionando una herramienta diagnóstica para el desarrollo de modelos futuros.

Los autores concluyen que, si bien los MLLM actuales muestran progresos, la dimensión de Conocimiento y la robustez ante premisas falsas siguen siendo desafíos críticos, y KnowHal proporciona la infraestructura necesaria para impulsar la investigación hacia sistemas multimodales más confiables y fácticamente precisos.