KGHaluBench: A Knowledge Graph-Based Hallucination Benchmark for Evaluating the Breadth and Depth of LLM Knowledge

1. El Problema

Los Modelos de Lenguaje Grande (LLM) tienen una capacidad notable para generar lenguaje persuasivo, pero la coherencia no garantiza la veracidad. A menudo producen "alucinaciones" (contenido plausible pero factualmente incorrecto). Los desafíos actuales en la evaluación de estos modelos incluyen:

• Benchmarks estáticos y estrechos: Las pruebas existentes suelen basarse en preguntas predefinidas que se vuelven obsoletas rápidamente y no cubren la diversidad de conocimientos emergentes.
• Falta de profundidad: Muchas evaluaciones se limitan a preguntas cerradas o de opción múltiple, lo que restringe la evaluación a un nivel superficial y no prueba la profundidad del conocimiento del modelo.
• Sesgo de popularidad: Las evaluaciones basadas en grafos de conocimiento (KG) a menudo se centran en entidades muy conocidas, lo que no refleja la capacidad del modelo para manejar información menos común.
• Métricas unidimensionales: Las métricas actuales (como la precisión general) no ofrecen una visión interpretable sobre dónde y por qué ocurren las alucinaciones (¿falta de conocimiento básico o falta de detalles específicos?).

2. Metodología: KGHaluBench

Los autores proponen KGHaluBench, un benchmark basado en Grafos de Conocimiento (KG) que evalúa la veracidad de los LLMs en la amplitud (breadth) y profundidad (depth) de su conocimiento. El marco de trabajo consta de dos módulos principales:

A. Módulo de Generación de Preguntas Dinámicas

En lugar de usar un conjunto de datos fijo, el sistema construye preguntas dinámicamente utilizando un KG (Wikidata):

1. Recuperación de Entidades: Se selecciona aleatoriamente una entidad focal. Se priorizan entidades menos comunes para mantener un equilibrio y evitar el sesgo de popularidad.
2. Recuperación de Atributos: Se extraen triples del KG (relaciones y hechos), estadísticas de popularidad y descripciones externas.
3. Formulación de Preguntas Compuestas: Se genera una pregunta abierta que requiere que el modelo proporcione una breve descripción de la entidad y tres detalles específicos (hechos) basados en las relaciones extraídas.
4. Estimación de Dificultad: Se utiliza una teoría de respuesta al ítem modificada (función sigmoide) para calcular una puntuación de dificultad ($Q_d$) basada en la popularidad de la entidad y la complejidad de las relaciones. Esto permite escalar la precisión posterior para garantizar una evaluación justa.

B. Módulo de Verificación de Respuestas

Este módulo evalúa las respuestas de texto largo mediante un pipeline de tres capas:

1. Filtro a Nivel de Entidad: Detecta si el modelo se abstiene (reconoce que no sabe), si alucina conceptualmente (responde sobre la entidad incorrecta) o si está alineado. Utiliza similitud semántica (cosine) y superposición de tokens.
2. Verificación a Nivel de Hecho: Para las respuestas alineadas, se verifica la corrección de cada uno de los tres hechos solicitados.
   • Filtro de Implicación NLI: Usa un modelo NLI rápido para verificar si el hecho se infiere, contradice o no se menciona.
   • Filtro de Implicación LLM: Si el NLI es neutral, un LLM actúa como verificador de hechos más sofisticado.
   • Filtro de Decisión de Experto: Un mecanismo de seguridad final para casos ambiguos.

3. Contribuciones Clave

• Generación de Preguntas Compuestas Dinámicas: Un enfoque que utiliza la estructura relacional del KG para crear preguntas desafiantes que prueban múltiples aspectos del conocimiento simultáneamente.
• Marco de Verificación Automatizado: Un sistema de dos niveles (entidad y hecho) que logra un alto acuerdo con el juicio humano (79.19% en nivel de entidad y 87.74% en nivel de hecho).
• Métricas Nuevas y Escalables:
  • $W_a$ (Precisión Ponderada): Ajusta la precisión estándar basándose en la dificultad estadística estimada de cada pregunta, mitigando el sesgo de popularidad.
  • $HaluBOK$ (Tasa de Alucinación por Amplitud): Mide la tasa de alucinaciones detectadas en el filtro de entidad (falta de conocimiento básico).
  • $HaluDOK$ (Tasa de Alucinación por Profundidad): Mide la tasa de errores en hechos específicos tras pasar el filtro de entidad (falta de detalles precisos).
• Evaluación Exhaustiva: Pruebas realizadas en 25 modelos de vanguardia (15 de código abierto y 10 propietarios) de diferentes tamaños.

4. Resultados

• Desempeño General: El benchmark presenta un desafío significativo. El modelo con mejor rendimiento fue GPT-5 con una precisión ponderada ($W_a$) del 65.60%. Los modelos propietarios en general superan a los de código abierto, aunque modelos como GLM-4.5 cierran la brecha.
• Análisis de Alucinaciones:
  • Amplitud ($HaluBOK$): Disminuye drásticamente a medida que aumenta el tamaño del modelo (de ~54% en modelos pequeños a ~11% en grandes). Esto indica que los modelos pequeños a menudo no reconocen la entidad focal.
  • Profundidad ($HaluDOK$): La disminución es más modesta (~24%). Incluso los modelos grandes que reconocen la entidad fallan en retener detalles precisos.
  • Naturaleza de los Errores: Los modelos más capaces tienden a cometer errores de "un solo hecho" (alucinación parcial) en lugar de respuestas completamente incorrectas, lo que crea una falsa sensación de fiabilidad.
• Tasa de Abstención: Se observó que los modelos con tasas de abstención más altas (reconocimiento de ignorancia) tienden a tener tasas de alucinación más bajas. Sin embargo, una abstención excesiva limita la utilidad del modelo.

5. Significado e Impacto

KGHaluBench representa un avance significativo en la evaluación de la veracidad de los LLMs al:

1. Superar la obsolescencia: Al ser dinámico, se mantiene relevante frente al rápido avance de los modelos.
2. Proporcionar interpretabilidad: Al desglosar las alucinaciones en "amplitud" y "profundidad", permite a los investigadores diagnosticar si un modelo falla por falta de conocimiento base o por falta de precisión en los detalles.
3. Garantizar equidad: La métrica de precisión ponderada ($W_a$) corrige los sesgos inherentes a la selección aleatoria de entidades, ofreciendo una comparación más justa entre modelos.
4. Herramienta para la mitigación: Al identificar los factores específicos que causan alucinaciones, este benchmark sirve como base para desarrollar estrategias más efectivas para mitigar estos errores en futuros modelos.

El código y los datos del benchmark están disponibles públicamente para fomentar el desarrollo en la mitigación de alucinaciones.