How Much Do LLMs Hallucinate in Document Q&A Scenarios? A 172-Billion-Token Study Across Temperatures, Context Lengths, and Hardware Platforms

Este estudio de 172 mil millones de tokens, que evalúa 35 modelos de lenguaje en diversos contextos, temperaturas y plataformas de hardware, revela que la alucinación en respuestas basadas en documentos es un problema generalizado que aumenta drásticamente con la longitud del contexto, depende principalmente de la selección del modelo más que de su tamaño o del hardware utilizado, y que la capacidad de encontrar hechos no garantiza la resistencia a inventar información.

Lo esencial

¡Claro que sí! Imagina que este estudio es como una gran prueba de conducir para los "choferes" más inteligentes del mundo (los Modelos de Lenguaje o LLMs), pero con una regla muy estricta: solo pueden conducir por las calles que tú les muestras en un mapa.

Aquí tienes la explicación de este estudio masivo (que consumió una cantidad de datos equivalente a leer millones de libros) en un lenguaje sencillo y con analogías cotidianas:

🧐 El Problema: ¿Son tan honestos como parecen?

En el mundo empresarial, queremos usar estas inteligencias artificiales para responder preguntas basadas en documentos que les damos (como contratos, manuales o informes). El gran miedo es la "alucinación": que el modelo invente una respuesta que no está en el documento, como si un chofer te dijera: "¡Vamos por aquí!" cuando en el mapa no hay calle.

El estudio se preguntó: ¿Cuántas veces mienten estos choferes?

📊 La Prueba: Un examen gigante

Los investigadores (de Kamiwaza AI) no usaron preguntas de un libro de texto viejo (que los modelos podrían haber memorizado). En su lugar, crearon un universo simulado desde cero: inventaron documentos y preguntas, sabiendo exactamente cuál era la respuesta correcta. Así, podían detectar si el modelo inventaba algo sin ayuda humana.

Probaron a 35 modelos diferentes (desde pequeños hasta gigantes) en tres escenarios:

1. Corto (32K): Como leer un periódico.
2. Medio (128K): Como leer una novela.
3. Largo (200K): Como leer una enciclopedia entera.

🔑 Los 5 Descubrimientos Clave (con analogías)

1. Nadie es perfecto (El "Suelo" de las mentiras)

Incluso el mejor modelo del mundo miente un poco.

• La analogía: Imagina que el mejor chofer del mundo tiene un 99% de precisión. Pero si le pides que maneje 100 veces, siempre habrá al menos una vez en la que se equivoque o invente una calle.
• El dato: En documentos cortos, el mejor modelo miente solo el 1.19% de las veces. Pero el modelo "promedio" miente en 1 de cada 4 preguntas. Y si el documento es muy largo (200K), ¡nadie se salva! Todos mienten más del 10%.

2. El tamaño no lo es todo (El "Gordo" vs. El "Entrenado")

Mucha gente cree que cuanto más grande es el modelo (más "cerebro"), mejor es. Falso.

• La analogía: Tener un camión gigante (modelo enorme) no significa que sea un buen conductor. A veces, un camión pequeño pero muy bien entrenado (modelo más pequeño pero de una familia específica) conduce mejor que un camión gigante que no sabe leer el mapa.
• El dato: Algunos modelos gigantes (como Llama 3.1 405B) inventaban respuestas casi tanto como los modelos pequeños. La familia de modelos "GLM" y "MiniMax" fueron los mejores, sin importar su tamaño. La "familia" (cómo fue entrenado) importa más que el tamaño.

3. Cuanto más largo el documento, más se confunden (El "Olvido" por exceso)

A medida que el documento se hace más largo, los modelos empeoran drásticamente.

• La analogía: Es como pedirle a alguien que recuerde los detalles de una conversación de 5 minutos. Si le pides que recuerde una conversación de 5 horas, empezará a inventar cosas porque su memoria se satura.
• El dato: Un modelo que era excelente en documentos cortos, al pasar a documentos muy largos, su rendimiento se desploma. Algunos modelos que funcionaban al 93% en documentos cortos, caían al 37% en documentos largos. ¡Y lo peor es que empiezan a inventar respuestas con mucha más frecuencia!

4. El "Modo Robot" (Temperatura 0.0) tiene un truco

En la IA, "Temperatura 0.0" significa que el modelo es 100% lógico y predecible (sin creatividad). La gente siempre dice: "Usa 0.0 para que no alucine". El estudio dice que esto es peligroso.

• La analogía: Imagina un robot que camina por un pasillo muy largo. Si le dices "camina siempre recto y sin desviarte" (Temperatura 0.0), si tropieza un poco, se quedará atascado en un bucle infinito (caminando en círculos para siempre). Si le das un poco de libertad para "desviarse" (Temperatura más alta), es más probable que se desate del bucle y termine el camino.
• El dato: Usar Temperatura 0.0 hace que los modelos se queden "trabados" generando texto infinito hasta 48 veces más a menudo que si les das un poco de creatividad. Además, a veces, un poco de "locura" controlada (Temperatura 0.7) hace que mientan menos.

5. Encontrar la verdad vs. No inventar (Dos habilidades distintas)

Pensábamos que si un modelo era bueno buscando información, también sería bueno en no inventar. No es así.

• La analogía: Imagina un detective. Puede ser genial encontrando huellas dactilares en la escena del crimen (sabe buscar información), pero al mismo tiempo, puede ser muy imaginativo y acusar a alguien que no estuvo allí (inventar hechos).
• El dato: Hay modelos que son excelentes buscando datos reales, pero que, cuando no encuentran la respuesta, simplemente se inventan una con total seguridad. Esto es peligroso porque parecen muy seguros de sí mismos mientras mienten.

🛠️ ¿Qué debemos hacer las empresas? (Consejos prácticos)

1. Elige bien al chofer: No compres el modelo más grande ni el más caro. Elige el modelo que ha demostrado ser honesto (como los de la familia GLM o MiniMax en este estudio). La diferencia entre el mejor y el peor es de más del 70%.
2. Cuidado con los documentos largos: Si tu documento es enorme, el modelo va a fallar más. No confíes ciegamente en que un modelo soporta "200,000 palabras" solo porque lo dice en la etiqueta. Pruébalo con tus documentos reales.
3. No uses el "Modo Robot" ciegamente: No pongas siempre la temperatura en 0.0. A veces, un poco de variación ayuda a que el modelo no se quede atascado y, paradójicamente, sea más honesto.
4. El hardware no importa: Da igual si usas chips de NVIDIA, AMD o Intel. El resultado es el mismo. Elige según el precio y la disponibilidad.

🎯 En resumen

Este estudio nos dice que la IA todavía no es infalible. Incluso los mejores modelos inventan cosas, especialmente cuando tienen mucha información para procesar. La clave no es esperar la perfección, sino elegir el modelo correcto, entender sus límites y ponerle frenos de seguridad (como verificar sus respuestas) antes de usarlo en el mundo real.

Resumen técnico

Aquí tienes un resumen técnico detallado del estudio "How Much Do LLMs Hallucinate in Document Q&A Scenarios?" (¿Cuánto alucinan los LLM en escenarios de preguntas y respuestas sobre documentos?), basado en el documento proporcionado.

1. El Problema

La aplicación crítica de los Modelos de Lenguaje Grande (LLM) en el ámbito empresarial es responder preguntas basadas en documentos proporcionados (mediante context stuffing, RAG o recuperación agéntica). El principal obstáculo para esta implementación es la alucinación: cuando el modelo fabrica información que no existe en los documentos o atribuye hechos incorrectamente.

A pesar de su importancia, medir la tasa de alucinación de manera fiable ha sido difícil debido a tres limitaciones en los enfoques existentes:

1. Contaminación de datos: Los benchmarks estáticos a menudo son conocidos por los modelos durante su entrenamiento.
2. Sesgo de los jueces LLM: Los evaluadores basados en LLM introducen sesgos sistemáticos.
3. Escala insuficiente: La mayoría de las evaluaciones carecen de la escala estadística necesaria para generar confianza.

2. Metodología: RIKER

El estudio utiliza RIKER (Retrieval Intelligence and Knowledge Extraction Rating), una metodología de "primacía de la verdad fundamental" (ground-truth-first) que invierte el paradigma tradicional:

• Generación de corpus: En lugar de extraer la verdad de documentos existentes, se define una base de datos relacional con hechos conocidos (verdad fundamental). A partir de esta, se generan documentos y preguntas mediante plantillas deterministas.
• Ventajas: Esto permite una puntuación determinista sin anotación humana, evita la contaminación (los documentos se regeneran con semillas aleatorias) y escala a cualquier tamaño.
• Métricas: Se evalúan cuatro métricas clave:
  • Fidelidad (Faithfulness): Precisión general.
  • Anclaje (Grounding): Precisión al extraer hechos existentes.
  • Fabricación (Fabrication): Tasa de error en preguntas sobre entidades que no existen en el corpus (la métrica más limpia para medir alucinación).
  • Agregación: Capacidad de sintetizar información de múltiples documentos.

3. Contribuciones Clave y Escala del Estudio

Este trabajo representa una expansión masiva de la investigación anterior, abarcando:

• Escala sin precedentes: Más de 172 mil millones de tokens de evaluación (un orden de magnitud superior a trabajos previos).
• Cobertura de modelos: 35 modelos de peso abierto (Open-Weight) de 7 familias diferentes (incluyendo Llama 3.x/4, Qwen3, GLM, DeepSeek, MiniMax, Granite), con tamaños desde 1B hasta 480B parámetros.
• Variables de prueba:
  • Longitudes de contexto: 32K, 128K y 200K tokens.
  • Temperaturas: 0.0, 0.4, 0.7 y 1.0 (8 ejecuciones por configuración).
  • Hardware: Validación cruzada en NVIDIA H200, AMD MI300X e Intel Gaudi3.

4. Resultados Principales

A. Tasas de Alucinación (Fabricación)

• El suelo es no cero: Incluso en las mejores condiciones (32K, temperatura óptima), el mejor modelo (GLM 4.5) alucina el 1.19% de las veces. Los modelos de primer nivel oscilan entre el 5% y 7%, mientras que el modelo mediano alucina aproximadamente el 25% de las preguntas sobre entidades inexistentes.
• Degradación por longitud de contexto: La alucinación aumenta drásticamente con la longitud del contexto.
  • A 128K, la tasa de alucinación casi se triplica para los mejores modelos.
  • A 200K, ningún modelo logra mantener una tasa de alucinación por debajo del 10%. Algunos modelos (como GLM 4.6) colapsan, alucinando en el 71.62% de las preguntas a 200K, a pesar de un rendimiento sólido a 32K.

B. Selección de Modelo vs. Tamaño

• La familia del modelo es más importante que el tamaño: La resistencia a la alucinación es una propiedad aprendida durante el entrenamiento, no emergente por escala.
  • La familia GLM y MiniMax muestran tasas de alucinación consistentemente bajas.
  • La familia Llama 3.x muestra altas tasas de alucinación independientemente del tamaño (ej. Llama 3.1 405B alucina casi tanto como el modelo de 8B).
• Desacoplamiento de capacidades: La capacidad de anclaje (encontrar hechos existentes) y la resistencia a la fabricación (negarse a inventar hechos inexistentes) son capacidades distintas. Un modelo puede tener un 90% de precisión en anclaje y alucinar el 50% de las veces en preguntas trampa (ej. Llama 3.1 70B).

C. Efectos de la Temperatura

• T=0.0 no es universalmente óptimo: Aunque T=0.0 ofrece la mejor precisión general en el 60% de los casos, temperaturas más altas (0.4, 0.7, 1.0) reducen la tasa de alucinación en el 53% de las combinaciones.
• Pérdida de coherencia (Coherence Loss): T=0.0 aumenta drásticamente la probabilidad de bucles de generación infinita (alucinación de coherencia), especialmente en contextos largos.
  • A 200K, T=0.0 puede producir tasas de fallo de coherencia 48 veces mayores que T=1.0 (ej. en GLM 4.7).
  • Se recomienda un equilibrio (T=0.4 o 0.7) para evitar bucles infinitos sin sacrificar demasiada precisión.

D. Consistencia del Hardware

• No se encontraron diferencias significativas en el comportamiento del modelo entre las plataformas NVIDIA H200, AMD MI300X e Intel Gaudi3. Las variaciones observadas fueron menores que las causadas por cambios de temperatura o diferencias entre modelos.

5. Significado e Implicaciones

El estudio ofrece conclusiones críticas para el despliegue empresarial de IA:

1. La alucinación es inevitable: No existe un modelo libre de alucinaciones. Los sistemas de producción deben incluir capas de seguridad y detección de alucinaciones, ya que la pregunta no es "si" alucinará, sino "con qué frecuencia".
2. La selección del modelo es la decisión de mayor impacto: Elegir una familia de modelos con baja resistencia a la alucinación (como Llama 3.x) no se puede compensar con ajustes de temperatura o hardware. La familia del modelo predice mejor la fiabilidad que el número de parámetros.
3. La longitud de contexto anunciada es engañosa: La capacidad útil de un modelo para tareas de Q&A es mucho menor que su ventana de contexto declarada. El rendimiento se degrada severamente más allá de 32K-128K, y las tasas de alucinación explotan a 200K.
4. Reevaluación de los benchmarks: Las evaluaciones actuales que solo miden la extracción de hechos (anclaje) son insuficientes y peligrosas. Se necesitan pruebas específicas de "fabricación" (preguntas sobre datos inexistentes) para medir la fiabilidad real.
5. Política de temperatura matizada: El dogma de "siempre usar T=0.0" es incorrecto para escenarios de documentos largos, ya que aumenta el riesgo de fallos de coherencia y no siempre minimiza la alucinación.

En resumen, el estudio establece una línea base cuantitativa para la generación de LLMs actuales, demostrando que la reducción de la alucinación requiere intervenciones de entrenamiento dirigidas y una gestión cuidadosa de la longitud del contexto, más allá de simplemente escalar el tamaño del modelo.