IUQ: Interrogative Uncertainty Quantification for Long-Form Large Language Model Generation

1. El Problema: Incertidumbre en Generación de Texto Libre

A pesar de los avances en Modelos de Lenguaje Grande (LLMs), la cuantificación de la incertidumbre (UQ) sigue siendo un desafío crítico, especialmente en la generación de texto libre y de largo formato (long-form).

• Limitaciones de métodos actuales: Las técnicas recientes de UQ funcionan bien en respuestas cortas o de opción múltiple, donde se pueden evaluar probabilidades de tokens o consistencia semántica entre respuestas. Sin embargo, en textos largos, estas métricas fallan.
• El fenómeno de la "consistencia engañosa": Los LLMs a menudo generan respuestas que son semánticamente coherentes y lógicamente consistentes entre sí, pero factualmente incorrectas. El modelo puede inventar una biografía completa basada en un error inicial (ej. identificar mal la profesión de una persona) y luego mantener esa narrativa falsa para no contradecirse.
• Dependencia contextual: Los métodos actuales que solo miden la consistencia entre muestras (inter-sample) no detectan estas alucinaciones porque las respuestas falsas se apoyan mutuamente. No se está probando el conocimiento real del modelo, sino su capacidad para mantener una narrativa interna coherente.

2. Metodología: IUQ (Cuantificación de Incertidumbre Interrogativa)

El paper propone IUQ, un nuevo marco que combina la consistencia entre muestras con la fidelidad intra-muestra mediante un paradigma de "interrogar y responder".

El flujo de trabajo se divide en tres etapas principales:

A. Generación de Respuestas y Extracción de Afirmaciones

1. Se generan $N$ respuestas diversas (muestreo con temperatura $T=1.0$) ante un prompt.
2. Cada respuesta larga se descompone en afirmaciones atómicas (claims) utilizando el propio LLM.

B. El Paradigma de Interrogación (Claim-Level Question-Answering)

Esta es la innovación central. Para cada afirmación extraída ($c_i$):

1. Generación de preguntas: Se utiliza un LLM (el "interrogador") para transformar la afirmación en una o varias preguntas específicas de conocimiento, eliminando el contexto generativo original.
2. Respuesta independiente: El mismo modelo (el "respondedor") responde a estas preguntas en una sesión separada, sin el contexto de la biografía o texto largo original.
3. Evaluación de Fidelidad: Se compara la respuesta original (la afirmación) con las respuestas a las preguntas independientes.
   • Si el modelo responde consistentemente a la pregunta independiente, la afirmación se considera fiable (el modelo conoce el hecho).
   • Si hay contradicción, la afirmación se considera una alucinación (el modelo inventó el hecho para mantener la coherencia narrativa).
   • Se calcula un puntaje de fidelidad $F(c_i)$ basado en el porcentaje de contradicciones.

C. Cálculo de Incertidumbre Ponderada

La incertidumbre final no solo depende de la consistencia entre muestras ($S$), sino que se pondera por la falta de fidelidad de las afirmaciones anteriores.

• Se utiliza un kernel de decaimiento exponencial para propagar el impacto de una afirmación no fiable a las afirmaciones subsiguientes. Si el modelo miente al principio, la incertidumbre de todo el texto posterior aumenta.
• La fórmula combina la consistencia semántica ($S$) con el peso de la infidelidad ($W$): $U(c_i) = S(c_i) \cdot W(c_i)$.

3. Contribuciones Clave

1. Nuevo Marco IUQ: Un método que desacopla el conocimiento del contexto generativo para evaluar la veracidad real de las afirmaciones en textos largos.
2. Detección de Alucinaciones por Coherencia: Identifica y cuantifica el fenómeno donde los modelos fabrican información para mantener la consistencia lógica, algo que los métodos basados puramente en consistencia entre muestras pasan por alto.
3. Análisis Granular: Proporciona una métrica de incertidumbre a nivel de afirmación (claim-level) y una métrica de fidelidad del modelo ($F(M)$) que mide la tendencia general a alucinar.

4. Resultados Experimentales

Los autores evaluaron IUQ en múltiples familias de modelos (GPT-4o, LLaMA-3.1/3.3, Qwen2, Gemma-3, Mistral) y tamaños (de 24B a 72B) utilizando dos conjuntos de datos:

• FActScore: Biografías de personas (a menudo menos conocidas).
• LongFact: Preguntas sobre diversos temas (arte, ciencia, historia).

Hallazgos principales:

• Superioridad en Métricas: IUQ superó consistentemente a los métodos de estado del arte (baselines) como Claim Entailment (S), Closeness Centrality (CC), y métodos basados en entropía de tokens (Perplexity, Max Token Entropy).
  • En FActScore, IUQ logró un AUROC promedio de 0.864, superando al siguiente mejor método (CC) en un 2.3%.
  • En LongFact, IUQ obtuvo un 0.740, superando a los baselines en un 1.7%.
• Análisis de Fidelidad: Se observó que los modelos son menos fieles en FActScore (personas menos famosas) que en LongFact (temas populares), y que la varianza de la fidelidad dentro de una misma generación es alta, indicando una mezcla de hechos reales y alucinaciones.
• Estudio de Ablación: Se demostró que la dirección de la comprobación de contradicción (mirar hacia atrás en el contexto) es crucial; invertir esta dirección reduce el rendimiento, validando la hipótesis de que las alucinaciones se propagan causalmente desde el contexto.

5. Significado e Impacto

• Seguridad en LLMs: IUQ ofrece una herramienta más robusta para detectar cuándo un modelo está "alucinando" en tareas críticas como la generación de noticias, informes médicos o resúmenes históricos, donde la coherencia narrativa no garantiza la verdad.
• Cambio de Paradigma: Mueve el enfoque de la UQ de simplemente medir la "duda" del modelo a medir la fidelidad de sus afirmaciones contra su propio conocimiento interno.
• Limitaciones: El método requiere múltiples etapas de inferencia (generación, extracción, preguntas, respuestas), lo que incrementa el costo computacional (aproximadamente un 47% más de tokens que métodos basados en grafos), aunque esto es necesario para la precisión en textos largos.

En conclusión, el paper demuestra que para evaluar la incertidumbre en textos largos, no basta con ver si el modelo se repite a sí mismo; es necesario interrogarlo sobre los hechos específicos que ha generado para revelar si realmente los conoce o si los ha inventado para mantener una historia coherente.