AGSC: Adaptive Granularity and Semantic Clustering for Uncertainty Quantification in Long-text Generation

1. El Problema

Los Modelos de Lenguaje Grande (LLM) han demostrado capacidades impresionantes en la generación de textos largos, pero su aplicación práctica se ve obstaculizada por el problema de las alucinaciones (generación de información inexacta con alta confianza).

Aunque la Cuantificación de la Incertidumbre (UQ) es esencial para evaluar la fiabilidad, los métodos existentes enfrentan tres desafíos críticos al aplicarse a textos largos:

• Compromiso Eficiencia-Granularidad: Los métodos de descomposición fina (hasta el nivel de hechos atómicos) aumentan drásticamente la sobrecarga computacional y el número de llamadas al LLM.
• Heterogeneidad de Temas: Las respuestas largas suelen mezclar múltiples temas semánticos. Una agregación uniforme de la incertidumbre puede verse desproporcionadamente afectada por partes menores o fuera de tema, distorsionando la puntuación global.
• Subutilización de la Neutralidad: Los métodos actuales a menudo descartan las predicciones "neutrales" de los modelos de Inferencia de Lenguaje Natural (NLI). Sin embargo, la neutralidad puede indicar tanto ruido irrelevante como incertidumbre epistémica que requiere un análisis más profundo.

2. Metodología: AGSC

Los autores proponen AGSC (Adaptive Granularity and Semantic Clustering), un marco de UQ diseñado específicamente para la generación de textos largos. El enfoque consta de tres etapas principales:

A. Disparador de Granularidad Adaptativa (Adaptive Granularity Triggering)

En lugar de descomponer ciegamente cada oración en hechos atómicos, AGSC utiliza las probabilidades de la clase Neutral del NLI como desencadenantes dinámicos:

1. Análisis NLI: Se compara una oración de la respuesta ancla con las respuestas de referencia.
2. Diferencia Entailment-Contradiction ($\Delta$): Si la predicción dominante es "Neutral", se calcula la diferencia entre las probabilidades de entailment (implicación) y contradiction (contradicción).
   • Si $\Delta > \tau$ (umbral): Se interpreta como incertidumbre. La oración se descompone en hechos atómicos para una verificación detallada.
   • Si $\Delta \le \tau$: Se interpreta como irrelevancia (ruido fuera de tema) y se marca como SKIP, evitando el costo computacional de la descomposición.
3. Resultado: Filtra el ruido innecesario mientras mantiene la precisión en las partes ambiguas.

B. Agrupamiento Semántico Basado en GMM (GMM-based Semantic Clustering)

Para abordar la heterogeneidad de temas:

1. Embeddings y Reducción: Las unidades semánticas válidas se codifican y proyectan a un espacio de menor dimensión usando UMAP.
2. Clustering Suave (Soft Clustering): Se ajusta un Modelo de Mezcla Gaussiana (GMM) para identificar temas latentes. A diferencia del clustering duro (como K-Means), el GMM asigna probabilidades de pertenencia a múltiples temas.
3. Ponderación: Estas probabilidades se utilizan como pesos temáticos para la agregación posterior, reduciendo la influencia de partes menores o ruidosas en la puntuación final.

C. Agregación de Incertidumbre

La incertidumbre final se calcula ponderando la incertidumbre de cada unidad (basada en NLI) por su pertenencia a los clusters temáticos. Los temas dominantes en la respuesta ancla contribuyen más a la puntuación global, asegurando una estimación estable.

3. Contribuciones Clave

• Estrategia de Granularidad Adaptativa: Utiliza la señal de neutralidad del NLI para decidir dinámicamente entre descomponer (incertidumbre) o saltar (ruido), equilibrando la precisión de la UQ con la eficiencia computacional.
• Agrupamiento Semántico con GMM: Modela temas latentes y asigna pesos conscientes del tema, mitigando el impacto de partes menores o ruidosas durante la agregación en textos largos.
• Rendimiento SOTA: Logra el estado del arte en la correlación con la factualidad en dos benchmarks de texto largo, superando a las líneas base existentes.

4. Resultados Experimentales

El método fue evaluado en los conjuntos de datos BIO (generación de biografías) y LongFact (evaluación de factualidad en contextos largos) utilizando modelos como GPT-4.1-mini, Qwen2.5-32B y Llama3-70B.

• Correlación con Factualidad: AGSC alcanzó la mayor correlación (Pearson y Spearman) con las puntuaciones de factualidad de FActScore en la mayoría de los escenarios, superando consistentemente a baselines como LUQ (en sus variantes Pair y Atomic), Semantic Entropy (SE) y métodos basados en perturbación (SPUQ).
• Eficiencia: Comparado con la descomposición atómica completa (LUQ-Atomic), AGSC reduce el tiempo de inferencia en aproximadamente un 60%. Esto se logra al evitar la descomposición de oraciones irrelevantes que constituyen una gran parte de las respuestas generadas.
• Robustez: AGSC mantiene un rendimiento robusto incluso en el dataset LongFact, que presenta una alta heterogeneidad de temas y caminos de razonamiento complejos, donde otros métodos sufren caídas significativas.

5. Significado e Impacto

El trabajo de AGSC es significativo porque resuelve el cuello de botella de la escalabilidad en la cuantificación de incertidumbre para LLMs.

• Viabilidad Práctica: Al reducir drásticamente los costos computacionales sin sacrificar la precisión, hace viable la implementación de sistemas de verificación de hechos en aplicaciones de texto largo en tiempo real.
• Nuance Semántica: Introduce un mecanismo sofisticado para distinguir entre "no saber" (incertidumbre) y "no tener que ver" (irrelevancia), un matiz que los métodos anteriores ignoraban.
• Estabilidad Temática: Proporciona una forma de agregar incertidumbre que es consciente del contexto y el tema, evitando que detalles triviales o desviaciones menores arruinen la evaluación de la fiabilidad de un documento largo.

En resumen, AGSC representa un avance hacia la creación de sistemas de IA generativa más confiables y eficientes, capaces de manejar la complejidad estructural y semántica de la generación de textos largos.