💬 NLP

SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation

El artículo presenta SPANUQ, un marco ligero que aborda las limitaciones de la estimación de incertidumbre a nivel de token y de secuencia mediante el empleo de un decodificador estilo DETR para detectar simultáneamente fragmentos de texto semánticamente coherentes y cuantificar su incertidumbre a través de una Mezcla de distribuciones Beta, logrando una localización de errores y una eficiencia superiores en múltiples modelos de lenguaje de gran tamaño.

Autores originales: Yimeng Zhang, Yingying Zhuang, Ziyi Wang, Yuxuan Lu, Pei Chen, Aman Gupta, Zhe Su, Ming Tan, Zhilin Zhang, Qun Liu, Manikandarajan Ramanathan, Rajashekar Maragoud, Edward Vul, Jing Huang, Dakuo Wang

Publicado 2026-07-08

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yimeng Zhang, Yingying Zhuang, Ziyi Wang, Yuxuan Lu, Pei Chen, Aman Gupta, Zhe Su, Ming Tan, Zhilin Zhang, Qun Liu, Manikandarajan Ramanathan, Rajashekar Maragoud, Edward Vul, Jing Huang, Dakuo Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le haces una pregunta a una IA muy inteligente pero que ocasionalmente alucina, como "¿Quién es Marie Curie?". La IA te da una respuesta larga y de apariencia segura. Pero en algún lugar de esa respuesta, comete un error (por ejemplo, decir que ganó un Premio Nobel en 1901 en lugar de 1903).

El problema con las herramientas de seguridad de IA actuales es que son malas para encontrar exactamente dónde está ese error. Este artículo presenta una nueva herramienta llamada SPANUQ que actúa como un "resaltador de verificación de hechos" de alta tecnología para las respuestas de la IA.

Aquí hay un desglose simple de cómo funciona y por qué es diferente:

1. El Problema: Demasiado Difuso o Demasiado Ruidoso

Imagina que estás calificando el ensayo de un estudiante.

La forma antigua (A nivel de token): Imagina a un profesor que pone una marca roja debajo de cada palabra de la oración. Marca "el", "era" y "un" con una puntuación. Esto es demasiado ruidoso. No te dice qué idea específica está mal.
La otra forma antigua (A nivel de secuencia): Imagina a un profesor que mira todo el ensayo y le da una única calificación, como una "C". Esto te dice que el ensayo tiene problemas, pero no te dice qué párrafo o qué oración es el problema. No puedes arreglarlo si no sabes dónde está el error.

2. La Solución: El enfoque del "Resaltador" (A nivel de Span)

Los autores se dieron cuenta de que la unidad natural del significado no es una sola palabra, ni es todo el párrafo. Es un "Span" (un segmento o fragmento).

Un Span es un bloque de texto que contiene una idea completa (como "física polaca" o "ganó el Premio Nobel en 1901").
SPANUQ está diseñado para encontrar estos bloques específicos y asignar a cada uno su propia "puntuación de confianza".
El Resultado: En lugar de una calificación única para todo el ensayo, SPANUQ resalta "física polaca" (Verde/Confiable), "ganó el Premio Nobel" (Verde/Confiable) y "1901" (Rojo/Muy Incierto). Esto te dice exactamente dónde mirar.

3. Cómo Funciona: El "Detective Ligero"

Normalmente, para encontrar errores, tienes que hacerle la misma pregunta a la IA 20 veces y comparar todas las respuestas para ver dónde discrepan. Esto es lento y costoso (como contratar a 20 detectives para resolver un solo caso).

SPANUQ es diferente:

El Detective: Es un complemento pequeño y ligero (solo tiene unos 25 millones de parámetros, lo cual es diminuto comparado con los modelos masivos de IA que ayuda).
El Truco: Observa las "ondas cerebrales" (estados ocultos) de la IA mientras la IA está pensando. Ha sido entrenado para reconocer los patrones sutiles que indican incertidumbre, efectivamente "destilando" el conocimiento de esas 20 comprobaciones lentas en un solo vistazo instantáneo.
La Velocidad: Es de 10 a 20 veces más rápido que los métodos antiguos porque solo necesita ejecutar el modelo de IA una vez.

4. La "Escuela de Entrenamiento" (SPANUQ-BENCH)

Para enseñar a este detective, los autores construyeron una enorme escuela de entrenamiento llamada SPANUQ-BENCH.

Generaron 20,000 preguntas y respuestas.
Utilizaron un método de "estándar de oro" (haciendo la misma pregunta a la IA 20 veces y verificándola contra Wikipedia) para crear "claves de respuesta" que indican exactamente qué partes del texto estaban mal y qué tan mal estaban.
Entrenaron al detective con 293,000 de estos fragmentos de texto específicos.

5. Los Resultados: Por qué Gana

Cuando probaron SPANUQ contra otros métodos:

Precisión: Fue mucho mejor detectando los fragmentos erróneos exactos (logrando una puntuación de ~0.94 de 1.0).
Localización: Encontró los errores un 39% mejor que los mejores métodos "heurísticos" (basados en reglas empíricas).
Versatilidad: Funcionó bien en diferentes tamaños de modelos de IA, desde modelos pequeños hasta muy grandes.

La Conclusión

El artículo afirma que SPANUQ es la primera herramienta que puede mirar instantáneamente la respuesta de una IA, desglosarla en ideas significativas y decirte exactamente qué idea es dudosa y qué tan dudosa es. Lo hace sin necesidad de ejecutar la IA múltiples veces, lo que lo hace lo suficientemente rápido para usarse en aplicaciones en tiempo real donde necesitas confiar en el resultado de la IA.

Nota Importante: Los autores advierten que, aunque esta herramienta es excelente para detectar la incertidumbre, no garantiza que la IA esté diciendo la verdad. Solo te dice: "Oye, esta parte específica parece riesgosa, así que deberías verificarla". Es una herramienta para ayudar a los humanos, no un reemplazo del juicio humano.

Resumen Técnico: SPANUQ – Cuantificación de la Incertidumbre a Nivel de Segmento (Span) para la Generación de Grandes Modelos de Lenguaje

1. Formulación del Problema

Los enfoques actuales para la estimación de la incertidumbre en los Grandes Modelos de Lenguaje (LLMs) operan en granularidades subóptimas, fallando al equilibrar la coherencia semántica con la localización de errores.

Los métodos a nivel de token (p. ej., entropía predictiva, sondas de tokens) asignan puntuaciones a tokens individuales. Estos suelen ser semánticamente incompletos; las palabras funcionales reciben puntuaciones sin sentido, y un solo token rara vez constituye un hecho verificable.
Los métodos a nivel de secuencia (p. ej., entropía semántica, consistencia de múltiples muestras) producen una única puntuación para toda una respuesta. Aunque capturan la incertidumbre semántica significativa, no pueden localizar qué partes específicas de una generación son poco fiables, a menudo promediando afirmaciones correctas e incorrectas en un punto medio inaplicable.

Los autores formalizan la Estimación de la Incertidumbre a Nivel de Segmento (SLUE) como una nueva tarea. Un "segmento" (span) se define como un segmento de texto contiguo que transmite una unidad de significado coherente y única (p. ej., un hecho o afirmación atómica) cuya incertidumbre puede ser evaluada de forma independiente. El objetivo es detectar conjuntamente estos segmentos de longitud variable y asignar puntuaciones de incertidumbre continuas a cada uno a partir de una única pasada hacia adelante (forward pass).

2. Metodología: SPANUQ

El artículo presenta SPANUQ, una sonda ligera (~25M de parámetros) que destila el conocimiento de la incertidumbre desde la costosa inferencia de múltiples muestras hacia una única pasada hacia adelante sobre los estados ocultos de un LLM congelado.

Arquitectura

SPANUQ consta de cinco componentes clave:

Fusión Multicapa: Los estados ocultos de capas seleccionadas (típicamente capas medias a tardías donde el conocimiento factual alcanza su pico) se fusionan mediante el agrupamiento por media (mean pooling).
Codificador de Tokens: Un codificador Transformer de 2 capas contextualiza los estados fusionados en un conjunto de contenido.
Decodificador de Segmentos Estilo DETR: Inspirado en DETR, el modelo utiliza un conjunto de consultas de segmento (span queries) aprendibles para atender a la secuencia de tokens. Esto permite la detección paralela de segmentos superpuestos, una limitación de las etiquetas BIO tradicionales.
Enriquecimiento de Características del Segmento: Una máscara de frontera suave diferenciable extrae las características del contenido de las regiones de los segmentos predichos, fusionándolas con los embeddings de las consultas mediante una conexión residual con compuerta (gated residual connection). Esto asegura que el puntuador de incertidumbre tenga acceso directo al contenido semántico del segmento.
Cabezales de Predicción:
- Regresión: Predice los límites de inicio y fin normalizados.
- Clasificación de Validez: Distingue entre segmentos reales y ranuras de consulta no utilizadas.
- Mezcla de Beta (MoB): Modela la incertidumbre como una mezcla de distribuciones Beta ( $J=3$ componentes). Esto captura la naturaleza bimodal de la incertidancia (los segmentos son altamente confiables o altamente inciertos) y permite distribuciones en forma de U.

Entrenamiento y Refinamiento

Entrenamiento en Dos Fases: El modelo pasa primero por una fase de calentamiento (warmup) para establecer límites de segmento fiables, seguida de una fase conjunta que optimiza todos los componentes.
Funciones de Pérdida: El objetivo de entrenamiento combina la regresión de segmentos (L1 + IoU Generalizado), la clasificación de validez y la estimación de la incertidumbre. La pérdida de incertidumbre incluye una NLL de Beta (Verosimilitud Negativa de Logaritmo) y una pérdida de clasificación por orden (ranking) para preservar la estructura ordinal de la incertidumbre entre segmentos.
Refinamiento Iterativo Condicionado por la Incertidumbre (UCIR): Durante la inferencia, las estimaciones iniciales se retroalimentan en el decodificador para una ronda de refinamiento. Este "segundo vistazo" permite al modelo corregir sesgos sistemáticos basados en sus propias predicciones iniciales, añadiendo una sobrecarga mínima (<15%).

3. Benchmark: SPANUQ-BENCH

Para evaluar la SLUE, los autores construyeron SPANUQ-BENCH, el primer benchmark de incertidumbre a nivel de segmento.

Escala: 20,000 prompts a través de cinco dominios (Long-form QA, TriviaQA, ELI5, Biografía, FELM) y ~293,000 segmentos anotados.
Estrategia de Etiquetado: Las etiquetas suaves de verdad fundamental ( $u^* \in [0, 1]$ ) se derivan mediante destilación de múltiples muestras. Para cada prompt, se muestrean 20 respuestas diversas, se descomponen en afirmaciones atómicas y se verifican contra Wikipedia. La etiqueta de incertidumbre para un segmento es la fracción de muestras donde la afirmación no está respaldada.
Evaluación: El benchmark prueba la discriminación (AUROC), la precisión de regresión (MAE) y la calidad de clasificación (Spearman correlation).

4. Resultados Clave

Los experimentos se realizaron en cinco backbones de LLM (serie Qwen3 y Mistral-7B) que van desde 4B hasta 30B de parámetros, incluyendo arquitecturas tanto densas como de Mezcla de Expertos (MoE).

Rendimiento a Nivel de Segmento: SPANUQ logra consistentemente la mejor calidad de incertidumbre a nivel de segmento en todos los modelos.
- AUROC: 0.908 – 0.944 (superando a la base de sonda más fuerte por ~5.8 puntos y a los métodos basados en muestreo por >13 puntos).
- MAE: 0.110 – 0.129.
- Eficiencia: Es 10–20× más rápido que los métodos basados en muestreo (p. ej., SelfCheckGPT, Entropía Semántica), ya que requiere una sola pasada hacia adelante.
Detección de Segmentos: El detector basado en DETR logra una puntuación F1 de 0.910, superando a la mejor base heurística (Ventana Deslizante) en un 39.4%. Maneja con éxito segmentos superpuestos, mientras que los etiquetadores BIO fallan significativamente (F1 = 0.079) debido a las restricciones de no superposición.
Descomponibilidad a Nivel de Secuencia: Los autores observan que la incertidumbre a nivel de secuencia es parcialmente decomponible en componentes a nivel de segmento. La composición de segmentos ponderada por importancia aprendida logra una correlación de Spearman a nivel de secuencia ( $\rho_{seq}$ ) de 0.839, lo que sugiere que la estimación a nivel de segmento subsume la estimación a nivel de secuencia como un caso especial.
Hallazgos de Ablación:
- Mezcla de Beta (MoB): Crucial para capturar la incertidumbre multimodal, reduciendo el ECE en un 62% en comparación con una distribución Beta única.
- UCIR: Proporciona la segunda mayor ganancia en la calidad de clasificación ( $\rho_{span}$ ), corrigiendo eficazmente errores sistemáticos.
- Regresión vs. Puntero: La regresión continua para la predicción de fronteras supera a los mecanismos de puntero de atención cruzada en un 3.4% en AUROC.

5. Significado y Reivindicaciones

El artículo afirma que SPANUQ cierra la brecha entre la estimación de la incertidumbre a nivel de token y a nivel de secuencia al operar en la "granularidad natural" de las afirmaciones verificables.

Interpretabilidad y Capacidad de Acción: A diferencia de las puntuaciones a nivel de secuencia, SPANUQ proporciona puntuaciones de incertidumbre interpretables y localizables para afirmaciones específicas (p. ej., identificar "1901" como incierto en una frase sobre Marie Curie, mientras confirma "físico polaco").
Generalización: El marco se generaliza a través de diferentes familias de modelos, escalas y arquitecturas (densas vs. MoE) sin necesidad de reentrenar el backbone.
Despliegue Práctico: Al destilar la incertidumbre de múltiples muestras en una única pasada hacia adelante, SPANUQ ofrece una solución computacionalmente viable para dominios de alto riesgo (salud, legal, investigación) donde identificar alucinaciones específicas es crítico.

Los autores señalan limitaciones: SPANUQ requiere acceso de caja blanca (white-box) a los estados ocultos, depende de un proceso de construcción de etiquetas computacionalmente intensivo de una sola vez y actualmente se centra en la incertidumbre factual en inglés. Enfatizan que, si bien SPANUQ estima la incertidumbre epistémica a partir de patrones en los estados ocultos, no garantiza la corrección factual y debe complementar, no reemplazar, el juicio humano.