Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models

1. El Problema

Los modelos generativos, como los Grandes Modelos de Lenguaje (LLMs), son herramientas poderosas pero carecen de mecanismos inherentes para proporcionar salidas confiables y transparentes, lo que limita su despliegue en dominios sensibles o en la toma de decisiones. La Cuantificación de Incertidumbre (UQ) es crucial para detectar la falta de fiabilidad.

Aunque existen métodos existentes, como la Entropía Semántica (SE) (Kuhn et al., 2023), estos presentan limitaciones significativas:

• Dependencia de Heurísticas Rígidas: La SE se basa en agrupar respuestas generadas en "clústeres semánticamente equivalentes" utilizando modelos de implicación bidireccional (entailment).
• Falta de Generalización: Este enfoque funciona bien en tareas de preguntas y respuestas (QA) estructuradas y cortas, pero falla en tareas abiertas, complejas o multimodales (como la generación de texto largo o la visión por computadora), donde la noción de "equivalencia semántica textual" es difícil de definir o computar.
• Complejidad Computacional: Requiere comparaciones semánticas par a par que pueden ser costosas y ad hoc para diferentes tipos de tareas.

2. Metodología: Incertidumbre de Concentración Direccional (DCU)

Los autores proponen DCU, un marco geométrico que cuantifica la incertidumbre basándose en la dispersión de las representaciones (embeddings) de las salidas del modelo, sin necesidad de agrupación semántica ni modelos auxiliares de equivalencia.

Proceso Técnico:

1. Muestreo: Dada una entrada $x$, se generan $N$ salidas textuales ($y_1, ..., y_N$) utilizando un LLM con temperatura alta para maximizar la variabilidad.
2. Codificación: Cada salida textual se convierte en un vector de embedding continuo utilizando un modelo preentrenado (e.g., e5-large-v2 para texto, CLIP para multimodal).
3. Normalización: Los embeddings se normalizan en norma $L_2$ para proyectarlos en una hiperesfera unitaria ($S^{d-1}$).
4. Modelado Estadístico (vMF): Se modela la distribución de estos embeddings utilizando la distribución von Mises-Fisher (vMF). Esta distribución es análoga a la gaussiana pero definida en una esfera.
   • Se estima un dirección media ($\mu$) y un parámetro de concentración ($\kappa$).
   • El parámetro $\kappa$ mide qué tan agrupados están los vectores alrededor de la dirección media.
5. Cálculo de Incertidumbre:
   • Un $\kappa$ alto indica alta concentración (las respuestas son consistentes) $\rightarrow$ Baja incertidumbre.
   • Un $\kappa$ bajo indica alta dispersión (las respuestas varían mucho en dirección) $\rightarrow$ Alta incertidumbre.
   • La puntuación de incertidumbre se define como la inversa de la concentración: $\kappa^{-1}$.

Diferenciación clave con la Entropía Semántica (SE):

• La SE requiere asignar respuestas a clústeres discretos basados en equivalencia semántica.
• La DCU opera directamente en el espacio continuo de embeddings, midiendo la dispersión geométrica. Esto elimina la necesidad de definir qué constituye "lo mismo" semánticamente, haciendo el método agnóstico a la tarea y la modalidad.

3. Contribuciones Clave

• Marco Flexible y Generalizable: DCU no depende de heurísticas específicas de la tarea (como la implicación textual), lo que permite su aplicación en dominios multimodales (texto + imagen) y tareas complejas donde la SE falla.
• Enfoque Geométrico: Introduce el uso de la distribución vMF para cuantificar la incertidumbre basándose en la alineación direccional de los embeddings, ofreciendo una métrica continua y suave.
• Validación Empírica: Demuestra que un enfoque basado en representaciones puede igualar o superar a los métodos basados en agrupación semántica, especialmente en escenarios más desafiantes.

4. Resultados Experimentales

Los autores evaluaron DCU frente a la Entropía Semántica (SE) en varios conjuntos de datos y modelos:

• Tareas de QA de Texto (TriviaQA, SQuAD, NQ-Open):

  • DCU logró resultados competitivos, igualando o superando ligeramente a la SE en términos de AUROC (Área bajo la curva ROC) en varios modelos (LLaMA-2, Mistral, Falcon).
  • Esto confirma que la dispersión en el espacio de embeddings captura la misma señal de incertidumbre que la entropía de los clústeres semánticos en tareas simples.

• Tareas de QA Visual (ScienceQA - Multimodal):

  • Desempeño de la SE: La SE mostró un rendimiento muy pobre (AUROC cercano a 0.5, equivalente a adivinanza aleatoria) en tareas multimodales, debido a la dificultad de aplicar la equivalencia semántica textual a respuestas que involucran imágenes y razonamiento complejo.
  • Desempeño de DCU: DCU superó significativamente a la SE en este dominio. Por ejemplo, en el modelo LLaVA-1.5, DCU alcanzó un AUROC de 0.67, mientras que la SE se quedó en 0.51.
  • Esto demuestra la superioridad del enfoque representacional en dominios donde la definición de equivalencia semántica es ambigua o inexistente.

5. Significado e Implicaciones

• Superación de Limitaciones de la SE: El trabajo demuestra que la necesidad de agrupar semánticamente las respuestas es un cuello de botella para la generalización. Al eliminar esta restricción, DCU permite la cuantificación de incertidumbre en cualquier modalidad (texto, imagen, audio) siempre que exista un buen codificador (encoder).
• Aplicabilidad en Sistemas Agénticos: La flexibilidad de DCU lo hace ideal para integrarse en sistemas de agentes autónomos, donde la incertidumbre debe propagarse a través de diferentes módulos y modalidades sin requerir reentrenamiento o ajustes específicos de la tarea.
• Eficiencia Relativa: Aunque requiere múltiples muestras (como la SE), evita el costo computacional de ejecutar modelos de implicación semántica (como DeBERTa-MNLI) para cada par de respuestas, utilizando en su lugar codificadores de embeddings más eficientes.

En conclusión, DCU representa un avance hacia una cuantificación de incertidumbre más robusta y universal para modelos generativos, desplazando el enfoque desde la "equivalencia semántica discreta" hacia la "concentración direccional continua" en espacios de representación.