Resumen Técnico: Mejora de las Incertidumbres Basadas en Consistencia en los LLM mediante Búsqueda por Haz

Declaración del Problema

La Cuantificación de la Incertidumbre (UQ) basada en consistencia ha surgido como un método robusto para evaluar la fiabilidad de las salidas de los Modelos de Lenguaje Grande (LLM), particularmente en entornos de caja negra. Estos métodos estiman típicamente la incertidumbre midiendo el nivel de acuerdo entre múltiples generaciones producidas mediante muestreo multinomial.

Sin embargo, los autores identifican limitaciones críticas en la aplicación del muestreo multinomial a tareas de Respuesta a Preguntas (QA) de formato corto:

1. Alta Redundancia: Debido a las distribuciones de probabilidad agudas en las respuestas cortas, el muestreo multinomial produce frecuentemente generaciones duplicadas o casi idénticas. El artículo señala que para salidas cortas (2–4 tokens), las tasas de redundancia pueden alcanzar el 30–50%, lo que conduce al desperdicio de recursos computacionales.
2. Alta Varianza: Dado que cada ejecución de muestreo produce un conjunto diferente de candidatos, las estimaciones de incertidumbre resultantes exhiben una varianza significativa entre ejecuciones, socavando su robustez.
3. Ineficiencia: Lograr estimaciones estables a menudo requiere un gran número de muestras, lo cual es computacionalmente costoso.

El problema central es que el muestreo multinomial no logra explorar eficazmente el espacio de salida del modelo en escenarios de formato corto, resultando en estimaciones de confianza ruidosas y una cuantificación de la incertidumbre subóptima.

Metodología

El artículo propone una nueva familia de métodos de UQ que reemplazan el muestreo multinomial con Búsqueda por Haz para generar salidas candidatas. La metodología se basa en tres ideas clave:

1. Candidatos Distintos: La búsqueda por haz mantiene inherentemente las $k$ secuencias parciales más probables, garantizando salidas candidatas distintas y reduciendo la redundancia.
2. Estimación Ponderada por Probabilidad: Tratar simplemente a los candidatos del haz como muestras uniformes sobrepondría las salidas de baja probabilidad. En su lugar, los autores introducen un estimador ponderado por importancia. Normalizan las probabilidades de secuencia de los candidatos del haz ($b^{(i)}$) para formar pesos $w_i$:
   $$w_i = \frac{p(b^{(i)} | x)}{\sum_{j=1}^M p(b^{(j)} | x)}$$
   Estos pesos se utilizan luego para calcular métricas basadas en consistencia (por ejemplo, Disimilitud, Excentricidad) en lugar de usar un promedio simple.
3. Justificación Teórica: Los autores derivan una cota inferior teórica para la masa de probabilidad ($m_B$) del conjunto del haz requerida para que el estimador ponderado por haz logre un Menor Error Cuadrático Medio (MSE) que el estimador estándar de Monte Carlo (multinomial). Demuestran que si el conjunto del haz cubre una porción suficiente de la masa de probabilidad (específicamente $m_B > 1 - \frac{1}{2\sqrt{M}}$ para una condición simplificada), el enfoque de búsqueda por haz produce un error menor.

Métodos Adaptados

Los autores adaptan varios métodos existentes de UQ basados en consistencia para utilizar la búsqueda por haz:

• Disimilitud: Mide la diferencia semántica esperada entre la respuesta principal y los candidatos del haz, ponderada por $w_i$.
• Excentricidad: Utiliza un Laplaciano de grafos sobre la matriz de similitud de todas las muestras (incluida la respuesta principal). Los autores modifican el cálculo de la incrustación para utilizar centroides ponderados por probabilidad.
• Disimilitud de Vectores Propios: Mide la distancia desde la incrustación de la respuesta principal hasta la media ponderada de las incrustaciones de las muestras en el espacio del Laplaciano.
• CoCoA: Un método híbrido que combina las probabilidades a nivel de token con la consistencia de las muestras. Los autores reemplazan la señal de consistencia con el estimador ponderado por haz.

Contribuciones Clave

1. Identificación de Limitaciones: El artículo demuestra empíricamente que el muestreo multinomial conduce a una alta redundancia y varianza en la QA de formato corto, lo que lo convierte en una opción subóptima para la UQ basada en consistencia en estos contextos.
2. Estimadores Ponderados por Haz: La propuesta de una nueva familia de métodos de UQ que utilizan candidatos de búsqueda por haz con ponderación por importancia para aproximar mejor la distribución del modelo sin generar duplicados.
3. Análisis Teórico: La derivación de una condición suficiente libre de distribución (Teorema 1) que garantiza que el estimador ponderado por haz supera al estimador de Monte Carlo multinomial cuando el conjunto del haz captura una masa de probabilidad suficiente.
4. Validación Empírica: Evaluación exhaustiva en seis conjuntos de datos de QA (TriviaQA, WebQuestions, CoQA, HotpotQA, CommonsenseQA, ARC-Challenge) y seis modelos (Gemma 3, Llama 3.1, Qwen 3).

Resultados

Los experimentos demuestran que reemplazar el muestreo multinomial con búsqueda por haz mejora consistentemente el rendimiento de los métodos de UQ basados en consistencia:

• Rendimiento del Estado del Arte: Las variantes guiadas por haz de Disimilitud, Excentricidad, EigVecDissimilarity y CoCoA logran las puntuaciones de Ratio de Rechazo-Predicción (PRR) mejores o segundas mejores en casi todas las combinaciones de modelos y conjuntos de datos.
• Robustez: Los métodos de búsqueda por haz muestran una varianza significativamente menor en las estimaciones de incertidumbre en comparación con el muestreo multinomial.
• Eficiencia de Muestra: Las mejoras son más pronunciadas con presupuestos de muestra pequeños ($M \ge 2$). La búsqueda por haz alcanza puntuaciones PRR altas con menos candidatos (saturando alrededor de $M=5$ para tareas de respuesta abierta y $M=2$ para tareas de opción múltiple), mientras que el muestreo multinomial mejora de manera más gradual.
• Ventaja de Formato Corto: La brecha de rendimiento entre la búsqueda por haz y el muestreo multinomial es mayor para longitudes de salida cortas (donde la redundancia es más alta) y se estrecha a medida que aumenta la longitud de salida.

Significado y Afirmaciones

El artículo afirma que la búsqueda por haz no debe descartarse como una estrategia de decodificación para la cuantificación de la incertidumbre. Aunque a menudo se asocia con una generación determinista y de alta calidad, los autores argumentan que, cuando se combina con ponderación de probabilidad, la búsqueda por haz proporciona un mecanismo más eficiente y estable para explorar el espacio de salida en la QA de formato corto que el muestreo multinomial estocástico.

El significado de este trabajo radica en:

• Eficiencia Práctica: Ofrece una forma de mejorar el rendimiento de la UQ "prácticamente gratis" en entornos de caja blanca, ya que la búsqueda por haz a menudo ya se realiza o puede ejecutarse con un costo adicional insignificante en comparación con la generación de $M$ muestras multinomiales independientes.
• Fundamentación Teórica: Proporciona una condición formal bajo la cual la búsqueda por haz es demostrablemente superior al muestreo para la UQ, yendo más allá de mejoras heurísticas.
• Amplia Aplicabilidad: El método mejora tanto las métricas puramente basadas en consistencia como los métodos híbridos (como CoCoA) que combinan consistencia con probabilidades de token, sugiriendo una mejora generalizable para la estimación de incertidumbre en tareas de generación de formato corto.

Los autores permanecen modestos respecto a las limitaciones, señalando que su evaluación se restringe actualmente a entornos de caja blanca (que requieren acceso a las probabilidades del modelo) y conjuntos de datos de QA de formato corto. Reconocen que la generalización a la generación de formato largo y a entornos de caja negra (que requieren estimación empírica de probabilidades) sigue siendo una pregunta abierta.