Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals

Resumen Técnico: Confianza en una sola pasada – Estimación de la confianza para modelos de lenguaje de gran tamaño mediante señales estructurales

1. Definición del Problema

Los modelos de lenguaje de gran tamaño (LLM) se despliegan cada vez más en dominios de alto riesgo (p. ej., verificación de hechos, asistencia científica) donde los errores conllevan costes significativos. Sin embargo, los métodos estándar de estimación de la confianza sufren limitaciones críticas:

• Los estimadores basados en probabilidades (p. ej., log-probabilidad de tokens, entropía) suelen estar mal calibrados y son frágiles ante cambios en la distribución.
• Los estimadores de similitud semántica (p. ej., geometría de embeddings) se degradan cuando el texto de entrada diverge de la distribución de preentrenamiento del modelo.
• Los métodos de consistencia de múltiples muestras (p. ej., SelfCheckGPT) requieren múltiples generaciones estocásticas y modelos auxiliares (como clasificadores NLI), lo que resulta en una latencia y costes computacionales prohibitivos, no aptos para un despliegue a escala web en tiempo real o con recursos limitados.

Además, la investigación existente sobre la geometría de los estados ocultos sigue siendo mayoritariamente diagnóstica en lugar de operativa, careciendo de un marco unificado para la estimación de la confianza en una sola pasada. El artículo postula que los enfoques actuales fallan porque dependen de señales superficiales (probabilidades o embeddings) mientras ignoran la dinámica computacional interna que produce las predicciones.

2. Metodología: Confianza Estructural

Los autores proponen la Confianza Estructural, un marco de una sola pasada y agnóstico al modelo que estima la confianza basándose en la estabilidad estructural de la trayectoria de los estados ocultos.

Hipótesis Central: Las predicciones con alta confianza corresponden a trayectorias de estados ocultos suaves, de baja frecuencia y con una geometría global compacta. Por el contrario, la incertidumbre o las alucinaciones se manifiestan como irregularidades espectrales, fluctuaciones locales bruscas y una estructura global fragmentada.

Componentes Clave:

• Trayectoria de Estado Oculto Proxy: Dado que los LLM propietarios (p. ej., GPT-4o) no exponen sus estados internos, el método utiliza un transformador de codificador únicamente (BERT-base-uncased) congelado para generar una trayectoria proxy. El contexto de entrada y la respuesta generada se concatenan y se introducen en el codificador para extraer los estados ocultos de la última capa ($H$).
• Familias de Descriptores Estructurales: De la trayectoria $H$, se extraen tres descriptores estructurales multiescala, independientes de la longitud de la secuencia:
  1. Estabilidad Espectral (48-d): Resume la suavidad de la trayectoria mediante la suavidad en el dominio de la frecuencia (potencia de la DFT de bajas frecuencias) y la difusión espectral de grafos (autovalores del Laplaciano normalizado).
  2. Variación Local (6-d): Captura la inestabilidad de corto alcance utilizando estadísticas del desplazamiento de token a token (p. ej., longitud total de la trayectoria, varianza de los tamaños de paso).
  3. Coherencia de Forma (16-d): Resume la dispersión global mediante un histograma normalizado de las distancias por pares entre los estados ocultos.
• Modos de Granularidad: El marco soporta modos Global (trayectoria completa), Local (ventanas superpuestas) y de Dos Escalas (promedio de global y local) para capturar diferentes resoluciones de inestabilidad.
• Estimador de Confianza: Un clasificador ligero LightGBM mapea las características estructurales concatenadas (y opcionalmente un embedding semántico de la oración) a una probabilidad de corrección. El método no requiere gradientes, no requiere acceso a los elementos internos del generador y no requiere modelos auxiliares.

3. Contribuciones Clave

1. Nueva Modalidad de Confianza: Introduce una señal de confianza basada en la estabilidad estructural de los estados ocultos (descriptores espectrales, locales y globales), que complementa los estimadores existentes de verosimilitud y embeddings.
2. Eficiencia de Una Sola Pasada y Agnóstica al Modelo: El marco opera en una única pasada determinista de un codificador proxy, sin necesidad de muestreo, sin modelos NLI auxiliares y sin acceso a los logits o estados ocultos del generador.
3. Robustez Transdominio: La evaluación exhaustiva en diversos benchmarks (FEVER, SciFact, WikiBio-hallucination, TruthfulQA) demuestra que las señales estructurales siguen siendo robustas bajo cambios de dominio donde los embeddings semánticos colapsan.
4. Eficiencia: El método ofrece una alternativa práctica a las comprobaciones de consistencia basadas en muestreo, reduciendo significativamente el coste computacional y la latencia.

4. Resultados Experimentales

El marco fue evaluado en cuatro benchmarks utilizando GPT-4o como generador:

• Rendimiento: La Confianza Estructural alcanza un rendimiento de vanguardia (SOTA) entre los baselines de una sola pasada en términos de AUROC y AUPR.
  • En FEVER y WikiBio, la señal estructural fusionada (estructura + semántica) logra puntuaciones de AUROC de 0.683 y 0.686, respectivamente, superando a las heurísticas basadas en probabilidad y igualando o excediendo el rendimiento del costoso baseline de SelfCheckGPT.
  • En SciFact, donde los embeddings semánticos colapsan (AUROC ~0.255), la señal estructural permanece discriminativa (AUROC ~0.460), demostrando una robustez superior al cambio de dominio.
• Calibración: Los descriptores estructurales y el modelo fusionado muestran una mejor calibración (menor Brier Score y Error de Calibración Esperado) que los baselines de solo probabilidad en FEVER y WikiBio.
• Eficiencia: Comparado con el baseline de SelfCheckGPT basado en NLI, la Confianza Estructural incurre en aproximadamente 6× menos FLOPs y 5× menos latencia en la etapa de estimación de la confianza. También es más eficiente que los pipelines estructurales de tipo RACE.
• Generalización Transdominio: Un modelo entrenado en un pool de dominios mixtos (FEVER, SciFact, WikiBio) mantiene un rendimiento estable en el benchmark fuera de dominio TruthfulQA, mientras que los baselines semánticos exhiben caídas significativas de rendimiento.

5. Significación y Reivindicaciones

El artículo sostiene que la estabilidad estructural de los estados ocultos es una base prometedora y poco explorada para la estimación de la confianza post-hoc. Al desplazar el enfoque desde los espacios de probabilidad y semántica hacia la dinámica interna de las activaciones del modelo, la Confianza Estructural ofrece:

• Robustez: Una solución que sigue siendo efectiva bajo cambios de dominio y para textos especializados o de formato largo donde otros métodos fallan.
• Practicidad: Un mecanismo listo para el despliegue en aplicaciones a escala web que cumple con las estrictas restricciones de una sola pasada y de caja negra.
• Perspectiva Teórica: Evidencia de que la incertidumbre en la decodificación autorregresiva se manifiesta como irregularidades geométricas y espectrales en la trayectoria de los estados ocultos, las cuales pueden ser capturadas por un codificador proxy ligero.

Los autores concluyen que, si bien el estudio se limita a benchmarks fácticos específicos y a un único modelo propietario, el enfoque apunta hacia una línea de trabajo en IA confiable centrada en la dinámica interna de las activaciones de los modelos, ofreciendo una solución eficiente y agnóstica al modelo para evaluar la fiabilidad de los LLM.