📊 statistics

Toward Efficient Uncertainty in LLMs through Evidential Knowledge Distillation

Este artículo propone un método eficiente para la cuantificación de la incertidumbre en modelos de lenguaje de gran tamaño mediante el uso de destilación de conocimiento basada en LoRA para transferir capacidades de conciencia de la incertidumbre desde profesores de múltiples pasadas computacionalmente costosos hacia estudiantes de una sola pasada, logrando un rendimiento comparable sin la pesada latencia de inferencia de los métodos de muestreo tradicionales.

Autores originales: Lakshmana Sri Harsha Nemani, P. K. Srijith, Tomasz Kuśmierczyk

Publicado 2026-07-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lakshmana Sri Harsha Nemani, P. K. Srijith, Tomasz Kuśmierczyk

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un consultor experto, brillante pero increíblemente lento (el Profesor). Este consultor es fantástico adivinando la respuesta correcta a una pregunta, pero también es muy cauteloso. Antes de darte una respuesta, no se limita a lanzar una suposición; le pide a diez versiones diferentes de sí mismo, o pasa la misma pregunta por diez "lentes" distintas, para ver cuánto varían sus respuestas.

Si las diez versiones están de acuerdo, el consultor dice: "Estoy 100% seguro".
Si las diez versiones son un caos, el consultor dice: "No estoy seguro en absoluto".

Este proceso de preguntar a diez versiones de sí mismo es como los métodos basados en muestreo (como los modelos Bayesianos o los Ensembles) que describe el artículo. Es excelente para saber qué tan seguro está el modelo, pero es dolorosamente lento. Si le haces una pregunta al consultor, tienes que esperar a que ejecute diez simulaciones antes de que te dé una respuesta. En el mundo de la IA, esto es como esperar un tren lento cuando solo querías un viaje rápido en autobús.

Los autores de este artículo se preguntaron: "¿Podemos entrenar a un estudiante rápido, de un solo paso, para que aprenda de este experto lento y cauteloso?"

Así es como lo hicieron, desglosado en conceptos simples:

1. El Objetivo: El Estudiante Rápido

Querían crear un modelo Estudiante que fuera tan inteligente como el Profesor, pero que no necesitara ejecutar diez simulaciones. El Estudiante debería ser capaz de mirar una pregunta una sola vez, dar una respuesta y decirte qué tan confiado está, todo en un instante.

Para que el Estudiante fuera rápido, utilizaron una técnica llamada LoRA (Low-Rank Adaptation). Piensa en esto como darle al Estudiante unos "rueditas de entrenamiento" o una mochila ligera. En lugar de reconstruir todo el cerebro del Estudiante (que es enorme y costoso), simplemente ajustan una parte pequeña y especializada de este para aprender del Profesor.

2. Los Dos Tipos de Estudiantes

Los investigadores probaron dos formas diferentes de enseñar al Estudiante cómo expresar la incertidumbre:

El Estudiante "Promedio" (Softmax):
Este estudiante aprende el promedio de lo que dijeron las diez versiones del Profesor. Si las versiones del Profesor fueron 50% "Sí" y 50% "No", este estudiante aprende a decir "50% Sí".
- El Problema: Este estudiante puede decirte el promedio, pero olvida la historia detrás del promedio. No sabe si el Profesor estaba confundido (todas las versiones estaban en desacuerdo) o si los datos eran simplemente ruidosos. Colapsa toda esa compleja incertidumbre en un solo número.
El Estudiante de "Evidencia" (Dirichlet):
Esta es la principal innovación del artículo. En lugar de aprender solo un promedio, este estudiante aprende en términos de evidencia.
- Imagina que las diez versiones del Profesor son como diez testigos en un tribunal.
- El estudiante Softmax solo cuenta los votos: "6 dijeron Culpable, 4 dijeron No Culpable".
- El estudiante Dirichlet observa la confianza de los testigos. ¿Todos los 10 testigos gritaron "Culpable" con alta confianza? ¿O todos murmuraron "Tal vez culpable" con baja confianza?
- Este estudiante genera una "distribución de Dirichlet", que es una forma matemática de decir: "Aquí está mi mejor suposición, y aquí hay una medida de cuánta evidencia tengo para respaldarla". Si la evidencia es baja, el estudiante sabe que está inseguro, incluso si la suposición parece clara.

3. El Truco de Magia: Destilación de Conocimiento

El proceso de enseñar al Estudiante se llama Destilación de Conocimiento.

Los investigadores dejaron que el lento Profesor ejecutara sus diez simulaciones en una serie de preguntas de práctica.
Tomaron los resultados de esas diez simulaciones (el promedio de las suposiciones y la dispersión de las opiniones) y se los entregaron al Estudiante.
El Estudiante fue entrenado para imitar esos resultados usando solo una pasada hacia adelante (forward pass).
Utilizaron un método de "cronómetro" (Parada Temprana o Early Stopping) para asegurar que el Estudiante no solo memorizara los errores del Profesor, sino que realmente aprendiera los patrones correctos.

4. Los Resultados: Velocidad vs. Inteligencia

El artículo probó esto en tareas de clasificación de texto (como clasificar reseñas como "Positivas" o "Negativas").

Velocidad: El Profesor era lento porque tenía que ejecutar muchas simulaciones. El Estudiante fue de 11 a 36 veces más rápido porque solo se ejecuta una vez.
Precisión: El Estudiante fue tan bueno obteniendo la respuesta correcta como el Profesor.
Incertidumbre: El Estudiante Dirichlet fue particularmente bueno sabiendo cuándo no estaba seguro. Podía distinguir entre "No lo sé porque los datos son confusos" (incertidumbre epistémica) e "No lo sé porque la pregunta es vaga" (incertidumbre aleatoria).

La Conclusión

El artículo afirma que han construido con éxito un "carril rápido" para la incertidumbre. Tomaron una IA basada en muestreo, lenta y pesada, que es excelente para saber lo que no sabe, y destilaron su sabiduría en un modelo ligero de un solo paso.

El Profesor: Un experto lento y cauteloso que revisa su trabajo diez veces.
El Estudiante: Un trabajador rápido y eficiente que aprendió a revisar su trabajo una vez, pero que aún sabe exactamente qué tan seguro debería estar.

Los autores enfatizan que esto funciona para la clasificación de texto (clasificar texto en categorías). No afirman que esto funcione todavía para generar historias largas o tareas de razonamiento complejo, pero creen que esto demuestra el concepto de que se puede tener una IA rápida y consciente de su incertidumbre sin el alto costo computacional.

Resumen Técnico: Hacia una Incertidumbre Eficiente en LLMs mediante la Destilación de Conocimiento Evidencial

Declaración del Problema
La cuantificación precisa de la incertidumbre es un desafío crítico para los Modelos de Lenguaje de Gran Escala (LLMs). Aunque los métodos con base teórica, como las Redes Neuronales Bayesianas (BNNs) y los enfoques basados en ensambles (por ejemplo, Bayesian Prompt Ensembles), modelan eficazmente la incertidumbre epistémica y mejoran la calibración, sufren de costos computacionales prohibitivos. Estos métodos requieren típicamente múltiples pasadas hacia adelante (muestreo) tanto durante el entrenamiento como durante la inferencia para aproximar las distribuciones predictivas mediante el muestreo de Monte Carlo. Este requisito de múltiples pasadas aumenta significativamente la latencia de inferencia, limitando el despliegue práctico de LLMs conscientes de la incertidumbre en aplicaciones de tiempo real o a gran escala.

Metodología
Los autores proponen un marco de Destilación de Conocimiento Evidencial para transferir las estimaciones de incertidumbre de modelos "maestros" computacionalmente costosos y basados en muestreo a modelos "estudiantes" eficientes de una sola pasada.

Modelos Maestros: El estudio utiliza dos maestros distintos basados en muestreo:
- Bayesian Prompt Ensembles (BayesPE): Una formulación de ensamble sobre los prompts de entrada.
- Laplace LoRA: Un enfoque bayesiano que utiliza la aproximación de Laplace sobre los pesos de LoRA.
  Ambos maestros generan distribuciones predictivas agregando múltiples muestras (prompts o perturbaciones de pesos) para capturar la incertidumbre total (aleatoria + epistémica).
Arquitectura del Estudiante: Los estudiantes son LLMs pre-entrenados (Mistral 7B Instruct) ajustados mediante Adaptación de Bajo Rango (LoRA). Esto permite actualizaciones de parámetros eficientes sin reentrenar todo el modelo. El proceso de destilación inicializa las matrices LoRA del estudiante desde el maestro (si aplica) y ajusta sus parámetros utilizando una cabeza de clasificación modificada.
Estrategias de Destilación: El artículo compara dos parametrizaciones de salida del estudiante:
- Estudiante Softmax: Un modelo base que genera una distribución categórica única (probabilidades medias) mediante softmax. Minimiza la log-verosimilitud negativa de las predicciones promedio del maestro. Aunque es rápido, colapsa toda la incertidumbre en la entropía de Shannon, fallando al distinguir entre los componentes aleatorios y epistémicos.
- Estudiante Evidencial (Dirichlet): Este modelo emplea Aprendizaje Profundo Evidencial, prediciendo los parámetros ( $\alpha$ ) de una distribución de Dirichlet. En lugar de predecir probabilidades de clase directamente, predice los parámetros de concentración derivados de los logits ( $\alpha_c = 1 + \text{softplus}(z_c)$ ). La evidencia total ( $\alpha_0 = \sum \alpha_c$ ) sirve como una medida explícita de confianza. Esta formulación permite al modelo separar la incertidumbre aleatoria (ruido inherente de los datos) de la incertidumbre epistémica (ignorancia del modelo) dentro de una sola pasada hacia adelante.
Objetivo de Entrenamiento: Los estudiantes son entrenados para igualar la distribución predictiva del maestro. La función de pérdida para el estudiante evidencial es la log-verosimilitud negativa de las predicciones muestreadas del maestro bajo la distribución de Dirichlet predicha.
- Regularización: Los autores investigan varias estrategias de regularización para el parámetro de concentración $\alpha_0$ , incluyendo fijarlo a una constante, atraerlo hacia una distribución a priori uniforme, o anclarlo a una media aprendible de todo el conjunto de datos, para prevenir el exceso de confianza y estabilizar el entrenamiento.
- Parada Temprana (Early Stopping): El entrenamiento se detiene basándose en la log-verosimilitud negativa (NLL) de las etiquetas reales para evitar el sobreajuste al ruido del maestro.

Resultados Clave
Los experimentos se realizaron en cuatro conjuntos de datos de clasificación de texto (Amazon, SST2, Yahoo, YouTube) utilizando el backbone Mistral 7B.

Eficiencia de Inferencia: Los estudiantes destilados logran una reducción masiva en el tiempo de inferencia en comparación con sus maestros. Para los maestros BayesPE, el estudiante de Dirichlet es de 11 a 36 veces más rápido (por ejemplo, 36x de aceleración en Yahoo), ya que requiere solo una pasada hacia adelante frente a las múltiples pasadas requeridas por el maestro.
Rendimiento Predictivo: Los estudiantes destilados igualan o ocasionalmente superan la precisión predictiva de sus maestros. Por ejemplo, el estudiante de Dirichlet superó al maestro BayesPE en los conjuntos de datos de Yahoo (+1.7 pp) y YouTube (+2.5 pp).
Cuantificación de la Incertidumbre:
- Calibración: Los estudiantes de Dirichlet generalmente logran un Error de Calibración Esperado (ECE) y puntuaciones de Brier más bajos que tanto los maestros como los baselines de Softmax.
- Detección de OOD (Fuera de Distribución): En experimentos de OOD, el estudiante de Dirichlet demostró una capacidad superior para distinguir entre muestras dentro del dominio y fuera del dominio (mayor AUROC) en comparación con el maestro y el estudiante Softmax. Logró amplificar la entropía predictiva total para los datos OOD.
- Descomposición: A diferencia del estudiante Softmax, el estudiante de Dirichlet logra descomponer la incertidumbre en componentes aleatorios y epistémicos, proporcionando señales de incertidumbre más ricas.
Convergencia: Los estudiantes destilados de maestros BayesPE convergieron muy rápidamente (a menudo en 1–5 épocas), mientras que aquellos de maestros Laplace requirieron más épocas (20–40), lo que sugiere un paisaje de optimización más complejo para este último.

Significancia y Reivindicaciones
El artículo afirma ser la primera aplicación del Aprendizaje Profundo Evidencial a la destilación de Modelos de Lenguaje de Gran Escala (LLMs). Su contribución principal es establecer una base para la estimación de la incertidumbre eficiente de una sola pasada en LLMs.

Compromiso entre Eficiencia y Precisión: El trabajo demuestra que es posible heredar el robusto modelado de la incertidumbre de los métodos de muestreo computacionalmente intensivos sin incurrir en su latencia de inferencia.
Modelado Epistémico: Al utilizar salidas de Dirichlet, el método modela explícitamente la incertidumbre epistémica, una capacidad que se pierde en la destilación estándar de softmax.
Alcance y Limitaciones: Los autores enmarcan modestamente su trabajo actual como una prueba de concepto limitada a tareas de clasificación de texto discreto. Reconocen que, aunque los resultados son prometedores, extender este marco a la generación de texto abierto sigue siendo una dirección para el trabajo futuro. El estudio se centra en igualar el rendimiento del maestro en lugar de mejorar las capacidades absolutas del mismo, aunque los resultados empíricos muestran que los estudiantes a veces superan a los maestros debido a los efectos regularizadores de la destilación y la parada temprana.

1. El Objetivo: El Estudiante Rápido

2. Los Dos Tipos de Estudiantes

3. El Truco de Magia: Destilación de Conocimiento

4. Los Resultados: Velocidad vs. Inteligencia

La Conclusión

Más como este