Resumen Técnico: LLMs como Imputadores Implícitos

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) se despliegan cada vez más en escenarios donde el contexto de entrada está incompleto, truncado o degradado (por ejemplo, recuperación parcial en sistemas RAG). A pesar de operar bajo tales déficits de información, los LLM suelen generar respuestas únicas con una alta certeza aparente. Esto plantea una pregunta crítica: ¿Reflejan adecuadamente las estimaciones de incertidumbre de los LLM la cantidad de información faltante?

Las evaluaciones actuales suelen centrarse en la calibración estática (ajustar la confianza a la precisión bajo entradas fijas). Sin embargo, existe una falta de comprensión sobre si las estimaciones de incertidumbre escalan dinámicamente a medida que las entradas se vuelven menos informativas. El artículo argumenta que un sistema predictivo adecuado debe exhibir una incertidumbre que aumenta a medida que aumenta la fracción de información faltante, un principio fundamentado en el aprendizaje profundo bayesiano y la teoría de datos faltantes.

Metodología

Marco Teórico: Imputación Múltiple Implícita

Los autores operacionalizan la evaluación de la incertidumbre de los LLM estableciendo una analogía con la Imputación Múltiple (MI) [Rubin, 1987]. En MI, la incertidumbre surge de variables no observadas y se cuantifica mediante la variabilidad entre múltiples conjuntos de datos completados.

• Analogía: El muestreo repetido de un LLM bajo contexto incompleto se considera la generación de "completaciones implícitas" de la información faltante.
• Criterio: Un imputador adecuado (y, por tanto, un LLM adecuado) debe exhibir una incertidumbre que escala con la cantidad de información faltante. Si se elimina el contexto, la variabilidad (incertidumbre) de las respuestas generadas debe aumentar.

Configuración Experimental

• Conjunto de datos: SQuAD (Comprensión de Lectura), utilizando fragmentos de respuestas cortas extraídos de párrafos de contexto.
• Condiciones de Evidencia: Un marco controlado donde la disponibilidad del contexto varía mediante un parámetro $\alpha \in [0, 1]$. El contexto $C(\alpha)$ se construye reteniendo los primeros $100 \cdot \alpha$ por ciento de los caracteres originales del contexto.
  • $\alpha = 1$: Contexto completo.
  • $\alpha = 0$: Sin contexto.
• Muestreo: Utilizando gpt-4o-mini con temperatura $T=0.7$, se generan $m=10$ respuestas estocásticas por entrada $(q, C)$. Para minimizar la correlación, cada muestra se obtiene mediante una llamada a la API separada.
• Normalización: Las respuestas se normalizan para manejar variaciones léxicas menores (por ejemplo, omisión de artículos) pero no la generalización semántica.

Medidas de Incertidumbre

Se estiman dos medidas de caja negra a partir de la distribución empírica de $m$ respuestas muestreadas:

1. Confianza basada en Muestreo ($c$): La frecuencia empírica de la respuesta más frecuente ($c = \max_k p_k$). Esto mide la concentración modal.
2. Entropía de Respuesta ($H$): Entropía de Shannon de la distribución de respuestas normalizada ($H = -\sum p_k \log p_k$). Esto mide la dispersión entre respuestas competitivas.
3. Ratio de Resolución ($\rho_R(\alpha)$): Una métrica diagnóstica que estima la proporción de incertidumbre de referencia resuelta por el nivel de contexto $\alpha$.
   $$\rho_R(\alpha) = \frac{[H_0 - H(\alpha)]_+}{H_0}$$
   Donde $H_0$ es la entropía bajo ausencia de contexto. $\rho_R = 0$ implica que el contexto no proporciona reducción de incertidumbre; $\rho_R = 1$ implica que la incertidumbre se resuelve completamente.

Índice de Dependencia de la Información (IDI)

Definido como $\Delta = Acc_1 - Acc_0$, esta métrica cuantifica la medida en que la precisión predictiva depende de la presencia de contexto.

Contribuciones Clave

1. Marco de Evaluación: Un marco principiado para evaluar la incertidumbre de los LLM bajo observabilidad parcial, fundamentado en el requisito de que la incertidumbre debe aumentar a medida que disminuye la información.
2. Analogía MI: Vincular explícitamente el muestreo repetido de LLM con la Imputación Múltiple, motivando la entropía como un proxy de caja negra para la incertidumbre predictiva inducida por información faltante.
3. Herramienta Diagnóstica: Introducción del Ratio de Resolución $\rho_R(\alpha)$, un heurístico que mide la fracción de incertidumbre de referencia resuelta por el contexto, estimable únicamente a partir del muestreo de caja negra.
4. Validación Empírica: Evidencia cuantitativa que demuestra que la entropía rastrea la incertidumbre de información faltante con mayor fidelidad que la confianza, con una ventaja significativa en la varianza explicada (brecha cuadrática $R^2$ de hasta 0.057).

Resultados

Taxonomía del Comportamiento del Modelo

El análisis de 400 contextos reveló tres regímenes distintos bajo la eliminación de contexto:

1. Memorizado: Alta precisión con y sin contexto; entropía cercana a cero ($H_0 \approx 0$). El modelo depende del conocimiento paramétrico.
2. Sesgado: Alta precisión con contexto, pero alta precisión con respuestas incorrectas sin contexto; entropía cercana a cero ($H_0 \approx 0$). El modelo es determinísticamente incorrecto cuando falta el contexto.
3. Incierto: Alta precisión con contexto, pero baja precisión y alta entropía sin contexto. Este régimen refleja una incertidumbre genuina inducida por la información faltante.

• Distribución: El régimen "Incierto" fue el más grande (43.8%), lo que indica que la mayoría de las preguntas requieren contexto y admiten respuestas diversas cuando este falta.

Rendimiento de las Medidas de Incertidumbre

• Entropía vs. Confianza: A medida que se elimina el contexto ($\alpha$ disminuye), la precisión disminuye monótonamente.
  • Entropía ($H$): Aumenta monótonamente a medida que se elimina el contexto, rastreando estrechamente la pérdida de precisión.
  • Confianza ($c$): Disminuye mucho más lentamente y se mantiene alta incluso cuando la precisión colapsa. En el subconjunto sensible al contexto, la precisión cayó a 0.05 mientras que la confianza se mantuvo en 0.52.
• Poder Predictivo: El análisis de regresión mostró que la entropía explica consistentemente más varianza en la precisión que la confianza en todos los niveles de evidencia.
  • En $\alpha = 0.5$ (Muestra completa), la entropía explicó el 24.3% de la varianza frente al 18.6% para la confianza ($\Delta R^2 = 0.057$).
  • La entropía explicó aproximadamente un 31% más de varianza que la confianza a este nivel.
• Calibración: El gráfico de calibración (Precisión vs. Confianza) reveló un exceso de confianza sustancial que empeoraba a medida que se eliminaba el contexto. La entropía, por el contrario, se comportó consistentemente con el criterio MI.

Ratio de Resolución

El Ratio de Resolución $\rho_R(\alpha)$ mostró que el contexto completo resuelve aproximadamente el 80% de la incertidumbre de referencia en la muestra completa. En el subconjunto sensible al contexto, $\rho_R(\alpha)$ predijo la precisión de manera monótona, mientras que la confianza exhibió patrones no monótonos impulsados por el régimen "sesgado".

Significado y Afirmaciones

El artículo afirma que la entropía de respuesta es una medida de incertidumbre de caja negra más receptiva que la confianza basada en muestreo bajo contexto incompleto.

• Alineación Teórica: La entropía se comporta de acuerdo con el requisito bayesiano de que la incertidumbre debe escalar con la información faltante. La confianza falla sistemáticamente en este requisito, a menudo manteniéndose alta incluso cuando la distribución subyacente es difusa (una condición en la que un imputador adecuado debería señalar una alta incertidumbre).
• Utilidad Práctica: Las métricas propuestas (Entropía y $\rho_R$) no requieren acceso a los internos del modelo (pesos, logits) ni a clasificadores de implicación. Son aplicables a cualquier LLM accesible mediante una API.
• Implicaciones para el Diseño de LLM: Los autores sugieren que el "exceso de confianza" observado en el régimen sesgado puede derivar de la operación softmax, que concentra la masa de probabilidad en la respuesta modal. Proponen que la Correspondencia de Medias Predictivas (PMM) —muestrear de un grupo de donantes implícito en lugar de pasar por softmax— podría producir una incertidumbre mejor calibrada, alineando el comportamiento del LLM con la teoría de imputación adecuada.

El artículo concluye que importar criterios de Imputación Múltiple al entorno de LLM proporciona un estándar inspirado en la teoría para evaluar la incertidumbre, independiente de tareas o modelos específicos, y abre un canal entre la literatura estadística sobre datos faltantes y la investigación sobre incertidumbre en LLM.