Resumen Técnico: Desentrañando la Ambigüedad de la Inestabilidad en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

El despliegue de Modelos de Lenguaje de Gran Escala (LLMs) para aplicaciones clínicas de Text-to-SQL enfrenta una barrera crítica: el riesgo de generar consultas sintácticamente correctas pero semánticamente erróneas. Un desafío primordial es la ambigüedad latente, donde las consultas de entrada contienen incertidumbres implícitas (por ejemplo, "pacientes mayores de 18 años" refiriéndose a la edad al momento del diagnóstico frente a la edad actual) que alteran significativamente los resultados pero no son evidentes para el usuario.

Los métodos actuales de cuantificación de la incertidumbre, como la Entropía de Lenguaje de Kernel (KLE), proporcionan una puntuación única para medir la diversidad de la salida. Sin embargo, este enfoque amalgama dos fuentes fundamentalmente distintas de incertidumbre:

1. Ambigüedad de Entrada (tipo Aleatoria): Diversidad derivada de la ambigüedad inherente de la consulta del usuario, que legítimamente produce múltiples interpretaciones válidas.
2. Inestabilidad del Modelo (tipo Epistémica): Diversidad derivada de la inconsistencia interna del modelo o de su falta de conocimiento al procesar una interpretación única y clara.

Esta amalgama obstaculiza el despliegue efectivo del sistema. Una alta ambigüedad debería activar un diálogo de aclaración con el usuario, mientras que una alta inestabilidad debería marcar la consulta para revisión humana. Los métodos existentes no pueden distinguir entre estos regímenes, lo que impide intervenciones dirigidas.

Metodología: El Marco CLUES

Los autores proponen CLUES (Conditional Language Uncertainty via Entropy and Schur), un marco que modela el Text-to-SQL como un proceso generativo de dos etapas para descomponer la incertidumbre semántica.

1. Proceso Generativo de Dos Etapas

El sistema se formaliza como:

• Etapa de Interpretación: El sistema genera $N$ interpretaciones semánticas distintas ($I = \{I_1, ..., I_N\}$) que representan lecturas plausibles de la consulta original.
• Etapa de Generación: Para cada interpretación $I_n$, el sistema genera $M$ consultas SQL candidatas y sus respuestas correspondientes ($R_n = \{R_{n,1}, ..., R_{n,M}\}$).
  Esta estructura crea una relación bipartita donde la diversidad entre interpretaciones representa la ambigüedad, y la diversidad dentro de una sola interpretación representa la inestabilidad.

2. Construcción de un Grafo Semántico Bipartito

Se utiliza una función de similitud $k(\cdot, \cdot)$ para construir una matriz de adyacencia ponderada $W$ para todo el sistema, estructurada como un grafo bipartito:
$$W = \begin{pmatrix} W_{II} & W_{IR} \\ W_{RI} & W_{RR} \end{pmatrix}$$

• $W_{II}$: Codifica la similitud semántica entre interpretaciones.
• $W_{RR}$: Codifica la similitud semántica entre todas las respuestas generadas.
• $W_{IR}/W_{RI}$: Matrices de asignación binaria que vinculan las respuestas con su interpretación parental.

Se aplica un kernel de difusión de calor ($K_\tau = e^{-\tau L}$) para suavizar estas similitudes, donde $\tau$ controla la granularidad del agrupamiento (clustering).

3. Descomposición mediante el Complemento de Schur

La innovación central es la descomposición de la incertidumbre total en una Puntuación de Ambigüedad ($H_I$) y una Puntuación de Inestabilidad ($H_{R|I}$).

• Ambigüedad ($H_I$): Calculada como la entropía de la matriz de interpretación $W_{II}$ utilizando el marco KLE.
• Inestabilidad ($H_{R|I}$): Definida como la entropía condicional de los resultados dadas las interpretaciones. Los autores rechazan el enfoque de resta simple ($H_{R,I} - H_I$) porque viola la regla de la cadena para la entropía de von Neumann en matrices de densidad de kernel de calor y frecuentemente produce valores negativos.
• Solución del Complemento de Schur: En lugar de la resta, el marco calcula directamente la estructura de similitud condicional:
  $$S = W_{RR} - W_{RI}(W_{II} + \epsilon I)^{-1}W_{IR}$$
  La matriz $S$ representa la similitud residual en las respuestas que no puede explicarse por la estructura de la interpretación. La entropía de $S$ produce $H_{R|I}$. Este enfoque garantiza puntuaciones no negativas y aísla matemáticamente la inconsistencia interna del sistema.

4. Regímenes de Incertidumbre

El marco define cuatro regímenes operativos basados en umbrales para $H_I$ y $H_{R|I}$:

• Regimen I (Confiable): Baja ambigüedad, baja inestabilidad $\rightarrow$ Respuesta automática.
• Regimen II (Ambigüedad): Alta ambigüedad, baja inestabilidad $\rightarrow$ Activar diálogo de aclaración.
• Regimen III (Inestabilidad): Baja ambigüedad, alta inestabilidad $\rightarrow$ Marcar para revisión humana.
• Regimen IV (Compuesto): Alta ambigüedad, alta inestabilidad $\rightarrow$ Aclaración + Revisión.

Contribuciones Clave

1. Marco CLUES: Un método agnóstico al modelo para descomponer la incertidumbre semántica en ambigüedad e inestabilidad condicional utilizando el complemento de Schur de un grafo semántico bipartito.
2. Conjunto de Datos Clínicos y Procedimiento: Un procedimiento de interpretación-generación para preguntas epidemiológicas y un benchmark de Text-to-SQL clínico que presenta múltiples interpretaciones válidas para consultas conocidas.
3. Validación Empírica: Evidencia que demuestra que $H_{R|I}$ mejora la predicción de fallos respecto al estado del arte de KLE ($H_R$) y permite un triaje de errores efectivo mediante el enrutamiento basado en regímenes.

Resultados Experimentales

QA de Dominio Abierto (AmbigQA y SituatedQA)

Utilizando interpretaciones de estándar de oro (gold-standard), CLUES fue evaluado en cinco LLMs de frontera.

• Predicción de Fallos: La puntuación de inestabilidad $H_{R|I}$ superó consistentemente a la línea base $H_R$ en la predicción de fallos (mejoras de AUROC de +0.074 a +0.077 en datos agrupados).
• Discriminación de Regímenes: Entre las consultas con alta diversidad de salida (alta $H_R$), aquellas con baja inestabilidad ($H_{R|I}$) tuvieron una precisión significativamente mayor que aquellas con alta inestabilidad. Por ejemplo, en SituatedQA, la precisión cayó de 46.8% (Regimen A) a 13.3% (Regimen B), una diferencia estadísticamente significativa (razón de momios ~5.7).
• Fallo de la Resta Naive: El enfoque de resta simple ($\tilde{H}_{R|I}$) produjo valores negativos en el 37–60% de los casos y tuvo un rendimiento cercano al azar, validando la necesidad del complemento de Schur.

Text-to-SQL Clínico (Interpretaciones Conocidas)

Evaluado en un conjunto de datos derivado de EHRSQL y EpiAskKB con 2,180 instancias de consulta-modelo.

• Rendimiento: $H_{R|I}$ alcanzó un AUROC agrupado de 0.762 comparado con 0.600 para $H_R$ (p < $10^{-10}$).
• Robustez: La puntuación de inestabilidad se mantuvo estable a través de diferentes parámetros de kernel de calor ($\tau \in [2, 20]$), mientras que la línea base $H_R$ se degradó significativamente en valores de $\tau$ más altos.
• Sensibilidad a la Temperatura: Temperaturas de muestreo moderadas (T=1.0–1.5) produjeron las señales de inestabilidad más fuertes, sugiriendo que una mayor diversidad expone la inestabilidad latente del modelo.

Entorno de Despliegue (Interpretaciones Generadas)

En un entorno de producción similar, donde las interpretaciones se generan sobre la marcha (no proporcionadas como etiquetas de oro):

• Precisión: Los modelos alcanzaron una alta precisión (84–100%), resultando en errores dispersos (tasa de error del 4.4%).
• Eficiencia de Regímenes: Aunque el AUROC de puntuación única no fue significativamente diferente entre $H_R$ y $H_{R|I}$ en este régimen disperso, el análisis de regímenes resultó valioso. El Regimen IV (Alta Ambigüedad + Alta Inestabilidad) contuvo el 51% de todos los errores mientras cubría solo el 25% de las consultas.
• Enrutamiento: Una estrategia que enruta solo el Regimen IV a revisión humana capturaría la mitad de todos los fallos revisando solo una cuarta parte de las consultas, duplicando la eficiencia de la selección aleatoria.

Significado y Reivindicaciones

El artículo afirma que CLUES proporciona una descomposición diagnóstica no disponible desde las métricas de puntuación única. Al distinguir entre la ambigüedad de entrada y la inestabilidad del modelo, el marco permite intervenciones dirigidas:

• Aclaración para consultas de alta ambigüedad.
• Revisión Humana para consultas de alta inestabilidad.

Los autores enfatizan que esta distinción es operativamente crítica en dominios de seguridad crítica como el acceso a registros clínicos electrónicos (EHR), donde los resultados "plausibles pero incorrectos" plantean riesgos significativos. El marco está diseñado para ser agnóstico al modelo, requiriendo solo el muestreo de la salida, y ofrece un enfoque matemático fundamentado para la incertidumbre que evita los problemas de la resta de entropía simple.

Los autores señalan modestamente limitaciones, incluyendo el costo computacional de múltiples llamadas a LLMs por consulta y la dependencia de la calidad de las interpretaciones generadas. También reconocen que en entornos de despliegue de alta precisión, la tasa de error dispersa limita el poder discriminativo de las señales de incertidumbre de grano fino, aunque el enrutamiento basado en regímenes sigue ofreciendo ganancias de eficiencia sobre la selección aleatoria.