Resumen Técnico: ¿Cuándo puede el Control de Riesgo Conformal certificar las salidas de los LLM?

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) se están desplegando cada vez más para tareas de generación estructurada —como Reconocimiento de Entidades Nombradas (NER), extracción de JSON, Respuesta a Preguntas (QA) y clasificación— donde las salidas deben adherirse a un esquema específico y pueden evaluarse frente a una verdad de referencia. Sin embargo, estos modelos carecen de garantías formales de fiabilidad. Los métodos estándar de cuantificación de la incertidumbre (p. ej., probabilidades de tokens, umbrales de entropía) suelen estar mal calibrados para pérdidas estructuradas, y las políticas de abstención heurísticas frecuentemente no alcanzan los objetivos de riesgo especificados por el usuario en un 7.5–12.5%.

El problema central abordado es determinar cuándo el Control de Riesgo Conformal (CRC) puede certificar formalmente que las salidas estructuradas de un LLM cumplen con un objetivo de riesgo $\alpha$ definido por el usuario (p. ej., "tasa de error $\le 10\%$"), y cuándo dicha certificación es demostrablemente imposible independientemente del método utilizado.

2. Metodología

2.1. Configuración del Problema

Los autores definen un predictor selectivo que emite una predicción $\hat{y}$ si una puntuación de confianza $s(x, \hat{y}) \ge \lambda$ y se abstiene en caso contrario. El objetivo es encontrar un umbral $\lambda^*$ tal que el riesgo condicional satisfaga:
$$E[R_{task}(\hat{Y}, Y) \mid s(X) \ge \lambda^*] \le \alpha$$
con una probabilidad $\ge 1-\delta$, donde $R_{task}$ es un riesgo específico de la tarea (p. ej., $1 - F_1$ para NER, $1 - \text{Exact Match}$ para QA).

2.2. Jerarquía de Certificación

El artículo analiza una jerarquía de límites utilizados para seleccionar $\lambda^*$:

1. Límite de Hoeffding: El límite superior de confianza (UCB) estándar que ignora la varianza.
2. Límite de Bernstein Empírico: Incorpora la varianza de la muestra $\hat{\sigma}^2$, proporcionando límites más ajustados cuando la varianza es baja ($\hat{\sigma}^2 < 1/4$).
3. e-CRC (Basado en Apuestas): Utiliza un marco de prueba mediante apuestas (e-values) para construir un proceso de riqueza. Este se adapta totalmente a la distribución empírica mediante apuestas secuenciales, ofreciendo el límite más ajustado, particularmente en regímenes de escasez de datos.

Los autores demuestran un orden estricto de los umbrales certificados: $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$.

2.3. Resultado de Imposibilidad (Prueba de Factibilidad)

Una contribución teórica central es un límite inferior en forma cerrada sobre la abstención. Los autores demuestran que si el riesgo base $\mu = E[R]$ del modelo en la población de despliegue supera el objetivo $\alpha$, cualquier método libre de distribución debe abstenerse en al menos una fracción de los ejemplos:
$$\text{Abstención} \ge \frac{\mu - \alpha}{1 - \alpha}$$
Esto sirve como una prueba de factibilidad: si $\mu > \alpha$, la certificación solo es posible rechazando una parte significativa de las entradas.

2.4. Inferencia Conformal Adaptativa (ACI)

Para abordar el cambio de distribución (donde la distribución de prueba difiere del conjunto de calibración), el artículo evalúa ACI. Este método actualiza el umbral en línea basándose en el riesgo observado:
$$\lambda_{t+1} = \lambda_t + \gamma(r_t - \alpha)$$
Esto proporciona control asintótico bajo el cambio, aunque no ofrece garantías de muestra finita.

2.5. Fusión de Puntuaciones (Score Fusion)

Los autores proponen aprender una puntuación de confianza fusionada $\tilde{s}(x)$ mediante regresión logística en datos de calibración disjuntos, combinando múltiples señales (p. ej., Autoconsistencia, Margen de Token, Entropía Semántica). Demuestran que si la función de fusión es fija e independiente de la muestra de calibración de CRC, la garantía de validez de CRC se preserva.

3. Principales Contribuciones

1. Resultado de Imposibilidad y Caracterización de Factibilidad: El artículo establece que cuando el riesgo base $\mu > \alpha$, ningún método libre de distribución puede certificar las salidas sin abstenerse en $\ge (\mu - \alpha)/(1 - \alpha)$ de los ejemplos. Esto proporciona una verificación previa al despliegue para determinar si un objetivo de riesgo es alcanzable.
2. Jerarquía de Certificación: Los autores establecen y verifican empíricamente la jerarquía $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$. Demuestran que pasar de Hoeffding a Bernstein produce la mayor ganancia (+37% más configuraciones certificadas) en regímenes de baja varianza, mientras que e-CRC aporta un valor crítico cuando los datos de calibración son escasos (10% de certificación con 20% de datos frente al 0% para Hoeffding).
3. Adaptación al Cambio: El estudio valida ACI bajo transferencia de conjuntos de datos, demostrando una reducción en las violaciones del objetivo de riesgo del 71% (CRC estático) al 21%. Los fallos residuales ocurren precisamente donde el límite de imposibilidad predice que se requiere una fuerte abstención.
4. Benchmark Empírico: Una evaluación exhaustiva a través de seis modelos de pesos abiertos (3B–72B de parámetros), ocho conjuntos de datos, cuatro tareas y seis puntuaciones de no conformidad. El estudio encuentra que las configuraciones difíciles de NER/QA/CLS suelen ser no certificables con un $\alpha=0.10$ estricto, pero relajar $\alpha$ a 0.30–0.40 desbloquea la certificación práctica (47% NER, 40% QA, 60% CLS).

4. Resultados

• Miscalibración: Los LLM exhiben una descalibración significativa para tareas estructuradas. Mientras que la confianza promedio es alta (74–97%), el riesgo real varía ampliamente (3% para JSON a 80% para NQ Open QA).
• Límites de Factibilidad: Con $\alpha=0.10$, las tasas de certificación para NER/QA/CLS son cercanas a cero porque $\mu \gg \alpha$. Por ejemplo, NQ Open QA tiene $\mu \approx 0.80$, lo que requiere $\ge 78\%$ de abstención para cumplir con un objetivo de riesgo del 10%.
• Rendimiento de los Límites:
  • Hoeffding: Certifica el 8.7% de las configuraciones.
  • Bernstein: Certifica el 11.9% (+37% de ganancia sobre Hoeffding).
  • e-CRC: Certifica el 12.2%, con la ventaja más significativa en regímenes de pocos datos.
  • Todos los métodos mantienen tasas de violación cercanas a cero entre las configuraciones certificadas.
• Escalado del Modelo: El aumento del tamaño del modelo reduce el riesgo base $\mu$. Para CoNLL NER, $\mu$ cae de 0.42 (3B) a 0.24 (72B), permitiendo la certificación a $\alpha=0.25$ para modelos de 72B donde los de 14B fallan.
• Fusión de Puntuaciones: La fusión calibrada mejora el AUROC en el 89% de las configuraciones, con las mayores ganancias en tareas de clasificación y NER donde las puntuaciones individuales son más débiles.

5. Significado y Reivindicaciones

El artículo afirma proporcionar una caracterización orientada al despliegue en lugar de simplemente un nuevo primitivo conformal. Su principal significación radica en cambiar la pregunta del profesional de "¿Qué límite es más ajustado?" a "¿Es la certificación factible?".

• Factibilidad Primero: El límite de imposibilidad permite a los profesionales calcular la abstención mínima requerida antes de ejecutar cualquier procedimiento de CRC. Si la abstención requerida es inaceptable, el artículo sugiere escalar el modelo, relajar el objetivo de riesgo $\alpha$ o aceptar una fuerte abstención.
• Receta Práctica: Los autores proponen un marco de despliegue de tres pasos:
  1. Verificar Factibilidad: Calcular $\mu$; si $\mu > \alpha$, calcular el suelo de abstención.
  2. Seleccionar Límite y Puntuación: Usar Bernstein o e-CRC (nunca Hoeffding) y emplear la fusión de puntuaciones o la Autoconsistencia.
  3. Mitigar el Cambio: Desplegar ACI si la distribución de prueba puede diferir de la de calibración.
• Expectativas Realistas: El trabajo aclara que para tareas difíciles (alto $\mu$) y objetivos estrictos (bajo $\alpha$), la certificación está inherentemente limitada por el rendimiento base del modelo, no por el método estadístico. Relajar $\alpha$ a niveles realistas (p. ej., 0.30–0.40) hace que la certificación sea práctica para muchas tareas estructuradas.

El artículo concluye que, si bien el CRC proporciona garantías formales, su utilidad está limitada por el compromiso fundamental entre el riesgo base y el riesgo objetivo, una restricción que ningún límite estadístico puede superar.