Resumen Técnico: Cascada Conforme (Conformal Cascade)

Planteamiento del Problema

El despliegue de Modelos de Lenguaje Extensos (LLMs) a escala requiere un equilibrio entre la calidad de la inferencia y el costo. Las cascadas de LLMs abordan esto mediante el enrutamiento de consultas a un modelo pequeño y económico primero, escalando a un modelo más grande y capaz solo cuando es necesario. Sin embargo, las cascadas de producción actuales dependen de umbrales de confianza (por ejemplo, probabilidad softmax, acuerdo de autoconsistencia) para tomar decisiones de aplazamiento. Estos enfoques sufren tres limitaciones críticas:

1. Miscalibración: Los puntajes de confianza de los LLMs están notoriamente mal calibrados, particularmente en tareas de razonamiento intensivo, lo que significa que una alta confianza no se correlacionó de manera confiable con la corrección.
2. Falta de Garantías Formales: Ninguna configuración de un umbral de confianza $\theta$ proporciona un límite formal y libre de distribución sobre la precisión de la cascada. La tasa de error realizada depende de la distribución conjunta desconocida de las consultas y las confianzas.
3. Sobrecarga de Ajuste (Tuning): Los profesionales deben realizar búsquedas empíricas de umbrales para cada nuevo par de modelos, dominio o distribución de dificultad para cumplir con una tasa de error objetivo, ya que no existe un mapeo analítico de un presupuesto de error a un valor de umbral.

Metodología: Cascada Conforme (CC)

Los autores proponen la Cascada Conforme (CC), un marco de inferencia de múltiples niveles que reemplaza los umbrales de confianza con conjuntos de predicción conforme. El mecanismo central opera de la siguiente manera:

1. Calificación de No Conformidad

En lugar de usar puntajes de confianza brutos, la CC utiliza una calificación de no conformidad basada en la frecuencia derivada de la decodificación de autoconsistencia. Para un nivel $k$ dado y una consulta $x$, el modelo genera $N$ muestras independientes. Para cada respuesta candidata $a$ en el conjunto finito de respuestas $A(x)$, la calificación se define como:
$$s_k(x, a) = 1 - \frac{|\{i : \hat{y}^{(k)}_i = a\}|}{N}$$
Las respuestas muestreadas con frecuencia reciben puntajes bajos (alta conformidad), mientras que las respuestas raras reciben puntajes altos. Este enfoque requiere solo acceso a la API de caja negra y reutiliza las muestras generadas para la autoconsistencia.

2. Calibración por Nivel

Utilizando un conjunto de calibración de reserva $D_{cal}$, se calcula un umbral $\hat{q}_k$ para cada nivel $k$ para satisfacer un nivel de infracción de cobertura (miscoverage) $\alpha$ especificado por el usuario. El umbral se establece como el cuantil $(1-\alpha)$ de los puntajes de no conformidad en los datos de calibración. El conjunto de predicción para una nueva consulta es:
$$C_k(x) = \{a \in A : s_k(x, a) \leq \hat{q}_k\}$$
Por las propiedades de la predicción conforme dividida (split conformal prediction), este conjunto garantiza que la respuesta verdadera esté contenida dentro de $C_k(x)$ con una probabilidad de al menos $1-\alpha$ (cobertura marginal).

3. Regla de Aplazamiento (Deferral Rule)

La decisión de aplazamiento es impulsada por el tamaño del conjunto de predicción conforme, no por un valor de confianza:

• Aceptar: Si el tamaño del conjunto $|C_k(x)| \leq \kappa$ (donde $\kappa \geq 1$ es un parámetro de aceptación, por defecto $\kappa=1$), la cascada se compromete con la respuesta más frecuente en el conjunto.
• Aplazar: Si $|C_k(x)| > \kappa$, la consulta se escala al siguiente nivel.
• Respaldo (Fallback): Si el nivel final no logra producir un conjunto de tamaño $\leq \kappa$, la cascada devuelve la respuesta más frecuente de las muestras del nivel final.

Crucialmente, el aplazamiento en sí mismo no puede causar un error; los errores solo ocurren tras la aceptación. Esta estructura permite que las garantías por nivel se compongan en una garantía de nivel de cascada.

Contribuciones Clave

1. Marco Teórico: Los autores formulan la CC para un número arbitrario de $K$ niveles y demuestran un límite de cobertura a nivel de cascada (Teorema 2). En el peor de los casos, la probabilidad de que la cascada acepte una respuesta incorrecta está acotada por $K\alpha$. Bajo una condición de "preservación de selección" (Asunción 3), esto se ajusta a $\alpha$.
2. Caracterización Costo-Precisión: El artículo deriva una expresión de forma cerrada para el costo de inferencia esperado como una función de $\alpha$ y la tasa de aceptación del conjunto de calibración (Teorema 4). Esto permite a los profesionales intercambiar explícitamente el presupuesto de error frente al costo computacional.
3. Validación Empírica: Una evaluación extensa a través de 18 benchmarks de opción múltiple (que cubren ciencia, medicina, sentido común y exámenes) y cuatro familias de modelos de pesos abiertos (Llama, Gemma, Ministral, Phi) demuestra que la CC supera estrictamente a las cascadas heurísticas de calibración más fuertes en la mayoría de los pares de modelo-benchmark.

Resultados Experimentales

• Ganancias de Precisión: La CC mejora respecto a las mejores líneas base heurísticas (incluyendo acuerdo, entropía y estrategias de aplazamiento aleatorio) en 49 de 72 pares de modelo-benchmark. Las ganancias más significativas ocurren en benchmarks con alto contenido de razonamiento (por ejemplo, GPQA-Diamond, MathQA, MedMCQA) donde el voto mayoritario es poco confiable. Por ejemplo, en Phi/GPQA-Diamond, la CC logra una ganancia de +4.3 puntos porcentuales.
• Eficiencia: En benchmarks más fáciles donde el modelo pequeño es confiable, la CC compromete la gran mayoría de las consultas al modelo pequeño sin costo de precisión, reduciendo significativamente el costo de inferencia esperado en comparación con siempre aplazar o usar bases fuertes.
• Garantías de Cobertura: Las tasas de infracción de cobertura observadas generalmente caen entre los límites estrictos de $\alpha$ y el peor caso de $K\alpha$. Por ejemplo, con $\alpha=0.10$ y $K=2$, la infracción de cobertura observada fue a menudo cercana a 0.10, manteniéndose bien dentro del límite teórico de $0.20$.
• Frontera de Pareto: La CC domina a los métodos heurísticos en la frontera de Pareto costo-precisión. Al ajustar el parámetro de aceptación $\kappa$, la CC puede desbloquear puntos operativos más económicos manteniendo la garantía conforme, un compromiso no alcanzable por los umbrales de confianza fijos.

Significado y Reivindicaciones

El artículo afirma que la Cascada Conforme proporciona la primera garantía de precisión de muestra finita y libre de distribución para la inferencia de múltiples niveles de LLM. A diferencia de los métodos anteriores que dependen de puntajes de confianza mal calibrados y requieren un ajuste extensivo por despliegue, la CC ofrece:

• Interpretabilidad: El hiperparámetro $\alpha$ corresponde directamente al presupuesto de error del usuario.
• Compatibilidad de Caja Negra: No requiere entrenamiento del modelo, ni acceso a log-probabilidades, y solo requiere el muestreo estándar de la API.
• Robustez: Maneja eficazmente el problema de la calibración al acotar la cobertura a nivel de conjunto en lugar de intentar reescalar los puntajes de confianza.

Los autores señalan que el método está actualmente limitado a tareas con conjuntos de respuestas finitos y extraíbles (por ejemplo, opción múltiple). La extensión a la generación de texto abierto mediante el agrupamiento de respuestas (clustering) se identifica como trabajo futuro. Además, la garantía es marginal (sobre la distribución de los datos) en lugar de condicional a la dificultad de la consulta, y el marco asume la intercambiabilidad entre los datos de calibración y los de prueba, lo que requiere una recalibración en línea ante cambios en las covariables.