Resumen Técnico: PASC (Predicción Conformal Consciente del Pipeline)

1. Declaración del Problema

Los sistemas modernos de Procesamiento del Lenguaje Natural (PLN) y Modelos de Lenguaje Grandes (LLM) se despliegan cada vez más como pipelines de múltiples etapas (por ejemplo, Reconocimiento de Entidades Nombradas $\to$ Desambiguación de Entidades $\to$ Tipificación de Entidades, o cadenas de Planificador $\to$ Herramienta $\to$ Crítico). Un desafío crítico en estos sistemas es la Cuantificación de la Incertidumbre de Extremo a Extremo (E2E).

Aunque las etapas individuales pueden calibrarse para proporcionar garantías de cobertura marginal (por ejemplo, $P(\text{etapa}_k \text{ cubierta}) \ge 1-\alpha$), estas garantías no se traducen al pipeline en su conjunto.

• Calibración Independiente: Calibrar cada etapa al nivel $1-\alpha$ de forma independiente resulta en una probabilidad de cobertura conjunta de como máximo $(1-\alpha)^K$ (bajo independencia), lo cual se degrada significativamente a medida que aumenta el número de etapas $K$. Para $K=3$ y $\alpha=0.1$, la cobertura conjunta cae a $\approx 72.9\%$, muy por debajo del objetivo del $90\%$.
• Corrección de Bonferroni: Aplicar un límite de unión calibrando cada etapa a $1-\alpha/K$ garantiza la cobertura conjunta ($\ge 1-\alpha$), pero es excesivamente conservadora. Asigna presupuestos de error de manera uniforme independientemente de la dificultad de la etapa, lo que conduce a conjuntos de predicción innecesariamente grandes (sobre-cobertura) en etapas fáciles sin ganancias proporcionales en la fiabilidad conjunta.
• Alternativas Existentes: Métodos como MC Dropout o Deep Ensembles proporcionan estimaciones heurísticas de incertidumbre, pero carecen de garantías finitas, libres de distribución, y a menudo ignoran las dependencias entre etapas.

El problema central es la falta de un método que proporcione una garantía formal, de muestra finita y libre de distribución de cobertura conjunta para todo el pipeline, manteniendo al mismo tiempo la eficiencia (es decir, sin inflar innecesariamente los tamaños de los conjuntos de predicción).

2. Metodología: PASC

Los autores proponen PASC (Predicción Conformal Dividida Consciente del Pipeline), un método que reduce el problema de calibración conjunta de múltiples etapas a un problema estándar de predicción conformal escalar.

Idea Clave

El evento "todas las $K$ etapas están cubiertas simultáneamente" es matemáticamente equivalente al evento "la puntuación de no conformidad máxima a través de todas las etapas no supera un umbral".
$$\bigcap_{k=1}^K \{s_k \le q\} \iff \left\{ \max_{k} s_k \le q \right\}$$
donde $s_k$ es la puntuación de no conformidad de la etapa $k$.

Algoritmo

1. Definición de Puntuación: Para una muestra del pipeline, calcule las puntuaciones de no conformidad por etapa ($s_1, \dots, s_K$).
   • REN: $s_{REN} = \max_t (1 - p_{BIO, t})$ (probabilidad softmax).
   • DNE: $s_{DNE} = 1 - \text{puntuación}(e^*)$ (puntuación de la entidad mejor clasificada).
   • Tipificación de Entidades: $s_{tipificación} = 1 - \max_c \min_{\text{rango}} p_{RoBERTa}$.
2. Puntuación Máxima Conjunta: Calcule la puntuación máxima escalar para cada muestra: $s_{\max} = \max_k s_k$.
3. Calibración: Utilizando un conjunto de calibración, calcule el cuantil conformal $\hat{q}$ de la distribución de $s_{\max}$ al nivel $1-\alpha$.
4. Predicción: Para una entrada de prueba, calcule las puntuaciones por etapa. El pipeline se acepta si $s_{\max} \le \hat{q}$. El conjunto de predicción para cada etapa $k$ es $C_k(x) = \{y_k : s_k(x, y_k) \le \hat{q}\}$.

Garantía Teórica

Bajo el supuesto de intercambiabilidad entre los datos de calibración y prueba, PASC proporciona una garantía de cobertura conjunta, de muestra finita y libre de distribución:
$$P\left( \bigcap_{k=1}^K \{s_k(x_{n+1}, y_{k,n+1}) \le \hat{q}\} \right) \ge 1 - \alpha$$
La garantía es casi ajustada, acotada por $1 - \alpha + \frac{1}{n+1}$. A diferencia de Bonferroni, que utiliza un límite de unión del peor caso, PASC se adapta a la distribución conjunta empírica de las puntuaciones, asignando automáticamente presupuestos más ajustados a las etapas "fáciles" (puntuaciones bajas) y presupuestos más laxos a las etapas "difíciles".

3. Contribuciones Clave

1. Algoritmo PASC: Un procedimiento de calibración consciente del pipeline que reduce la cobertura conjunta de múltiples etapas a un único cálculo de cuantil escalar sobre la puntuación máxima de no conformidad conjunta.
2. Garantía Formal: Un teorema que prueba la cobertura conjunta de muestra finita y libre de distribución ($\ge 1-\alpha$) bajo intercambiabilidad, con un resultado de ajuste casi óptimo.
3. Evaluación Exhaustiva: Experimentos en tres escenarios de desplazamiento (distribución interna, REN de Twitter, REN de Wikipedia), variando los tamaños de calibración y escalando desde $K=1$ hasta $K=6$ etapas.
4. Pruebas de Cordura: Pruebas de permutación y controles negativos que confirman que la validez no es un artefacto de errores de implementación, filtración de datos o umbrales excesivamente amplios.

4. Resultados Experimentales

Los autores evaluaron PASC en un pipeline de tres etapas (REN $\to$ DNE $\to$ Tipificación de Entidades) utilizando los conjuntos de datos CoNLL-2003, WNUT-17 y WikiNEuRal.

• Cobertura vs. Eficiencia: Con $\alpha=0.1$ y $K=3$:
  • PASC: Logró una cobertura E2E del 96.4%.
  • Bonferroni: Logró una cobertura E2E del 93.4%.
  • CP Independiente: Logró una cobertura E2E del 86.5%.
  • Crucialmente, todos los métodos mantuvieron un tamaño promedio de conjunto de predicción idéntico de 1.083, demostrando la superior eficiencia de PASC en la conversión de la probabilidad de cobertura en tamaño del conjunto.
• Desplazamiento de Distribución: Cuando se calibró en CoNLL-2003 y se probó en dominios desplazados (WNUT-17, WikiNEuRal):
  • La CP Independiente colapsó a una cobertura del 59.0%.
  • PASC y Bonferroni mantuvieron una cobertura del 100% (debido a umbrales conservadores que proporcionan un amortiguador contra el desplazamiento).
• Escalado a $K$ Etapas: En experimentos sintéticos escalando a $K=6$:
  • La cobertura de la CP Independiente cayó a 0.53 (colapso multiplicativo).
  • PASC permaneció cerca de la cobertura objetivo, evitando el decaimiento multiplicativo.
• Cobertura Condicional: PASC mostró ventajas significativas en subpoblaciones "difíciles" (por ejemplo, el quintil de confianza de REN más difícil), logrando una cobertura del 82.0% en comparación con el 67.0% de Bonferroni y el 30.0% de la CP Independiente.
• Tiempo de Ejecución: La calibración de PASC es 1.7$\times$ más rápida que la de Bonferroni y la CP Independiente porque requiere calcular solo un cuantil en lugar de $K$.

5. Significado y Afirmaciones

El artículo afirma que PASC aborda una brecha fundamental en el despliegue de sistemas de PLN de múltiples etapas:

• Certificación Directa: A diferencia de la CP Independiente (que certifica etapas locales pero falla globalmente) o Bonferroni (que garantiza globalmente pero paga un "impuesto de conservadurismo"), PASC certifica directamente el evento de interés desplegado exacto (aceptación conjunta).
• Reducción Mínima: La reducción de un problema de múltiples etapas a un problema escalar es matemáticamente simple (usando el máximo), pero representa la escalarización monótona suficiente mínima para el evento de aceptación conjunta.
• Aplicabilidad Práctica: El método es inmediatamente aplicable a cualquier pipeline de múltiples etapas (incluyendo sistemas compuestos de LLM y flujos de trabajo de agentes) sin requerir modificación del modelo ni sobrecarga de inferencia pesada.
• Robustez: Si bien las garantías teóricas dependen de la intercambiabilidad, los resultados empíricos sugieren que PASC mantiene la cobertura bajo desplazamiento de distribución mejor que la CP Independiente, aunque los autores señalan que extender esto a CP ponderada para un manejo robusto del desplazamiento es trabajo futuro.

Los autores posicionan a PASC no como un reemplazo para la calibración específica de etapas, sino como la capa de agregación necesaria que asegura la fiabilidad de la salida de todo el pipeline, que es la métrica que importa para la toma de decisiones aguas abajo en aplicaciones de alto riesgo.