Online Conformal Prediction Beyond Feedback

Formulación del Problema: Predicción Conforme en Línea Más Allá de la Retroalimentación

La cuantificación de la incertidumbre es crítica para el despliegue de aprendizaje automático en aplicaciones de seguridad crítica. La Predicción Conforme en Línea (OCP, por sus siglas en inglés) ofrece un marco teóricamente fundamentado para generar conjuntos de predicción que garantizan que la etiqueta verdadera esté incluida con una frecuencia especificada por el usuario, incluso para flujos de datos no i.i.d. y clasificadores de caja negra. Sin embargo, los métodos estándar de OCP dependen de un bucle de retroalimentación: después de emitir un conjunto de predicción, el algoritmo recibe retroalimentación (ya sea la etiqueta verdadera o una señal de cobertura) para ajustar futuros conjuntos, compensando las fallas de cobertura pasadas.

Este artículo aborda un escenario donde dicha retroalimentación no está disponible o es prohibitiva. En muchos escenarios de seguridad crítica, como las sondas latentes para Modelos de Lenguaje de Gran Escala (LLMs), un algoritmo puede necesitar clasificar entradas en categorías de seguridad. Si la sonda se abstiene (consulta a un humano o a un sistema más fuerte), la etiqueta puede estar disponible eventualmente. Sin embargo, para las entradas donde la sonda toma una decisión desplegada, la etiqueta nunca se observa. Esto crea un escenario de "más allá de la retroalimentación": el aprendiz debe elegir entre emitir un conjunto de predicción o consultar la etiqueta correcta, pero no puede hacer ambas cosas. Consecuentemente, el aprendiz nunca observa si un conjunto de predicción desplegado fue correcto, lo que impide los mecanismos de compensación estándar utilizados en los métodos de OCP existentes.

Metodología: OCP con Consultas (OCPQ)

Los autores proponen la Predicción Conforme en Línea con Consultas (OCPQ), un método diseñado para este protocolo de más allá de la retroalimentación. El enfoque procede en dos pasos principales:

1. Reducción al Monitoreo Parcial: El problema se reduce a un juego de monitoreo parcial finito. Las "armas" del juego consisten en un conjunto finito de umbrales de predicción $M \subset [0, 1]$ y una acción de consulta separada.

   • Acción de Predicción: Seleccionar un umbral $m \in M$ genera un conjunto de predicción $\Gamma_C(x_t, m)$ basado en un clasificador de caja negra $C$. Esta acción no produce observación (retroalimentación nula $\perp$) ni recompensa directa.
   • Acción de Consulta: Seleccionar la acción de consulta revela la etiqueta verdadera $y_t$ pero no produce un conjunto de predicción y genera una recompensa de cero.
   • Estructura de Recompensa: El algoritmo define una función de recompensa auxiliar $R(m, t)$. Si la etiqueta verdadera es cubierta por el conjunto de predicción ($y_t \in \Gamma_C(x_t, m)$), la recompensa es $1 - m(1-\beta)$, donde $\beta$ es un parámetro definido por el usuario que controla el compromiso entre cobertura y eficiencia. Si la etiqueta no es cubierta, la recompensa es 0. La acción de consulta siempre genera 0 de recompensa. Esta estructura incentiva al aprendiz a seleccionar umbrales ajustados (pequeños $m$) manteniendo la cobertura.

2. Diseño del Algoritmo: OCPQ adapta el pronosticador de peso exponencial eficiente en etiquetas de Cesa-Bianchi, Lugosi y Stoltz (2004).

   • En cada ronda $t$, el algoritmo realiza una consulta con una probabilidad fija $\epsilon$.
   • Si se realiza una consulta, se observa la etiqueta verdadera $y_t$. El algoritmo luego actualiza las estimaciones de recompensa acumulada $\hat{Z}_{m,t}$ para todos los umbrales $m \in M$ utilizando un esquema de ponderación por probabilidad inversa, reconstruyendo efectivamente la recompensa que habría obtenido si se hubiera realizado una predicción.
   • Si no se realiza una consulta, el algoritmo muestrea un umbral $m_t$ de una distribución ponderada exponencialmente basada en las estimaciones actuales $\hat{Z}_{m,t}$ y emite el conjunto de predicción correspondiente. No se recibe retroalimentación.

Resultados Teóricos

El artículo establece garantías de horizonte finito para OCPQ bajo un flujo de datos adversario olvidadizo de longitud $T$:

• Regret (Arrepentimiento): El arrepentimiento esperado relativo al mejor umbral fijo en retrospectiva es $O(T^{2/3})$. Específicamente, con $\epsilon = T^{-1/3}$ y $\eta = T^{-2/3}\sqrt{\ln|M|}$, el arrepentimiento está acotado por $T^{2/3}(2\sqrt{\ln|M|} + 1)$. Los autores señalan que esta tasa es asintóticamente óptima para esta clase de juegos de monitoreo parcial.
• Cobertura: La tasa de cobertura esperada $p_{cover}$ satisface:
  $$E[p_{cover}] \ge \beta - O(T^{-1/3})$$
  Esto garantiza que la cobertura se aproxime al objetivo $\beta$ definido por el usuario a medida que $T$ aumenta.
• Tasa de Consulta: El algoritmo consulta la etiqueta solo en una fracción esperada de $T^{-1/3}$ de las rondas.
• Límites de Alta Probabilidad: El artículo también deriva límites de alta probabilidad para tanto el arrepentimiento como la cobertura, demostrando que la varianza del desempeño del algoritmo está controlada y no exhibe comportamientos patológicos.

Resultados Empíricos

Se realizaron experimentos en conjuntos de datos del mundo real para validar el enfoque:

• Cambio de Distribución: OCPQ fue probado en benchmarks estándar (MNIST, CIFAR-10, CIFAR-100) donde la distribución de entrenamiento difería de la de prueba (por ejemplo, de MNIST a USPS, o de MNIST a MNIST-C). Los resultados mostraron que el compromiso entre cobertura y eficiencia podía controlarse mediante el parámetro $\beta$. La cobertura empírica superó consistentemente el límite teórico.
• Monitoreo de Seguridad de LLM: El método se aplicó al monitoreo de seguridad para prompts de LLM utilizando el conjunto de datos WildGuardMix, que incluye tanto prompts vanilla como reescritos adversariamente. La precisión del clasificador base cayó significamente en prompts adversarios, sin embargo, OCPQ mantuvo la cobertura por encima del límite teórico mientras mantenía conjuntos de predicción informativos.
• Comparación: Al compararse con ACI (Inferencia Conforme Adaptativa), que asume retroalimentación completa, OCPQ logró fronteras de cobertura-eficiencia comparables a pesar de utilizar significativamente menos información (consultando solo aproximadamente el 5% de las rondas).

Significancia y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Nuevo Protocolo: Formula la OCP en un escenario de "más allá de la retroalimentación" donde las predicciones desplegadas nunca son evaluadas, un escenario común en aplicaciones de seguridad crítica donde las etiquetas solo están disponibles para consultas de abstención.
2. Reducción Algorítmica: Reduce este problema a un juego de monitoreo parcial y adapta técnicas de aprendizaje adversario eficientes en etiquetas para resolverlo, específicamente modificando el pronosticador para tratar las consultas como acciones distintas que reemplazan, en lugar de seguir a las predicciones.
3. Garantías Teóricas: Proporciona garantías de arrepentimiento esperado y cobertura de horizonte finito para OCP en este escenario, mostrando que la cuantificación de la incertidumbre válida es posible con solo $O(T^{-1/3})$ consultas de etiquetas.
4. Efectividad Práctica: Los experimentos demuestran que la supervisión dispersa (consultas aleatorias) es suficiente para mantener coberturas útiles y compromisos de eficiencia, incluso bajo cambios de distribución adversarios, sin requerir retroalimentación de los conjuntos de predicción desplegados.

Los autores señalan que, aunque el método es conservador (la cobertura empírica a menudo excede el límite), esto es consecuencia de los supuestos débiles requeridos para la formulación del juego de monitoreo parcial. El trabajo futuro podría explorar métodos menos conservadores o extensiones a adversarios adaptativos.