Conformal Selective Prediction with General Risk Control

Este artículo presenta SCoRE, un nuevo marco basado en inferencia conforme y valores-e que permite la predicción selectiva con control de riesgo riguroso y sin supuestos de modelado para cualquier modelo de IA, garantizando la fiabilidad en aplicaciones críticas como el descubrimiento de fármacos y la salud.

Lo esencial

¡Claro que sí! Imagina que tienes un asistente de inteligencia artificial (IA) muy inteligente, pero a veces, como cualquier ser humano, se equivoca o tiene dudas. El problema es que en situaciones importantes (como diagnosticar una enfermedad, descubrir un nuevo medicamento o generar un informe médico), no podemos permitirnos confiar ciegamente en cada respuesta que da.

Aquí es donde entra el trabajo de Tian Bai y Ying Jin con su nuevo método llamado SCoRE. Vamos a explicarlo con una analogía sencilla.

🍎 La Analogía: El Inspector de Manzanas

Imagina que eres un inspector de calidad en una granja de manzanas. Tienes un robot (la IA) que te dice qué manzanas están maduras y listas para vender.

1. El Problema: El robot es bueno, pero no perfecto. A veces dice que una manzana verde está lista (un error). Si vendemos todas las manzanas que el robot aprueba, terminaremos vendiendo muchas verdes y arruinando nuestra reputación.
2. La Solución Antigua (Selección Selectiva): Antes, los métodos decían: "Si el robot está muy seguro, vende la manzana; si no, tírala". Pero esto tenía un fallo: si el robot se equivocaba y estaba "muy seguro" de una manzana verde, igual la vendíamos. No había una garantía matemática de que el error fuera bajo.
3. La Nueva Solución (SCoRE): SCoRE actúa como un Inspector Jefe con un "Detector de Mentiras".

¿Cómo funciona SCoRE? (La Magia de los "E-Valores")

En lugar de solo preguntar "¿Estás seguro?", SCoRE le pregunta al robot: "¿Cuánto te arriesgas si te equivocas?".

Imagina que cada vez que el robot quiere vender una manzana, debe pagar una "multa virtual" basada en lo arriesgado que es su pronóstico.

• Si el robot dice: "¡Esta manzana es perfecta!" pero en realidad es dudosa, la multa virtual es alta.
• Si el robot dice: "No estoy seguro, mejor no la vendamos", la multa es cero.

SCoRE usa una herramienta matemática llamada "E-Valores" (piensa en ellos como monedas de confianza).

• Si el robot tiene muchas monedas de confianza (E-valor alto), significa que es muy probable que su predicción sea correcta y el riesgo bajo.
• Si tiene pocas monedas, SCoRE dice: "¡Alto! No confío en esto todavía".

Los Dos Tipos de Garantías (Las Reglas del Juego)

El papel introduce dos formas de medir el éxito, dependiendo de lo que necesites:

1. El Presupuesto Total (MDR - Riesgo de Despliegue Marginal):

   • Analogía: Imagina que tienes un presupuesto de $100 dólares para pagar multas por manzanas malas en todo el mes.
   • Qué hace SCoRE: Asegura que, sin importar cuántas manzanas vendas, la suma total de tus multas no pasará de $100. Es ideal si tienes un límite de dinero fijo, aunque vendas pocas manzanas.

2. El Promedio por Venta (SDR - Riesgo de Despliegue Selectivo):

   • Analogía: Imagina que quieres que, en promedio, cada manzana que vendas tenga un costo de error menor a $1.
   • Qué hace SCoRE: Asegura que el "promedio de errores" entre todas las manzanas que decides vender sea bajo. Esto es más estricto y útil si quieres que cada decisión individual sea de alta calidad, incluso si vendes miles de manzanas.

¿Por qué es tan especial?

• Funciona con cualquier IA: No importa si el robot es un modelo complejo de lenguaje (como los que escriben textos) o uno simple de regresión. SCoRE funciona como una "caja negra" que se pone encima de cualquier sistema.
• No necesita suposiciones mágicas: A diferencia de otros métodos que asumen que los datos siguen una distribución perfecta (como una campana de Gauss), SCoRE funciona incluso si los datos son caóticos o cambian de comportamiento (por ejemplo, si las manzanas de invierno son diferentes a las de verano).
• Control de Errores Reales: No solo controla si la respuesta es "sí" o "no", sino que mide el costo real.
  • Ejemplo en Medicina: Si un paciente pasa 1 día más en el hospital de lo previsto, el error es pequeño. Si pasa 10 días más, el error (y el costo) es enorme. SCoRE controla ese costo continuo, no solo un error binario.

Aplicaciones del Mundo Real

Los autores probaron esto en tres situaciones críticas:

1. Descubrimiento de Medicamentos:

   • Situación: Probar un nuevo fármaco en un laboratorio es caro.
   • Uso de SCoRE: Solo envía a probar los candidatos que la IA considera muy prometedores y de bajo riesgo de ser un "falso positivo". Ahorra millones de dólares en pruebas de compuestos que no funcionan.

2. Predicción de Estancias Hospitalarias (UCI):

   • Situación: Los hospitales necesitan saber cuánto tiempo estará un paciente en cuidados intensivos para asignar camas.
   • Uso de SCoRE: Si la IA no está segura de su predicción (el error podría ser grande), SCoRE dice "no uses esta predicción". Así, los médicos solo toman decisiones basadas en predicciones muy precisas, evitando errores en la planificación de recursos.

3. Informes Médicos con IA (LLMs):

   • Situación: Una IA genera un informe de rayos X.
   • Uso de SCoRE: Revisa si el informe generado es semánticamente cercano al de un experto humano. Si la IA "alucina" o se aleja demasiado de la realidad, SCoRE la detiene y pide que un humano revise el caso.

En Resumen

SCoRE es como un filtro de seguridad inteligente para la Inteligencia Artificial. No le dice a la IA qué hacer, sino que le dice: "Solo te permitiré actuar si puedo garantizar matemáticamente que el riesgo de equivocarte es bajo, ya sea en total o en promedio".

Esto nos permite usar la IA con más confianza, sabiendo que, cuando decidimos confiar en ella, lo hacemos bajo reglas estrictas que protegen nuestros recursos, nuestra salud y nuestra seguridad.

Resumen técnico

Resumen Técnico: SCoRE (Selective Conformal Risk control with E-values)

1. Planteamiento del Problema

La implementación de modelos de Inteligencia Artificial (IA) en entornos de alto riesgo (como descubrimiento de fármacos, diagnóstico médico o generación de informes) requiere mecanismos para abstenerse de hacer predicciones cuando la incertidumbre es alta. El objetivo es controlar estrictamente el error solo en los casos donde el sistema decide "confiar" en el modelo.

El problema central abordado por el artículo es la predicción selectiva para riesgos continuos y acotados (no solo binarios). A diferencia de trabajos anteriores que se centraban en tasas de error binarias (ej. clasificación correcta/incorrecta), este trabajo considera riesgos cuantitativos (ej. costo de desarrollo, error cuadrático medio, distancia semántica).

Se definen dos métricas clave de riesgo de despliegue:

1. Riesgo de Despliegue Marginal (MDR - Marginal Deployment Risk): Controla el riesgo total acumulado esperado sobre todas las instancias desplegadas. Es análogo al control del error Tipo I en pruebas de hipótesis.
   • Fórmula: $E[L_{n+1} \cdot \psi_{n+1}] \leq \alpha$, donde $L$ es el riesgo y $\psi$ es la decisión de desplegar (1) o abstenerse (0).
2. Riesgo de Despliegue Selectivo (SDR - Selective Deployment Risk): Controla el riesgo promedio por instancia desplegada. Es una generalización de la Tasa de Falsos Descubrimientos (FDR) para riesgos continuos.
   • Fórmula: $E\left[\frac{\sum L_{n+j}\psi_{n+j}}{1 \lor \sum \psi_{n+j}}\right] \leq \alpha$.

El desafío es lograr estos controles con garantías de muestra finita y libres de distribución, sin asumir que el modelo de IA es correcto, y sin requerir concentraciones uniformes complejas.

2. Metodología: SCoRE

Los autores proponen SCoRE (Selective Conformal Risk control with E-values), un marco que conecta la inferencia conformal con las pruebas de hipótesis utilizando E-valores (E-values).

Conceptos Clave:

• E-valores Ajustados al Riesgo: En lugar de usar p-valores (que controlan probabilidades de cola), SCoRE construye variables aleatorias no negativas $E_{n+j}$ (E-valores) que satisfacen la condición:
  $$E[L_{n+j} \cdot E_{n+j}] \leq 1$$
  Esto significa que el producto del riesgo desconocido y el E-valor tiene una esperanza acotada. Si el riesgo es alto, el E-valor tiende a ser pequeño, y viceversa.
• Construcción Basada en Intercambiabilidad: Utilizando un conjunto de datos de calibración etiquetados $\{(X_i, Y_i)\}_{i=1}^n$ y un modelo pre-entrenado con una función de puntuación $s(X)$ (que estima el riesgo o incertidumbre), se construyen los E-valores. La validez se garantiza únicamente bajo la suposición de intercambiabilidad de los datos (o intercambio ponderado en caso de cambio de covariable).

Algoritmo General:

1. Calibración: Calcular riesgos observados $L_i$ en el conjunto de calibración.
2. Construcción de E-valores: Para cada punto de prueba, calcular un E-valor ajustado al riesgo que penaliza las instancias con puntuaciones de riesgo altas.
   • Para MDR: Se utiliza un umbral fijo. Si $E_{n+1} \geq 1/\alpha$, se despliega.
   • Para SDR: Se aplica el procedimiento e-BH (Benjamini-Hochberg basado en E-valores) a la colección de E-valores de los puntos de prueba para seleccionar un subconjunto que controle el riesgo promedio.
3. Decisión: La decisión de confianza es binaria ($\psi \in \{0, 1\}$).

Optimalidad Asintótica:
El papel analiza la potencia (utilidad) del método. Demuestra que, para maximizar la recompensa del despliegue sujeto a la restricción de riesgo, la función de puntuación óptima $s(x)$ debe ordenar las instancias según la relación riesgo/recompensa (o riesgo excedente/recompensa para SDR).

3. Contribuciones Clave

1. Control de Riesgo Continuo: Extiende la predicción selectiva más allá de los riesgos binarios, permitiendo el control de métricas continuas (costos, errores cuadráticos, distancias semánticas).
2. Marco Unificado con E-valores: Introduce una conexión teórica sólida entre el control de riesgo en IA y las pruebas de hipótesis con E-valores, ofreciendo garantías de muestra finita sin necesidad de concentraciones uniformes (lo cual es una limitación de métodos anteriores).
3. Dos Métricas Complementarias: Formaliza y proporciona procedimientos para controlar tanto el riesgo marginal total (MDR) como el riesgo promedio selectivo (SDR), adaptándose a diferentes objetivos de negocio (presupuesto fijo vs. calidad por instancia).
4. Robustez ante Cambio de Covariables: Extiende el método a escenarios de cambio de covariables (covariate shift) mediante el uso de pesos en la construcción de los E-valores, manteniendo garantías asintóticas incluso con pesos estimados.
5. Estrategias de Boosting: Propone técnicas de "boosting" (heterogéneo y homogéneo) para aumentar la potencia de selección (más instancias desplegadas) sin violar el control del riesgo.

4. Resultados y Evaluación

Los autores evalúan SCoRE mediante simulaciones y tres aplicaciones del mundo real:

• Descubrimiento de Fármacos:
  • Contexto: Seleccionar candidatos a fármacos con alta afinidad de unión.
  • Riesgo: Costo de desarrollo de candidatos inactivos (continuo).
  • Resultado: SCoRE controla estrictamente el costo promedio desperdiciado (SDR) o el costo total (MDR) incluso bajo cambio de distribución, superando a métodos basados en desigualdades de concentración que son demasiado conservadores.
• Predicción Clínica (Tiempo de Estancia en UCI):
  • Contexto: Predecir la duración de la estancia en cuidados intensivos.
  • Riesgo: Error cuadrático medio (MSE).
  • Resultado: El método identifica predicciones de alta precisión, asegurando que el error total acumulado en el despliegue diario permanezca por debajo del umbral $\alpha$.
• Modelos de Lenguaje (LLMs) en Radiología:
  • Contexto: Generación de informes radiológicos automatizados.
  • Riesgo: Distancia semántica o discrepancia con informes de expertos.
  • Resultado: SCoRE permite desplegar solo los informes generados por IA que son semánticamente coherentes con los expertos, controlando la tasa de error semántico.

Hallazgos en Simulaciones:

• SCoRE logra un control de riesgo exacto y ajustado (no excesivamente conservador) en comparación con baselines que usan desigualdades de concentración (Hoeffding/Rademacher).
• Las variantes de "boosting" mejoran significativamente la potencia (número de selecciones) manteniendo el control del riesgo.
• La elección de la función de puntuación basada en la relación riesgo/recompensa mejora la utilidad total en escenarios con recompensas no constantes.

5. Significado e Impacto

Este trabajo es fundamental para la IA confiable (Trustworthy AI) porque:

• Generaliza la Seguridad: Permite aplicar garantías rigurosas de control de errores a problemas donde el "error" no es simplemente "correcto/incorrecto", sino una magnitud continua (costo, tiempo, precisión).
• Independencia del Modelo: Funciona con cualquier modelo de caja negra (black-box), sin requerir suposiciones sobre su estructura interna, solo sobre la intercambiabilidad de los datos.
• Adaptabilidad: Es aplicable en entornos dinámicos donde la distribución de datos puede cambiar (covariate shift), un problema común en la implementación de IA en la vida real.
• Eficiencia: Proporciona un marco computacionalmente eficiente (con algoritmos de complejidad cuadrática o logarítmica) para tomar decisiones de confianza en tiempo real o por lotes.

En resumen, SCoRE establece un nuevo estándar para la implementación segura de modelos de IA, permitiendo a los operadores desplegar modelos con la certeza matemática de que el riesgo (ya sea total o promedio) se mantendrá dentro de límites predefinidos, incluso en escenarios complejos y continuos.