Deployment of AI-Assisted Interventions: Capacity Constraints and Noisy Compliance

Resumen Técnico: Despliegue de Intervenciones Asistidas por IA

1. El Problema

Los sistemas de entrega de servicios (en salud, educación y reclutamiento) integran cada vez más herramientas de IA para identificar individuos de alto riesgo o alto valor y "empujarlos" (nudge) a solicitar un servicio. Sin embargo, existe una brecha crítica entre la predicción y la entrega efectiva debido a dos factores operativos:

1. Cumplimiento Ruidoso (Noisy Compliance): La IA no asigna el servicio directamente; solo notifica a los individuos o proveedores. La respuesta es probabilística (algunos ignoran la alerta, otros no).
2. Restricciones de Capacidad: Los recursos (camas de hospital, citas de consejeros, entrevistas) son limitados.

La Trampa Actual: La práctica estándar selecciona algoritmos y umbrales de corte basándose únicamente en la precisión predictiva (ej. maximizar AUC, sensibilidad). Este enfoque asume que mejores predicciones conducen automáticamente a mejores resultados.
El Hallazgo Central: En entornos con capacidad limitada y cumplimiento probabilístico, este enfoque es subóptimo. Ignorar las restricciones operativas genera dos fuerzas competitivas:

• Subutilización: Si el umbral es demasiado estricto, no se generan suficientes solicitudes y la capacidad se desperdicia.
• Cannibalización: Si el umbral es demasiado laxo, se generan más solicitudes de las que la capacidad puede manejar. Bajo asignación aleatoria (común en la práctica), las solicitudes de bajo valor "desplazan" a las de alto valor, reduciendo la eficacia general del sistema.

2. Metodología y Modelo

Los autores desarrollan un marco matemático para optimizar el diseño de estas intervenciones.

• Modelo Estocástico:
  • Se modela el comportamiento de los individuos con una probabilidad base de solicitud ($p_0$) y un aumento debido al empuje de la IA ($\Delta P$).
  • La capacidad $M$ es fija frente a una población $N$.
  • Cuando las solicitudes exceden $M$, se asume una asignación aleatoria (a menos que se priorice explícitamente), lo que introduce el riesgo de cannibalización.
• Aproximación Fluida: Para obtener soluciones analíticas, el modelo estocástico se aproxima mediante un modelo fluido (determinista) que reemplaza las variables aleatorias por sus esperanzas. Se demuestra que esta aproximación es un límite superior y converge al modelo estocástico cuando $N, M \to \infty$.
• Métrica de Interés: La Eficacia del Sistema ($W$), definida como el valor total esperado de los individuos servidos (suma de verdaderos positivos o valor continuo).

3. Contribuciones Clave

A. Caracterización del Umbral Óptimo (Teorema 1)
Los autores demuestran que el umbral óptimo ($\tau^*$) no es una función compleja, sino que tiene una estructura simple de dos puntos:
$$\tau^* = \min(\tau_{score}^*, \tau_c)$$
Donde:

1. $\tau_{score}^*$ (Umbral Óptimo de Puntuación): Maximiza la eficacia por cada slot de servicio servido. Controla el efecto de cannibalización. Se activa cuando la capacidad es escasa.
2. $\tau_c$ (Umbral de Ajuste de Capacidad): Ajusta el alcance para que el número esperado de solicitudes coincida exactamente con la capacidad disponible. Controla el efecto de subutilización. Se activa cuando la capacidad es abundante.

Implicación: El sistema debe operar en el mínimo de estos dos umbrales. Si la capacidad es baja, se prioriza la calidad de los servidos (evitar cannibalización). Si la capacidad es alta, se prioriza llenar los slots (evitar subutilización).

B. Suboptimalidad de Políticas Naturales

• Umbrales Basados en Predicción: (Ej. Sensibilidad fija, AUC máxima). Son subóptimos porque ignoran $M$, $p_0$ y $\Delta P$. Pueden perder hasta un 40-50% de eficacia en ciertos regímenes operativos.
• Umbrales de Ajuste de Capacidad: ($\tau_c$). Aunque aseguran el uso total de la capacidad, ignoran la cannibalización. Son subóptimos cuando la competencia por los slots es alta (capacidad baja o $p_0$ alta).

C. Selección de Algoritmos y OpAUC

• Desalineación del AUC: El Área bajo la Curva ROC (AUC) pondera todos los umbrales por igual. Sin embargo, el sistema solo operará en un subconjunto específico de umbrales (determinado por la capacidad). Un algoritmo con mayor AUC global puede tener un rendimiento inferior en el rango de umbrales operativos relevantes.
• Propuesta de OpAUC (Operational AUC): Los autores introducen una nueva métrica que pondera el rendimiento del algoritmo solo sobre la distribución de umbrales óptimos esperados dada la capacidad del sistema.
  • Resultado: OpAUC selecciona correctamente el algoritmo que maximiza la eficacia del sistema, incluso si tiene un AUC global menor.

4. Resultados Empíricos (Estudio de Caso: Sepsis)

Se aplicó el marco a datos reales de un sistema de alerta temprana de sepsis en 8 hospitales del sistema NewYork-Presbyterian (NYP).

• Datos: 85,160 episodios de pacientes. Se comparó el modelo propietario "Epic" (AUC = 0.826) contra un modelo "XGBoost" entrenado (AUC = 0.806).
• Hallazgos de Umbral:
  • El uso de umbrales basados en predicción (estándar) resultó en pérdidas de eficacia de hasta un 40% en comparación con el umbral óptimo calculado.
  • El umbral óptimo varía dinámicamente según la capacidad de enfermeras disponibles por turno.
• Hallazgos de Selección de Algoritmo:
  • En escenarios de capacidad limitada (pocos pacientes por turno), el modelo XGBoost (AUC más bajo) superó al modelo Epic (AUC más alto).
  • La mejora en eficacia del sistema fue de hasta un 22.8% para XGBoost en regímenes de baja capacidad.
  • Esto se debe a que XGBoost tenía un mejor rendimiento (TPR más alto) específicamente en el rango de umbrales de alto riesgo donde compite la capacidad, a pesar de ser peor en el resto de la curva ROC.

5. Significado e Impacto

1. Cambio de Paradigma: El éxito de las intervenciones asistidas por IA no depende solo de la precisión del modelo, sino de la implementación operativa. La fase de despliegue (ajuste de umbrales y selección de métricas) es tan crítica como el entrenamiento del modelo.
2. Accionabilidad Inmediata: Las organizaciones no necesitan reentrenar modelos costosos para mejorar resultados. Simplemente ajustando el umbral de corte basándose en la capacidad disponible y las tasas de respuesta observadas, pueden lograr mejoras sustanciales.
3. Nueva Métrica de Evaluación: El OpAUC ofrece un criterio riguroso para seleccionar algoritmos en entornos con restricciones, evitando la trampa de elegir modelos con alto AUC pero bajo rendimiento operativo real.
4. Robustez: El umbral óptimo derivado bajo la suposición de asignación aleatoria se mantiene efectivo incluso cuando los proveedores priorizan parcialmente a los pacientes de mayor puntuación, lo que valida su utilidad práctica en entornos reales complejos.

Conclusión: El artículo demuestra que ignorar la interacción entre la capacidad limitada, el comportamiento humano probabilístico y la precisión predictiva conduce a decisiones de diseño subóptimas. La optimización conjunta de umbrales y selección de algoritmos mediante métricas operativas (OpAUC) es esencial para maximizar el valor social y clínico de la IA.