Adaptive Double-Booking Strategy for Outpatient Scheduling Using Multi-Objective Reinforcement Learning

Este artículo propone un marco de aprendizaje por refuerzo multiobjetivo adaptativo que integra la predicción individualizada de ausencias con un mecanismo de coevolución de políticas para optimizar dinámicamente las decisiones de doble reserva en clínicas ambulatorias, mejorando así la eficiencia operativa y la equidad en la atención.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una receta inteligente para organizar una fiesta en un consultorio médico, pero con un problema muy común: algunos invitados (pacientes) simplemente no aparecen.

Aquí tienes la explicación de la investigación de Ninda Nurseha Amalina y Heungjo An, contada como si fuera una historia:

🏥 El Problema: La Fiesta de los "Fantasmas"

Imagina que eres el organizador de una fiesta en un salón con 10 sillas (los horarios del médico). Sabes por experiencia que, de cada 10 invitados, 2 o 3 son "fantasmas": reservan la silla pero nunca llegan.

• Si pones solo 10 invitados: Al final, tendrás 3 sillas vacías y el médico estará aburrido perdiendo tiempo. ¡Es un desperdicio!
• Si pones 15 invitados (sobre-reserva): Si todos los fantasmas se quedan en casa, tendrás 5 sillas vacías. Pero si todos los invitados llegan, tendrás 5 personas de pie, gritando y esperando. ¡El caos total!

Los consultorios tradicionales usan reglas fijas y tontas (como "siempre ponemos 2 personas en la misma hora"). A veces funciona, a veces es un desastre. No saben quién es el fantasma y quién es el que siempre llega.

🧠 La Solución: Un "Cerebro" que Aprende y Predice

Los autores proponen un sistema nuevo que combina dos cosas mágicas:

1. Un Cristal Mágico (Predicción): Antes de decidir, el sistema usa una inteligencia artificial muy avanzada (llamada MHASRF) que actúa como un oráculo. Mira el perfil de cada paciente (su edad, si ha faltado antes, el clima, etc.) y le dice: "Oye, este paciente tiene un 80% de probabilidad de ser un fantasma, pero este otro casi nunca falta".
2. Un Entrenador Deportivo (Aprendizaje por Refuerzo): En lugar de seguir un manual de instrucciones, el sistema es como un entrenador de un equipo de fútbol que aprende jugando miles de partidos simulados.
   • El objetivo: No es solo llenar las sillas, sino encontrar el equilibrio perfecto.
   • Las tres reglas del juego:
     1. Eficiencia: Que el médico no esté aburrido (sillas llenas).
     2. Seguridad: Que no haya caos (que no lleguen dos personas al mismo tiempo si no hay espacio).
     3. Equilibrio: Que la expectativa de asistencia sea de exactamente una persona por silla.

🎮 ¿Cómo funciona el "Juego"?

El sistema decide en tiempo real qué hacer con cada nueva reserva:

• Opción A (Cita Simple): "Este paciente es muy responsable, le damos su propia silla".
• Opción B (Doble Reserva): "¡Este paciente es un fantasma probable! Vamos a poner a otro paciente en la misma silla. Si uno falta, el otro llega y la silla se usa. Si ambos llegan... bueno, arriesgamos un poco, pero vale la pena".
• Opción C (Rechazar): "Ya hay demasiada gente y riesgo de caos. Mejor no aceptamos más".

🚀 La Innovación: El "Equipo de Entrenadores"

Aquí está la parte más genial. Normalmente, una inteligencia artificial aprende una sola forma de jugar. Pero en la vida real, a veces el consultorio quiere ser más agresivo (llenar más sillas) y a veces más conservador (evitar el caos).

Para resolver esto, los autores crearon un equipo de 10 entrenadores diferentes (algoritmos) que juegan al mismo tiempo:

• Uno es el "Atleta": Solo le importa llenar las sillas.
• Otro es el "Guardián": Solo le importa evitar que dos personas lleguen juntas.
• Otro es el "Equilibrista": Busca el punto medio perfecto.

El truco de magia (Co-evolución): Estos entrenadores no compiten, ¡se ayudan! Usan una técnica especial (llamada KL-divergencia) para compartir trucos. Si el "Equilibrista" descubre una jugada genial, se la enseña al "Atleta" si sus estilos de juego son similares. Esto hace que todos aprendan más rápido y encuentren mejores soluciones que si estuvieran solos.

🔍 ¿Qué descubrieron?

Cuando probaron este sistema con datos reales de un hospital:

1. Ganó a las reglas fijas: El sistema inteligente llenó más sillas útiles que las estrategias tradicionales, sin causar tanto caos.
2. Es flexible: Puedes elegir qué "entrenador" usar según el día. ¿Hoy hay mucha gente? Usa al "Atleta". ¿Hoy hay riesgo de saturación? Usa al "Guardián".
3. Es transparente: Usaron una herramienta llamada SHAP (como una lupa) para explicar por qué el sistema tomó una decisión. Por ejemplo: "Rechacé a este paciente porque ya había 2 personas en esa hora y el clima era malo, así que el riesgo de que todos llegaran era alto".

🌟 En Resumen

Imagina que este sistema es como un DJ experto en una fiesta.

• Los sistemas viejos ponían la misma canción todo el tiempo (reglas fijas).
• Este nuevo sistema escucha a la multitud (predice quién faltará), cambia la música al instante (decide si poner una o dos personas en la silla) y tiene varios DJs que se pasan los mejores éxitos entre ellos para que la fiesta (el consultorio) sea un éxito total: nadie espera de más, nadie se aburre y el médico trabaja feliz.

Es una forma inteligente, dinámica y justa de usar el tiempo de los médicos y el de los pacientes.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Estrategia de Doble Reserva Adaptativa para la Programación de Consultas Externas Utilizando Aprendizaje por Refuerzo Multi-Objetivo

1. Planteamiento del Problema

La falta de asistencia de los pacientes (no-shows) en las consultas externas es un desafío persistente que reduce la productividad de las clínicas, genera tiempos de espera más largos y puede retrasar la atención médica necesaria. Para mitigar esto, las clínicas suelen utilizar estrategias de overbooking (sobre-reserva) o doble reserva (asignar dos pacientes a la misma franja horaria).

Sin embargo, las políticas actuales presentan limitaciones críticas:

• Rigidez: La mayoría de los métodos se basan en heurísticas fijas que no se adaptan a las condiciones de programación en tiempo real ni al riesgo específico de no asistencia de cada paciente.
• Desbalance: Una doble reserva mal calibrada puede aumentar la congestión y los tiempos de espera si asiste más de un paciente en una misma hora.
• Falta de adaptación secuencial: Los enfoques tradicionales (programación estocástica, simulación estática) tienen dificultades para manejar la naturaleza secuencial y estocástica de las solicitudes de reserva que evolucionan a lo largo de un horizonte de varios días.
• Optimización de un solo objetivo: La mayoría de los estudios previos optimizan un solo objetivo, ignorando la necesidad de equilibrar múltiples metas competitivas: maximizar la utilización de las franjas, minimizar el riesgo de que dos pacientes asistan simultáneamente (double-show) y alinear la asistencia esperada con la capacidad de un paciente por franja.

2. Metodología Propuesta

El estudio propone un marco de trabajo adaptativo que integra la predicción individualizada de no asistencia con un algoritmo de Aprendizaje por Refuerzo (RL) multi-objetivo.

A. Predicción de No Asistencia (MHASRF):

• Se utiliza un modelo llamado Multi-Head Attention Soft Random Forest (MHASRF).
• Este modelo híbrido combina un bosque aleatorio con mecanismos de atención multi-cabeza para capturar interacciones complejas en los datos.
• Genera probabilidades de no asistencia ($\pi_i$) específicas para cada paciente, las cuales se incorporan directamente en el estado del sistema de toma de decisiones.

B. Formulación como Proceso de Decisión de Markov (MDP):

• Estado ($s_t$): Incluye información sobre la clínica, departamento, médico, estado de la franja (disponible, simple, doble), probabilidad de no asistencia del paciente actual, carga de trabajo del médico y slots restantes.
• Acción ($a_t$): El agente decide entre tres opciones:
  1. Reserva simple (Single-book).
  2. Doble reserva (Double-book).
  3. Rechazar la solicitud (Reject).
• Recompensa Multi-Objetivo: Se define una función de recompensa compuesta por tres componentes:
  1. Utilización efectiva de la franja ($U_t$): Maximizar cuando asiste exactamente un paciente.
  2. Evitación de doble asistencia ($D_t$): Minimizar casos donde asisten dos pacientes en una franja doble.
  3. Equilibrio de asistencia ($B_t$): Alinear la asistencia esperada con la capacidad de un paciente.
• Recompensa Moldeada (Shaped Reward): Para mitigar el retraso en la retroalimentación (ya que el resultado de asistencia se conoce solo el día de la cita), se utiliza una recompensa basada en la probabilidad predicha de no asistencia para guiar el aprendizaje durante la fase de entrenamiento.

C. Algoritmo de Aprendizaje por Refuerzo (MPPPO con MPCEM):

• Se emplea Proximal Policy Optimization (PPO) extendido a múltiples políticas (MPPPO).
• Se entrenan múltiples agentes en paralelo, cada uno optimizado con diferentes vectores de pesos para los objetivos ($\alpha, \beta, \gamma$), lo que permite aproximar la frente de Pareto de soluciones.
• Mecanismo de Co-Evolución Multi-Política (MPCEM): Se introduce una innovación clave: una regla $\tau$ adaptativa basada en la divergencia de Kullback-Leibler (KL).
  • En lugar de una transferencia de conocimiento fija, este mecanismo mide la similitud comportamental entre políticas vecinas.
  • Si las políticas son comportamentalmente similares (baja divergencia KL), se transfiere más conocimiento ($\tau$ alto). Si son diferentes, se preserva la diversidad.
  • Esto mejora la estabilidad de la convergencia y la diversidad de las soluciones de compromiso.

D. Explicabilidad:

• Se utiliza SHAP (Shapley Additive exPlanations) para interpretar tanto las predicciones de riesgo como las decisiones de programación del agente, identificando qué variables (ej. probabilidad de no asistencia, carga de trabajo) impulsan la elección de reservar simple o doble.

3. Contribuciones Clave

1. Formulación MDP Multi-Objetivo: Es, hasta donde se sabe, la primera formulación MDP multi-objetivo para programación de consultas que modela explícitamente las decisiones de reserva simple, doble y rechazo, restringiendo a un máximo de dos pacientes por franja.
2. Integración de Predicción Individualizada: Incorpora directamente las probabilidades de no asistencia predichas por el modelo MHASRF en el estado del RL, permitiendo decisiones granulares y específicas por paciente.
3. Algoritmo MPPPO con Transferencia Adaptativa: Desarrolla un marco MPPPO mejorado con un mecanismo de co-evolución que utiliza la divergencia KL para ajustar dinámicamente la transferencia de conocimiento entre políticas, mejorando la exploración del espacio de soluciones.
4. Marco Explicable: Proporciona interpretabilidad a las decisiones de la IA mediante SHAP, validando que las políticas aprendidas siguen lógicas operativas intuitivas.

4. Resultados y Análisis

Los experimentos se realizaron utilizando datos históricos reales de un proveedor de salud (157,494 registros) y un entorno de simulación discreta de eventos (14 días de horizonte).

• Rendimiento vs. Baselines: Las políticas MPPPO superaron consistentemente a las estrategias basadas en heurísticas fijas (reserva simple y doble reserva con umbrales fijos de probabilidad).
  • Utilización Efectiva: Las políticas MPPPO alcanzaron entre 0.762 y 0.793, frente a un máximo de 0.706 en las políticas de doble reserva fijas y 0.642 en reserva simple.
  • Recompensa Ponderada: MPPPO 3 y MPPPO 10 obtuvieron las recompensas más altas (hasta 8,922), superando significativamente a las baselines.
• Análisis de Compromisos (Trade-offs):
  • Se identificaron soluciones Pareto-óptimas (MPPPO 3 y MPPPO 10) que logran un equilibrio superior entre utilización y control de congestión.
  • Se descubrió que priorizar el equilibrio de asistencia (mantener la asistencia esperada cerca de 1 paciente/franja) actúa como un objetivo guía que mejora indirectamente tanto la utilización como la evitación de doble asistencia.
• Robustez: El modelo demostró ser robusto ante perturbaciones moderadas en las predicciones de no asistencia (±3%), aunque la sobreestimación del riesgo de no asistencia (±5%) degradó el rendimiento al inducir reservas dobles excesivas.
• Interpretabilidad: SHAP confirmó que el agente prioriza la reserva simple cuando el riesgo es bajo y la carga alta, y recurre a la doble reserva selectivamente cuando la probabilidad de no asistencia es alta y hay flexibilidad en la agenda.

5. Significado e Impacto

Este trabajo representa un avance significativo en la gestión operativa de la salud al ofrecer una alternativa dinámica, basada en datos y adaptable a las políticas de programación estáticas actuales.

• Eficiencia Operativa: Permite a las clínicas maximizar el uso de los recursos médicos sin sacrificar la calidad del servicio ni aumentar excesivamente los tiempos de espera.
• Flexibilidad Estratégica: Al proporcionar un frente de Pareto de políticas, los administradores pueden seleccionar o cambiar la estrategia de programación en tiempo real según las prioridades operativas del momento (ej. priorizar la eficiencia en días de alta demanda o la seguridad en días de baja demanda).
• Confianza en la IA: La integración de modelos predictivos avanzados con explicabilidad (SHAP) y un enfoque multi-objetivo hace que el sistema sea más transparente y confiable para su implementación en entornos clínicos reales.

En conclusión, el marco propuesto demuestra que el aprendizaje por refuerzo multi-objetivo, combinado con predicciones individualizadas, puede resolver eficazmente el complejo equilibrio entre la eficiencia de los recursos y la calidad de la atención en la programación de consultas externas.