Schedules and Prioritization: A Behavioral Foundation for Multi-Armed Bandits and Stopping Problems

Resumen Técnico: Programas y Priorización: Una Base Conductual para los Probleímas de Bandidos Multibrazo y de Parada Óptima

Planteamiento del Problema
Las formulaciones económicas estándar de los bandidos multibrazo (MAB, por sus siglas en inglés) y de los problemas de parada óptima suelen comenzar con primitivos exógenos: una colección de brazos gobernados por procesos de Markov conocidos, espacios de estados, estructuras de recompensa y reglas de transición. El tomador de decisiones se presenta entonces ante estos objetos y se le pide que derive una política óptima. Este artículo argumenta que tales formulaciones omiten un paso conductual crucial. En muchos contextos económicos, los tomadores de decisiones no se enfrentan a "máquinas" o "brazos" preespecificados. En su lugar, se enfrentan a "hebras de responsabilidad" (por ejemplo, proyectos laborales, obligaciones familiares, experimentos) que se desarrollan en su propio tiempo interno. El problema económico fundamental es encajar estas distintas hebras, que evolucionan localmente, en un único calendario escaso. El artículo busca proporcionar una base conductual para los problemas de bandidos derivando la estructura del bandido a partir de las preferencias sobre estas hebras locales, en lugar de asumir la estructura del bandido como una primitiva.

Metodología
El artículo emplea un enfoque axiomático basado en la teoría de la preferencia revelada y la teoría de la decisión recursiva. La metodología procede en tres etapas distintas:

1. Definición del Dominio Primitivo: Los objetos primitivos se definen como programas contingentes locales. Un programa es un mapa de historias locales (tiempo interno) hacia consecuencias, que termina en una fecha finita a lo largo de cada rama. Estos programas representan los posibles desarrollos de una única hebra de responsabilidad antes de ser colocada en un calendario común.
2. Representación de una Sola Hebra (Parada): Los autores imponen axiomas conductuales sobre las preferencias de un único programa para caracterizar una representación de parada recursiva.
   • Axiomas de flujo determinista (D1–D8): Estos establecen una escala de utilidad común para las consecuencias actuales y un factor de descuento geométrico sobre el tiempo local, asegurando la estacionariedad e independencia para flujos deterministas.
   • Axiomas recursivos de un solo paso (R1–R6): Estos gobiernan el intercambio entre una consecuencia actual y una carpeta contingente de continuaciones futuras. Aseguran que las continuaciones equivalentes puedan sustituirse, que se respeten las mejoras por rama, y que los intercambios entre el presente y el futuro sean estables.
   • Resultado: Estos axiomas producen una representación de parada recursiva generalizada donde el valor de un programa es la utilidad actual más un agregador descontado de los valores de continuación.
3. Integración de Múltiples Hebras (Bandido): Para pasar de un problema de una sola hebra a uno de múltiples hebras, el artículo introduce una restricción de escasez: la restricción de calendario transcurrido. Solo un reloj local puede avanzar por período de calendario.
   • Axioma de Compensación de Cola Común (R7): Se introduce una restricción conductual crítica para asegurar que los cambios escalares en los valores de continuación permanezcan escalares tras la agregación. Esta propiedad de "aditividad de efectivo" permite que se pueda definir un precio sombra escalar del tiempo de calendario de manera consistente entre diferentes hebras, incluso cuando la evaluación de la continuación es no lineal (por ejemplo, bajo ambigüedad o dependencia de rango).
   • Resultado: La combinación de la representación recursiva con la restricción de calendario produce un bandido generalizado con descanso (rested).

Contribuciones Clave y Resultados

• Derivación de la Estructura del Bandido: El artículo demuestra que un bandido multibrazo no es un objeto primitivo, sino una representación derivada de las preferencias sobre programas locales detenidos sujetos a una restricción de calendario. Los "brazos" no son máquinas de Markov exógenas, sino que están representados por hebras de responsabilidad.
• Representación de Parada Recursiva Generalizada: El Teorema 1 establece que las preferencias sobre programas detenidos son equivalentes a una evaluación recursiva que involucra una utilidad actual, un descuento local y un agregador de continuación amplio. Este agregador no está restringido a la utilidad esperada; puede acomodar la ambigüedad, la robustez y la dependencia de rango.
• Optimidad de Índice vía Precios Sombra: El resultado central (Teorema 2) demuestra que la política óptima para el problema con restricción de calendario transcurrido es una política de índice.
  • El índice para una hebra se define como el precio sombra crítico del tiempo de calendario en el cual el tomador de decisiones es indiferente entre avanzar la hebra o ponerla en espera indefinidamente.
  • Se demuestra que el axioma de "compensación de cola común" es la condición necesaria para que este precio sombra escalar esté bien definido y para que la política de índice sea óptima.
  • La regla óptima es avanzar la hebra con el índice actual más alto.
• Unificación de Casos Especiales: El marco recupera modelos familiares como casos especiales al imponer restricciones adicionales al dominio de los programas o al agregador de continuación:
  • Utilidad Esperada Subjetiva (SEU): Imponer independencia sobre los programas de continuación genera un agregador lineal (núcleo de transición subjetiva), recuperando el índice clásico de Gittins–Jones.
  • Aprendizaje: Las creencias se tratan como estados locales. Avanzar una hebra actualiza la creencia (estado local), mientras que ponerla en espera congela la creencia. Esto recupera los bandidos de aprendizaje bayesiano.
  • Preferencias Variacionales y de Máximo-Mínimo: Al permitir que el agregador sea un operador variacional o de máximo-mínimo, el artículo deriva índices robustos que consideran la ambigüedad dinámica sin vincular la incertidumbre entre distintas hebras.
  • Preferencias de Dependencia de Rango y de Choquet: Estas permiten la evaluación no aditiva de las ramas, capturando el "miedo a perderse algo" (FOMO) de resultados futuros salientes.
  • El Problema de Pandora: Al restringir el dominio del programa de modo que la incertidencia se resuelve en un solo paso (abrir una caja), el índice general se reduce a un valor de reserva, recuperando la regla de Weitzman.

Significancia y Reivindicaciones
El artículo afirma proporcionar una justificación conductual fundacional para los modelos de bandidos, análoga a cómo la teoría del consumidor deriva la demanda a partir de las preferencias sobre cestas en lugar de asumir curvas de demanda.

• Cambio Fundacional: El artículo sostiene que las leyes de transición, los conjuntos de ambigüedad y los valores de reserva no son puntos de partida, sino que emergen de las restricciones sobre las preferencias o el dominio de los programas. El "brazo" es una hebra de responsabilidad representada, y el "bandido" es un problema de priorización para el avance local bajo un calendario escaso.
• El Rol del Índice: El índice no es una regla de clasificación externa impuesta por el analista, sino que se deriva como el multiplicador de Lagrange (precio sombra) de la restricción de calendario. Un índice alto significa que el siguiente paso de una hebra es valioso incluso cuando el tiempo de calendario es costoso.
• Flexibilidad: El marco está diseñado para ser amplio, acomodando diversas actitudes hacia la incertidumbre (ambigüedad, robustez, dependencia de rango) dentro de las hebras individuales, manteniendo al mismo tiempo la estructura de producto del problema de múltiples hebras. Esto contrasta con la literatura de bandidos robustos que a menudo sitúa la ambigüedad en el entorno conjunto, vinculando potencialmente proyectos que de otro modo serían independientes.
• Alcance: El artículo limita explícitamente su alcance a los bandidos "con descanso" (las hebras no evolucionan mientras no son atendidas) y a un único calendario. Señala que las extensiones a bandidos "inquietos" (restless) o a múltiples entradas escasas son pasos naturales pero quedan para trabajos futuros.

En resumen, el artículo establece que la compleja maquinaria de la asignación dinámica de recursos bajo incertidumbre puede construirse a partir de los mismos ingredientes que la elección estática: un dominio primitivo de alternativas, restricciones conductuales que producen una representación y una restricción de escasez.