Resumen Técnico: Escalado de la Cola – Aprendizaje por Refuerzo para la Capacidad de Clasificación Equitativa de Llamadas en los Sistemas de Quejas Municipales de Nueva York

1. Declaración del Problema

Los centros de llamadas municipales 311 y los sistemas de recepción de quejas enfrentan una desajuste estructural entre el volumen de quejas entrantes y la capacidad disponible para clasificar, triar y enrutarlas. Los flujos de trabajo actuales de recepción dependen de heurísticas reactivas basadas en reglas que no escalan con la demanda. Este cuello de botella resulta en una despriorización sistemática, donde las quejas de barrios de bajos ingresos y minorías se asignan desproporcionadamente a colas de baja prioridad, se agrupan de manera inapropiada o quedan sin clasificar.

El problema central no es meramente un error aleatorio, sino injusticia de medición. El volumen de quejas es una señal sesgada del riesgo de vivienda subyacente porque las tasas de reporte están positivamente correlacionadas con el ingreso, la educación y la alfabetización digital. En consecuencia, los clasificadores entrenados ingenuamente con datos históricos de 311 heredan y amplifican la "brecha de participación", donde las comunidades mal atendidas generan menos registros a pesar de tener potencialmente tasas de incidentes más altas. Esto conduce a un ciclo de retroalimentación donde las áreas subreportadas reciben menos inspecciones, generando aún menos registros de resultados para el entrenamiento futuro.

El artículo aborda tres preguntas de investigación:

1. Equidad: ¿Pueden las políticas de Aprendizaje por Refuerzo (RL) distribuir asignaciones de acciones correctas de manera equitativa entre grupos demográficos?
2. Capacidad: ¿Pueden los agentes de RL lograr un mayor rendimiento y tasas de clasificación errónea más bajas que las heurísticas existentes?
3. Compensaciones: ¿Cuál es el costo cuantitativo de la equidad, y cómo se desplaza la frontera de Pareto entre velocidad, costo y cobertura equitativa con la configuración de la recompensa?

2. Metodología

2.1 Marco Formal: MDP Multi-Objetivo

Los autores formalizan seis dominios operativos del Departamento de Edificios (DOB) de la Ciudad de Nueva York (Seguridad de Calderas, Grúas/Mástiles, Calor/Agua Caliente, Triaje de Vivienda, Seguridad de Andamios y Distritos de Áreas Naturales) como Procesos de Decisión de Markov (MDP) de tiempo discreto.

• Estado ($S$): Codifica la cola de quejas, estadísticas del vecindario (a nivel de distrito censal) e indicadores de capacidad. Las características incluyen banderas de recurrencia, retraso acumulado y puntuaciones de riesgo del vecindario.
• Acción ($A$): Categorías de clasificación como Escalar, Agrupar, Diferir, Inspeccionar Ahora o Ignorar.
• Recompensa ($R$): Una función multi-objetivo diseñada para maximizar el rendimiento, minimizar los costos de clasificación errónea y estrechar activamente las brechas de equidad históricas.

2.2 Diseño de Recompensa Centrado en la Equidad

Una innovación crítica es el tratamiento de la cobertura de clasificación equitativa como un objetivo de recompensa de primera clase en lugar de una restricción secundaria. La función de recompensa en el paso $t$ se define como:
$$r_t = \alpha_1 r_{velocidad} - \alpha_2 r_{costo} + \alpha_3 r_{equidad} + \alpha_4 r_{retención}$$

Para abordar la "brecha de participación", los autores introducen una corrección aguas arriba de la tasa de reporte antes de normalizar el rendimiento de escalada. En lugar de usar conteos crudos de quejas ($N_g$) como denominador para los cálculos de equidad, estiman el conteo de incidentes latentes ($\hat{N}_g$) utilizando:

1. Estimador de Reportes Duplicados: Siguiendo a Liu et al. [12], la tasa de reportes duplicados para el mismo incidente se utiliza para estimar la propensión al reporte ($\rho$) de un vecindario.
2. Modelo Espacial Bayesiano: Cuando los datos duplicados son escasos, las covariables ACS (ingreso, educación, acceso a idiomas) actúan como proxy para la propensión al reporte.
3. Corrección: El conteo estimado de incidentes latentes $\hat{N}_g = C_g / \hat{\rho}_g$ reemplaza los conteos crudos en el término de equidad. Esto asegura que el agente esté incentivado a escalar quejas de tramos de bajo reporte (a menudo de bajos ingresos) proporcionalmente a su necesidad estimada, no a su volumen de presentación.

2.3 Algoritmos y Entrenamiento

El estudio evalúa varios algoritmos de RL frente a líneas base (heurísticas actuales del DOB, políticas aleatorias y sistemas expertos basados en reglas):

• DQN (Red Q Profunda): Utilizado con replay de experiencia y redes objetivo; incluye penalizaciones CQL (Aprendizaje Q Conservador) en dominios específicos.
• REINFORCE con Línea Base Aprendida: Un método de gradiente de política optimizado para la asignación secuencial de recursos.
• Aprendizaje Q TD Tabular: Utilizado para espacios de estado más pequeños.
• Clonación Conductual (BC): Utilizada como línea base para estimar el rendimiento de la política histórica.

El entrenamiento utiliza divisiones cronológicas estrictas (por ejemplo, 2020–2024 para entrenamiento, 2025 para pruebas) para prevenir la filtración de datos y simular el despliegue en el mundo real.

2.4 Interpretabilidad y Auditoría

Los autores emplean la atribución SHAP (Explicaciones Aditivas de Shapley) para auditar las políticas aprendidas. Esto identifica si las características que actúan como proxies para atributos demográficos (por ejemplo, ingreso del vecindario, composición racial) están impulsando las decisiones. La auditoría se desagrega por quintil de ingreso del distrito censal y composición racial para detectar impactos dispares.

3. Resultados Clave

3.1 Rendimiento y Precisión de Clasificación

• Dominios de Calor y Vivienda: REINFORCE demostró una mejora de 4 veces en la recompensa acumulada en comparación con HDQN y políticas aleatorias. Cerró aproximadamente 20–27% más de violaciones (101 frente a 80–84) en un horizonte de 365 días.
• Seguridad de Calderas: DQN superó a REINFORCE en recompensa total ($10.3M vs. $9.0M) y recuperación (98.7% vs. 94.5%), aunque ambos exhibieron baja precisión (~22%) debido a la alta asimetría de costos de pasar por alto un peligro de seguridad (relación de costos 26:1).
• Dominios de Ascensores y SNAD: Los agentes de RL (DQN y REINFORCE) superaron consistentemente a la heurística "Equilibrada" y otras líneas base en términos de recompensa y tasas de clasificación accionable.

3.2 Compensaciones Multi-Objetivo (Frontera de Pareto)

• El "Precio de la Equidad": El estudio encuentra que añadir un objetivo de equidad ($\alpha_3 > 0$) resulta en una penalización modesta de rendimiento del 4–7%. Esto se alinea con los límites teóricos de Liu y Garg [13], sugiriendo que la eficiencia y la equidad son en gran medida complementarias en lugar de adversarias en entornos municipales.
• Dominancia de la Política: Las políticas de RL con objetivos de equidad dominan la programación de inspecciones actual de la ciudad de Nueva York en las dimensiones de eficiencia y equidad simultáneamente.

3.3 Análisis de Equidad

• Reducción de Disparidades: La heurística actual del DOB exhibe un gradiente estadísticamente significativo donde los vecindarios de bajos ingresos (Q1) reciben menos escaladas correctas por queja que los vecindarios de altos ingresos (Q5).
• RL Centrado en la Equidad: Los agentes entrenados con el término de recompensa de equidad corregido ($\alpha_3 > 0$) alcanzan la paridad entre quintiles de ingreso. Por el contrario, los agentes entrenados sin el término de equidad estrechan pero no cierran la brecha.
• Importancia de las Características: El análisis SHAP reveló que las características a nivel de vecindario (por ejemplo, la Junta Comunitaria 12 en Manhattan) son predictores fuertes, confirmando que las variables geográficas en los datos históricos codifican el estatus socioeconómico.

4. Significado y Afirmaciones

El artículo afirma que la equidad no es un subproducto inevitable de la eficiencia; debe inscribirse explícitamente en la función de recompensa.

1. Necesidad de Equidad Explícita: Los agentes optimizados únicamente para el rendimiento estrechan las disparidades históricas pero fallan en eliminarlas. Solo los agentes con objetivos explícitos de paridad de cobertura logran una paridad casi total mientras superan a las heurísticas en la detección de defectos.
2. Costo Modesto: La compensación por la equidad es cuantificable y pequeña (pérdida de rendimiento del 4–7%), desafiando la noción de que la equidad requiere un sacrificio operativo significativo.
3. Límites de la Calidad de los Datos: Los autores enfatizan que la calidad de la clasificación está limitada por la calidad de los datos. Sin corregir la "brecha de participación" (subreporte en áreas de bajos ingresos), los sistemas de RL corren el riesgo de degradar la equidad a través de rondas sucesivas de entrenamiento debido a ciclos de retroalimentación.
4. Toma de Decisiones Normativa: Configurar funciones de recompensa para RL en el sector público es un acto de toma de decisiones normativas. El artículo argumenta que la elección de dónde operar en la frontera de Pareto (equilibrando velocidad, costo y equidad) es una decisión política que pertenece a la agencia y a las comunidades a las que sirve, no solo al algoritmo.

5. Recomendaciones de Despliegue

Los autores proponen una estrategia de despliegue "Humano-en-el-Bucle" con salvaguardias específicas:

• Auditorías Continuas: Auditorías demográficas mensuales con umbrales preespecificados para revisión manual.
• Corrección de Reportes: Aplicar el estimador de reportes duplicados para corregir los denominadores de equidad antes de cada ciclo de reentrenamiento.
• Mitigación del Ciclo de Retroalimentación: Utilizar bonos de exploración y escaladas contrafactuales para evitar que el modelo refuerce el servicio insuficiente histórico.
• Transparencia: Documentar públicamente las configuraciones de recompensa como declaraciones de prioridad de política normativa.

El artículo concluye que, si bien el RL ofrece una palanca para escalar la capacidad de clasificación, realizar la promesa de una prestación de servicios equitativa requiere corregir los sesgos estructurales incrustados en la recopilación de datos cívicos antes de que esos sesgos moldeen las decisiones algorítmicas.