Resumo Técnico: Escalonamento da Fila – Aprendizado por Reforço para Capacidade de Classificação Equitativa de Chamadas em Sistemas de Reclamações Municipais de NYC

1. Declaração do Problema

Os centros de atendimento 311 municipais e os sistemas de recebimento de reclamações enfrentam uma incompatibilidade estrutural entre o volume de reclamações recebidas e a capacidade disponível para classificá-las, triá-las e encaminhá-las. Os fluxos de trabalho de recebimento atuais dependem de heurísticas reativas baseadas em regras que não escalam conforme a demanda. Esse gargalo resulta em uma reclassificação sistemática, onde reclamações de bairros de baixa renda e minoritários são desproporcionalmente atribuídas a filas de baixa prioridade, agrupadas de forma inadequada ou deixadas sem classificação.

A questão central não é meramente um erro aleatório, mas injustiça de medição. O volume de reclamações é um sinal enviesado do risco subjacente de habitação, pois as taxas de denúncia estão positivamente correlacionadas com renda, educação e alfabetização digital. Consequentemente, classificadores treinados de forma ingênua em dados históricos do 311 herdam e amplificam a "lacuna de participação", onde comunidades subatendidas geram menos registros apesar de possivelmente terem taxas de incidentes mais altas. Isso leva a um ciclo de retroalimentação onde áreas subnotificadas recebem menos inspeções, gerando ainda menos registros de resultados para treinamento futuro.

O artigo aborda três perguntas de pesquisa:

1. Equidade: Políticas de Aprendizado por Reforço (RL) podem distribuir atribuições de ações corretas de forma equitativa entre grupos demográficos?
2. Capacidade: Agentes de RL podem alcançar maior volume de processamento e menores taxas de classificação errônea do que as heurísticas existentes?
3. Compensações: Qual é o custo quantitativo da equidade, e como a fronteira de Pareto entre velocidade, custo e cobertura equitativa se desloca com a configuração de recompensa?

2. Metodologia

2.1 Estrutura Formal: MDP Multiobjetivo

Os autores formalizam seis domínios operacionais do Departamento de Edifícios (DOB) da Cidade de Nova York (Segurança de Caldeiras, Guindaste/Mastro, Calor/Água Quente, Triagem de Habitação, Segurança de Andaimes e Distritos de Áreas Naturais) como Processos de Decisão de Markov (MDPs) de tempo discreto.

• Estado ($S$): Codifica a fila de reclamações, estatísticas do bairro (nível de setor censitário) e indicadores de capacidade. As características incluem flags de recorrência, acúmulo de pendências e pontuações de risco do bairro.
• Ação ($A$): Categorias de classificação como Escalar, Agrupar, Adiar, Inspeccionar Agora ou Ignorar.
• Recompensa ($R$): Uma função multiobjetivo projetada para maximizar o volume de processamento, minimizar os custos de classificação errônea e reduzir ativamente as lacunas históricas de equidade.

2.2 Design de Recompensa Centrado na Equidade

Uma inovação crítica é o tratamento da cobertura de classificação equitativa como um objetivo de recompensa de primeira classe, em vez de uma restrição secundária. A função de recompensa no passo $t$ é definida como:
$$r_t = \alpha_1 r_{velocidade} - \alpha_2 r_{custo} + \alpha_3 r_{equidade} + \alpha_4 r_{retenção}$$

Para abordar a "lacuna de participação", os autores introduzem uma correção a montante da taxa de denúncia antes de normalizar o volume de processamento de escalonamento. Em vez de usar contagens brutas de reclamações ($N_g$) como denominador para cálculos de equidade, eles estimam a contagem de incidentes latentes ($\hat{N}_g$) usando:

1. Estimador de Relatórios Duplicados: Seguindo Liu et al. [12], a taxa de relatórios duplicados para o mesmo incidente é usada para estimar a propensão à denúncia ($\rho$) de um bairro.
2. Modelo Espacial Bayesiano: Quando dados duplicados são escassos, covariáveis do Censo Americano (ACS) (renda, educação, acesso a idiomas) servem como proxy para a propensão à denúncia.
3. Correção: A contagem estimada de incidentes latentes $\hat{N}_g = C_g / \hat{\rho}_g$ substitui as contagens brutas no termo de equidade. Isso garante que o agente seja incentivado a escalar reclamações de setores de baixa denúncia (frequentemente de baixa renda) proporcionalmente à sua necessidade estimada, e não ao seu volume de registro.

2.3 Algoritmos e Treinamento

O estudo avalia vários algoritmos de RL contra linhas de base (heurísticas atuais do DOB, políticas aleatórias e sistemas especialistas baseados em regras):

• DQN (Deep Q-Network): Usado com replay de experiência e redes de destino; inclui penalidades CQL (Conservative Q-Learning) em domínios específicos.
• REINFORCE com Linha de Base Aprendida: Um método de gradiente de política otimizado para alocação sequencial de recursos.
• Aprendizado TD Q-Learning Tabular: Usado para espaços de estado menores.
• Clonagem Comportamental (BC): Usada como linha de base para estimar o desempenho da política histórica.

O treinamento utiliza divisões cronológicas estritas (por exemplo, 2020–2024 para treinamento, 2025 para teste) para evitar vazamento de dados e simular a implantação no mundo real.

2.4 Interpretabilidade e Auditoria

Os autores empregam atribuição SHAP (SHapley Additive exPlanations) para auditar as políticas aprendidas. Isso identifica se características que atuam como proxies para atributos demográficos (por exemplo, renda do bairro, composição racial) estão impulsionando decisões. A auditoria é desagregada por quintil de renda do setor censitário e composição racial para detectar impactos desiguais.

3. Resultados Principais

3.1 Volume de Processamento e Precisão de Classificação

• Domínios de Calor e Habitação: O REINFORCE demonstrou uma melhoria de 4x na recompensa cumulativa em comparação com HDQN e políticas aleatórias. Ele fechou aproximadamente 20–27% mais violações (101 vs. 80–84) ao longo de um horizonte de 365 dias.
• Segurança de Caldeiras: O DQN superou o REINFORCE em recompensa total ($10,3M vs. $9,0M) e recall (98,7% vs. 94,5%), embora ambos exibissem baixa precisão (~22%) devido à alta assimetria de custos de perder um risco de segurança (razão de custo 26:1).
• Domínios de Elevadores e SNAD: Agentes de RL (DQN e REINFORCE) superaram consistentemente a heurística "Balanceada" e outras linhas de base em termos de recompensa e taxas de classificação acionável.

3.2 Compensações Multiobjetivo (Fronteira de Pareto)

• O "Preço da Equidade": O estudo encontra que adicionar um objetivo de equidade ($\alpha_3 > 0$) resulta em uma penalidade modesta de volume de processamento de 4–7%. Isso se alinha com os limites teóricos de Liu e Garg [13], sugerindo que eficiência e equidade são amplamente complementares, e não adversárias, em contextos municipais.
• Dominação de Política: Políticas de RL com objetivos de equidade dominam o agendamento de inspeções atual da NYC em ambas as dimensões de eficiência e equidade simultaneamente.

3.3 Análise de Equidade

• Redução de Disparidade: A heurística atual do DOB exibe um gradiente estatisticamente significativo onde bairros de baixa renda (Q1) recebem menos escalonamentos corretos por reclamação do que bairros de alta renda (Q5).
• RL Centrado na Equidade: Agentes treinados com o termo de recompensa de equidade corrigido ($\alpha_3 > 0$) aproximam-se da paridade entre quintis de renda. Em contraste, agentes treinados sem o termo de equidade reduzem, mas não fecham, a lacuna.
• Importância de Características: A análise SHAP revelou que características em nível de bairro (por exemplo, Conselho Comunitário 12 em Manhattan) são fortes preditores, confirmando que variáveis geográficas em dados históricos codificam o status socioeconômico.

4. Significado e Alegações

O artigo afirma que a equidade não é um subproduto inevitável da eficiência; ela deve ser explicitamente inscrita na função de recompensa.

1. Necessidade de Equidade Explícita: Agentes otimizados apenas para volume de processamento reduzem disparidades históricas, mas falham em eliminá-las. Apenas agentes com objetivos explícitos de paridade de cobertura alcançam quase paridade enquanto superam heurísticas na detecção de defeitos.
2. Custo Modesto: A compensação pela equidade é quantificável e pequena (perda de volume de processamento de 4–7%), desafiando a noção de que a justiça requer sacrifício operacional significativo.
3. Limites de Qualidade de Dados: Os autores enfatizam que a qualidade da classificação é limitada pela qualidade dos dados. Sem corrigir a "lacuna de participação" (subnotificação em áreas de baixa renda), sistemas de RL correm o risco de degradar a equidade ao longo de rodadas sucessivas de treinamento devido a ciclos de retroalimentação.
4. Formulação de Políticas Normativas: Configurar funções de recompensa para RL no setor público é um ato de formulação de políticas normativas. O artigo argumenta que a escolha de onde operar na fronteira de Pareto (equilibrando velocidade, custo e equidade) é uma decisão política que pertence à agência e às comunidades que ela serve, e não apenas ao algoritmo.

5. Recomendações de Implantação

Os autores propõem uma estratégia de implantação "Humano-no-Loop" com salvaguardas específicas:

• Auditorias Contínuas: Auditorias demográficas mensais com limiares pré-especificados para revisão manual.
• Correção de Denúncias: Aplicação do estimador de relatórios duplicados para corrigir denominadores de equidade antes de cada ciclo de retreinamento.
• Mitigação de Ciclo de Retroalimentação: Uso de bônus de exploração e escalonamentos contrafactuais para impedir que o modelo reforce o subatendimento histórico.
• Transparência: Documentação pública das configurações de recompensa como declarações de prioridade de política normativa.

O artigo conclui que, embora o RL ofereça uma alavanca para escalar a capacidade de classificação, realizar a promessa de entrega de serviços equitativa requer corrigir os vieses estruturais embutidos na coleta de dados cívicos antes que esses vieses moldem decisões algorítmicas.