Riepilogo Tecnico: Scalare la Coda – Apprendimento per Rinforzo per una Capacità di Classificazione Equa delle Richieste nei Sistemi di Reclamo Municipali di NYC

1. Enunciato del Problema

I centri di chiamata municipali 311 e i sistemi di intake dei reclami affrontano uno squilibrio strutturale tra il volume in entrata dei reclami e la capacità disponibile per classificarli, triaggiarli e instradarli. I flussi di lavoro di intake attuali si basano su euristiche reattive e basate su regole che non riescono a scalare con la domanda. Questo collo di bottiglia comporta una misprioritizzazione sistematica, in cui i reclami provenienti da quartieri a basso reddito e minoritari vengono assegnati in modo sproporzionato a code a bassa priorità, raggruppati in modo inappropriato o lasciati senza classificazione.

Il problema centrale non è un semplice errore casuale, ma ingiustizia di misurazione. Il volume dei reclami è un segnale distorto del rischio abitativo sottostante perché i tassi di segnalazione sono positivamente correlati a reddito, istruzione e alfabetizzazione digitale. Di conseguenza, i classificatori addestrati in modo ingenuo sui dati storici del 311 ereditano e amplificano il "divario di partecipazione", dove le comunità sottoposte a servizi generano meno registrazioni nonostante potenziali tassi di incidenti più elevati. Ciò porta a un ciclo di feedback in cui le aree sottosegnalate ricevono meno ispezioni, generando ancora meno registrazioni di esiti per il futuro addestramento.

Il documento affronta tre domande di ricerca:

1. Equità: Le politiche di Apprendimento per Rinforzo (RL) possono distribuire equamente gli assegnamenti di azioni corrette tra i gruppi demografici?
2. Capacità: Gli agenti RL possono raggiungere un throughput più elevato e tassi di classificazione errata inferiori rispetto alle euristiche esistenti?
3. Compromessi: Qual è il costo quantitativo dell'equità e come si sposta il fronte di Pareto tra velocità, costo e copertura equa con la configurazione della ricompensa?

2. Metodologia

2.1 Quadro Formale: MDP Multi-Obiettivo

Gli autori formalizzano sei domini operativi del Dipartimento Edilizio (DOB) di New York City (Sicurezza delle Caldaie, Gru/Tralicci, Riscaldamento/Acqua Calda, Triaggio Abitativo, Sicurezza delle Impalcature e Distretti di Aree Naturali) come Processi Decisionali di Markov (MDP) a tempo discreto.

• Stato ($S$): Codifica la coda dei reclami, le statistiche del quartiere (a livello di distretto censuario) e gli indicatori di capacità. Le caratteristiche includono flag di ricorrenza, arretrato e punteggi di rischio del quartiere.
• Azione ($A$): Categorie di classificazione come Escalar, Raggruppa, Rimanda, Ispeziona Ora o Ignora.
• Ricompensa ($R$): Una funzione multi-obiettivo progettata per massimizzare il throughput, minimizzare i costi di classificazione errata e restringere attivamente i divari storici di equità.

2.2 Progettazione della Ricompresa Centrata sull'Equità

Un'innovazione critica è il trattamento della copertura di classificazione equa come obiettivo di ricompensa di prima classe piuttosto che come vincolo secondario. La funzione di ricompensa al passo $t$ è definita come:
$$r_t = \alpha_1 r_{speed} - \alpha_2 r_{cost} + \alpha_3 r_{equity} + \alpha_4 r_{retention}$$

Per affrontare il "divario di partecipazione", gli autori introducono una correzione del tasso di segnalazione a monte prima di normalizzare il throughput di escalation. Invece di utilizzare i conteggi grezzi dei reclami ($N_g$) come denominatore per i calcoli di equità, stimano il conteggio degli incidenti latenti ($\hat{N}_g$) utilizzando:

1. Stimatore dei Reclami Duplicati: Seguendo Liu et al. [12], il tasso di reclami duplicati per lo stesso incidente viene utilizzato per stimare la propensione alla segnalazione ($\rho$) di un quartiere.
2. Modello Spaziale Bayesiano: Quando i dati duplicati sono scarsi, le covariate ACS (reddito, istruzione, accesso linguistico) fungono da proxy per la propensione alla segnalazione.
3. Correzione: Il conteggio stimato degli incidenti latenti $\hat{N}_g = C_g / \hat{\rho}_g$ sostituisce i conteggi grezzi nel termine di equità. Ciò garantisce che l'agente sia incentivato a escalare i reclami dai tracciati a bassa segnalazione (spesso a basso reddito) in proporzione al loro bisogno stimato, e non al loro volume di presentazione.

2.3 Algoritmi e Addestramento

Lo studio valuta diversi algoritmi RL rispetto a baseline (euristiche attuali del DOB, politiche casuali e sistemi esperti basati su regole):

• DQN (Deep Q-Network): Utilizzato con replay delle esperienze e reti target; include penalità CQL (Conservative Q-Learning) in domini specifici.
• REINFORCE con Baseline Appresa: Un metodo di gradiente della politica ottimizzato per l'allocazione sequenziale delle risorse.
• Tabular TD Q-Learning: Utilizzato per spazi di stato più piccoli.
• Clonazione Comportamentale (BC): Utilizzata come baseline per stimare le prestazioni delle politiche storiche.

L'addestramento utilizza divisioni cronologiche rigorose (ad esempio, 2020–2024 per l'addestramento, 2025 per il test) per prevenire la perdita di dati e simulare il dispiegamento nel mondo reale.

2.4 Interpretabilità e Audit

Gli autori impiegano l'attribuzione SHAP (SHapley Additive exPlanations) per auditare le politiche apprese. Ciò identifica se le caratteristiche che agiscono come proxy per attributi demografici (ad esempio, reddito del quartiere, composizione razziale) stanno guidando le decisioni. L'audit è disaggregato per quintile di reddito del distretto censuario e composizione razziale per rilevare impatti disparati.

3. Risultati Chiave

3.1 Throughput e Accuratezza della Classificazione

• Domini Riscaldamento e Abitativo: REINFORCE ha dimostrato un miglioramento di 4 volte nella ricompensa cumulativa rispetto a HDQN e politiche casuali. Ha chiuso circa il 20–27% in più di violazioni (101 contro 80–84) su un orizzonte di 365 giorni.
• Sicurezza delle Caldaie: DQN ha superato REINFORCE nella ricompensa totale (10,3 milioni di $ contro 9,0 milioni di $) e nel richiamo (98,7% contro 94,5%), sebbene entrambi abbiano mostrato una bassa precisione (~22%) a causa dell'alta asimmetria dei costi nel mancato rilevamento di un pericolo per la sicurezza (rapporto di costo 26:1).
• Domini Ascensori e SNAD: Gli agenti RL (DQN e REINFORCE) hanno costantemente superato l'euristica "Bilanciata" e altre baseline in termini di ricompensa e tassi di classificazione azionabili.

3.2 Compromessi Multi-Obiettivo (Fronte di Pareto)

• Il "Prezzo dell'Equità": Lo studio rileva che l'aggiunta di un obiettivo di equità ($\alpha_3 > 0$) comporta una modesta penalità di throughput del 4–7%. Ciò si allinea ai limiti teorici di Liu e Garg [13], suggerendo che efficienza ed equità sono in gran parte complementari piuttosto che antagoniste negli ambienti municipali.
• Dominanza della Politica: Le politiche RL con obiettivi di equità dominano la pianificazione delle ispezioni dello status quo di NYC su entrambe le dimensioni di efficienza ed equità simultaneamente.

3.3 Analisi dell'Equità

• Riduzione delle Disparità: L'euristica attuale del DOB mostra un gradiente statisticamente significativo in cui i quartieri a basso reddito (Q1) ricevono meno escalation corrette per reclamo rispetto ai quartieri ad alto reddito (Q5).
• RL Centrato sull'Equità: Gli agenti addestrati con il termine di ricompensa di equità corretto ($\alpha_3 > 0$) raggiungono la parità tra i quintili di reddito. Al contrario, gli agenti addestrati senza il termine di equità riducono ma non colmano il divario.
• Importanza delle Caratteristiche: L'analisi SHAP ha rivelato che le caratteristiche a livello di quartiere (ad esempio, la Community Board 12 a Manhattan) sono forti predittori, confermando che le variabili geografiche nei dati storici codificano lo status socioeconomico.

4. Significato e Affermazioni

Il documento afferma che l'equità non è un inevitabile sottoprodotto dell'efficienza; deve essere esplicitamente inscritta nella funzione di ricompensa.

1. Necessità di Equità Esplicita: Gli agenti ottimizzati esclusivamente per il throughput riducono le disparità storiche ma non riescono a eliminarle. Solo gli agenti con obiettivi espliciti di parità di copertura raggiungono una quasi-parità, superando al contempo le euristiche nel rilevamento dei difetti.
2. Costo Modesto: Il compromesso per l'equità è quantificabile e piccolo (perdita di throughput del 4–7%), sfidando l'idea che l'equità richieda un sacrificio operativo significativo.
3. Limiti della Qualità dei Dati: Gli autori sottolineano che la qualità della classificazione è limitata dalla qualità dei dati. Senza correggere il "divario di partecipazione" (sottosegnalazione nelle aree a basso reddito), i sistemi RL rischiano di degradare l'equità nei cicli di addestramento successivi a causa dei cicli di feedback.
4. Politiche Pubbliche Normative: La configurazione delle funzioni di ricompensa per l'RL nel settore pubblico è un atto di politica normativa. Il documento sostiene che la scelta di dove operare sul fronte di Pareto (bilanciando velocità, costo ed equità) è una decisione politica che appartiene all'agenzia e alle comunità che serve, non solo all'algoritmo.

5. Raccomandazioni per il Dispiegamento

Gli autori propongono una strategia di dispiegamento "Human-in-the-Loop" con specifiche salvaguardie:

• Audit in Corso: Audit demografici mensili con soglie pre-specificate per la revisione manuale.
• Correzione della Segnalazione: Applicazione dello stimatore dei reclami duplicati per correggere i denominatori di equità prima di ogni ciclo di riaddestramento.
• Mitigazione del Ciclo di Feedback: Utilizzo di bonus di esplorazione ed escalation controfattuali per impedire al modello di rafforzare il sottoservizio storico.
• Trasparenza: Documentazione pubblica delle configurazioni di ricompensa come dichiarazioni di priorità politica normativa.

Il documento conclude che, sebbene l'RL offra una leva per scalare la capacità di classificazione, realizzare la promessa di una consegna di servizi equa richiede la correzione dei pregiudizi strutturali incorporati nella raccolta di dati civici prima che tali pregiudizi plasmino le decisioni algoritmiche.