Résumé Technique : Mise à l'échelle de la file d'attente – Apprentissage par Renforcement pour une Capacité de Classification Équitable des Réclamations dans les Systèmes de Plaintes Municipaux de New York

1. Énoncé du Problème

Les centres d'appels municipaux 311 et les systèmes de prise en charge des plaintes font face à un décalage structurel entre le volume des plaintes entrantes et la capacité disponible pour les classifier, les trier et les acheminer. Les flux de travail de prise en charge actuels reposent sur des heuristiques réactives et basées sur des règles qui ne parviennent pas à s'adapter à la demande. Ce goulot d'étranglement entraîne une mauvaise priorisation systématique, où les plaintes provenant de quartiers à faible revenu et minoritaires sont disproportionnellement affectées à des files d'attente de faible priorité, regroupées de manière inappropriée, ou laissées sans classification.

Le problème central n'est pas simplement une erreur aléatoire, mais une injustice de mesure. Le volume des plaintes est un signal biaisé du risque de logement sous-jacent, car les taux de signalement sont positivement corrélés au revenu, au niveau d'éducation et à la littératie numérique. Par conséquent, les classificateurs entraînés naïvement sur des données historiques 311 héritent et amplifient le « fossé de participation », où les communautés sous-desservies génèrent moins d'enregistrements malgré des taux d'incidents potentiellement plus élevés. Cela crée une boucle de rétroaction où les zones sous-déclarées reçoivent moins d'inspections, générant encore moins d'enregistrements de résultats pour les formations futures.

L'article aborde trois questions de recherche :

1. Équité : Les politiques d'Apprentissage par Renforcement (RL) peuvent-elles distribuer équitablement les affectations d'actions correctes entre les groupes démographiques ?
2. Capacité : Les agents RL peuvent-ils atteindre un débit plus élevé et des taux de mauvaise classification plus faibles que les heuristiques existantes ?
3. Compromis : Quel est le coût quantitatif de l'équité, et comment la frontière de Pareto entre rapidité, coût et couverture équitable évolue-t-elle avec la configuration de la récompense ?

2. Méthodologie

2.1 Cadre Formel : Processus de Décision Markovien Multi-Objectifs

Les auteurs formalisent six domaines opérationnels du Département du Bâtiment de New York (DOB) (Sécurité des Chaudières, Grues/Derricks, Chauffage/Eau Chaude, Tri Logement, Sécurité des Échafaudages et Districts d'Espaces Naturels) comme des Processus de Décision Markoviens (MDP) en temps discret.

• État ($S$) : Encode la file d'attente des plaintes, les statistiques du quartier (au niveau du secteur de recensement) et les indicateurs de capacité. Les caractéristiques incluent les drapeaux de récurrence, l'arriéré et les scores de risque du quartier.
• Action ($A$) : Catégories de classification telles que Escalader, Regrouper, Reporter, Inspecter Maintenant, ou Ignorer.
• Récompense ($R$) : Une fonction multi-objectifs conçue pour maximiser le débit, minimiser les coûts de mauvaise classification et réduire activement les écarts d'équité historiques.

2.2 Conception de Récompense Centrée sur l'Équité

Une innovation cruciale consiste à traiter la couverture équitable de la classification comme un objectif de récompense de premier ordre plutôt que comme une contrainte secondaire. La fonction de récompense à l'étape $t$ est définie par :
$$r_t = \alpha_1 r_{speed} - \alpha_2 r_{cost} + \alpha_3 r_{equity} + \alpha_4 r_{retention}$$

Pour répondre au « fossé de participation », les auteurs introduisent une correction en amont du taux de signalement avant de normaliser le débit d'escalade. Au lieu d'utiliser les comptes bruts de plaintes ($N_g$) comme dénominateur pour les calculs d'équité, ils estiment le nombre d'incidents latents ($\hat{N}_g$) en utilisant :

1. Estimateur de Signalements Dupliqués : Suivant Liu et al. [12], le taux de signalements dupliqués pour le même incident est utilisé pour estimer la propension au signalement ($\rho$) d'un quartier.
2. Modèle Spatial Bayésien : Lorsque les données de duplication sont rares, les covariables ACS (revenu, éducation, accès linguistique) servent de substitut à la propension au signalement.
3. Correction : Le nombre d'incidents latents estimé $\hat{N}_g = C_g / \hat{\rho}_g$ remplace les comptes bruts dans le terme d'équité. Cela garantit que l'agent est incité à escalader les plaintes des secteurs à faible taux de signalement (souvent à faible revenu) proportionnellement à leur besoin estimé, et non à leur volume de dépôt.

2.3 Algorithmes et Entraînement

L'étude évalue plusieurs algorithmes RL par rapport à des lignes de base (heuristiques actuelles du DOB, politiques aléatoires et systèmes experts basés sur des règles) :

• DQN (Deep Q-Network) : Utilisé avec replay d'expérience et réseaux cibles ; inclut des pénalités CQL (Conservative Q-Learning) dans des domaines spécifiques.
• REINFORCE avec Ligne de Base Apprise : Une méthode de gradient de politique optimisée pour l'allocation séquentielle des ressources.
• Apprentissage TD Q-Learning Tabulaire : Utilisé pour les espaces d'états plus petits.
• Clonage Comportemental (BC) : Utilisé comme ligne de base pour estimer les performances des politiques historiques.

L'entraînement utilise des splits chronologiques stricts (par exemple, 2020–2024 pour l'entraînement, 2025 pour les tests) pour prévenir les fuites de données et simuler un déploiement réel.

2.4 Interprétabilité et Audit

Les auteurs emploient l'attribution SHAP (SHapley Additive exPlanations) pour auditer les politiques apprises. Cela permet d'identifier si des caractéristiques agissant comme substituts aux attributs démographiques (par exemple, revenu du quartier, composition raciale) pilotent les décisions. L'audit est désagrégé par quintile de revenu du secteur de recensement et composition raciale pour détecter des impacts disproportionnés.

3. Résultats Clés

3.1 Débit et Précision de Classification

• Domaines Chauffage et Logement : REINFORCE a démontré une amélioration de 4x de la récompense cumulative par rapport aux politiques HDQN et aléatoires. Il a résolu environ 20–27 % de violations supplémentaires (101 contre 80–84) sur un horizon de 365 jours.
• Sécurité des Chaudières : DQN a surpassé REINFORCE en récompense totale (10,3 M$ contre 9,0 M$) et en rappel (98,7 % contre 94,5 %), bien que les deux aient affiché une faible précision (~22 %) en raison de l'asymétrie élevée des coûts liée à la perte d'un danger pour la sécurité (ratio de coûts 26:1).
• Domaines Ascenseurs et SNAD : Les agents RL (DQN et REINFORCE) ont constamment surpassé l'heuristique « Équilibrée » et autres lignes de base en termes de récompense et de taux de classification actionnables.

3.2 Compromis Multi-Objectifs (Frontière de Pareto)

• Le « Prix de l'Équité » : L'étude constate que l'ajout d'un objectif d'équité ($\alpha_3 > 0$) entraîne une pénalité de débit modeste de 4–7 %. Cela s'aligne sur les bornes théoriques de Liu et Garg [13], suggérant que l'efficacité et l'équité sont largement complémentaires plutôt qu'adversaires dans les contextes municipaux.
• Dominance des Politiques : Les politiques RL avec objectifs d'équité dominent l'ordonnancement des inspections NYC actuel sur les dimensions d'efficacité et d'équité simultanément.

3.3 Analyse de l'Équité

• Réduction des Disparités : L'heuristique actuelle du DOB présente un gradient statistiquement significatif où les quartiers à faible revenu (Q1) reçoivent moins d'escalades correctes par plainte que les quartiers à revenu élevé (Q5).
• RL Centrée sur l'Équité : Les agents entraînés avec le terme de récompense d'équité corrigé ($\alpha_3 > 0$) atteignent la parité entre les quintiles de revenu. En revanche, les agents entraînés sans le terme d'équité réduisent mais ne comblent pas l'écart.
• Importance des Caractéristiques : L'analyse SHAP a révélé que les caractéristiques au niveau du quartier (par exemple, le Conseil Communautaire 12 à Manhattan) sont de forts prédicteurs, confirmant que les variables géographiques dans les données historiques encodent le statut socio-économique.

4. Signification et Revendications

L'article affirme que l'équité n'est pas un sous-produit inévitable de l'efficacité ; elle doit être explicitement inscrite dans la fonction de récompense.

1. Nécessité d'une Équité Explicite : Les agents optimisés uniquement pour le débit réduisent les disparités historiques mais échouent à les éliminer. Seuls les agents avec des objectifs de parité de couverture explicite atteignent une quasi-parité tout en surpassant les heuristiques sur la détection des défauts.
2. Coût Modeste : Le compromis pour l'équité est quantifiable et faible (perte de débit de 4–7 %), remettant en question l'idée que l'équité nécessite un sacrifice opérationnel significatif.
3. Limites de la Qualité des Données : Les auteurs soulignent que la qualité de la classification est bornée par la qualité des données. Sans correction du « fossé de participation » (sous-déclaration dans les zones à faible revenu), les systèmes RL risquent de dégrader l'équité au fil des cycles d'entraînement successifs en raison des boucles de rétroaction.
4. Élaboration Normative des Politiques : La configuration des fonctions de récompense pour le RL dans le secteur public est un acte d'élaboration normative des politiques. L'article soutient que le choix de l'endroit où opérer sur la frontière de Pareto (équilibrer rapidité, coût et équité) est une décision politique qui revient à l'agence et aux communautés qu'elle sert, et non uniquement à l'algorithme.

5. Recommandations de Déploiement

Les auteurs proposent une stratégie de déploiement « Homme dans la Boucle » avec des garanties spécifiques :

• Audits Continus : Audits démographiques mensuels avec des seuils préspécifiés pour examen manuel.
• Correction des Signalements : Application de l'estimateur de signalements dupliqués pour corriger les dénominateurs d'équité avant chaque cycle de réentraînement.
• Atténuation des Boucles de Rétroaction : Utilisation de bonus d'exploration et d'escalades contrefactuelles pour empêcher le modèle de renforcer le sous-service historique.
• Transparence : Documentation publique des configurations de récompense en tant que déclarations de priorités politiques normatives.

L'article conclut que si le RL offre un levier pour mettre à l'échelle la capacité de classification, la réalisation de la promesse d'une prestation de services équitable nécessite de corriger les biais structurels intégrés dans la collecte de données civiques avant que ces biais ne façonnent les décisions algorithmiques.