Technische Samenvatting: Schalen van de Wachtrij – Versterkingslering voor Eerbare Classificatiecapaciteit van Oproepen in NYC Gemeentelijke Klachtsystemen

1. Probleemstelling

Gemeentelijke 311-callcenters en systemen voor klachtenontvangst staan voor een structurele mismatch tussen het volume van binnenkomende klachten en de capaciteit die beschikbaar is om deze te classificeren, te triëren en te routeren. Huidige intake-workflows vertrouwen op reactieve, regelgebaseerde heuristieken die niet schalen met de vraag. Deze knelpunten leiden tot systematische misprioritering, waarbij klachten uit wijken met lage inkomens en minderheden disproportioneel worden toegewezen aan wachtrijen met lage prioriteit, ongeschikt in batches worden samengevoegd, of ongeclassificeerd blijven.

De kernkwestie is niet louter een willekeurige fout, maar meetrechtvaardigheid. Het volume aan klachten is een bevooroordeeld signaal van onderliggend woningrisico, omdat rapportagepercentages positief correleren met inkomen, onderwijs en digitale geletterdheid. Bijgevolg erven classificeerders die naïef zijn getraind op historische 311-gegevens de "participatiekloof" over en versterken deze, waarbij onderbediende gemeenschappen minder records genereren ondanks mogelijk hogere incidentiepercentages. Dit leidt tot een feedbacklus waarbij ondergerapporteerde gebieden minder inspecties ontvangen, wat nog minder uitkomstrecords genereert voor toekomstige training.

Het artikel adresseert drie onderzoeksvragen:

1. Eerbaarheid: Kunnen beleidslijnen voor Versterkingslering (RL) correcte actie-toewijzingen eerlijk verdelen over demografische groepen?
2. Capaciteit: Kunnen RL-agenten een hogere doorvoer en lagere misclassificatiepercentages bereiken dan bestaande heuristieken?
3. Afwegingen: Wat zijn de kwantitatieve kosten van eerbaarheid, en hoe verschuift de Pareto-grens tussen snelheid, kosten en eerlijke dekking met de configuratie van de beloning?

2. Methodologie

2.1 Formeel Kader: Multi-Objectief MDP

De auteurs formaliseren zes operationele domeinen van het New Yorkse Departement van Gebouwen (DOB) (Boiler Safety, Crane/Derrick, Heat/Hot Water, Housing Triage, Scaffold Safety, en Natural Area Districts) als discrete-tijd Markov Decision Processes (MDP).

• Toestand ($S$): Codeert de klachtenwachtrij, wijkstatistieken (op niveau van census-tracts) en capaciteitsindicatoren. Kenmerken omvatten vlaggen voor herhaling, achterstand en risicoscores per wijk.
• Actie ($A$): Classificatiecategorieën zoals Escalate, Batch, Defer, Inspect Now, of Ignore.
• Beloning ($R$): Een multi-objectief functie ontworpen om doorvoer te maximaliseren, kosten van misclassificatie te minimaliseren, en historische eerbaarheidskloven actief te verkleinen.

2.2 Eerbaarheidsgerichte Beloningsontwerp

Een cruciale innovatie is de behandeling van eerlijke classificatie-dekking als een eersteklas beloningsdoel in plaats van een randvoorwaarde. De beloningsfunctie op tijdstap $t$ is gedefinieerd als:
$$r_t = \alpha_1 r_{speed} - \alpha_2 r_{cost} + \alpha_3 r_{equity} + \alpha_4 r_{retention}$$

Om de "participatiekloof" aan te pakken, introduceren de auteurs een upstream correctie voor rapportagepercentages voordat de escalatie-doorvoer wordt genormaliseerd. In plaats van ruwe klachtcijfers ($N_g$) als noemer te gebruiken voor eerbaarheidsberekeningen, schatten ze het latente incidentenaantal ($\hat{N}_g$) met behulp van:

1. Schatter voor Dubbele Rapporten: Volgens Liu et al. [12] wordt het percentage dubbele rapporten voor hetzelfde incident gebruikt om de rapportage-gevoeligheid ($\rho$) van een wijk te schatten.
2. Bayesiaans Ruimtelijk Model: Wanneer dubbele data schaars is, fungeren ACS-covariaten (inkomen, onderwijs, toegang tot taal) als proxy voor rapportage-gevoeligheid.
3. Correctie: Het geschatte latente incidentenaantal $\hat{N}_g = C_g / \hat{\rho}_g$ vervangt ruwe aantallen in de eerbaarheidsterm. Dit zorgt ervoor dat de agent wordt gestimuleerd om klachten uit wijksectoren met lage rapportage (vaak met lage inkomens) proportioneel te escaleren naar hun geschatte behoefte, en niet naar hun aangiftevolume.

2.3 Algoritmen en Training

De studie evalueert verschillende RL-algoritmen tegen baselines (huidige DOB-heuristieken, willekeurige beleidslijnen en regelgebaseerde expertsystemen):

• DQN (Deep Q-Network): Gebruikt met experience replay en target networks; omvat CQL (Conservative Q-Learning) straffen in specifieke domeinen.
• REINFORCE met Learned Baseline: Een policy-gradient methode geoptimaliseerd voor sequentiële resource-toewijzing.
• Tabulaire TD Q-Learning: Gebruikt voor kleinere toestandsruimtes.
• Behavioral Cloning (BC): Gebruikt als baseline om de prestaties van historische beleidslijnen te schatten.

Training maakt gebruik van strikte chronologische splitsen (bijv. 2020–2024 voor training, 2025 voor testen) om data-lekkage te voorkomen en real-world implementatie te simuleren.

2.4 Interpretabiliteit en Audit

De auteurs maken gebruik van SHAP (SHapley Additive exPlanations) attributie om de geleerde beleidslijnen te auditeren. Dit identificeert of kenmerken die fungeren als proxy's voor demografische attributen (bijv. wijkinkomen, raciale samenstelling) beslissingen sturen. De audit wordt gedesaggregeerd per inkomensquintiel en raciale samenstelling van de census-tract om dispariteiten te detecteren.

3. Belangrijkste Resultaten

3.1 Classificatie-doorvoer en Nauwkeurigheid

• Warmte en Woningdomeinen: REINFORCE toonde een 4x verbetering in cumulatieve beloning in vergelijking met HDQN en willekeurige beleidslijnen. Het verholp ongeveer 20–27% meer overtredingen (101 vs. 80–84) over een horizon van 365 dagen.
• Boiler Safety: DQN presteerde beter dan REINFORCE in totale beloning ($10,3M vs. $9,0M) en recall (98,7% vs. 94,5%), hoewel beide een lage precisie vertoonden (~22%) vanwege de hoge kostenasymmetrie van het missen van een veiligheidsgevaar (kostenverhouding 26:1).
• Lift en SNAD-domeinen: RL-agenten (DQN en REINFORCE) presteerden consistent beter dan de "Balanced" heuristiek en andere baselines op het gebied van beloning en actiegerichte classificatiepercentages.

3.2 Multi-Objectief Afwegingen (Pareto-grens)

• De "Prijs van Eerbaarheid": De studie vindt dat het toevoegen van een eerbaarheidsdoel ($\alpha_3 > 0$) resulteert in een bescheiden doorvoerstraf van 4–7%. Dit sluit aan bij de theoretische grenzen van Liu en Garg [13], wat suggereert dat efficiëntie en eerbaarheid in gemeentelijke settings grotendeels complementair zijn in plaats van antagonistisch.
• Beleidsdominantie: RL-beleidslijnen met eerbaarheidsdoelstellingen domineren de status quo van NYC inspectieplanning op zowel efficiëntie- als eerbaarheidsdimensies tegelijkertijd.

3.3 Eerbaarheidsanalyse

• Dispariteitsreductie: De huidige DOB-heuristiek vertoont een statistisch significante gradiënt waarbij wijken met lage inkomens (Q1) minder correcte escalaties per klacht ontvangen dan wijken met hoge inkomens (Q5).
• Eerbaarheidsgerichte RL: Agenten getraind met de gecorrigeerde eerbaarheidsbelonings-term ($\alpha_3 > 0$) benaderen pariteit over inkomensquintielen. In tegenstelling hiermee verkleinen agenten getraind zonder de eerbaarheidsterm de kloof maar sluiten deze niet.
• Kenmerkbelang: SHAP-analyse onthulde dat kenmerken op wijkniveau (bijv. Community Board 12 in Manhattan) sterke voorspellers zijn, wat bevestigt dat geografische variabelen in historische data de sociaaleconomische status coderen.

4. Betekenis en Claims

Het artikel claimt dat eerbaarheid geen onvermijdelijk nevenproduct van efficiëntie is; het moet expliciet worden ingeschreven in de beloningsfunctie.

1. Noodzaak van Expliciete Eerbaarheid: Agenten die uitsluitend zijn geoptimaliseerd voor doorvoer verkleinen historische dispariteiten maar slagen er niet in deze te elimineren. Alleen agenten met expliciete doelstellingen voor dekkingpariteit bereiken bijna-pariteit terwijl ze heuristieken overtreffen op het gebied van defectdetectie.
2. Bescheiden Kosten: De afweging voor eerbaarheid is kwantificeerbaar en klein (4–7% doorvoerverlies), wat de opvatting uitdaagt dat eerlijkheid aanzienlijke operationele offers vereist.
3. Beperkingen van Datakwaliteit: De auteurs benadrukken dat de kwaliteit van classificatie wordt begrensd door de kwaliteit van de data. Zonder correctie voor de "participatiekloof" (onder-rapportage in wijken met lage inkomens) lopen RL-systemen het risico de eerbaarheid te verslechteren over opeenvolgende trainingsronden door feedbacklussen.
4. Normatief Beleidvormen: Het configureren van beloningsfuncties voor RL in de publieke sector is een daad van normatief beleidvormen. Het artikel betoogt dat de keuze waar te opereren op de Pareto-grens (balanceren van snelheid, kosten en eerbaarheid) een politieke beslissing is die toebehoort aan het agentschap en de gemeenschappen die het bedient, en niet alleen aan het algoritme.

5. Implementatieaanbevelingen

De auteurs stellen een "Human-in-the-Loop" implementatiestrategie voor met specifieke waarborgen:

• Doorlopende Audits: Maandelijkse demografische audits met vooraf gespecificeerde drempels voor handmatige review.
• Rapportagecorrectie: Toepassing van de schatter voor dubbele rapporten om eerbaarheidsnoemers te corrigeren voordat elke hertrainingscyclus plaatsvindt.
• Mitigatie van Feedbacklussen: Gebruik van exploratiebonussen en contrafactuele escalaties om te voorkomen dat het model historische onderbediening versterkt.
• Transparantie: Publiek documenteren van beloningsconfiguraties als verklaringen van normatieve beleidsprioriteiten.

Het artikel concludeert dat RL, hoewel het een hefboom biedt om de classificatiecapaciteit te schalen, het beloven van eerlijke dienstverlening vereist dat de structurele bevooroordeeldheden die in burgerlijke dataverzameling zijn ingebed, worden gecorrigeerd voordat die bevooroordeeldheden algoritmische beslissingen vormen.