📈 economics

Scaling the Queue: Reinforcement Learning for Equitable Call Classification Capacity in NYC Municipal Complaint Systems

Dieser Artikel schlägt ein auf Gerechtigkeit ausgerichtetes Framework für verstärktes Lernen für die Beschwerde-Systeme der Stadt New York vor, das die Klassifizierungskapazität von Anrufen über sechs Bereiche des Bauamts hinweg optimiert, indem es als intelligenter Router fungiert, um den Durchsatz zu maximieren, Fehler zu minimieren und historische, auf Rasse und Einkommen basierende Dienstleistungsungleichheiten aktiv zu verringern.

Ursprüngliche Autoren: Irene Aldridge, Ellie Bae, Siddhesh Darak, Nicholas Donat, Akhil Fernando-Bell, Bella Ge, Nicholas Goguen-Compagnoni, Ishita Gupta, Ali Hasan, Pierce Hoenigman, Imran Isa-Dutse, Jiwon Jeong, Tishya Kh

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Irene Aldridge, Ellie Bae, Siddhesh Darak, Nicholas Donat, Akhil Fernando-Bell, Bella Ge, Nicholas Goguen-Compagnoni, Ishita Gupta, Ali Hasan, Pierce Hoenigman, Imran Isa-Dutse, Jiwon Jeong, Tishya Khanna, Neha Konduru, Yixuan Liu, Kai Maeda, Nolan McKenna, Karl Muller, Farzaan Naeem, Rishabh Patel, Zachary Sheldon, Ammar Syed, Nathan Tai, Michael Twersky, Haoying Wang, Zening Wang, Zexun Yao, Nadav Yochman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das 311-System von New York City als einen riesigen, chaotischen Wartezimmer vor. Jeden Tag rufen Tausende von Menschen an, um Probleme zu melden: ein defekter Kessel, ein wackelndes Gerüst, mangelnde Heizung oder ein undichtes Rohr. Die Stadt verfügt über eine begrenzte Anzahl von Inspektoren (die „Ärzte" in diesem Wartezimmer), um diese Probleme zu beheben.

Das Problem besteht darin, dass das aktuelle System zur Entscheidung, wer zuerst gesehen wird, defekt ist. Es verlässt sich auf eine einfache Regel: „Mehr Anrufe bedeuten mehr Dringlichkeit." Doch diese Regel hat einen versteckten Fehler. Wohlhabende Viertel mit besserem Internet, mehr englischsprachigen Bewohnern und einem höheren Vertrauen in die Regierung rufen 311 öfter und schneller an. Ärmere Viertel, in denen die Menschen möglicherweise nicht über dieselben Ressourcen oder dasselbe Vertrauen verfügen, rufen seltener an, selbst wenn ihre Gebäude genauso gefährlich sind.

Da das aktuelle Computersystem der Stadt lediglich die Anrufe zählt, schickt es Inspektoren in wohlhabende Viertel (wo es viele Anrufe gibt) und ignoriert ärmere Viertel (wo es weniger Anrufe gibt, die Probleme aber genauso real sind). Es ist wie eine Triage-Schwester, die nur die Patienten behandelt, die am lautesten schreien, während diejenigen, die schweigend vor Schmerzen sitzen, vergessen werden.

Die Lösung: Ein „Fairness-Trainer"

Die Autoren dieses Papiers haben eine neue Art von Computerhirn mit Bestärkendem Lernen (Reinforcement Learning, RL) entwickelt. Denken Sie dabei nicht an einen Roboter, der das menschliche Personal ersetzt, sondern an einen superschlauen „Fairness-Trainer", der neben den Aufnahmekräften sitzt.

Anstatt dem System lediglich zu sagen, „so viele Probleme wie möglich zu beheben", lehrten die Forscher diesem Trainer ein neues Ziel: „Probleme fair beheben, egal wo sie auftreten."

Hier ist, wie sie es taten, unter Verwendung einfacher Analogien:

1. Die „Geisteranruf"-Korrektur
Der größte Trick in diesem Papier ist der Umgang mit den „fehlenden Anrufen". Die Forscher erkannten, dass nur weil ein ärmes Viertel nicht bei 311 angerufen hat, nicht bedeutet, dass die Gebäude sicher sind. Es bedeutet lediglich, dass die Bewohner noch nicht in der Lage waren, anzurufen.

Die Analogie: Stellen Sie sich einen Lehrer vor, der eine Klasse benotet. Wenn ein Schüler 10-mal die Hand hebt und ein anderer nur einmal, könnte der Lehrer denken, der erste Schüler sei engagierter. Aber was, wenn der zweite Schüler zu schüchtern ist, um sich zu melden?
Die Lösung: Der Computer verwendet eine spezielle mathematische Formel (basierend auf Viertelsdaten wie Einkommen und Bildung), um die „Geisteranrufe" zu schätzen. Er fragt: „Wenn jeder in diesem Viertel so einfach anrufen könnte wie im wohlhabenden Viertel, wie viele Anrufe hätten wir dann tatsächlich?" Anschließend verwendet er diese geschätzte Zahl, um zu entscheiden, wer Hilfe benötigt, anstatt sich nur auf die rohe Zahl der eingegangenen Anrufe zu verlassen.

2. Der „Fairness-Score"
Der Computer lernt, indem er ein Spiel spielt. Jedes Mal, wenn er einen Inspektor zu einem Gebäude schickt, erhält er Punkte.

Altes System: Sie erhalten Punkte, wenn Sie Inspektoren zu jemandem schicken, der angerufen hat.
Neues System: Sie erhalten Punkte, wenn Sie Inspektoren zu jemandem schicken, der Hilfe benötigt, aber Sie erhalten zusätzliche Punkte, wenn Sie einem Viertel helfen, das normalerweise ignoriert wird. Wenn das System beginnt, ärmere Viertel zu ignorieren, verliert es Punkte. Dies zwingt den Computer, Geschwindigkeit mit Fairness auszubalancieren.

3. Der Kompromiss (der „Preis" der Fairness)
Die Forscher fragten: „Macht Fairness das gesamte System langsamer?"

Das Ergebnis: Ja, aber nur ein winziges bisschen. Durch die Einführung des Fairness-Ziels wurde das System insgesamt etwa 4 % bis 7 % langsamer bei der Bearbeitung von Anrufen. Dieser kleine Verzug bedeutete jedoch, dass einkommensschwache Viertel die benötigte Hilfe viel schneller erhielten, wodurch die Lücke zwischen reichen und armen Gebieten geschlossen wurde. Die Autoren argumentieren, dass diese kleinen Kosten es wert sind, um zu verhindern, dass das System gegen arme Menschen diskriminiert.

4. Das „Black Box"-Problem
Man treffen Computer Entscheidungen, die wir nicht verstehen. Um dies zu beheben, nutzte das Team ein Werkzeug namens SHAP (das wie eine Lupe wirkt). Sie untersuchten, warum der Computer seine Entscheidungen traf.

Die Entdeckung: Sie stellten fest, dass der Computer auf Dinge wie „Postleitzahl des Viertels" und „gesprochene Sprache" achtete. Obwohl dies ihm half, die „Geisteranrufe" zu finden, bedeutete dies auch, dass der Computer indirekt Rasse und Einkommen zur Entscheidungsfindung nutzte. Das Team sagt, dies sei nur dann in Ordnung, wenn wir ihn genau beobachten, um sicherzustellen, dass er Menschen hilft und nicht schadet.

Das Fazit

Das Papier kommt zu dem Schluss, dass man nicht einfach einen schnelleren Computer bauen kann, um städtische Probleme zu lösen; man muss einen fairen bauen.

Ohne das Fairness-Ziel: Der Computer wird schneller, ignoriert aber weiterhin die Armen.
Mit dem Fairness-Ziel: Der Computer wird insgesamt etwas langsamer, hört aber auf, die Menschen zu ignorieren, die am dringendsten Hilfe benötigen.

Die Autoren betonen, dass dies nicht nur eine technische Lösung ist; es ist eine moralische Entscheidung. Indem man den Computer so programmiert, dass er Fairness wertschätzt, kann die Stadt sicherstellen, dass ein defekter Kessel in einem ärmern Viertel genauso schnell repariert wird wie in einem wohlhabenden Viertel, selbst wenn das ärmere Viertel seltener angerufen hat.

Kurz gesagt: Das Papier zeigt, dass wir mit den richtigen „Spielregeln" Computer lehren können, fair zu sein, und sicherstellen, dass die Hilfe der Stadt alle erreicht und nicht nur die Menschen, die am besten darin sind, sie zu erbitten.

Technische Zusammenfassung: Skalierung der Warteschlange – Verstärkendes Lernen für eine gerechte Klassifizierungskapazität von Anrufen in städtischen Beschwerdesystemen von New York City

1. Problemstellung

Städtische 311-Callcenter und Systeme zur Entgegennahme von Beschwerden sehen sich einem strukturellen Missverhältnis zwischen dem Volumen eingehender Beschwerden und der verfügbaren Kapazität zur Klassifizierung, Triage und Weiterleitung gegenüber. Die aktuellen Eingangsworkflows verlassen sich auf reaktive, regelbasierte Heuristiken, die mit der Nachfrage nicht skalieren können. Dieser Engpass führt zu einer systematischen Fehlpriorisierung, bei der Beschwerden aus einkommensschwachen und Minderheitenvierteln unverhältnismäßig häufig niedrigen Prioritätswarteschlangen zugewiesen, unangemessen gebündelt oder unklassifiziert gelassen werden.

Das Kernproblem ist nicht bloß ein zufälliger Fehler, sondern Messungerechtigkeit. Das Beschwerdevolumen ist ein verzerrtes Signal für das zugrunde liegende Wohnungsrisiko, da die Meldequoten positiv mit Einkommen, Bildung und digitaler Kompetenz korrelieren. Folglich übernehmen Klassifikatoren, die naiv auf historischen 311-Daten trainiert wurden, den „Partizipationsgap" und verstärken ihn, wobei unterversorgte Gemeinschaften trotz potenziell höherer Vorfallsraten weniger Aufzeichnungen generieren. Dies führt zu einem Feedback-Loop, in dem unterberichtete Gebiete weniger Inspektionen erhalten, was wiederum noch weniger Ergebnisdaten für zukünftiges Training generiert.

Der Artikel behandelt drei Forschungsfragen:

Gerechtigkeit: Können Richtlinien des Verstärkenden Lernens (RL) korrekte Aktionszuweisungen über demografische Gruppen hinweg gerecht verteilen?
Kapazität: Können RL-Agenten einen höheren Durchsatz und niedrigere Fehlklassifizierungsraten als bestehende Heuristiken erreichen?
Zielkonflikte: Wie hoch sind die quantitativen Kosten der Gerechtigkeit, und wie verschiebt sich die Pareto-Grenze zwischen Geschwindigkeit, Kosten und gerechter Abdeckung mit der Konfiguration der Belohnung?

2. Methodik

2.1 Formaler Rahmen: Multi-Objective MDP

Die Autoren formalisieren sechs operative Domänen des New York City Department of Buildings (DOB) (Kesselsicherheit, Kran/Derrick, Heizung/Heißwasser, Housing-Triage, Gerüstsicherheit und Naturschutzgebiete) als diskrete Markov-Entscheidungsprozesse (MDPs).

Zustand ( $S$ ): Kodiert die Beschwerde-Warteschlange, Nachbarschaftsstatistiken (auf Ebene der Volkszählungsbezirke) und Kapazitätsindikatoren. Merkmale umfassen Wiederholungsflags, Rückstau und Risikoscores der Nachbarschaft.
Aktion ( $A$ ): Klassifizierungskategorien wie Eskalieren, Bündeln, Aufschieben, Sofort Inspektion oder Ignorieren.
Belohnung ( $R$ ): Eine multi-objektive Funktion, die darauf ausgelegt ist, den Durchsatz zu maximieren, Kosten für Fehlklassifizierungen zu minimieren und historische Gerechtigkeitslücken aktiv zu schließen.

2.2 Gerechtigkeitszentriertes Belohnungsdesign

Eine kritische Innovation ist die Behandlung der gerechten Klassifizierungsabdeckung als primäres Belohnungsziel und nicht als Nebenbedingung. Die Belohnungsfunktion im Schritt $t$ ist definiert als:
$r_t = \alpha_1 r_{speed} - \alpha_2 r_{cost} + \alpha_3 r_{equity} + \alpha_4 r_{retention}$

Um den „Partizipationsgap" zu adressieren, führen die Autoren eine vorherige Korrektur der Meldequote vor der Normalisierung des Eskalationsdurchsatzes ein. Anstatt rohe Beschwerdeanzahlen ( $N_g$ ) als Nenner für Gerechtigkeitsberechnungen zu verwenden, schätzen sie die latente Vorfallsanzahl ( $\hat{N}_g$ ) unter Verwendung von:

Schätzer für Doppelberichte: Nach Liu et al. [12] wird die Rate der Doppelberichte für denselben Vorfall verwendet, um die Meldebereitschaft ( $\rho$ ) eines Viertels zu schätzen.
Bayessches räumliches Modell: Wenn Doppelberichtsdaten spärlich sind, dienen ACS-Kovariaten (Einkommen, Bildung, Sprachzugang) als Stellvertreter für die Meldebereitschaft.
Korrektur: Die geschätzte latente Vorfallsanzahl $\hat{N}_g = C_g / \hat{\rho}_g$ ersetzt die rohen Zählungen im Gerechtigkeitsbegriff. Dies stellt sicher, dass der Agent dazu angeregt wird, Beschwerden aus niedrig meldenden (oft einkommensschwachen) Bezirken proportional zu ihrem geschätzten Bedarf und nicht zu ihrem Einreichungsvolumen zu eskalieren.

2.3 Algorithmen und Training

Die Studie bewertet mehrere RL-Algorithmen im Vergleich zu Baselines (aktuelle DOB-Heuristiken, zufällige Richtlinien und regelbasierte Expertensysteme):

DQN (Deep Q-Network): Wird mit Experience Replay und Target-Netzwerken verwendet; umfasst CQL-Strafen (Conservative Q-Learning) in spezifischen Domänen.
REINFORCE mit gelernter Basislinie: Eine Policy-Gradient-Methode, die für die sequenzielle Ressourcenallokation optimiert ist.
Tabellarisches TD Q-Learning: Wird für kleinere Zustandsräume verwendet.
Behavioral Cloning (BC): Wird als Baseline verwendet, um die Leistung historischer Richtlinien zu schätzen.

Das Training nutzt strenge chronologische Aufteilungen (z. B. 2020–2024 für das Training, 2025 für das Testen), um Datenlecks zu verhindern und reale Einsätze zu simulieren.

2.4 Interpretierbarkeit und Prüfung

Die Autoren nutzen SHAP (SHapley Additive exPlanations)-Attribution, um die gelernten Richtlinien zu prüfen. Dies identifiziert, ob Merkmale, die als Stellvertreter für demografische Attribute dienen (z. B. Einkommen der Nachbarschaft, ethnische Zusammensetzung), Entscheidungen vorantreiben. Die Prüfung wird nach Einkommensquintilen der Volkszählungsbezirke und ethnischer Zusammensetzung aufgeschlüsselt, um unterschiedliche Auswirkungen zu erkennen.

3. Wichtige Ergebnisse

3.1 Klassifizierungsdurchsatz und Genauigkeit

Heizungs- und Housing-Domänen: REINFORCE zeigte eine 4-fache Verbesserung des kumulativen Belohnungswerts im Vergleich zu HDQN und zufälligen Richtlinien. Es wurden über einen Horizont von 365 Tagen etwa 20–27 % mehr Verstöße geschlossen (101 vs. 80–84).
Kesselsicherheit: DQN übertraf REINFORCE in der Gesamtbelohnung (10,3 Mio. USD vs. 9,0 Mio. USD) und im Recall (98,7 % vs. 94,5 %), obwohl beide eine niedrige Präzision (~22 %) aufwiesen, bedingt durch die hohe Kostenasymmetrie beim Übersehen einer Sicherheitsgefahr (Kostenverhältnis 26:1).
Aufzugs- und SNAD-Domänen: RL-Agenten (DQN und REINFORCE) übertrafen die „Balanced"-Heuristik und andere Baselines konsistent in Bezug auf Belohnung und umsetzbare Klassifizierungsraten.

3.2 Multi-Objective Zielkonflikte (Pareto-Grenze)

Der „Preis der Gerechtigkeit": Die Studie findet, dass das Hinzufügen eines Gerechtigkeitsziels ( $\alpha_3 > 0$ ) eine moderate Durchsatzstrafe von 4–7 % zur Folge hat. Dies stimmt mit den theoretischen Schranken von Liu und Garg [13] überein und legt nahe, dass Effizienz und Gerechtigkeit in städtischen Settings weitgehend komplementär und nicht antagonistisch sind.
Richtlinien-Dominanz: RL-Richtlinien mit Gerechtigkeitszielen dominieren die aktuellen NYC-Inspektionsplanung sowohl in Bezug auf Effizienz als auch Gerechtigkeit gleichzeitig.

3.3 Gerechtigkeitsanalyse

Reduktion von Disparitäten: Die aktuelle DOB-Heuristik zeigt einen statistisch signifikanten Gradienten, bei dem einkommensschwache Nachbarschaften (Q1) pro Beschwerde weniger korrekte Eskalationen erhalten als einkommensstarke Nachbarschaften (Q5).
Gerechtigkeitszentriertes RL: Agenten, die mit dem korrigierten Gerechtigkeitsbelohnungsterm trainiert wurden ( $\alpha_3 > 0$ ), nähern sich der Parität über Einkommensquintile hinweg an. Im Gegensatz dazu schließen Agenten, die ohne den Gerechtigkeitsbegriff trainiert wurden, die Lücke, schließen sie aber nicht.
Merkmalswichtigkeit: Die SHAP-Analyse ergab, dass Merkmale auf Nachbarschaftsebene (z. B. Community Board 12 in Manhattan) starke Prädiktoren sind, was bestätigt, dass geografische Variablen in historischen Daten den sozioökonomischen Status kodieren.

4. Bedeutung und Behauptungen

Der Artikel behauptet, dass Gerechtigkeit kein unvermeidliches Nebenprodukt der Effizienz ist; sie muss explizit in die Belohnungsfunktion eingeschrieben werden.

Notwendigkeit expliziter Gerechtigkeit: Agenten, die ausschließlich auf Durchsatz optimiert sind, verringern historische Disparitäten, beseitigen sie aber nicht. Nur Agenten mit expliziten Zielen der Abdeckungsparität erreichen nahezu Parität und übertreffen gleichzeitig Heuristiken bei der Fehlererkennung.
Geringe Kosten: Der Zielkonflikt für Gerechtigkeit ist quantifizierbar und gering (4–7 % Durchsatzverlust) und stellt die Vorstellung in Frage, dass Fairness erhebliche operative Opfer erfordert.
Grenzen der Datenqualität: Die Autoren betonen, dass die Klassifizierungsqualität durch die Datenqualität begrenzt ist. Ohne Korrektur des „Partizipationsgaps" (Unterberichterstattung in einkommensschwachen Gebieten) riskieren RL-Systeme, die Gerechtigkeit über aufeinanderfolgende Trainingsrunden hinweg aufgrund von Feedback-Loops zu verschlechtern.
Normative Politikgestaltung: Die Konfiguration von Belohnungsfunktionen für RL im öffentlichen Sektor ist ein Akt normativer Politikgestaltung. Der Artikel argumentiert, dass die Wahl, wo auf der Pareto-Grenze operiert wird (Abwägung von Geschwindigkeit, Kosten und Gerechtigkeit), eine politische Entscheidung ist, die der Behörde und den von ihr bedienten Gemeinschaften gehört, nicht nur dem Algorithmus.

5. Empfehlungen für den Einsatz

Die Autoren schlagen eine „Human-in-the-Loop"-Einsatzstrategie mit spezifischen Sicherheitsvorkehrungen vor:

Laufende Prüfungen: Monatliche demografische Prüfungen mit vorab festgelegten Schwellenwerten für manuelle Überprüfungen.
Berichtigungs-Korrektur: Anwendung des Schätzers für Doppelberichte zur Korrektur der Gerechtigkeitsnenner vor jedem Neutraining-Zyklus.
Minderung von Feedback-Loops: Nutzung von Explorationsboni und kontrafaktischen Eskalationen, um zu verhindern, dass das Modell historische Unterversorgung verstärkt.
Transparenz: Öffentliche Dokumentation von Belohnungskonfigurationen als Aussagen normativer politischen Prioritäten.

Der Artikel schließt damit, dass RL zwar einen Hebel zur Skalierung der Klassifizierungskapazität bietet, die Verwirklichung des Versprechens einer gerechten Dienstleistung jedoch die Korrektur der strukturellen Verzerrungen erfordert, die in der zivilen Datenerhebung eingebettet sind, bevor diese Verzerrungen algorithmische Entscheidungen prägen.