Cross-City Comparison of Crime-Prediction Models: A Scale Confound in Aggregate Poisson Likelihood, with a Four-City Demonstration

Technische Samenvatting: Cross-stadelijke Vergelijking van Misdaadvoorspellingsmodellen

Probleemstelling
Het artikel behandelt een methodologisch gat in de cross-populatie evaluatie van tel-voorspellingsmodellen, specifiek binnen het domein van sub-gemeentelijke misdaadvoorspelling. Hoewel geaggregeerde gebeurtenis-gewogen Poisson predictive log-likelihood (PLL) breed wordt gebruikt om de prestaties van modellen te vergelijken tussen jurisdicties met verschillende misdaaddensiteiten, tonen de auteurs aan dat deze metriek fundamenteel wordt verstoord door de zero-rate compositie. Specifiek is het per-gebeurtenis log-likelihood plafond wiskundig afhankelijk van het voorspelde gemiddelde ($\mu$), waarbij het negatiever wordt naarmate $\mu$ toeneemt. Bijgevolg worden populaties met hogere gebeurtenisdensiteiten (en dus lagere zero-rates) systematisch benadeeld in de geaggregeerde PLL-ranglijsten, ongeacht de werkelijke modelkwaliteit. Deze verwarring kan de schijnbare rangschikking van steden herschikken, wat leidt tot misleidende conclusies over de voorspellende prestaties.

Methodologie
De studie maakt gebruik van een empirische demonstratie met vier steden via een uniforme LightGBM-pipeline, toegepast op misdaadincidentgegevens uit Boston (VS), Leeds, Birmingham en Londen (VK).

• Data: De dataset bestaat uit H3 resolutie-9 ruimtelijke cellen (ca. 0,105 km²) geaggregeerd op maandelijkse granulariteit. De Boston-data (januari 2023–april 2026) zijn dagelijkse NIBRS-data, terwijl de Britse data (maart 2023–februari 2026) maandelijkse Home Office-data zijn.
• Model: Onafhankelijke LightGBM-boosters met een Poisson-doelstelling worden getraind voor elke stad en elk inheems crimineel type (totaal 36 $(stad, type)$ cellen). De modellen maken gebruik van een stack van 14 features, waaronder log-populatie, temporele lags, voortschrijdende gemiddelden en buurt-sommen.
• Evaluatieprotocol: De studie gebruikt een geïnterleaved jaar-3 split (24 trainingsbins, waarbij even/oneven bins worden afgewisseld voor validatie en testen). Metrieken worden berekend op de uitgesloten testsets.
• Metriekanalyse: De auteurs leiden algebraïsch de Stirling-benadering limiet van de Poisson log-likelihood af om de afhankelijkheid van $\mu$ aan te tonen. Ze vergelijken vier samenvattende metrieken: gebeurtenis-gewogen gemiddelde PLL, nonzero_pll_mean (gemiddelde PLL geconditioneerd op $y>0$), calibration_ratio (geobserveerd gemiddelde/voorspeld gemiddelde), en zero_rate.
• Catalogus van Negatieve Resultaten: Het artikel documenteert vier specifieke interventies in de gradiëntruimte die zijn getest tegen een divergentie-detectie diagnostiek (gedefinieerd als $\mu_{max} / \mu_{median} > 1000$) voor winkeldiefstal-events: Tweedie loss ($p=1.5$), Negative Binomial (NB) loss met vaste dispersie, training-target winsorization, en single-type learning-rate reductie.

Kernbijdragen

1. Identificatie van Schaalverwarring: Het artikel biedt zowel algebraïsch bewijs als empirisch bewijs dat geaggregeerde gebeurtenis-gewogen PLL niet vergelijkbaar is tussen populaties met verschillende zero-rate composities. In de corpus van vier steden produceerden drie verschillende metrieken drie verschillende rank-1 steden (Birmingham op geaggregeerde PLL, Boston op nonzero_pll_mean, Londen op calibration_ratio), waarbij geen enkele stad de rang behield over alle drie de metrieken.
2. Voorgestelde Metriek-paar: De auteurs stellen nonzero_pll_mean en calibration_ratio voor als het primaire paar voor cross-populatie evaluatie, waarbij zero_rate wordt gerapporteerd als beschrijvende context. Deze aanpak isoleert de prestaties van het model op gebeurtenis-voorkomen van de structurele eigenschappen van de datadistributie.
3. Catalogus van Negatieve Resultaten: Het artikel rapporteert expliciet vier configuratie-specifieke interventies die faalden om de voorspellingen te verbeteren in het geteste regime. Cruciaal is dat de auteurs vonden dat de divergentie-diagnostiek zelf ruimtelijke schaarste mat (een structurele eigenschap van geconcentreerde misdaad) in plaats van voorspellende pathologie, waardoor de interventies overbodig of contraproductief waren.

Resultaten

• Metriek-discrepantie: De studie bevestigt dat geaggregeerde PLL-rangschikkingen worden gedreven door de zero-rate compositie. Zo verklaart het verschil van 13,5 procentpunt in zero-rates tussen Boston (74%) en Londen (61%) het merendeel van de geaggregeerde PLL-kloof, ondanks vergelijkbare prestaties per gebeurtenis.
• Kalibratieverbeteringen: Een casestudy naar de Boston calibration ratio (oorspronkelijk 0,849 versus ~0,93 voor de Britse steden) onthulde dat het verschil niet werd opgelost door wijzigingen in de modelarchitectuur, maar door correcties in de datapipeline: het toepassen van time-decay gewichten, het uitsluiten van gedeeltelijke maand test-bins, en het gebruik van een interleaved split om seizoenseffecten te balanceren.
• Interventie-uitkomsten:
  • Tweedie Loss ($p=1.5$): Faalde in het reduceren van divergentieratio's en veroorzaakte trainingspathologie in andere criminele types.
  • Negative Binomial (Vaste $\alpha$): Geconvergeerde modellen over-voorspelden significant (calibration ratios 0,69–0,83) vergeleken met de Poisson baseline.
  • Winsorization: Clipping op het 99,9e percentiel verminderde de divergentieratio's zonder de andere types te verslechteren, maar werd niet overgenomen omdat de onderliggende diagnostiek verkeerd getarget was.
  • Learning Rate Reductie: Het verlagen van de learning rate met een factor 5 voor winkeldiefstal verwijderde de divergentie-flag, maar degradeerde de voorspellende kwaliteit catastrofaal (calibration ratio $\approx 0,01$), omdat het model er niet in slaagde de schaarse ruimtelijke structuur te leren.

Betekenis en Omvang
Het artikel positioneert zich als een methodologische nota in plaats van een generalisatie van predictive policing architecturen.

• Beperkingen van de Omvang: De auteurs stellen expliciet dat de steekproef van vier steden ($n=4$) bestaat uit hoogopgeleide, OECD, Engelstalige, common-law jurisdicties met vergelijkbare politiestructuren. Daarom claimt de studie geen cross-jurisdictionele generalisatie voor de LightGBM-architectuur of de specifieke negatieve resultaten.
• Primaire Bijdrage: De kernbetekenis ligt in de algebraïsche en empirische demonstratie dat geaggregeerde PLL een schaal-verwarde metriek is. Het artikel betoogt dat cross-populatie vergelijkingen nonzero_pll_mean en calibration_ratio moeten rapporteren naast zero_rate om misleidende rangschikkingen te voorkomen.
• Procedurele Aanbeveling: Een belangrijke les is de aanbeveling om de integriteit van de datapipeline te onderzoeken (bijv. afgekapte bins, mismatchende vensters) voordat de modelarchitectuur of verliesfuncties worden gewijzigd wanneer er discrepanties optreden in de cross-populatie kalibratie.
• Negatieve Resultaten: De gerapporteerde mislukkingen van specifieke interventies dienen als configuratie-specifieke observaties voor beoefenaars die werken met zware-staart, ruimtelijk geconcentreerde tel-data, in plaats van categorische afwijzingen van die technieken (zoals blijft NB met MLE-geschatte $\alpha$ ongetest).

Het artikel concludeert dat de schaalverwarring in geaggregeerde PLL een meetprobleem is dat upstream ligt van bredere debatten over de ethiek van predictive policing, wat een verschuiving noodzakelijk maakt in de wijze waarop prestaties in vergelijkende studies worden gerapporteerd.