Validating the Crystal Ball: Retrospective Evaluation and Uncertainty-Aware Forecasting of Severe Housing Cost Burden in New York City

In het complexe landschap van Amerikaanse steden, waar de prijs van een woning vaak de vorm van een gemeenschap bepaalt, is er één enkel getal dat beleidsmakers met intense nauwkeurigheid in de gaten houden: het aandeel huishoudens van huurders dat meer dan de helft van hun inkomen aan huisvesting uitgeeft. Wanneer een gezin dit drempelpunt bereikt, wordt het beschouwd als een "ernstige woonlastendruk", een toestand die weinig ruimte laat voor voedsel, gezondheidszorg of spaargeld. Decennialang hebben stadsfunctionarissen vertrouwd op overheidsenquêtes om deze druk te volgen, maar deze enquêtes komen met een aanzienlijke vertraging aan, waardoor ze leiders vaak vertellen over het verleden in plaats van over het heden. Om deze kloof te overbruggen, hebben onderzoekers zich tot machine learning gewend, waarbij computers worden getraind om toekomstige woonkosten te voorspellen op basis van historische patronen. De hoop was dat deze digitale prognoses als een kristallen bol zouden kunnen fungeren, om middelen naar de wijken te leiden die ze het hardst nodig hebben voordat een crisis volledig de kop opsteekt.

Een nieuwe studie van onderzoekers van instellingen waaronder Shahjalal University of Science and Technology en Indiana Wesleyan University onderwerpt deze kristallen bol aan een test. Het team herzag een specifiek machine learning-model dat eerder prognoses had gegenereerd voor New York City, waarbij werd geprojecteerd hoe de ernstige woonlastendruk zou evolueren van 2023 tot 2025. Het oorspronkelijke model werd geprezen om zijn vermogen om gegevens uit het verleden te verklaren, maar het was nooit gecontroleerd tegen wat er daadwerkelijk gebeurde. Nu de werkelijke gegevens voor die jaren zijn gearriveerd, hebben de onderzoekers een retrospectieve evaluatie uitgevoerd, waarbij de voorspellingen van het model direct vergeleken met de werkelijke uitkomsten die door de overheid zijn vastgelegd. Het resultaat was een duidelijke en systematische mislukking: het model was consequent te optimistisch geweest. Het voorspelde dat wonen betaalbaarder zou blijven dan het in werkelijkheid was, en onderschatte de ernst van de druk in elke borough van de stad.

De discrepantie was geen kleine fluctuatie; het was een groeiende kloof. Gemiddeld misten de oorspronkelijke prognoses het doel met 3,4 procentpunt. Dit betekent dat als het model voorspelde dat 30 procent van de huurders een ernstige last zou ervaren, de werkelijkheid dichter bij 33,4 procent lag. De fout bleef niet constant; deze werd in de loop der tijd groter. In 2023 zat het model er ongeveer 2 procentpunt naast, maar tegen 2025 was die kloof bijna verdubbeld naar 4,7 procentpunt. De situatie was het meest nijpend in de Bronx, de borough met de hoogste concentratie woningstress, waar het model de druk met 5,4 procentpunt onderschatte. De onderzoekers herleidden deze mislukking niet tot het machine learning-algoritme zelf, dat goed presteerde bij het bekijken van gegevens uit het verleden, maar tot de aannames die erin werden gevoed. De oorspronkelijke prognose ging ervan uit dat de huren jaarlijks met een constante 3 procent zouden stijgen en de inkomens met 2,5 procent zouden groeien. In de echte wereld versnelden de huren echter sneller dan verwacht na de pandemie, terwijl de inkomens stagneerden, waardoor de projecties van het model met elk passerend jaar verder afdriften van de realiteit.

In het besef dat een enkele voorspelling zelden voldoende is om de volatiliteit van de woningmarkt te vangen, heeft het team het voorspellingskader opnieuw opgebouwd om een maatstaf voor onzekerheid te bevatten. In plaats van een enkel getal aan te bieden, biedt de nieuwe aanpak een reeks mogelijke uitkomsten, vergelijkbaar met een weersverwachting die een kans op regen geeft in plaats van een simpel ja of nee. Ze gebruikten een statistische techniek genaamd 'conformal prediction' om een betrouwbaarheidsinterval van 90 procent rond elke voorspelling te creëren, om er zeker van te zijn dat de werkelijke waarde meestal binnen dat bereik valt. Ze hielden ook rekening met de natuurlijke foutmarges in de overheidsgegevens zelf. Dit gerekalibreerde systeem werd vervolgens gebruikt om nieuwe prognoses te genereren voor de jaren 2025 tot 2028 onder drie verschillende scenario's: een basisscenario, een "huur-inkomenspariteit"-scenario waarin inkomens eindelijk de huur inhalen, en een ongunstig scenario waarin de huren stijgen terwijl de inkomens stagneren.

De bevindingen van deze nieuwe, op onzekerheid gebaseerde prognoses schetsen een sober beeld voor de toekomst van New York City. Zelfs in het meest optimistische scenario, waarbij de inkomensgroei overeenkomt met de huurgroei, suggereert de studie dat de ernstige woonlastendruk in 2028 in alle boroughs hoger zal zijn dan in 2022. De verschuiving in de woningmarkt na de pandemie lijkt een nieuwe, hogere basislijn van kosten te hebben gecreëerd die niet gemakkelijk te keren is. Onder het ongunstige scenario, waarbij de huren de inkomens blijven overtreffen, wordt de situatie kritiek, vooral in de Bronx, waar bijna 45 procent van de huishoudens van huurders tegen 2028 te maken kan krijgen met ernstige lastendruk. De onderzoekers toonden ook aan dat het toevoegen van specifieke gegevens over individuele gebouwen, zoals het aantal huur-gereguleerde eenheden of het volume aan klachten over de staat van de woning, de nauwkeurigheid van de voorspellingen aanzienlijk verbeterde, wat de noodzaak voor meer granulaire gegevens in toekomstige modellen valideert.

Uiteindelijk dient dit werk als een vitale correctie voor het vakgebied van stedelijke voorspellingen. Het bewijst dat hoewel machine learning-modellen krachtige instrumenten kunnen zijn, ze slechts zo betrouwbaar zijn als de aannames waarop ze zijn gebouwd. Een model dat een plotselinge verschuiving in het economische landschap niet kan zien, zal onvermijdelijk een prognose produceren die er op papier goed uitziet, maar in de praktijk faalt. Door deze blinde vlekken bloot te leggen en methoden te introduceren om onzekerheid te kwantificeren, hebben de onderzoekers stadsplanners voorzien van een eerlijker en nuttiger instrument. De weg vooruit vereist niet alleen betere algoritmen, maar ook een bereidheid om de aannames achter elke voorspelling te publiceren en die voorspellingen regelmatig te toetsen aan de realiteit die ze bedoelen te beschrijven. Voor New York City, en potentieel voor andere grote steden die met soortgelijke druk te maken krijgen, betekent dit zich voor te bereiden op een toekomst waarin de woningstress hoog blijft, ongeacht hoe snel de inkomens uiteindelijk zouden kunnen stijgen.