Validating the Crystal Ball: Retrospective Evaluation and Uncertainty-Aware Forecasting of Severe Housing Cost Burden in New York City

In der komplexen Landschaft amerikanischer Städte, in denen der Preis eines Hauses oft die Gestalt einer Gemeinschaft bestimmt, gibt es eine einzige Zahl, die politische Entscheidungsträger mit intensiver Wachsamkeit beobachten: den Anteil der Mieterhaushalte, die mehr als die Hälfte ihres Einkommens für Wohnraum ausgeben. Wenn eine Familie diesen Schwellenwert erreicht, gilt sie als unter einer „schweren Wohnkostenbelastung“ leidend – ein Zustand, der kaum Spielraum für Lebensmittel, Gesundheitsversorgung oder Ersparnisse lässt. Jahrzehntelang haben Stadtverwalter auf Regierungsumfragen vertraut, um diese Belastung zu verfolgen, doch diese Umfragen treffen mit einer erheblichen Verzögerung ein und berichten den Verantwortlichen oft eher über die Vergangenheit als über die Gegenwart. Um diese Lücke zu schließen, haben Forscher auf maschinelles Lernen zurückgegriffen und Computer darauf trainiert, zukünftige Wohnkosten basierend auf historischen Mustern vorherzusagen. Die Hoffnung war, dass diese digitalen Prognosen als Kristallkugel dienen könnten, um Ressourcen in die Stadtteile zu lenken, die sie am dringendsten benötigen, bevor eine Krise vollends ausbricht.

Eine neue Studie von Forschern verschiedener Institutionen, darunter die Shahjalal University of Science and Technology und die Indiana Wesleyan University, stellt diese Kristallkugel auf die Probe. Das Team untersuchte ein spezifisches Modell des maschinellen Lernens, das zuvor Prognosen für New York City erstellt hatte und projektierte, wie sich die schwere Wohnkostenbelastung von 2023 bis 2025 entwickeln würde. Das ursprüngliche Modell wurde für seine Fähigkeit gelobt, vergangene Daten abzubilden, aber es war nie gegen das geprüft worden, was tatsächlich geschah. Nun, da die realen Daten für diese Jahre vorliegen, führten die Forscher eine retrospektive Evaluierung durch, indem sie die Vorhersagen des Modells direkt mit den tatsächlichen, von der Regierung erfassten Ergebnissen verglichen. Das Ergebnis war ein klares und systematisches Versagen: Das Modell war durchweg zu optimistisch gewesen. Es sagte voraus, dass Wohnraum erschwinglicher bleiben würde, als er es tatsächlich war, und unterschätzte die Schwere der Belastung in jedem einzelnen Borough der Stadt.

Die Diskrepanz war keine kleine Fluktuation; es war ein wachsender Abgrund. Im Durchschnitt verfehlten die ursprünglichen Prognosen das Ziel um 3,4 Prozentpunkte. Das bedeutet, wenn das Modell vorhersagte, dass 30 Prozent der Mieter schwer belastet sein würden, lag die Realität näher bei 33,4 Prozent. Der Fehler blieb nicht konstant; er weitete sich im Laufe der Zeit aus. Im Jahr 2023 lag das Modell um etwa 2 Prozentpunkte daneben, aber bis 2025 hatte sich diese Lücke fast verdoppelt auf 4,7 Prozentpunkte. Die Situation war im Bronx am akutesten, dem Borough mit der höchsten Konzentration an Wohnungsstress, wo das Modell die Belastung um 5,4 Prozentpunkte unterschätzte. Die Forscher führten dieses Scheitern nicht auf den Algorithmus des maschinellen Lernens selbst zurück, der bei der Betrachtung vergangener Daten gut abschnitt, sondern auf die in ihn eingespeisten Annahmen. Die ursprüngliche Prognose ging davon aus, dass die Mieten jährlich um stetige 3 Prozent steigen und die Einkommen um 2,5 Prozent wachsen würden. In der realen Welt beschleunigten sich die Mieten nach der Pandemie jedoch schneller als erwartet, während die Einkommen stagnierten, was dazu führte, dass die Projektionen des Modells mit jedem vergehenden Jahr weiter von der Realität abdrifteten.

In der Erkenntnis, dass eine einzelne Vorhersage selten ausreicht, um die Volatilität der Wohnungsmärkte zu erfassen, baute das Team den Prognoserahmen neu auf, um ein Maß an Unsicherheit einzubeziehen. Anstatt eine einzige Zahl anzubieten, liefert der neue Ansatz einen Bereich möglicher Ergebnisse, ähnlich einer Wettervorhersage, die die Wahrscheinlichkeit von Regen angibt, anstatt eines einfachen Ja oder Nein. Sie verwendeten eine statistische Technik namens Conformal Prediction, um ein 90-prozentiges Konfidenzintervall um jede Prognose zu erstellen, um sicherzustellen, dass der wahre Wert die meiste Zeit innerhalb dieses Bereichs liegt. Sie berücksichtigten auch die natürlichen Fehlermargen in den Regierungsdaten selbst. Dieses rekalibrierte System wurde dann verwendet, um neue Prognosen für die Jahre 2025 bis 2028 unter drei verschiedenen Szenarien zu erstellen: einem Basisszenario, einem „Miet-Einkommens-Paritäts“-Szenario, in dem die Einkommen schließlich mit den Mieten Schritt halten, und einem adversen Szenario, in dem die Mieten steigen, während die Einkommen stagnieren.

Die Erkenntnisse aus diesen neuen, unsicherheitsbewussten Prognosen zeichnen ein ernüchterndes Bild für die Zukunft von New York City. Selbst im optimistischsten Szenario, in dem das Einkommenswachstum mit dem Mietwachstum Schritt hält, legt die Studie nahe, dass die schwere Wohnkostenbelastung im Jahr 2028 in allen Boroughs höher sein wird als im Jahr 2022. Die postpandemische Verschiebung auf dem Wohnungsmarkt scheint eine neue, höhere Basis der Kosten geschaffen zu haben, die nicht ohne Weiteres umkehrbar ist. Unter dem adversen Szenario, in dem die Mieten weiterhin die Einkommen übertreffen, wird die Situation kritisch, insbesondere in der Bronx, wo fast 45 Prozent der Mieterhaushalte bis 2028 mit schweren Kostenbelastungen konfrontiert sein könnten. Die Forscher zeigten auch, dass das Hinzufügen spezifischer Daten über einzelne Gebäude, wie die Anzahl der mietpreisgebundenen Wohneinheiten oder das Volumen der Beschwerden über den Zustand der Wohnungen, die Genauigkeit der Vorhersagen signifikant verbesserte, was die Notwendigkeit granulärerer Daten für zukünftige Modelle validierte.

Letztlich dient diese Arbeit als wichtige Korrektur für das Feld der Stadtprognostik. Sie beweist, dass maschinelle Lernmodelle zwar leistungsstarke Werkzeuge sein können, sie aber nur so zuverlässig sind wie die Annahmen, auf denen sie aufgebaut sind. Ein Modell, das einen plötzlichen Wandel in der Wirtschaftslandschaft nicht wahrnehmen kann, wird unweigerlich eine Prognose erstellen, die auf dem Papier gut aussieht, aber in der Praxis versagt. Durch das Aufzeigen dieser blinden Flecken und die Einführung von Methoden zur Quantifizierung von Unsicherheit haben die Forscher den Stadtplanern ein ehrlicheres und nützlicheres Werkzeug zur Verfügung gestellt. Der Weg nach vorn umfasst nicht nur bessere Algorithmen, sondern auch die Bereitschaft, die Annahmen hinter jeder Vorhersage zu veröffentlichen und diese Vorhersagen regelmäßig mit der Realität abzugleichen, die sie beschreiben sollen. Für New York City und potenziell für andere Großstädte, die ähnlichem Druck ausgesetzt sind, bedeutet dies, sich auf eine Zukunft vorzubereiten, in der der Wohnungsstress hoch bleibt, ungeachtet dessen, wie schnell die Einkommen letztendlich steigen mögen.