Validating the Crystal Ball: Retrospective Evaluation and Uncertainty-Aware Forecasting of Severe Housing Cost Burden in New York City

En el complejo panorama de las ciudades estadounidenses, donde el precio de una vivienda a menudo dicta la forma de una comunidad, hay un único número que los responsables de la formulación de políticas vigilan con intenso escrutinio: la proporción de hogares de inquilinos que destinan más de la mitad de sus ingresos a la vivienda. Cuando una familia alcanza este umbral, se considera que se encuentra bajo una "carga de costos de vivienda severa", una condición que deja poco margen para la alimentación, la atención médica o los ahorros. Durante décadas, los funcionarios municipales han dependido de las encuestas gubernamentales para rastrear esta carga, pero estas encuestas llegan con un retraso significativo, contándole a los líderes a menudo sobre el pasado en lugar del presente. Para cerrar esta brecha, los investigadores han recurrido al aprendizaje automático, entrenando a las computadoras para predecir los costos futuros de la vivienda basándose en patrones históricos. La esperanza ha sido que estos pronósticos digitales pudieran actuar como una bola de cristal, guiando los recursos hacia los vecindarios que más los necesitan antes de que una crisis se consolide por completo.

Un nuevo estudio de investigadores de instituciones que incluyen la Universidad de Ciencia y Tecnología Shahjalal y la Universidad Wesleyana de Indiana pone a prueba esta bola de cristal. El equipo revisó un modelo específico de aprendizaje automático que previamente había generado pronósticos para la ciudad de Nueva York, proyectando cómo evolucionarían las cargas severas de costos de vivienda desde 2023 hasta 2025. El modelo original fue elogiado por su capacidad para ajustarse a los datos pasados, pero nunca había sido contrastado con lo que realmente sucedió. Ahora que los datos del mundo real para esos años han llegado, los investigadores realizaron una evaluación retrospectiva, comparando las predicciones del modelo directamente con los resultados reales registrados por el gobierno. El resultado fue un fallo claro y sistemático: el modelo había sido consistentemente demasiado optimista. Predijo que la vivienda seguiría siendo más asequible de lo que realmente fue, subestimando la severidad de la carga en cada uno de los distritos de la ciudad.

La discrepancia no fue una pequeña fluctuación; fue un abismo creciente. En promedio, los pronósticos originales erraron por 3.4 puntos porcentuales. Esto significa que si el modelo predijo que el 30 por ciento de los inquilinos estarían severamente afectados, la realidad estaba más cerca del 33.4 por ciento. El error no se mantuvo constante; se amplió con el tiempo. En 2023, el modelo falló por aproximadamente 2 puntos porcentuales, pero para 2025, esa brecha casi se había duplicado a 4.7 puntos porcentuales. La situación fue más aguda en el Bronx, el distrito con la mayor concentración de estrés habitacional, donde el modelo subestimó la carga en 5.4 puntos porcentuales. Los investigadores no atribuyeron este fallo al algoritmo de aprendizaje automático en sí, que funcionó bien al observar datos pasados, sino a los supuestos que se le introdujeron. El pronóstico original asumía que los alquileres subirían un 2.5 por ciento constante cada año y que los ingresos crecerían un 2.5 por ciento. En el mundo real, sin embargo, los alquileres se aceleraron más rápido de lo esperado después de la pandemia mientras los ingresos se estancaron, causando que las proyecciones del modelo se alejaran cada vez más de la realidad con cada año que pasaba.

Reconociendo que una sola predicción rara vez es suficiente para capturar la volatilidad de los mercados de vivienda, el equipo reconstruyó el marco de pronóstico para incluir una medida de incertidumbre. En lugar de ofrecer un solo número, el nuevo enfoque proporciona un rango de posibles resultados, de manera muy similar a un pronóstico del tiempo que ofrece una probabilidad de lluvia en lugar de un simple sí o no. Utilizaron una técnica estadística llamada predicción conforme para crear una banda de confianza del 90 por ciento alrededor de cada pronóstico, asegurando que el valor real caiga dentro de ese rango la mayor parte del tiempo. También tuvieron en cuenta los márgenes de error naturales de los propios datos gubernamentales. Este sistema recalibrado fue utilizado para generar nuevos pronósticos para los años 2025 a 2028 bajo tres escenarios diferentes: un escenario base, un escenario de "paridad entre alquiler e ingresos" donde los ingresos finalmente alcanzan al alquiler, y un escenario adverso donde los alquileres aumentan bruscamente mientras los ingresos se estancan.

Los hallazgos de estos nuevos pronósticos, conscientes de la incertidumbre, pintan un panorama desalentador para el futuro de la ciudad de Nueva York. Incluso en el escenario más optimista, donde el crecimiento de los ingresos iguala al crecimiento de los alquileres, el estudio sugiere que las cargas severas de costos de vivienda seguirán siendo más altas en 2028 de lo que fueron en 2022 en todos los distritos. El cambio post-pandemia en el mercado de la vivienda parece haber creado una nueva base de costos más alta que no se revierte fácilmente. Bajo el escenario adverso, donde los alquileres continúan superando a los ingresos, la situación se vuelve crítica, particularmente en el Bronx, donde casi el 45 por ciento de los hogares de inquilinos podrían enfrentar cargas de costos severas para 2028. Los investigadores también demostraron que añadir datos específicos sobre edificios individuales, como el número de unidades reguladas por el alquiler o el volumen de quejas sobre el código de vivienda, mejoró significamente la precisión de las predicciones, validando la necesidad de datos más granulares en futuros modelos.

En última instancia, este trabajo sirve como una corrección vital para el campo del pronóstico urbano. Demuestra que, si bien los modelos de aprendizaje automático pueden ser herramientas poderosas, solo son tan confiables como los supuestos sobre los cuales están construidos. Un modelo que no puede ver un cambio repentino en el panorama económico producirá inevitablemente un pronóstico que se ve bien en el papel pero falla en la práctica. Al exponer estos puntos ciegos e introducir métodos para cuantificar la incertidumbre, los investigadores han proporcionado a los planificadores urbanos una herramienta más honesta y útil. El camino a seguir implica no solo mejores algoritmos, sino también la voluntad de publicar los supuestos detrás de cada predicción y de verificar regularmente esas predicciones contra la realidad que pretenden describir. Para la ciudad de Nueva York, y potencialmente para otras ciudades importantes que enfrentan presiones similares, esto significa prepararse para un futuro donde el estrés de la vivienda seguirá siendo alto, independientemente de qué tan rápido puedan eventualmente aumentar los ingresos.