Validating the Crystal Ball: Retrospective Evaluation and Uncertainty-Aware Forecasting of Severe Housing Cost Burden in New York City

No complex cenário das cidades americanas, onde o preço de uma casa muitas vezes dita a forma de uma comunidade, existe um único número que os formuladores de políticas observam com escrutínio intenso: a parcela de domicílios de locatários que gastam mais da metade de sua renda com habitação. Quando uma família atinge esse limite, ela é considerada sob um "ônus habitacional severo", uma condição que deixa pouco espaço para alimentação, saúde ou poupança. Durante décadas, os funcionários municipais confiaram em pesquisas governamentais para monitorar esse ônus, mas essas pesquisas chegam com um atraso significativo, muitas vezes contando aos líderes sobre o passado em vez do presente. Para preencher essa lacuna, pesquisadores recorreram ao aprendizado de máquina, treinando computadores para prever custos de habitação futuros com base em padrões históricos. A esperança era que esses prognósticos digitais pudessem atuar como uma bola de cristal, guiando recursos para os bairros que mais precisam antes que uma crise se estabeleça plenamente.

Um novo estudo de pesquisadores de instituições incluindo a Universidade de Ciência e Tecnologia Shahjalal e a Universidade Indiana Wesleyan coloca essa bola de cristal à prova. A equipe revisitou um modelo específico de aprendizado de máquina que havia gerado anteriormente previsões para a cidade de Nova York, projetando como os ônus severos de custo de habitação evoluiriam de 2023 até 2025. O modelo original foi elogiado por sua capacidade de ajustar-se aos dados passados, mas nunca havia sido verificado em relação ao que realmente aconteceu. Agora que os dados do mundo real para esses anos chegaram, os pesquisadores realizaram uma avaliação retrospectiva, comparando as previsões do modelo diretamente com os resultados reais registrados pelo governo. O resultado foi uma falha clara e sistemática: o modelo tinha sido consistentemente excessivamente otimista. Ele previa que a habitação permaneceria mais acessível do que realmente era, subestimando a gravidade do ônus em todos os distritos da cidade.

A discrepância não foi uma pequena flutuação; era um abismo crescente. Em média, as previsões originais erraram o alvo por 3,4 pontos percentuais. Isso significa que, se o modelo previa que 30 por cento dos locatários estariam severamente sobrecarregados, a realidade estava mais próxima de 33,4 por cento. O erro não permaneceu constante; ele se alargou ao longo do tempo. Em 2023, o modelo estava errado por cerca de 2 pontos percentuais, mas em 2025, essa lacuna quase dobrou para 4,7 pontos percentuais. A situação foi mais aguda no Bronx, o distrito com a maior concentração de estresse habitacional, onde o modelo subestimou o ônus em 5,4 pontos percentuais. Os pesquisadores rastrearam essa falha não ao algoritmo de aprendizado de máquina em si, que teve um bom desempenho ao observar dados passados, mas às suposições inseridas nele. A previsão original assumia que os aluguéis subiriam de forma constante a 3 por ano e que as rendas cresceriam a 2,5 por cento. No mundo real, no entanto, os aluguéis aceleraram mais rápido do que o esperado após a pandemia enquanto as rendas estagnaram, fazendo com que as projeções do modelo se afastassem cada vez mais da realidade a cada ano que passava.

Reconhecendo que uma única previsão raramente é suficiente para capturar a volatilidade dos mercados imobiliários, a equipe reconstruiu a estrutura de previsão para incluir uma medida de incerteza. Em vez de oferecer um único número, a nova abordagem fornece uma gama de resultados possíveis, muito parecido com uma previsão do tempo que dá uma probabilidade de chuva em vez de um simples sim ou não. Eles usaram uma técnica estatística chamada previsão conformal para criar uma banda de confiança de 90 por cento em torno de cada previsão, garantindo que o valor real cairia dentro dessa faixa na maioria das vezes. Eles também levaram em conta as margens de erro naturais dos próprios dados governamentais. Este sistema recalibrado foi então usado para gerar novas previsões para os anos de 2025 a 2028 sob três cenários diferentes: um cenário de linha de base, um cenário de "paridade aluguel-renda" onde a renda finalmente alcança o aluguel, e um cenário adverso onde os aluguéis disparam enquanto as rendas estagnam.

As descobertas dessas novas previsões, conscientes da incerteza, pintam um quadro sombrio para o futuro de Nova York. Mesmo no cenário mais otimista, onde o crescimento da renda acompanha o crescimento do aluguel, o estudo sugere que os ônus severos de custo de habitação permanecerão mais altos em 2028 do que eram em 2022 em todos os distritos. A mudança pós-pandemia no mercado imobiliário parece ter criado uma nova base de custo mais elevada que não é facilmente revertida. Sob o cenário adverso, onde os aluguéis continuam a superar as rendas, a situação torna-se crítica, particularmente no Bronx, onde quase 45 por cento dos domicílios de locatários poderiam enfrentar ônus de custo severos até 2028. Os pesquisadores também demonstraram que adicionar dados específicos sobre edifícios individuais, como o número de unidades com aluguel controlado ou o volume de reclamações de códigos de habitação, melhorou significativamente a precisão das previsões, validando a necessidade de dados mais granulares em modelos futuros.

Em última análise, este trabalho serve como uma correção vital para o campo da previsão urbana. Ele prova que, embora os modelos de aprendizado de máquina possam ser ferramentas poderosas, eles são apenas tão confiáveis quanto as suposições sobre as quais são construídos. Um modelo que não consegue ver uma mudança súbita no cenário econômico produzirá inevitavelmente uma previsão que parece boa no papel, mas falha na prática. Ao expor esses pontos cegos e introduzir métodos para quantificar a incerteza, os pesquisadores forneceram aos planejadores urbanos uma ferramenta mais honesta e útil. O caminho a seguir envolve não apenas melhores algoritmos, mas uma disposição para publicar as suposições por trás de cada previsão e verificar regularmente essas previsões contra a realidade que pretendem descrever. Para Nova York, e potencialmente para outras grandes cidades enfrentando pressões semelhantes, isso significa preparar-se para um futuro onde o estresse habitacional permanecerá alto, independentemente de quão rapidamente as rendas possam eventualmente subir.