Leakage-aware multimodal GeoAI for residential rent valuation: evidence from Arabic property listings in four Saudi cities

Imagine tentar adivinhar o preço de uma casa que você nunca viu, baseando-se apenas em um curto anúncio. Você sabe o número de cômodos, o tamanho do terreno e talvez algumas frases descrevendo o bairro. No mundo do setor imobiliário, este é o desafio diário de um modelo de avaliação automatizada. Por décadas, especialistas entenderam que o valor de uma casa não se trata apenas de seus tijolos e argamassa, mas também de onde ela está situada e o que a cerca. Essa ideia, conhecida como teoria hedônica, sugere que cada característica de uma propriedade, desde o número de banheiros até a distância do centro da cidade, adiciona uma etiqueta de preço específica. Hoje, os computadores estão sendo solicitados a fazer essa matemática em uma escala massiva, combinando números brutos com o texto desestruturado e confuso dos anúncios online para prever aluguéis e vendas. Mas há um problema: se o computador for permitido usar informações do conjunto de teste durante seu treinamento, ele parecerá brilhante enquanto, na verdade, não sabe de nada.

Um novo estudo da Arábia Saudita aborda esse problema ao observar como ensinamos os computadores a valorizar casas, focando especificamente no mercado de aluguel de vilas em quatro grandes cidades: Riade, Jeddah, Dammam e Al-Khobar. Os pesquisadores queriam saber se adicionar dados de localização e descrições em texto árabe à mistura realmente ajudaria, ou se os altos números de precisão relatados em estudos anteriores eram simplesmente uma ilusão causada por métodos de teste ruins. Eles descobriram que a maneira como você divide os dados para teste importa mais do que o algoritmo de computador sofisticado que você usa. De fato, descobriram que uma forma comum de testar esses modelos era tão falha que fazia um computador parecer estar acertando dentro de uma margem de 20% em mais de 83% dos casos, quando, na realidade, ele estava apenas memorizando as respostas.

Os pesquisadores começaram com um conjunto de dados público de quase 3.700 anúncios de aluguel coletados de um popular site imobiliário saudita. Esses anúncios continham detalhes estruturados, como o número de quartos e banheiros, bem como descrições de texto livre escritas em árabe. Antes de construir qualquer modelo, a equipe realizou uma auditoria rigorosa dos dados e encontrou um problema alarmante: mais da metade dos anúncios eram duplicatas exatas. Em algumas cidades, como Dammam e Al-Khobar, a situação era ainda pior, com mais de 90% dos registros sendo cópias repetidas do mesmo anúncio. Isso significava que o conjunto de dados parecia muito maior e mais equilibrado do que realmente era. Quando os pesquisadores removeram essas duplicatas, a amostra encolheu significativamente, restando um conjunto muito menor e mais realista de propriedades únicas para trabalhar.

Para testar quão bem esses modelos poderiam realmente prever o aluguel, a equipe comparou quatro maneiras diferentes de dividir os dados para treinamento e teste. O primeiro método foi a abordagem padrão usada em muitos estudos: embaralhar aleatoriamente todos os anúncios e dividi-los em grupos de treinamento e teste. Quando usaram esse método nos dados ainda incluindo as duplicatas, o modelo de computador alcançou uma taxa de erro surpreendentemente baixa, parecendo prever aluguéis com uma precisão quase perfeita. No entanto, assim que os pesquisadores removeram os anúncios duplicados, o desempenho do modelo colapsou. A taxa de erro saltou de uma fração minúscula de um percentual para 15,4%, revelando que o modelo não aprendeu a valorizar casas; ele simplesmente memorizou as entradas repetidas.

O estudo então passou para um método de teste mais honesto chamado validação cruzada espacial. Em vez de embaralhar os anúncios aleatoriamente, os pesquisadores os agruparam por bairro. Eles treinaram o modelo em alguns bairros e o testaram em outros completamente diferentes, que o modelo nunca tinha visto antes. Isso simula um cenário do mundo real, onde um computador tenta valorar uma casa em um distrito para o qual não possui dados prévios. Sob essas condições mais rigorosas, a precisão do modelo caiu ainda mais, com a taxa de erro subindo para quase 20%. Isso confirmou que os escores altos anteriores eram, de fato, resultado de vazamento de dados, onde o modelo recebeu a chave de respostas durante sua fase de treinamento.

Com um método de teste mais justo em vigor, os pesquisadores investigaram o que realmente ajudava o modelo a fazer melhores previsões. Eles testaram três tipos de informações: os fatos estruturados básicos sobre a casa, as descrições de texto livre em árabe e os dados geoespaciais sobre o bairro. Os dados geoespaciais incluíam o tamanho do distrito, sua distância do centro da cidade e o aluguel médio dos distritos vizinhos. Os resultados mostraram que a localização era a ferramenta mais poderosa. Adicionar o contexto do bairro às características básicas da casa reduziu o erro de previsão em cerca de 20%. Isso sugere que saber onde uma casa está localizada, e o que os vizinhos estão pagando, é muito mais valioso do que os detalhes específicos da própria casa ao tentar prever o aluguel em uma nova área.

Surpreendentemente, as descrições de texto em árabe adicionaram muito pouco valor uma vez que a localização já era conhecida. Embora o texto tenha ajudado ligeiramente quando o modelo foi testado em dados aleatórios, seu benefício desapareceu quando o modelo foi testado em bairros não vistos. Os pesquisadores suspeitam que isso ocorre porque o texto frequentemente repete informações já presentes nos campos estruturados ou menciona o nome do bairro, o que se sobrepõe aos dados geoespaciais. Além disso, as descrições eram frequentemente interrompidas em um comprimento curto, limitando a quantidade de informação útil que poderiam fornecer. Essa descoberta desafia a ideia de que adicionar mais texto a um modelo sempre o torna mais inteligente; neste caso, os dados de localização fizeram o trabalho pesado.

O estudo também examinou se um modelo treinado em uma cidade poderia ser usado para prever aluguéis em outra. Os resultados foram sóbrios: os modelos não se transferiram bem. Um modelo treinado nos dados de Riade e Jeddah teve um desempenho ruim ao tentar prever aluguéis em Dammam, errando os preços completamente. Isso destaca uma limitação fundamental desses sistemas: eles aprendem os padrões específicos das cidades para as quais foram treinados, e esses padrões não necessariamente se mantêm em outros mercados. Para tornar as previsões úteis, os pesquisadores descobriram que precisavam ajustar as estimativas de incerteza para cada cidade individualmente, garantindo que os intervalos de confiança para as previsões fossem precisos para aquela localização específica.

Em última análise, esta pesquisa serve como um aviso crucial para qualquer pessoa que utilize inteligência artificial para valorar imóveis. Ela demonstra que, sem uma limpeza cuidadosa de dados e métodos de teste honestos, um modelo pode parecer incrivelmente preciso enquanto é completamente inútil na prática. O estudo prova que remover registros duplicados e testar em bairros não vistos não são apenas etapas opcionais, mas requisitos essenciais para resultados credíveis. Embora a combinação de dados estruturados e informações de localização possa melhorar significamente as estimativas de aluguel, a promessa da análise de texto permanece limitada, e os modelos não podem simplesmente ser movidos de uma cidade para outra sem recalibração. O caminho para uma avaliação automatizada confiável não reside em algoritmos mais complexos, mas em dados mais limpos e um respeito profundo pela geografia única de cada bairro.