Leakage-aware multimodal GeoAI for residential rent valuation: evidence from Arabic property listings in four Saudi cities

Imagina intentar adivinar el precio de una casa que nunca has visto, basándote únicamente en un breve anuncio. Conoces el número de habitaciones, el tamaño del terreno y quizás algunas frases que describen el vecindario. En el mundo de los bienes raíces, este es el desafío diario de un modelo de valoración automatizada. Durante décadas, los expertos han entendido que el valor de una vivienda no se trata solo de sus ladrillos y mortero, sino también de dónde se ubica y qué la rodea. Esta idea, conocida como teoría hedónica, sugiere que cada característica de una propiedad, desde el número de baños hasta la distancia al centro de la ciudad, añade un precio específico. Hoy en día, se le pide a las computadoras que realicen estas matemáticas a una escala masosa, combinando números duros con el texto desestructurado y caótico de los anuncios en línea para predecir alquileres y ventas. Pero hay un inconveniente: si se permite que la computadora utilice información del conjunto de prueba durante su entrenamiento, parecerá brillante mientras en realidad no sabe nada.

Un nuevo estudio de Arabia Saudita aborda este problema analizando cómo enseñamos a las computadoras a valorar viviendas, centrándose específicamente en el mercado de alquiler de villas en cuatro ciudades principales: Riad, Yeda, Dammam y Al-Jubail (Al-Khobar). Los investigadores querían saber si añadir datos de ubicación y descripciones de texto en árabe a la mezcla realmente ayudaría, o si los altos números de precisión reportados en estudios previos eran simplemente una ilusión causada por malos métodos de prueba. Descubrieron que la forma en que se divide la información para las pruebas importa más que el sofisticado algoritmo informático que se utilice. De hecho, encontraron que una forma común de probar estos modelos era tan defectuosa que hacía que una computadora pareciera estar adivinando correctamente dentro de un margen del 20% en más del 83% de los casos, cuando en realidad, solo estaba memorizando las respuestas.

Los investigadores comenzaron con un conjunto de datos públicos de casi 3,700 anuncios de alquiler extraídos de un popular sitio web de bienes raíces de Arabia Saudita. Estos anuncios contenían detalles estructurados como el número de dormitorios y baños, así como descripciones de texto libre escritas en árabe. Antes de construir cualquier modelo, el equipo realizó una auditoría rigurosa de los datos y encontró un problema sorprendente: más de la mitad de los anuncios eran duplicados exactos. En algunas ciudades, como Dammam y Al-Khobar, la situación era aún peor, con más del 90% de los registros siendo copias repetidas del mismo anuncio. Esto significaba que el conjunto de datos parecía mucho más grande y equilibrado de lo que realmente era. Cuando los investigadores eliminaron estos duplicados, la muestra se redujo significativamente, dejando un conjunto de propiedades únicas mucho más pequeño y realista con el cual trabajar.

Para probar qué tan bien podían estos modelos predecir el alquiler, el equipo comparó cuatro formas diferentes de dividir los datos para el entrenamiento y las pruebas. El primer método es el enfoque estándar utilizado en muchos estudios: mezclar aleatoriamente todos los anuncios y dividirlos en grupos de entrenamiento y de prueba. Cuando utilizaron este método con los duplicados aún incluidos, el modelo de la computadora logró una tasa de error asombrosamente baja, pareciendo predecir los alquileres con una precisión casi perfecta. Sin embargo, tan pronto como los investigadores eliminaron los anuncios duplicados, el rendimiento del modelo colapsó. La tasa de error saltó de una fracción minúscula de un punto porcentual a un 15.4%, revelando que el modelo no había aprendido a valorar las viviendas; simplemente había memorizado las entradas repetidas.

El estudio luego pasó a un método de prueba más honesto llamado validación cruzada espacial. En lugar de mezclar los anuncios aleatoriamente, los investigadores los agruparon por vecindario. Entrenaron el modelo en algunos vecindarios y lo probaron en otros completamente diferentes que el modelo nunca había visto antes. Esto simula un escenario del mundo real donde una computadora intenta valorar una casa en un distrito para el cual no tiene datos previos. Bajo estas condiciones más estrictas, la precisión del modelo cayó aún más, con la tasa de error aumentando a casi el 20%. Esto confirmó que los puntajes altos anteriores eran, de hecho, un resultado de la filtración de datos, donde se le dio la clave de respuestas al modelo durante su fase de entrenamiento.

Con un método de prueba más justo en marcha, los investigadores investigaron qué ayudaba realmente al modelo a realizar mejores predicciones. Probaron tres tipos de información: los hechos estructurados básicos sobre la casa, las descripciones de texto libre en árabe y los datos geoespaciales sobre el vecindario. Los datos geoespaciales incluían el tamaño del distrito, su distancia al centro de la ciudad y el alquiler promedio de los distritos vecinos. Los resultados mostraron que la ubicación era la herramienta más poderosa. Añadir el contexto del vecindario a las características básicas de la casa redujo el error de predicción en aproximadamente un 20%. Esto sugiere que saber dónde se encuentra una casa y qué están pagando los vecinos es mucho más valioso que los detalles específicos de la casa misma al intentar predecir el alquiler en una nueva área.

Sorprendentemente, las descripciones de texto en árabe añadieron muy poco valor una vez que la ubicación ya era conocida. Si bien el texto ayudó ligeramente cuando el modelo fue probado con datos aleatorios, su beneficio desapareció cuando el modelo fue probado en vecindarios no vistos. Los investigadores sospechan que esto se debe a que el texto suele repetir información ya presente en los campos estructurados o menciona el nombre del vecindario, lo que se solapa con los datos geoespaciales. Además, las descripciones a menudo se cortaban en una longitud corta, limitando la cantidad de información útil que podían proporcionar. Este hallazgo desafía la idea de que añadir más texto a un modelo siempre lo hace más inteligente; en este caso, los datos de ubicación hicieron el trabajo pesado.

El estudio también examinó si un modelo entrenado en una ciudad podía usarse para predecir alquileres en otra. Los resultados fueron desalentadores: los modelos no se transfirieron bien. Un modelo entrenado con datos de Riad y Yeda funcionó mal cuando se le pidió predecir los alquileres en Dammam, fallando completamente en los precios. Esto resalta una limitación fundamental de estos sistemas: aprenden los patrones específicos de las ciudades en las que son entrenados, y esos patrones no necesariamente se mantienen verdaderos en otros mercados. Para que las predicciones sean útiles, los investigadores encontraron que necesitaban ajustar las estimaciones de incertidumbre para cada ciudad individualmente, asegurando que los intervalos de confianza para las predicciones fueran precisos para esa ubicación específica.

En última instancia, esta investigación sirve como una advertencia crucial para cualquiera que utilice inteligencia artificial para valorar bienes raíces. Demuestra que sin una limpieza de datos cuidadosa y métodos de prueba honestos, un modelo puede parecer increíblemente preciso mientras es completamente inútil en la práctica. El estudio prueba que eliminar los registros duplicados y realizar pruebas en vecindarios no vistos no son solo pasos opcionales, sino requisitos esenciales para obtener resultados creíbles. Si bien la combinación de datos estructurados e información de ubicación puede mejorar significamente las estimaciones de alquiler, la promesa del análisis de texto sigue siendo limitada, y los modelos no pueden simplemente trasladarse de una ciudad a otra sin recalibración. El camino hacia una valoración automatizada confiable no reside en algoritmos más complejos, sino en datos más limpios y un respeto más profundo por la geografía única de cada vecindario.