Leakage-aware multimodal GeoAI for residential rent valuation: evidence from Arabic property listings in four Saudi cities

Immaginate di cercare di indovinare il prezzo di una casa che non avete mai visto, basandovi solo su un breve annuncio. Conoscete il numero di stanze, la dimensione del terreno e forse qualche frase che descrive il quartiere. Nel mondo del settore immobiliare, questa è la sfida quotidiana di un modello di valutazione automatizzata. Per decenni, gli esperti hanno compreso che il valore di una casa non riguarda solo i suoi mattoni e la sua malta, ma anche dove si trova e cosa la circonda. Questa idea, nota come teoria edonica, suggerisce che ogni caratteristica di una proprietà, dal numero di bagni alla distanza dal centro città, aggiunge un prezzo specifico. Oggi, ai computer viene chiesto di fare questo calcolo su scala massiccia, combinando numeri precisi con il testo disordinato e non strutturato degli annunci online per prevedere affitti e vendite. Ma c'è un problema: se al computer viene permesso di usare informazioni dal set di test durante il suo addestramento, sembrerà brillante pur non sapendo in realtà nulla.

Un nuovo studio dall'Arabia Saudita affronta questo problema esaminando come insegniamo ai computer a dare un valore alle case, concentrandosi in particolare sul mercato degli affitti per le ville in quattro grandi città: Riyadh, Jeddah, Dammam e Al-Khobar. I ricercatori volevano sapere se aggiungere dati sulla posizione e descrizioni testuali in arabo alla miscela aiuterebbe davvero, o se gli alti numeri di accuratezza riportati negli studi precedenti fossero semplicemente un'illusione causata da metodi di test errati. Hanno scoperto che il modo in cui si suddivide i dati per il test conta più dell'algoritmo informatico sofisticato che si utilizza. Infatti, hanno scoperto che un modo comune di testare questi modelli era così fallace da far sembrare che il computer indovinasse correttamente entro un margine del 20% in oltre l'83% dei casi, quando in realtà stava solo memorizzando le risposte.

I ricercatori sono partiti da un dataset pubblico di quasi 3.700 annunci di affitto estratti da un popolare sito web immobiliare saudita. Questi annunci contenevano dettagli strutturati come il numero di camere da letto e bagni, nonché descrizioni testuali libere scritte in arabo. Prima di costruire qualsiasi modello, il team ha eseguito un rigoroso audit dei dati e ha trovato un problema sorprendente: più della metà degli annunci erano duplicati esatti. In alcune città, come Dammam e Al-Khobar, la situazione era ancora peggiore, con oltre il 90% dei record che erano copie ripetute dello stesso annuncio. Ciò significava che il dataset appariva molto più grande e bilanciato di quanto non fosse realmente. Quando i ricercatori hanno rimosso questi duplicati, il campione si è ridotto significativamente, lasciando un set di proprietà uniche molto più piccolo e realistico con cui lavorare.

Per testare quanto bene questi modelli potessero effettivamente prevedere l'affitto, il team ha confrontato quattro diversi modi per suddividere i dati per l'addestramento e il test. Il primo metodo è l'approccio standard utilizzato in molti studi: mescolare casualmente tutti gli annunci e suddividerli in gruppi di addestramento e di test. Quando hanno usato questo metodo con i duplicati ancora inclusi, il modello informatico ha raggiunto un tasso di errore sorprendentemente basso, apparendo capace di prevedere gli affitti con un'accuratezza quasi perfetta. Tuttavia, non appena i ricercatori hanno rimosso i duplicati, le prestazioni del modello sono crollate. Il tasso di errore è passato da una frazione minuscola di un punto percentuale al 15,4%, rivelando che il modello non aveva imparato a valutare le case; aveva semplicemente memorizzato le voci ripetute.

Lo studio si è poi spostato su un metodo di test più onesto chiamato validazione incrociata spaziale (spatial cross-validation). Invece di mescolare gli annunci casualmente, i ricercatori li hanno raggruppati per quartiere. Hanno addestrato il modello su alcuni quartieri e lo hanno testato su quartieri completamente diversi che il modello non aveva mai visto prima. Questo simula uno scenario del mondo reale in cui un computer cerca di valutare una casa in un distretto per il quale non ha dati precedenti. Sotto queste condizioni più rigorose, l'accuratezza del modello è scesa ulteriormente, con il tasso di errore che saliva a quasi il 20%. Ciò ha confermato che i punteggi elevati precedenti erano effettivamente il risultato di una fuga di dati (data leakage), dove al modello veniva fornito il copione durante la fase di addestramento.

Con un metodo di test equo in atto, i ricercatori hanno indagato cosa aiutasse effettivamente il modello a fare previsioni migliori. Hanno testato tre tipi di informazioni: i fatti strutturati di base sulla casa, le descrizioni testuali libere in arabo e i dati geospaziali sul quartiere. I dati geospaziali includevano la dimensione del distretto, la sua distanza dal centro città e l'affitto medio dei distretti vicini. I risultati hanno mostrato che la posizione era lo strumento più potente. L'aggiunta del contesto del quartiere alle caratteristiche di base della casa ha ridotto l'errore di previsione di circa il 20%. Ciò suggerisce che conoscere la posizione di una casa e cosa pagano i vicini è molto più prezioso dei dettagli specifici della casa stessa quando si cerca di prevedere l'affitto in una nuova zona.

Sorprendentemente, le descrizioni testuali in arabo hanno aggiunto pochissimo valore una volta che la posizione era già nota. Sebbene il testo abbia aiutato leggermente quando il modello veniva testato su dati casuali, il suo beneficio è svanito quando il modello è stato testato su quartieri inediti. I ricercatori sospettano che ciò sia dovuto al fatto che il testo spesso ripete informazioni già presenti nei campi strutturati o menziona il nome del quartiere, il che si sovrappone ai dati geospaziali. Inoltre, le descrizioni erano spesso troncate a una lunghezza breve, limitando la quantità di informazioni utili che potevano fornire. Questa scoperta mette in discussione l'idea che aggiungere più testo a un modello lo renda sempre più intelligente; in questo caso, i dati sulla posizione hanno svolto il lavoro pesante.

Lo studio ha anche esaminato se un modello addestrato in una città potesse essere utilizzato per prevedere gli affitti in un'altra. I risultati sono stati severi: i modelli non si sono trasferiti bene. Un modello addestrato sui dati di Riyadh e Jeddah ha performato male quando gli è stato chiesto di prevedere gli affitti a Dammam, sbagliando spesso completamente i prezzi. Ciò evidenzia un limite fondamentale di questi sistemi: essi apprendono i pattern specifici delle città su cui sono addestrati, e tali pattern non sono necessariamente validi in altri mercati. Per rendere le previsioni utili, i ricercatori hanno scoperto che dovevano regolare le stime di incertezza per ogni città individualmente, assicurando che gli intervalli di confidenza per le previsioni fossero accurati per quella specifica località.

In definitiva, questa ricerca funge da avvertimento cruciale per chiunque utilizzi l'intelligenza artificiale per valutare gli immobili. Dimostra che senza una pulizia accurata dei dati e metodi di test onesti, un modello può apparire incredibilmente accurato pur essendo completamente inutile nella pratica. Lo studio prova che rimuovere i record duplicati e testare su quartieri inediti non sono solo passaggi opzionali, ma requisiti essenziali per ottenere risultati credibili. Sebbene la combinazione di dati strutturati e informazioni sulla posizione possa migliorare significamente le stime degli affitti, la promessa dell'analisi del testo rimane limitata e i modelli non possono essere semplicemente spostati da una città all'altra senza ricalibrazione. La via per una valutazione automatizzata affidabile non risiede in algoritmi più complessi, ma in dati più puliti e in un rispetto più profondo per l'unica geografia di ogni quartiere.