Leakage-aware multimodal GeoAI for residential rent valuation: evidence from Arabic property listings in four Saudi cities

Stel je voor dat je probeert de prijs van een huis te raden dat je nog nooit hebt gezien, uitsluitend gebaseerd op een korte advertentie. Je kent het aantal kamers, de grootte van het terrein en misschien een paar zinnen die de buurt beschrijven. In de wereld van vastgoed is dit de dagelijkse uitdaging van een geautomatiseerd waarderingsmodel. Decennialang hebben experts begrepen dat de waarde van een woning niet alleen gaat over de stenen en het cement, maar ook over waar het staat en wat eromheen ligt. Dit idee, bekend als de hedonische theorie, suggereert dat elk kenmerk van een woning, van het aantal badkamers tot de afstand tot het stadscentrum, een specifieke prijssticker toevoegt. Tegenwoordig wordt van computers gevraagd om deze berekening op massale schaal uit te voeren, waarbij ze harde cijfers combineren met de rommelige, ongestructureerde tekst van online advertenties om huren en verkoopprijzen te voorspellen. Maar er is een addertje onder het gras: als de computer tijdens zijn training informatie uit de testset mag gebruiken, zal hij briljant lijken terwijl hij eigenlijk niets weet.

Een nieuwe studie uit Saoedi-Arabië pakt dit probleem aan door te kijken naar hoe we computers leren om woningen te waarderen, specifiek gericht op de huurmarkt voor villa's in vier grote steden: Riyad, Jeddah, Dammam en Al-Khobar. De onderzoekers wilden weten of het toevoegen van locatiegegevens en Arabische tekstbeschrijvingen aan de mix daadwerkelijk zou helpen, of dat de hoge nauwkeurigheidspercentages die in eerdere studies werden gerapporteerd simpelweg een illusie waren, veroorzaakt door slechte testmethoden. Ze ontdekten dat de manier waarop je de data splitst voor het testen belangrijker is dan het chique computeralgoritme dat je gebruikt. Sterker nog, ze ontdekten dat een veelvoorkomende manier van testen deze modellen zo gebrekkig maakte dat de computer leek te voorspellen met een marge van binnen 20% in meer dan 83% van de gevallen, terwijl hij in werkelijkheid gewoon de antwoorden aan het onthouden was.

De onderzoekers begonnen met een publieke dataset van bijna 3.700 huuradvertenties die zijn afgeschraapt van een populaire Saoedische vastgoedwebsite. Deze advertenties bevatten gestructureerde details zoals het aantal slaapkamers en badkamers, evenals vrije tekstbeschrijvingen geschreven in het Arabisch. Voordat ze modellen gingen bouwen, voerde het team een grondige audit van de gegevens uit en ontdekte een schokkend probleem: meer dan de helft van de advertenties waren exacte duplicaten. In sommige steden, zoals Dammam en Al- of Khobar, was de situatie zelfs nog erger, waarbij meer dan 90% van de records herhaalde kopieën van dezelfde advertentie waren. Dit betekende dat de dataset veel groter en evenwichtiger leek dan hij in werkelijkheid was. Toen de onderzoekers deze duplicaten verwijderden, kromp de steekproef aanzienlijk, waardoor ze overgingen op een veel kleinere, meer realistische set unieke woningen.

Om te testen hoe goed deze modellen de huur daadwerkelijk konden voorspellen, vergeleken de onderzoekers vier verschillende manieren om de data te splitsen voor training en testen. De eerste methode was de standaardbenadering die in veel studies wordt gebruikt: het willekeurig door elkaar husselen van alle advertenties en het splitsen ervan in trainings- en testgroepen. Wanneer ze deze methode gebruikten op de data waarin de duplicaten nog aanwezig waren, behaalde het computermodel een verbazingsgunstig lage foutmarge, waardoor het leek alsof het de huren met bijna perfecte nauwkeurigheid voorspelde. Echter, zodra de onderzoekers de dupliceerde advertenties verwijderden, stortte de prestatie van het model in. De foutmarge sprong van een fractie van een procent naar 15,4%, wat onthulde dat het model niet had geleerd om woningen te waarderen; het had simpelweg de herhaalde vermeldingen uit het hoofd geleerd.

De studie ging vervolgens over naar een eerlijkere testmethode genaamd ruimtelijke kruisvalidatie (spatial cross-validation). In plaats van de advertenties willekeurig te husselen, groepeerden de onderzoekers ze per buurt. Ze trainden het model op sommige buurten en testten het op volledig andere buurten die het model nog nooit eerder had gezien. Dit simuleert een scenario in de echte wereld waarbij een computer de waarde van een huis in een district probeert te bepalen waarvoor hij geen eerdere gegevens heeft. Onder deze striktere omstandigheden daalde de nauwkeurigheid van het model verder, waarbij de foutmarge steeg naar bijna 20%. Dit bevestigde dat de eerdere hoge scores inderdaad het gevolg waren van datalekken (data leakage), waarbij de computer het antwoordblad tijdens de trainingsfase al in handen kreeg.

Met een eerlijke testmethode in plaats heeft de onderzoekers onderzocht wat de modellen daadwerkelijk hielp om betere voorspellingen te doen. Ze testten drie soorten informatie: de basisgestructureerde feiten over het huis, de vrije tekstbeschrijvingen in het Arabisch, en de geospatial data over de buurt. De geospatial data omvatte de grootte van het district, de afstand tot het stadscentrum en de gemiddelde huur van naburige districten. De resultaten toonden aan dat locatie het krachtigste instrument was. Het toevoegen van de buurtcontext aan de basiskenmerken van het huis verminderde de voorspellingsfout met ongeveer 20%. Dit suggereert dat weten waar een huis zich bevindt, en wat de buren betalen, veel waardevoller is dan de specifieke details van het huis zelf bij het voorspellen van de huur in een nieuw gebied.

Verrassend genoeg voegden de Arabische tekstbeschrijvingen zeer weinig waarde toe zodra de locatie al bekend was. Hoewel de tekst enigszins hielp wanneer het model op willekeurige data werd getest, verdween het voordeel ervan zodra het model op onbekende buurten werd getest. De onderzoekers vermoeden dat dit komt omdat de tekst vaak informatie herhaalt die al in de gestructureerde velden aanwezig is of de naam van de buurt vermeldt, wat overlapt met de geospatial data. Bovendien werden de beschrijvingen vaak afgebroken bij een korte lengte, wat de hoeveelheid nuttige informatie beperkte. Deze bevinding daagt het idee uit dat het toevoegen van meer tekst aan een model het altijd slimmer maakt; in dit geval deed de locatie het zware werk.

De studie onderzocht ook of een model dat in de ene stad is getraind, gebruikt kon worden om de huren in een andere stad te voorspellen. De resultaten waren sober: de modellen werkten niet goed over. Een model dat getraind was op data uit Riyad en Jeddah presteerde slecht wanneer het werd gevraagd de huren in Dammam te voorspellen, waarbij het de prijzen vaak volledig verkeerd inschatte. Dit benadrukt een fundamentele beperking van deze systemen: ze leren de specifieke patronen van de steden waarop ze zijn getraind, en die patronen houden niet noodzakelijkerwijs stand in andere markten. Om de voorspellingen bruikbaar te maken, vonden de onderzoekers dat ze de onzekerheidsschattingen voor elke stad afzonderlijk moesten aanpassen, om ervoor te zorgen dat de betrouwbaarheidsintervallen voor de voorspellingen accuraat zijn voor die specifieke locatie.

Uiteindelijk dient dit onderzoek als een cruciale waarschuwing voor iedereen die kunstmatige intelligentie gebruikt om vastgoed te waarderen. Het toont aan dat zonder zorgvuldige gegevensopschoning en eerlijke testmethoden, een model ongelooflijk nauwkeurig kan lijken terwijl het in de praktijk volkomen nutteloos is. De studie bewijst dat het verwijderen van duplicaten en het testen op onbekende buurten geen optionele stappen zijn, maar essentiële vereisten voor geloofwaardige resultaten. Hoewel de combinatie van gestructureerde data en locatie-informatie de huurschattingen aanzienlijk kan verbeteren, blijft de belofte van tekstanalyse beperkt, en kunnen de modellen niet simpelweg van de ene stad naar de andere worden verplaatst zonder herkalibratie. De weg naar betrouwbare geautomatiseerde waardering ligt niet in complexere algoritmen, maar in schonere data en een dieper respect voor de unieke geografie van elk gebied.