Leakage-aware multimodal GeoAI for residential rent valuation: evidence from Arabic property listings in four Saudi cities

Stellen Sie sich vor, Sie müssten versuchen, den Preis eines Hauses zu erraten, das Sie noch nie gesehen haben, basierend nur auf einer kurzen Anzeige. Sie kennen die Anzahl der Zimmer, die Grundstücksgröße und vielleicht ein paar Sätze, die die Nachbarschaft beschreiben. In der Welt der Immobilien ist dies die tägliche Herausforderung eines automatisierten Bewertungsmodells. Seit Jahrzehnten wissen Experten, dass der Wert eines Hauses nicht nur aus Ziegeln und Mörtel besteht, sondern auch davon abhängt, wo es steht und was es umgibt. Diese Idee, bekannt als hedonische Theorie, legt nahe, dass jedes Merkmal einer Immobilie, von der Anzahl der Badezimmer bis zur Entfernung zum Stadtzentrum, einen spezifischen Preisschild hinzufügt. Heute wird von Computern verlangt, diese Mathematik in massivem Maßstab zu betreiben, indem sie harte Zahlen mit dem unstrukturierten, chaotischen Text von Online-Inseraten kombinieren, um Mieten und Verkaufspreise vorherzusagen. Aber es gibt einen Haken: Wenn der Computer erlaubt wird, Informationen aus dem Testdatensatz während seines Trainings zu verwenden, wird er brillant erscheinen, während er in Wirklichkeit gar nichts weiß.

Eine neue Studie aus Saudi-Arabien befasst sich mit diesem Problem, indem sie untersucht, wie wir Computer lehren, Häuser zu bewerten, wobei der Fokus speziell auf dem Mietmarkt für Villen in vier Großstädten liegt: Riad, Dschidda, Dammam und Al-Khobar. Die Forscher wollten wissen, ob das Hinzufügen von Standortdaten und arabischen Textbeschreibungen zur Mischung tatsächlich helfen würde oder ob die hohen Genauigkeitswerte, die in früheren Studien berichtet wurden, lediglich eine Illusion waren, die durch schlechte Testmethoden verursacht wurde. Sie entdeckten, dass die Art und Weise, wie man die Daten für den Test aufteilt, wichtiger ist als der schicke Computeralgorithmus, den man verwendet. Tatsächlich fanden sie heraus, dass eine gängige Methode zum Testen dieser Modelle so fehlerhaft war, dass sie den Computer so aussehen ließ, als würde er innerhalb einer Fehlermarge von 20 % in über 83 % der Fälle korrekt raten, während er in Wirklichkeit nur die Antworten auswendig lernte.

Die Forscher begannen mit einem öffentlichen Datensatz von fast 3.700 Mietanzeigen, die von einer populären saudi-arabischen Immobilienwebsite gescrapt wurden. Diese Anzeigen enthielten strukturierte Details wie die Anzahl der Schlafzimmer und Badezimmer sowie freitextliche Beschreibungen in arabischer Sprache. Bevor sie mit dem Aufbau von Modellen begannen, führte das Team eine strenge Prüfung der Daten durch und stellte ein erschreckendes Problem fest: Mehr als die Hälfte der Inserate waren exakte Duplikate. In einigen Städten, wie Dammam und Al-Khobar, war die Situation sogar noch schlimmer, wobei über 90 % der Datensätze wiederholte Kopien derselben Anzeige waren. Dies bedeutete, dass der Datensatz viel größer und ausgewogener aussah, als er es tatsächlich war. Als die Forscher diese Duplikate entfernten, schrumpfte die Stichprobe erheblich, wodurch ihnen ein viel kleinerer, realistischerer Satz an einzigartigen Immobilien zur Verfügung stand.

Um zu testen, wie gut diese Modelle die Miete tatsächlich vorhersagen können, verglich das Team vier verschiedene Wege, die Daten für Training und Test aufzuteilen. Die erste Methode war der Standardansatz, der in vielen Studien verwendet wird: das zufällige Mischen aller Inserate und das Aufteilen in Trainings- und Testgruppen. Wenn sie diese Methode unter Einschluss der Duplikate auf die Daten anwandten, erreichte das Computermodell eine erstaunlich niedrige Fehlerrate und schien die Mieten mit fast perfekter Genauigkeit vorherzusagen. Doch sobald die Forscher die Duplikate entfernten, brach die Leistung des Modells zusammen. Die Fehlerrate sprang von einem winzigen Bruchteil eines Prozents auf 15,4 %, was offenbarte, dass das Modell nicht gelernt hatte, Häuser zu bewerten, sondern lediglich die wiederholten Einträge auswendig gelernt hatte.

Die Studie ging dann zu einer ehrlicheren Testmethode über, der sogenannten räumlichen Kreuzvalidierung (spatial cross-validation). Anstatt die Inserate zufällig zu mischen, gruppierten die Forscher sie nach Stadtvierteln. Sie trainierten das Modell mit Daten aus einigen Stadtvierteln und testeten es an völlig anderen Vierteln, die das Modell zuvor noch nie gesehen hatte. Dies simuliert ein reales Szenario, in dem ein Computer versucht, den Wert eines Hauses in einem Distrikt zu bestimmen, für den er keine vorherigen Daten hat. Unter diesen strengeren Bedingungen sank die Genauigkeit des Modells weiter, wobei die Fehlerrate auf fast 20 % anstieg. Dies bestätigte, dass die früheren hohen Werte tatsächlich ein Ergebnis von Data Leakage waren, bei dem dem Modell während der Trainingsphase das Antwortblatt gegeben wurde.

Mit einer fairen Testmethode im Rücken untersuchten die Forscher, was tatsächlich dazu beitrug, dass das Modell bessere Vorhersagen traf. Sie testeten drei Arten von Informationen: die grundlegenden strukturierten Fakten über das Haus, die freien arabischen Textbeschreibungen und die geospatialen Daten über das Viertel. Die geospatialen Daten umfassten die Größe des Distrikts, seine Entfernung zum Stadtzentrum und die Durchschnittsmiete benachbarter Distrikte. Die Ergebnisse zeigten, dass der Standort das mächtigste Werkzeug war. Das Hinzufügen des Kontextes des Viertels zu den grundlegenden Hausmerkmalen reduzierte den Vorhersagefehler um etwa 20 %. Dies deutet darauf hin, dass das Wissen, wo sich ein Haus befindet und was die Nachbarn bezahlen, weitaus wertvoller ist als die spezifischen Details des Hauses selbst, wenn man versucht, die Miete in einem neuen Gebiet vorherzusagen.

Überraschenderweise fügten die arabischen Textbeschreibungen kaum einen Mehrwert hinzu, sobald der Standort bereits bekannt war. Während der Text beim Testen auf zufälligen Daten noch leicht half, verschwand sein Nutzen, sobald das Modell auf ungesehenen Stadtvierteln getestet wurde. Die Forscher vermuten, dass dies daran liegt, dass der Text oft Informationen wiederholt, die bereits in den strukturierten Feldern vorhanden sind, oder den Namen des Viertels erwähnt, was sich mit den geospatialen Daten überschneidet. Zudem waren die Beschreibungen oft auf eine kurze Länge begrenzt, was die Menge der nutzbaren Informationen einschränkte. Dieser Befund stellt die Idee infrage, dass das Hinzufügen von mehr Text zu einem Modell es immer intelligenter macht; in diesem Fall leisteten die Standortdaten die Hauptarbeit.

Die Studie untersuchte auch, ob ein in einer Stadt trainiertes Modell verwendet werden konnte, um Mieten in einer anderen Stadt vorherzusagen. Die Ergebnisse waren ernüchternd: Die Modelle übertrug sich nicht gut. Ein Modell, das auf Daten aus Riad und Dschidda trainiert wurde, schnitt bei der Vorhersage der Mieten in Dammam schlecht ab und lag oft völlig daneben. Dies verdeutlicht eine fundamentale Einschränkung dieser Systeme: Sie lernen die spezifischen Muster der Städte, für die sie trainiert wurden, und diese Muster lassen sich nicht ohne Weiteres auf andere Märkte übertragen. Um die Vorhersagen nützlich zu machen, stellten die Forscher fest, dass sie die Unsicherheitsschätzungen für jede Stadt individuell anpassen mussten, um sicherzustellen, dass die Konfidenzintervalle der Vorhersagen für den jeweiligen Ort genau waren.

Letztendlich dient diese Forschung als entscheidende Warnung für jeden, der künstliche Intelligenz zur Bewertung von Immobilien einsetzt. Sie zeigt, dass ein Modell ohne sorgfältige Datenbereinigung und ehrliche Testmethoden zwar unglaublich genau erscheinen kann, in der Praxis jedoch völlig nutzlos ist. Die Studie beweist, dass das Entfernen von Duplikaten und das Testen auf ungesehenen Stadtvierteln nicht nur optionale Schritte, sondern essenzielle Anforderungen für glaubwürdige Ergebnisse sind. Während die Kombination aus strukturierten Daten und Standortinformationen die Mietprognosen signifikant verbessern kann, bleibt das Versprechen der Textanalyse in diesem Kontext begrenzt, und die Modelle können nicht einfach von einer Stadt in die andere verschoben werden, ohne neu kalibriert zu werden. Der Weg zu einer zuverlässigen automatisierten Bewertung liegt nicht in komplexeren Algorithmen, sondern in saubereren Daten und einem tieferen Respekt vor der einzigartigen Geografie jedes Viertels.