Leakage-aware multimodal GeoAI for residential rent valuation: evidence from Arabic property listings in four Saudi cities

見たこともない家の価格を、短い広告だけで推測しようとしている場面を想像してみてください。部屋の数、土地の広さ、そしておそらく数行の近隣地域の記述。不動産の世界において、これは自動査定モデル（AVM）が日々直面している課題です。何十年もの間、専門家たちは、住宅の価値とは単なるレンガとモルタルによるものではなく、それがどこに位置し、何に囲まれているかによって決まるものであることを理解してきました。「ヘドニック理論」として知られるこの概念は、バスルームの数から都心への距離に至るまで、物件のあらゆる特徴が特定の価格を付加することを示唆しています。今日、コンピュータは、数値データとオンライン掲載情報の乱雑で非構造的なテキストを組み合わせ、賃料や売買価格を予測するために、この計算を大規模に行うよう求められています。しかし、落とし穴があります。もしコンピュータが、学習中にテストセットの情報を使用することを許されてしまった場合、そのモデルは極めて優秀であるかのように見えますが、実際には何も理解していません。

サウジアラビアからの新しい研究は、コンピュータに住宅の価値を教える方法、特にリヤド、ジェッダ、ダンマーム、アル・ホバルという4つの主要都市におけるヴィラの賃貸市場に焦点を当てることで、この問題に取り組んでいます。研究者たちは、位置データとアラビア語のテキスト記述を組み合わせることが、実際に役立つのか、それとも過去の研究で報告された高い精度は、不適切なテスト手法によって生じた単なる錯覚なのかを知りたいと考えました。彼らは、データの分割方法が、使用する高度なコンピュータ・アルゴリズムよりも重要であることを発見しました。実際、これらのモデルの一般的なテスト方法があまりに欠陥があったため、実際には答えを暗記しているだけであるにもかかわらず、コンピュータが83%以上のケースで20%以内の誤差で正解を推測しているように見せていたことが判明しました。

研究者たちは、まず、人気のサウジアラビア不動産サイトからスクレイピングされた、約3,700件の賃貸広告を含む公開データセットから着手しました。これらの広告には、寝室やバスルームの数といった構造化された詳細情報と、アラビア語で書かれた自由形式のテキスト記述が含まれていました。モデルを構築する前に、チームはデータの厳格な監査を行い、驚くべき問題を発見しました。広告の半分以上が全く同じ重複データであったのです。ダンマームやアル・ホバルのような都市では状況はさらに悪く、90%以上のレコードが同じ広告の繰り返しでした。これは、データセットが実際よりもはるかに大きく、バランスが取れているように見せていたことを意味します。研究者がこれらの重複を取り除くと、サンプルは大幅に縮小し、より現実的でユニークな物件のセットが残りました。

モデルが実際にどれほど正確に賃料を予測できるかをテストするために、チームはデータの学習用とテスト用に分割する4つの異なる方法を比較しました。最初の方法は、多くの研究で使用されている標準的なアプローチで、すべてのリスティングをランダムにシャッフルし、学習グループとテストグループに分割するものです。重複を含むデータに対してこの方法を用いたとき、コンピュータ・モデルは驚異的に低いエラー率を達成し、賃料をほぼ完璧に予測しているかのように見えました。しかし、研究者が重複したリスティングを取り除いた途端、モデルの性能は崩壊しました。エラー率はわずかな割合から15.4%へと跳ね上がり、モデルが住宅の価値を学んだのではなく、単に繰り返されたエントリを記憶していたことが明らかになりました。

研究は次に、「空間的交差検証（spatial cross-validation）」と呼ばれる、より誠実なテスト方法へと移行しました。リスティングをランダムにシャッフルする代わりに、研究者はそれらを近隣住区ごとにグループ化しました。彼らは、ある近隣住区のデータでモデルを学習させ、モデルが一度も見たことのない全く別の近隣住区でテストを行いました。これは、コンピュータが以前のデータを持たない地区の住宅価値を評価しようとする、現実世界のシナリオをシミュレートしています。このより厳しい条件下では、モデルの精度はさらに低下し、エラー率は15.4%近くまで上昇しました。これにより、以前の高スコアが、学習フェーズ中に「答え合わせ」を与えられていたことによる「データリーケージ（情報の漏洩）」の結果であったことが裏付けられました。

公正なテスト方法を導入した後、研究者たちは、何がモデルの予測を改善させるのかを調査しました。彼らは3種類の情報をテストしました。住宅に関する基本的な構造化データ、自由形式のアラビア語記述、そして地理空間データです。地理空間データには、地区のサイズ、都心からの距離、および周辺地区の平均賃料が含まれていました。結果は、位置情報こそが最も強力なツールであることを示しました。基本的な住宅の特徴に近隣のコンテキストを加えることで、予測誤差は約20%減少しました。このことは、新しいエリアでの賃料を予測する場合、住宅自体の詳細を知ることよりも、その家がどこに位置し、隣人がいくら支払っているかを知ることの方がはるかに価値が高いことを示唆しています。

驚くべきことに、位置情報がすでに判明している場合、アラビア語のテキスト記述はほとんど価値を加えませんでした。テキストはランダムなデータでテストした際にはわずかに貢献しましたが、未知の近隣住区でテストした場合にはその恩恵は消えてしまいました。研究者たちは、テキストがすでに存在する構造化フィールドの内容を繰り返しているか、あるいは近隣の名前を言及しているため、地理空間データと重複しているのではないかと推測しています。さらに、記述は短い長さで切り取られていることが多く、有用な情報を提供できる範囲が限られていました。この発見は、モデルにテキストを追加すれば常に賢くなるという考えに疑問を投げかけています。このケースでは、位置情報が主導的な役割を果たしていたのです。

また、研究は、ある都市で学習したモデルを別の都市の賃料予測に使用できるかどうかについても調査しました。結果は厳しいものでした。モデルはうまく転用できませんでした。リヤドとジェッダのデータで学習したモデルは、ダンマームの賃料を予測しようとすると性能が悪化し、価格を完全に外すことがよくありました。これは、これらのシステムが持つ根本的な限界を浮き彫りにしています。つまり、モデルは学習した特定の都市のパターンを学習しており、それらのパターンは他の市場では必ずしも成立しないということです。予測を実用的なものにするために、研究者は各都市に対して個別に不確実性の推定値を調整し、予測の信頼区間がその特定の場所に対して正確であることを確認する必要があることを見出しました。

結局のところ、この研究は、人工知能を使用して不動産の価値を判断しようとするすべての人に対し、重要な警告を発しています。入念なデータクリーニングと誠実なテスト方法がなければ、モデルは信じられないほど正確であるかのように見えながら、実際には全く役に立たないものであることを証明しています。本研究は、重複レコードの削除と未知の近隣住区でのテストが、単なるオプションではなく、信頼できる結果を得るための必須要件であることを示しています。構造化データと位置情報の組み合わせは賃料の推定を大幅に改善できますが、テキスト分析の約束は限定的であり、モデルは再調整なしに一つの都市から別の都市へ移動することはできません。信頼できる自動査定への道は、より複雑なアルゴリズムにあるのではなく、よりクリーンなデータと、各近隣住区の独自の地理に対する深い敬意にあるのです。