技術要約：RowNet – 表形式回帰のためのメモリ・トランスフォーマー

1. 問題定義

本論文は、不動産価格評価の領域における**表形式回帰（tabular regression）**の課題に取り組んでいる。画像やテキストデータとは異なり、表形式データには安定した局所的なトポロジーが存在しない。隣接する列同士に意味的な関連性があることは稀であり、カテゴリカルな特徴量は高カーディナリティで疎なレベルを持つことが多く、数値的な特徴量は互換性のないスケールで存在している。

不動産においては、特徴量（面積、地区、築年数、アメニティなど）から価格へのマッピングは、グローバルに滑らかでもなければ、純粋に加法的なものでもない。市場は局所的に不均一である。例えば、ある地区の1平方メートルは、特定の建物タイプ、状態、および微細な地域的な需給を考慮しなければ、別の地区のそれと直接比較することはできない。標準的なディープラーニングモデル（MLPなど）は、行を孤立したベクトルとして扱うため、教師あり学習のみから局所性やカテゴリカルな一致を学習することに苦慮する。一方で、勾配ブースティング決定木（GBDT）は強力なベースラインではあるものの、特徴量中心の分割によって動作するため、人間による鑑定士が行う論理の核心である「類似した過去の観測値の検索（リトリーバル）」を明示的にモデル化することはない。

2. 手法：RowNet アーキテクチャ

RowNetは、不動産の平方メートル単価を予測するために設計された検索ベース（retrieval-based）のニューラル・アーキテクチャである。これは「比較可能な物件（comparable-property）」という帰納バイアスを採用しており、訓練セット全体を、クエリに対して関連する過去の事例を検索するためのメモリバンクとして扱う。

2.1 コア・コンポーネント

ThreeLayerMoEと名付けられたこのアーキテクチャは、3つの異なるステージで構成されている。

1. 特徴量のみによる行の検索 (第1層):

   • モデルは、クエリとなる行とすべてのメモリ内の行との間のペアワイズな類似度を計算する。
   • 類似度埋め込み（Similarity Embedding）: 単なるドット積ではなく、以下の手法を用いて類似度を設計している。
     • カテゴリカルな完全一致: カテゴリカルおよびワンホットエンコーディングされた特徴量に対するバイナリ等価性。
     • 数値的カーネル: 数値的特徴量のために、3つのスケール認識型カーネルを使用する：逆距離（$1/(1+\Delta)$）、指数相対類似度（$\exp(-\Delta/\alpha)$）、およびクリップされた線形相対類似度（$\max(0, 1-\Delta/\alpha)$）。
   • 学習可能な単一のベクトル $w_1$ がこれらの類似度ベクトルをスコアリングし、ターゲットの粗い、アテンション重み付きの推定値を生成する。

2. ターゲット条件付きマルチヘッド検索 (第2層):

   • この層は、類似度ベクトルにターゲット整合性特徴量を付加することで、検索を精緻化する。これらの特徴量は、メモリ内の行の実際の価格が、第1層からの粗い推定値にどの程度近いかを測定するものである。
   • マルチヘッド設計: モデルは $H=8$ のアテンション・ヘッドを採用している。各ヘッドは別々の適合性ベクトル（$w_{2,h}$）を学習し、これにより、異なるヘッドが比較可能性の異なる側面（例：立地、形状、アメニティ、またはターゲットの一貫性）に特化することを可能にする。
   • 各ヘッドについてメモリ次元に対して独立にソフトマックス・アテンションが適用され、ターゲットの推定値と特徴量の要約の両方が検索される。

3. 残差補正を伴う混合エキスパート（MoE）集約:

   • ゲート（Gate）: 2層のMLPがヘッドの要約の平均を取り、各ヘッドの寄与を重み付けするためのゲーティング・ベクトル $\pi$ を生成する。
     ماده
   • 残差補正（Residual Correction）: 各ヘッドには、検索された平均値に対する小さな加法的補正を予測する関連残差MLP（$R_h$）が付随している。これにより、単純な平均では捉えきれない系統的なバイアス（例：観察されない品質）を調整することが可能になる。
   • 最終予測: 出力は、学習されたゲートと「残差信頼度」分布（残差の大きさにわたるソフトミン）によって重み付けされた、検索された価格と残差補正の凸結合である。

2.2 学習と正則化

• 目的関数: 主な損失関数は、平方メートル単価に対する平均絶対パーセント誤差（MAPE）である。
• 正則化:
  • ゲート・エントロピー: ゲーティング機構が単一のヘッドに崩壊するのではなく、複数のヘッドを使用するように促す。
  • ヘッドの多様性: 学習されたヘッド・ベクトルが互いに区別された状態を維持し、冗長性を防ぐためのペナルティ項。
  • 残差ペナルティ: 加法的な残差補正のスケールを制約し、それが検索信号を支配しないようにする。
• セルフ・マスキング: 訓練中、クエリとなる行自体を自身のメモリから除外（スコアを $-\infty$ に設定）し、leave-one-out（一つ抜き）の検索目的を強制する。

3. 主な貢献

本論文は、以下の具体的な貢献を行っている：

1. アーキテクチャ: ペアワイズ類似度埋め込み、2段階の行アテンション、マルチヘッド検索、および混合エキスパート集約を組み合わせた、コンパクトな検索拡張型表形式回帰モデルである RowNet の導入。
2. 数学的定式化: 設計された類似度チャネル（完全一致、スケール認識型カーネル、ターゲット整合性特徴量）およびハイブリッド・アテンション・メカニズムの詳細な定義。
3. 前処理パイプライン: ロシア語から英語へのスキーマ正規化、座標に基づく地理的クラスタリング（K-Means）、住所の分解、および平方メートル単価のターゲット構築を含む、不動産データのための包括的なパイプライン。
4. 実証的検証: 訓練のトレース、プルーフ・オブ・コンセプト（概念実証）としてのベースライン、およびキルギスのビシュケクのリアルワールド・データセットを用いたコンペティション結果の報告。
5. 理論的分析: RowNetを「学習された比較可能物件モデル」として論じ、GBDT、表形式トランスフォーマー、およびk近傍法（k-NN）と比較検討を行う。

4. 実験結果

• データセット: 本研究では、7,128件の訓練リスティングと1,784件のテストリスティングを含む、ビシュケクのKaggleコンペティションのデータセットを使用している。
• パフォーマンス:
  • 概念実証（PoC）: 学習を行わない行アテンション・ベースラインは 14.76% MAPE を達成し、生の類似度には信号が含まれているものの、学習なしでは不十分であることを示した。
  • XGBoost ベースライン: 8.33% MAPE と報告。
  • RowNet 訓練: モデルは、セルフマスキングされた訓練時のMAPEを、10エポックで8.36%から 6.37% へと減少させた。
  • コンペティション結果: 最終提出では 7.44% MAPE を達成した（注：アブストラクトでは7.44%と言及されているが、セクション6.3では246回の提出後の報告スコアとして8.11%が記載されており、これは評価時点や提出バージョンの違いを反映している可能性がある）。
• アブレーションによる洞察: 論文では、検索を取り除くとモデルがグローバルなパラメトリック回帰器へと変わり（局所的な適応能力を失う）、ターゲット条件付きレイヤーまたは残差補正を取り除くと、バイアスが生じるか精緻化が低下すると論じている。

5. 意義と主張

本論文は、**学習された行検索（learned row retrieval）**が、不動産評価において自然な帰納バイアスであると主張している。その根拠は以下の通りである：

• ハイブリッド・アプローチ: RowNetは、最近傍推定の統計的な強み（局所的な適応性）と、ニューラル・アテンション・メカニズムの微分可能性および専門化をうまく組み合わせている。
• 解釈可能性: 「ブラックボックス」的なトランスフォーマーとは異なり、RowNetの予測は特定の履歴行に対するアテンションの重みを通じて検査可能であり、より直接的な説明経路を提供する。すなわち、「特定の比較可能な物件が検索され、高く重み付けされたために予測値が高い」という説明が可能である。
• ドメインへの適合: このアーキテクチャは、グローバルな関数に局所的なレジームを近似させるのではなく、比較可能な取引を特定し重み付けするという、ドメインの実践的な手法を明示的にモデル化している。

6. 限界

著者らはいくつかの限界を認めている：

• スケーラビリティ: フルメモリ・アテンション・メカニズムは $O(N^2)$ の訓練複雑度をもたらすため、非常に大規模なデータセット（例：15万行以上）に対しては計算コストが高くなる。
• 評価範囲: 本研究では、すべてのベースライン（XGBoost, CatBoost等）に対するホールドアウト検証メトリクスや、複数のシードを用いた完全なアブレーション・メトリクスは提供されていない。
• データ依存性: モデルはメモリバンクからのバイアスや時間的ドリフトを継承する。メモリ内のデータが古かったり重複していたりする場合、誤った検索を招く可能性がある。
• 解釈可能性: 標準的なトランスフォーマーよりは優れているものの、学習された適合性ウェイトや残差調整は依然として分析を必要とし、完全に人間が理解できる形式ではない。

結論として、RowNetは、トップkの事前選択や近似最近傍探索（ANN）インデックスなどの手法によってスケーラビリティの課題が解決されるならば、局所的な比較可能性が中心となるドメインにおいて、勾配ブースティングの強力な補完物として機能すると述べている。