📊 statistics

RowNet: A Memory Transformer for Tabular Regression

本文介绍了 RowNet，这是一种基于检索的神经架构，它利用包含标记属性的记忆库和多阶段注意力机制来建模可比属性关系，以改进每平方米房地产价格的预测，从而解决标准 MLP 和梯度提升树在处理稀疏区域效应和非线性交互方面的局限性。

原作者： Askat Rakhymbekov, Gulshat Muhametjanova

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Askat Rakhymbekov, Gulshat Muhametjanova

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图弄清楚吉尔吉斯斯坦比什凯克（Bishkek）某套特定公寓的价值。你并没有神奇的水晶球，也不能只看一个数字就进行猜测。相反，你的行为就像一个人类专家：你会观察周围并说：“嗯，那套公寓和街那头的那套很像，但拐角处的那套更好一些，因为它视野很好。”你会寻找几套具有可比性的公寓，看看它们的成交价，并根据差异对你的估价进行调整。

这篇名为 RowNet 的论文，教导计算机也像这样去做。它不是试图为城市里的每一栋房子记住一个庞大且复杂的公式，而是为计算机构建了一个关于它所见过的所有房子的记忆库。当它需要评估一栋新房子时，它不仅仅是“思考”特征，而是会从记忆中检索出最相似的房子，并利用它们来进行预测。

以下是该论文如何使用简单的类比来拆解这一过程的：

1. 问题所在：为什么标准计算机表现不佳

通常，当计算机尝试从电子表格（表格数据）中预测价格时，它们将每一行（每栋房子）视为一个孤立的岛屿。它们试图学习一个巨大的规则，例如：“如果面积大且楼层高，那么价格就是 X。”

但房地产是非常复杂的。一个位于糟糕社区的大公寓，其价值可能还不如一个位于优越社区的小公寓。标准的计算机模型往往会错过这些微妙的局部联系，因为它们试图为整个城市寻找一个“全局”规则。它们无法自然地理解“将这栋房子与那栋特定的房子进行比较”这一概念。

2. 解决方案：RowNet（“记忆库”方法）

RowNet 改变了游戏规则。它不再仅仅是在真空中观察新房子，而是保留了一个包含它训练过的每一栋房子的图书馆（记忆库）。

当一栋新房子（“查询对象”）出现时，RowNet 会执行三个步骤：

第一步：“找相似”扫描（仅基于特征的检索）
首先，它扫描图书馆，根据物理特征（面积、房间数、楼层和建筑房龄）寻找看起来相似的房子。它暂时忽略价格。这就像是在说：“好吧，我看到了 50 栋看起来和这栋房子非常相似的房子。”它取这些房子价格的一个粗略平均值，以获得一个“粗略估算”。
第二步：“现实检查”（以目标为条件的检索）
现在，它变得更聪明了。它会问：“在这些相似的 50 栋房子中，哪些实际成交的价格与我的粗略估算相符？”
如果一栋房子看起来很像，但成交价与估算值偏差极大（也许是虚假挂牌或存在隐藏缺陷），RowNet 会学会降低它的权重。它会细化搜索过程，以找到最相关、最真实的参照物。
第三步：“专家小组”（混合专家模型）
RowNet 不仅仅依赖一种方式来比较房子。它同时使用 8 个不同的“专家”（注意力头）。
- 专家 A 可能会侧重于地理位置（区和街道）。
- 专家 B 可能会侧重于面积和房间布局。
- 专家 C 可能会关注配套设施，如停车位或安保。
一个“门控器”（AI 的一个小决策部分）会倾听所有 8 位专家的意见。它决定信任每位专家的程度。如果这栋房子位于一个复杂的区域，门控器可能会说：“多听听专家 A 的意见。”如果这栋房子很大，它可能会说：“多听听专家 B 的意见。”

3. 最后的润色：“调整”

即使找到了最匹配的房子，平均价格仍可能因为一些计算机看不见的东西（比如极佳的视野或糟糕的气味）而略有偏差。
RowNet 加入了一个 残差修正（Residual Correction）。你可以把它想象成一个微小的“微调”按钮。在专家们给出平均值之后，会加入一个微小的调整量，对最终价格进行精细校准，确保预测不仅仅是一个盲目的平均值，而是一个经过校准的猜测。

4. 效果如何？

作者在来自比什凯克的真实数据上对该模型进行了测试。

结果： RowNet 在一次竞赛中实现了 7.44% 的误差率（MAPE）。这意味着它的预测结果平均而言在实际成交价的 7.5% 误差范围内。
对比： 它大幅超越了一种“非学习型”的标准方法（该方法仅基于原始相似度进行预测而没有经过训练，误差率为 14.76%）。它在面对数据科学家常用的标准树模型时，也表现得非常出色。

5. 为什么这很重要（“归纳偏置”）

论文认为，这种方法对于房地产行业来说是“自然”的。人类计算价格时并不是使用复杂的数学公式；我们是通过检索过去类似交易的记忆来计算的。RowNet 只是教会了计算机做同样的事情：

寻找相似的房子。
检查它们的成交价是否合理。
请求专门的“专家小组”提供意见。
进行微小的调整。

总结

RowNet 是一个聪明的计算机程序，它通过查看自己对过去销售记录的记忆来预测房价。它不再试图记住适用于全世界的单一规则，而是说：“这栋房子让我想起了谁？让我们看看那些房子当时卖了多少钱，并请几位不同的专家来帮我决定最终价格。”

这是一种从“计算公式”到“检索可比的故事”的转变，事实证明，这是解决房地产难题的一种非常强大的方式。

技术摘要：RowNet —— 用于表格回归的记忆 Transformer

1. 问题定义

本文解决了表格回归（tabular regression）中的挑战，特别是在房地产估值领域。与图像或文本数据不同，表格数据缺乏稳定的局部拓扑结构；相邻列之间很少具有语义相关性，类别特征通常具有高基数且水平稀疏，数值特征则存在不兼容的尺度。

在房地产领域，从特征（如面积、区域、建筑房龄、配套设施）到价格的映射既不是全局平滑的，也不是纯加性的。市场具有局部异质性：如果不考虑特定的建筑类型、状况和微观区域供需，一个平方公里的价值在不同区域之间是无法直接比较的。标准的深度学习模型（如 MLP）将每一行视为孤立的向量，难以仅通过监督学习来捕捉局部性和类别匹配。相反，梯度提升决策树（GBDT）虽然是强大的基准模型，但它们通过以特征为中心的切分进行操作，并未显式地模拟人类评估师所使用的核心逻辑——即检索相似的历史观测值。

2. 方法论：RowNet 架构

RowNet 是一种基于检索的神经架构，旨在预测每平方米房价。它采用了“可比物业”的归纳偏置，将整个训练集视为一个记忆库（memory bank），模型从中为给定的查询提取相关的历史样本。

2.1 核心组件

该架构被称为 ThreeLayerMoE，由三个不同的阶段组成：

仅特征行检索（第 1 层）：
- 模型计算查询行与所有记忆行之间的成对相似度。
- 相似度嵌入： 相似度并非使用原始点积，而是通过以下方式工程化构建：
  - 精确类别匹配： 针对类别特征和独热编码特征使用二值相等性。
  - 数值核函数： 针对数值特征使用三种感知尺度的核函数：反距离（ $1/(1+\Delta)$ ）、指数相对相似度（ $\exp(-\Delta/\alpha)$ ）以及截断线性相对相似度（ $\max(0, 1-\Delta/\alpha)$ ）。
- 一个可学习的向量 $w_1$ 对这些相似度向量进行评分，从而产生一个粗略的、经过注意力加权的估计值。
目标条件化的多头检索（第 2 层）：
- 该层通过引入目标一致性特征来细化检索过程，这些特征用于衡量记忆行的实际价格与第 1 层得到的粗略估计值之间的接近程度。
- 多头设计： 模型采用 $H=8$ 个注意力头。每个头学习一个独立的兼容性向量（ $w_{2,h}$ ），允许不同的头专门化处理不同的可比性维度（例如：位置、几何形状、配套设施或目标一致性）。
- 针对每个头，在记忆维度上独立应用 Softmax 注意力，以检索目标估计值和特征摘要。
带有残差修正的混合专家聚合（Mixture-of-Experts Aggregation）：
- 门控（Gate）： 一个两层 MLP 接收头摘要的平均值，并生成一个门控向量 $\pi$ 来加权各头的贡献。
- 残差修正： 每个头都关联一个残差 MLP（ $R_h$ ），用于预测一个小的加性修正值。这使得模型能够调整系统性偏差（例如未观察到的质量因素），而简单的平均值无法捕捉这些偏差。
- 最终预测： 输出是检索价格与残差修正的凸组合，其权重由学习到的门控和“残差置信度”（对残差大小进行 softmin 处理）共同决定。

2.2 训练与正则化

目标函数： 主要损失函数是每平方米价格的平均绝对百分比误差（MAPE）。
正则化：
- 门控熵（Gate Entropy）： 鼓励门控机制使用多个头，而不是坍缩到单个头。
- 头多样性（Head Diversity）： 惩罚项确保学习到的头向量保持差异性，防止冗余。
- 残差惩罚（Residual Penalty）： 约束加性残差修正的规模，防止其主导检索信号。
自掩码（Self-Masking）： 在训练期间，查询行会被从自身的记忆中屏蔽掉（得分设为 $-\infty$ ），以强制执行留一法（leave-one-out）检索目标。

3. 主要贡献

本文做出了以下具体贡献：

架构： 引入了 RowNet，一种紧凑的、检索增强的表格回归模型，它结合了成对相似度嵌入、两阶段行注意力、多头检索以及混合专家聚合。
数学形式化： 详细定义了工程化的相似度通道（精确匹配、尺度感知核、目标一致性特征）以及混合注意力机制。
预处理流水线： 一个完整的房地产数据预处理流程，包括俄语到英语的模式归一化、地理聚类（坐标 K-Means）、地址分解以及每平方米价格目标的构建。
实证验证： 报告了训练轨迹、一个概念验证基准以及在吉尔吉斯斯坦比什凯克真实数据集上的竞赛结果。
理论分析： 将 RowNet 讨论为一个学习到的可比物业模型，并将其与 GBDT、表格 Transformer 以及 k-最近邻方法进行对比。

4. 实验结果

数据集： 研究使用了来自 Kaggle 竞赛的数据集，包含 7,128 条训练列表和 1,784 条测试列表。
性能：
- 概念验证： 一个非学习型的行注意力基准实现了 14.76% 的 MAPE，证明了原始相似度包含信号，但若没有学习则不足以有效利用。
- XGBoost 基准： 报告为 8.33% MAPE。
- RowNet 训练： 该模型在 10 个 epoch 内将自掩码训练 MAPE 从 8.36% 降低至 6.37%。
- 竞赛结果： 最终提交成绩为 7.44% MAPE（注：摘要提到 7.44%，而第 6.3 节提到在 246 次提交后的报告分数为 8.11%，这可能反映了不同的评估点或提交版本）。
消融实验洞察： 论文指出，移除检索会将模型转变为全局参数回归器（失去局部适应性），而移除目标条件层或残差修正会导致偏差或精细度下降。

5. 意义与主张

论文认为学习到的行检索是房地产估值的一种自然归纳偏置。它提出：

混合方法： RowNet 成功结合了最近邻估计的统计优势（局部适应性）与神经注意力机制的可微性和专业化能力。
可解释性： 与“黑盒”Transformer 不同，RowNet 的预测可以通过对特定历史行的注意力权重进行检查来获得解释，提供了一条更直接的解释路径：预测值较高是因为检索并高度加权了特定的可比物业。
领域契合度： 该架构显式地模拟了通过识别并加权可比交易来估算物业价值的行业实践，而不是强迫全局函数去逼近局部机制。

6. 局限性

作者承认存在以下局限性：

可扩展性： 全内存注意力机制导致 $O(N^2)$ 的训练复杂度，这使得处理大规模数据集（如超过 15 万行）时计算成本极高。
评估范围： 研究未对所有基准模型（XGBoost, CatBoost 等）提供留出验证指标或跨多个种子（seed）的完整消融指标。
数据依赖性： 模型会继承记忆库中的偏差和时间漂移；记忆库中陈旧或重复的数据可能会导致误导性的检索。
可解释性： 虽然比标准 Transformer 更好，但学习到的兼容性权重和残差调整仍需要深入分析，且并非完全具备人类可读性。

论文总结道，只要通过 top-k 预选或近似最近邻索引等技术解决可扩展性挑战，RowNet 即可作为梯度提升模型在局部可比性至关重要的领域中的有力补充。