Discrete Tokenization Unlocks Transformers for Calibrated Tabular Forecasting

Each language version is independently generated for its own context, not a direct translation.

这篇论文讲述了一个有趣的故事：如何让原本擅长处理文字和图像的"AI 大脑”（Transformer），也能像传统的“老练教练”（XGBoost）一样，精准地预测表格数据中的未来表现。

为了让你轻松理解，我们可以把这项技术想象成**“把模糊的天气预报，变成了精准的颗粒度预报”**。

1. 核心难题：为什么 AI 以前在表格数据上输给了传统算法？

想象一下，你有一个老练的马拉松教练（代表传统的 XGBoost 算法）。他看数据的方式非常“粗暴”但有效：

如果气温超过 25 度，他就把选手归为“热组”；
如果气温低于 15 度，归为“冷组”。
他在每个组里分别总结规律。这种“切蛋糕”式的决策（树模型），非常擅长处理表格数据中那些不连续、跳跃式的变化。

而现代的 Transformer（就像现在的 大语言模型，比如我），天生是个“平滑主义者”。它喜欢把世界看作一条连续、平滑的曲线。它很难理解为什么气温从 24 度变到 26 度，结果会突然发生巨大的变化。以前，让 Transformer 去预测表格数据，就像让一个习惯画油画的大师去干木匠活，总是差点意思。

2. 破局之道：给数据“切块”和“加柔光”

这篇论文的作者（Yael S. Elmatad）想出了一个聪明的办法，让 Transformer 也能像老教练一样思考，同时保留它的强大能力。

第一步：离散化（Discretization）—— 把世界变成“乐高积木”

作者没有让 AI 直接去预测一个精确到小数点的配速（比如 4 分 32 秒 15），而是把配速切成了270 多个小格子（Bins）。

比喻：就像把连续的色轮切成了 270 种具体的颜色。AI 不再问“颜色是什么？”，而是问“是第 105 号色还是第 106 号色？”。
效果：这强行让 Transformer 进入了“分类模式”，让它能像树模型一样，在每个小格子里建立自己的规则。

第二步：高斯平滑（Gaussian Smoothing）—— 给边界加“柔光滤镜”

如果只切格子，AI 可能会太死板。比如，真实成绩是 4 分 32 秒，刚好卡在两个格子的边界上，AI 可能会完全忽略其中一个格子。

做法：作者给每个格子的目标加了一层**“高斯模糊”**。如果真实成绩在格子 A 和 B 之间，AI 不仅会学习 A，也会稍微学习一点 B。
自适应技巧：更厉害的是，这个“模糊”的程度是自适应的。
- 如果格子很窄（比如只有 1 秒宽），模糊就小一点，保持精准。
- 如果格子很宽（比如 10 秒宽），模糊就大一点，让 AI 知道这个范围很大，不要死磕某一点。
- 比喻：这就像给 AI 戴了一副智能眼镜，看近处的小细节时镜片很清晰，看远处的大范围时镜片自动变柔和，防止它“钻牛角尖”。

第三步：时间令牌（Time Delta Tokens）—— 记住“节奏”

跑步不仅仅是看成绩，还要看节奏。

作者把“距离上次比赛过了几周”、“距离下次比赛还有几周”也变成了特殊的“单词”（Token），直接喂给 AI。
比喻：这就像教 AI 不仅要看“跑得快慢”，还要看“休息了多久”。这让 AI 能理解运动员的状态起伏，而不仅仅是冷冰冰的数字。

3. 成果：不仅跑得快，还更懂“不确定性”

在 60 万名跑步者的数据上（500 万条训练记录），这个新方法（叫 RunTime）取得了惊人的成绩：

打败了冠军：它的预测误差（MAE）比经过精心调优的 XGBoost 低了 10.8%。这意味着它比那个“老练教练”更准。
不仅给答案，还给“概率”：
- 传统模型只告诉你：“他下场比赛大概跑 4 分 30 秒”。
- RunTime 告诉你：“他有 60% 的概率跑 4 分 28-30 秒，20% 的概率跑 4 分 32-34 秒，还有 20% 的概率因为状态不好跑得更慢。”
- 比喻：传统模型是**“算命先生”，只给一个定数；RunTime 是“气象预报员”，告诉你下雨的概率是 30%，让你自己决定带不带伞。这种校准（Calibration）**能力让它非常可靠。

4. 为什么这很重要？

这篇论文的核心启示是：有时候，我们不需要更复杂的模型，只需要更聪明的“数据表达方式”。

以前的误区：觉得 Transformer 不够强，是因为模型不够大。
现在的发现：只要把数据“切块”（离散化）并加上“柔光”（高斯平滑），Transformer 就能在表格数据上大放异彩。

总结

这就好比，以前我们试图用平滑的丝绸（Transformer）去包裹棱角分明的石头（表格数据），总是包不住。
现在，作者把石头切成了整齐的方块（离散化），并在棱角处包了一层软软的棉花（高斯平滑）。结果，丝绸不仅完美包裹了石头，还展现出了丝绸原本就有的柔韧和强大。

这项技术不仅适用于预测跑步成绩，未来还可以用于预测股票、医疗诊断、甚至洪水风险——任何需要处理复杂表格数据并给出“概率预测”的领域，都能从中受益。

Each language version is independently generated for its own context, not a direct translation.

这篇论文提出了一种名为 RunTime 的新方法，旨在解决表格数据（Tabular Data）预测中 Transformer 模型表现不如梯度提升树（如 XGBoost）的难题。作者通过引入离散化 Tokenization（离散化分词）和自适应高斯平滑策略，成功让 Transformer 在表格预测任务中超越了经过调优的 XGBoost，并生成了校准良好的概率密度函数（PDF）。

以下是该论文的详细技术总结：

1. 问题背景 (Problem)

现状：在表格数据基准测试中，基于树的模型（如 XGBoost）通常优于 Transformer。这是因为树模型通过轴对齐的分割（axis-aligned splits）自然地形成了离散的决策边界，能够很好地捕捉表格数据中的不规则模式；而神经网络通常是平滑的函数近似器，难以处理这种离散的不规则性。
挑战：现有的表格 Transformer 往往试图直接回归连续值，或者未能有效利用 Transformer 的注意力机制来处理表格中的离散状态和时序依赖。
目标：探索如何通过改变输入/输出的表示方式（特别是离散化），释放 Transformer 在表格预测中的潜力，同时生成校准的概率分布而非单一的点估计。

2. 方法论 (Methodology)

2.1 核心思想：离散化 Tokenization

RunTime 将每个跑步者的职业生涯视为一系列由离散 Token 组成的“因果步长”（causal stride）。

输入离散化：
- 环境特征（温度、湿度、风速等）和配速（Pace）：通过基于分位数的平衡量化（quantile-based quantization）被划分为多个桶（Bins），每个桶包含大致相同数量的样本。这模拟了树模型的决策区域。
- 类别特征：如性别、天气定性描述等直接作为 Token。
- 时间间隔：显式地将“上次比赛距今周数”和“目标比赛剩余周数”作为 Time-delta Tokens 输入，而非简单的数值嵌入，以保留精确的时间信息。
序列结构：每个事件块遵循严格的语法：[环境/人口统计特征] + [配速 Token] + [时间间隔 Token]。模型以自回归方式处理这些序列。

2.2 自适应高斯平滑目标 (Adaptive Gaussian Smoothing)

为了克服硬分类（Hard One-hot）丢失序数信息的问题，并适应不同宽度的分桶：

软目标：使用高斯积分将真实标签转化为软目标（Soft Targets）。真实值附近的桶获得更高的概率权重，保留了序数结构。
自适应平滑：提出了一种基于四舍五入（quadrature-inspired）的自适应平滑公式：
$\sigma_i = \sqrt{\sigma_{floor}^2 + (k \cdot w_i)^2}$
其中 $w_i$ $w_{i}$ 是目标桶的宽度。
- 对于窄桶， $\sigma$ 受限于最小平滑宽度 $\sigma_{floor}$ ，保持锐利。
- 对于宽桶， $\sigma$ 随桶宽增加而增大，分配更多的概率质量。
- 这种方法使得模型能够适应表格数据中常见的异质性桶宽。

2.3 架构设计

使用因果 Transformer（Decoder-only），包含 6 层、8 个头、512 维嵌入。
采用实体分离（Entity-disjoint）的划分策略（训练/验证/测试集无重叠的跑步者），确保模型学习的是泛化能力而非记忆特定个体。
掩码注意力机制强制因果性，防止未来信息泄露。

3. 主要贡献 (Key Contributions)

架构洞察：证明了离散化机制（而非更大的模型）是解锁 Transformer 在表格数据上性能的关键。离散化让注意力机制能够聚焦于特定的离散状态区域。
自适应平滑技术：提出了一种结合固定下限和桶宽比例的自适应高斯平滑方法，有效处理了异质性的分桶宽度，并生成了校准的 PDF。
时序感知建模：显式引入 Time-delta Tokens 来表征不规则的时间间隔，使模型能够学习基于节奏（Cadence）的演进模式。
实证超越：在大规模数据集（60 万实体，500 万训练样本）上，RunTime 在 median MAE 上比调优后的 XGBoost 降低了 10.8%，并实现了极低的 Kolmogorov-Smirnov (KS) 统计量（0.0045），表明其预测分布具有极高的校准度。
分层校准分析：引入分层校准诊断方法，揭示了模型在不同置信度水平下的校准情况，指出了残差校准偏差的来源。

4. 实验结果 (Results)

数据集：基于纽约路跑协会（NYRR）的 9+1 项目数据，包含 60 万跑步者的历史比赛记录。
性能对比：
- RunTime (Full Model): Median MAE = 35.94s
- XGBoost (Tuned): Median MAE = 40.31s
- Riegel 公式 (物理基准): Median MAE = 49.74s
- RunTime 比 XGBoost 提升了约 10.8%，比物理公式提升了约 30%。
消融实验 (Ablations)：
- 移除时间间隔 Token：Median MAE 上升约 1.8% (35.94s -> 36.58s)，且收敛时间显著增加（60h -> 107h），证明时间显式表示对精度和训练效率至关重要。
- 打乱序列顺序：Median MAE 上升约 2.0%，证明保留时间顺序对于捕捉基于节奏的演进模式至关重要。
校准性：
- 通过自适应 $\sigma$ 优化的检查点实现了 KS=0.0045 的极佳校准度。
- 校准是在训练过程中通过自适应平滑实现的，无需后处理的温度缩放（Post-hoc temperature scaling）。

5. 意义与启示 (Significance)

范式转变：该研究表明，对于表格数据，将问题重新定义为“离散状态下的分布预测”比传统的连续回归更有效。离散化不仅没有削弱 Transformer 的能力，反而通过明确的状态空间释放了注意力机制的潜力。
概率预测的价值：相比于 XGBoost 的点估计，RunTime 输出的概率密度函数（PDF）提供了不确定性量化，这对于风险评估和决策制定（如跑步策略调整）至关重要。
通用性：该方法不仅适用于跑步预测，其“离散化 + 自适应平滑”的框架可推广至任何具有异质分桶宽度的序数回归或表格预测任务。
未来方向：论文探讨了将自适应 $\sigma$ 视为类似模拟退火的调度策略，以及利用该架构进行生成式模拟（Monte Carlo Digital Twins）的可能性，用于压力测试和情景规划。

总结：RunTime 通过巧妙的离散化分词策略和自适应高斯平滑目标，成功弥合了 Transformer 与梯度提升树在表格数据上的性能差距，并提供了更丰富、更校准的概率预测结果，为表格数据建模开辟了新路径。