💻 computer science

ProfiLLM: Utility-Aligned Agentic User Profiling for Industrial Ride-Hailing Dispatch

ProfiLLM 是一个智能体化的大语言模型（LLM）数据流水线，它通过结合工具增强的全局知识挖掘与效用对齐的画像探索，克服了规模化工业级网约车调度中用户画像构建的挑战，从而在滴滴的生产环境匹配系统中实现了显著的性能提升。

原作者： Tengfei Lyu, Zirui Yuan, Xu Liu, Kai Wan, Zihao Lu, Li Ma, Hao Liu

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Tengfei Lyu, Zirui Yuan, Xu Liu, Kai Wan, Zihao Lu, Li Ma, Hao Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一座规模宏大、繁忙的城市，数百万人在试图获取乘车服务，成千上万的司机正在寻找乘客。这座城市的“大脑”是一个名为**调度器（dispatcher）**的超快速计算机系统。它的任务是在眨眼之间（字面意义上的 2 秒内）将合适的司机与合适的乘客进行匹配。

多年来，这个调度器一直像一个非常精明的会计师。它观察数字：司机有多远？车费是多少？乘客等了多久？ 它根据这些硬性的数字来进行匹配。

但本文的作者发现，ProfiLLM 意识到这位会计师忽略了一些重要的东西：人的故事。

问题所在：会计师 vs. 讲述者

想象一位讨厌开车去机场的司机，因为那里总是堵车；或者一位如果接送点距离超过 5 分钟就会取消订单的乘客。会计师看到的是“距离：2 英里”。而讲述者看到的则是“这位司机避开机场；这位乘客讨厌长时间步行”。

研究人员尝试使用大语言模型（LLMs）——也就是那种可以写诗和回答问题的 AI——来阅读每位司机和乘客的历史记录，并为他们撰写一份“故事画像”。他们希望这些故事能帮助调度器做出更好的匹配。

但存在三个巨大的问题：

数据量过大： 用户的数量以百万计。你无法要求 AI 在实时处理时去阅读每一个人的全部历史记录；这会耗时过长并导致系统崩溃。
“长尾”问题： 大多数人（比如 96% 的乘客）每月只订几次车。由于历史记录不足，很难为他们撰写一个好的故事。
华而不实： AI 可以写出非常流畅、优美的用户故事，听起来很棒，但这些故事实际上并不能帮助预测他们是否会取消订单。这就像是为一个司机写了一首动人的诗，听起来很美，但却没法告诉你他是否真的会准时出现。

解决方案：“ProfiLLM”工厂

团队构建了一个名为 ProfiLLM 的系统，它就像一个高科技工厂。他们并没有尝试在实时处理时为每一个人撰写故事，而是将繁重的计算工作放在离线阶段（当系统处于休息状态时）完成，并在在线阶段（当系统运行时）仅使用处理结果。

以下是这个工厂的工作原理，使用一个简单的类比：

第一步：“全球侦探”（挖掘知识）

首先，AI 扮演侦探的角色。它不仅仅观察一个人，它利用 27 种不同的“工具”（如放大镜、地图和计算器）观察整个城市的历史。

它发现了模式：“在雨天的周二，北区的司机取消订单的情况更多。”
它创建了规则来对人群进行分组。它不再将 10 万名乘客视为 10 万个独特的个体，而是根据相似的行为将他们归类为大约 100 个“部落”或簇（clusters）。
类比： 与其采访一个国家的每一位公民，不如采访 100 个社区的领导者，以了解每个地区的普遍情绪。

第二步：“故事编辑”（效用对齐的探索）

现在，针对这 100 个“部落”中的每一个，AI 都会尝试撰写一份画像。但它不仅仅是写一个版本然后寄希望于它足够好。

它会撰写许多不同的草稿。
它进行快速测试：“如果我们使用这个故事来预测行为，它是否比单纯使用数字效果更好？”
如果一个故事仅仅是“流畅”但对预测没有帮助，它就会被丢弃。如果一个故事有助于预测取消或接受订单，它就会被保留。
然后，它使用一种特殊的训练技术（称为 DPO）来教导 AI 只编写那些真正能帮助调度器的故事，而不是那些仅仅听起来很优美的故事。

第三步：“快速媒人”（在线服务）

这是神奇的部分。当一名真实乘客请求用车时：

系统不会要求 AI 进行思考或写作。那样太慢了。
相反，它会查找该乘客所属的“部落”（簇）。
它会提取一张之前制作好的、经过测试的该部落的“画像卡”。
它将这张卡片与数字（距离、价格）结合起来，瞬间完成匹配。

结果：它奏效了吗？

研究人员在 滴滴（Didi）——全球最大的网约车公司之一——进行了测试。

更好的预测： 该系统在预测司机是否接受订单或乘客是否取消订单方面变得更加出色。在测试中，它将预测准确率提高了高达 6.14%。
更多收入与更快乐的乘客： 在模拟中，该系统产生了 4.35% 的更多营收（GMV）。在为期 14 天的真实世界测试中，它实际上增加了 0.47% 的收入 并完成了 0.33% 更多的订单。
更少的取消： 它减少了乘客在司机接受订单前取消订单的情况，降幅为 0.82%。
极速响应： 因为 AI 在高峰时段开始前就已经完成了所有的思考，所以实际的匹配过程几乎零延迟（小于一毫秒）。

核心总结

ProfiLLM 就像聘请了一支专业的传记作家团队，为城市中的每个社区撰写详细的人物性格侧写，但这一切都是在夜间完成的。在白天，调度器只需随身携带一张带有该社区“个性”的小型便携卡片，即可做出即时且更智能的决策。

它弥合了传统系统的“冰冷数字”与人类行为的“温暖语境”之间的鸿沟，证明了如果能将沉重的思考放在离线端，并将执行端保持极速，AI 可以在实时工业系统中发挥巨大作用。

技术总结：ProfiLLM

1. 问题定义

本文探讨了将大语言模型（LLM）集成到工业级网约车调度系统中，以优化订单-司机匹配问题的挑战。目前的生产流水线高度依赖结构化数值特征（如距离、价格）来预测候选订单-司机（OD）对的行为结果（接受、取消、完成）。然而，决定性的行为信号——例如司机对特定区域的习惯性排斥或乘客的时间敏感性——本质上是具有上下文相关性和语义性的，这使得通过手工设计的数值特征难以捕捉。

虽然 LLM 可以将复杂的行为轨迹提炼为语义画像，但在毫秒级延迟的实时调度器中部署面临三个交织的约束：

数据规模与上下文限制： 平台级的日志数据（例如在单一城市 38 天内产生的 4430 万条记录）超过了任何 LLM 的上下文窗口。
长尾数据分布： 大多数用户（研究中的 96% 的乘客）属于低频用户，缺乏足够的交互历史来进行可靠的个体画像建模。
效用失配（Utility Misalignment）： LLM 生成的流畅且表层化的画像并不一定能提高下游预测的效用；在某些情况下，朴素的 LLM 画像甚至会降低模型性能（例如 AUC 下降高达 -7.57%）。

核心问题在于如何实现一种既能规模化处理数百万用户、又能处理稀疏数据，且符合严格的“离线-在线”契约（即在线推理增加亚毫秒级开销且零在线 LLM 调用）的、效用对齐的用户画像生成。

2. 方法论：ProfiLLM

ProfiLLM 是一个智能体驱动（Agentic）的 LLM 数据流水线，旨在弥合语义画像与实时匹配之间的鸿沟。它强制执行严格的分离策略：所有的 LLM 推理均在离线阶段完成，而在线系统仅服务于预计算的集群级画像嵌入（Embeddings）。该框架由两个主要模块组成：

2.1 工具增强型全局知识挖掘（离线）

为了解决规模化和落地（Grounding）挑战，LLM 智能体配备了一个工具箱，包含 27 种分析工具（分为统计、时空、上下文和因果工具）。该智能体遵循 探索 $\rightarrow$ 深化 $\rightarrow$ 验证 $\rightarrow$ 综合 的范式来处理海量历史日志：

探索（Explore）： 计算平台级指标并识别初步模式。
深化（Deepen）： 对时间模式、空间异质性和用户细分进行针对性分析。
验证（Validate）： 应用统计假设检验和因果分析，仅保留显著的发现。
综合（Synthesize）： 生成三种可复用的产物：
1. 全局知识 ( $K$ )： 平台基准、时间规律和因果关系。
2. 自适应用户聚类规则 ( $A$ )： 可解释的基于规则的分类器，按行为相似性（如活跃时段、频繁区域）对用户进行分组。这通过在集群层面而非个体层面聚合数据，解决了长尾问题。
3. 区域先验 ( $R$ )： 网格级的供需统计数据。

2.2 效用对齐的画像探索（离线）

针对每个用户集群，系统根据挖掘到的全局知识生成并精炼画像：

候选生成： LLM 为每个集群生成多样化的候选画像，结构化为分析（行为模式）、画像（语义描述）和逻辑（可执行的布尔决策规则）。
效用评估： 系统并未为每个候选画像训练完整的预测模型，而是使用逻辑组件作为轻量级代理。它将基础模型的预测结果与基于规则的预测相结合，计算融合后的 AUC。这有助于识别那些捕捉到了结构化特征无法捕捉到的信号的画像。
迭代精炼： 根据预测误差反馈，对最佳候选画像进行迭代优化。
DPO 微调： 通过比较具有不同效用增益的画像对，构建偏好对。通过直接偏好优化（DPO）微调步骤，使 LLM 生成器与下游预测效用对齐，从而使紧凑的模型（如 Qwen3-8B）能够超越更大但未对齐的基座模型。

2.3 在线服务

在线调度器无需进行 LLM 推理：

集群分配： 通过确定性的规则评估将用户分配至所属集群。
嵌入查找： 系统检索预计算的集群画像 $d$ 维嵌入。
预测： 将该嵌入与结构化特征拼接，输入到现有的多任务预测模型中。
匹配： 计算权重，并使用 Kuhn-Munkres 算法求解分配方案。
总开销为亚毫秒级（每对 $< 0.01$ ms）。

3. 核心贡献

首个部署的 LLM 画像流水线： ProfiLLM 是第一个在生产环境网约车调度器中部署基于 LLM 用户画像的系统，通过离线-在线解耦策略严格遵守了延迟约束。
工具增强型知识挖掘： 一种新颖的模块，LLM 智能体能够自主组合 27 种分析工具链，从超过 LLM 上下文限制的数据量中提取全局知识和聚类规则。
效用对齐的探索机制： 该机制将预测效用视为一等公民优化信号。它利用轻量级的基于逻辑的代理和 DPO 微调，确保生成的画像能提升下游匹配性能，而非仅仅是语言上的流畅。
可扩展的长尾处理能力： 通过从个体用户转向集群级画像，系统有效地为缺乏足够个体历史的低频用户构建了画像。

4. 实验结果

系统在巴西三个城市（城市 A、B、C）的 DiDi 生产数据上进行了评估，并在城市 A 进行为期 14 天的在线 A/B 测试。

预测性能： 与仅使用结构化特征的基线相比，ProfiLLM 在结果预测（特别是乘客取消预测）方面实现了高达 +6.14% 的相对 AUC 提升。朴素的 LLM 基线往往会导致性能下降，这凸显了效用对齐机制的必要性。
仿真结果： 在调度仿真中，ProfiLLM 带来了高达 +4.35% 的 GMV 增益以及成交率（Completion Rate）的显著提升。
在线 A/B 测试（城市 A）： 在 14 天的测试期间，系统表现出持续的现实世界改进：
- +0.47% GMV。
- +0.33% 成交率。
- -0.82% 接受前取消率。
- 降低了司机和乘客在接受后的取消率。
成本效率： 与初始探索运行相比，基于 DPO 的刷新策略将离线成本降低了 10.6 倍。在线路径增加的成本微乎其微，使得 ProfiLLM-DPO 在与更大 LLM 基座模型的成本-质量权衡中处于帕累托前沿。

5. 意义与主张

论文声称 ProfiLLM 通过解决“上下文窗口”、“长尾”和“效用对齐”这一三重困境，成功实现了 LLM 在工业决策中的应用。其重要性在于证明了：

语义画像在大规模场景下是可行的： 只要基于全局知识并在集群层面进行聚合，LLM 生成的画像就能捕捉到结构化特征所遗漏的行为信号（如区域排斥感）。
效用对齐至关重要： 表层的流畅度并不等同于效用；通过逻辑代理和 DPO 直接针对下游预测指标进行优化，对于避免性能退化至关重要。
离线-在线解耦是必要的： 只有当推理严格限制在离线批处理阶段，且在线仅服务于轻量级嵌入时，复杂的 LLM 推理才能在实时工业应用中发挥作用。

作者将 ProfiLLM 定位为不仅是理论上的改进，更是一个实用的、已部署的解决方案，它在不修改核心匹配算法的前提下，提升了高风险、低延迟环境下的收入和用户体验。