技术摘要：从信息获取到任务委派：绘制人类-人工智能金融决策图谱

问题陈述

随着大语言模型（LLMs）从被动的信息检索工具演变为主动的决策支持伙伴，理解在金融等高风险领域中决策权如何在人类与人工智能之间分配成为了一个关键差距。先前的研究主要通过主题（如“投资”或“税务”）来刻画金融 AI 交互，或仅评估 AI 输出的质量。这些方法未能捕捉 AI 在更广泛的人类决策过程中的行为角色。具体而言，目前缺乏经验性数据来量化用户是在利用 AI 告知其选择、塑造其策略，还是将执行和自主决策委派给系统。本文旨在建立一个行为测量框架，超越主题分类，转而分析决策权的分配情况。

研究方法

数据收集与预处理

本研究利用了来自美国和印度、在 2025 年 8 月至 10 月期间通过 ChatGPT 和 Gemini 收集的 153 万条真实世界用户提示词，涵盖 6,304 名用户。

• 人口统计特征： 与人口普查基准相比，美国样本（2,499 名用户）呈现出女性比例较高、年龄较轻及收入较低的特征；印度样本（3,805 名用户）则以男性和年轻人为主。
• 预处理：
  • 翻译： 将印度群体中的非英语对话（14.4 万条消息）使用 Google 翻译转换为英语，以确保跨市场可比性。
  • 对话切分： 为解决单次会话中的“主题漂移”问题，将原始对话切分为**“子对话”（subchats）**（即特定主题的单元）。基于低频词重叠度和提示词长度应用切分规则，最终得到约 50.5 万个子对话。

模型框架

作者提出了一个三阶段 NLP 流水线来对金融交互进行分类：

1. 金融子集识别：

   • 任务： 通过二分类检测子对话是否讨论金融服务、收入生成或金钱相关问题。
   • 模型： 使用了一个在 5.8k 个人工标注的子对话上进行微调的 LongFormer 模型（因其具备 4,096 个 token 的上下文窗口而被选中）。
   • 性能： 在测试集上实现了 96.5% 的准确率和 97.3% 的 F1 分数。

2. 金融服务（FS）标签化：

   • 任务： 将金融子对话中的实体映射到由 9 个类别（如零售银行业务、投资、税务、保险）及其子类别组成的 MECE（相互独立、完全穷尽）分类体系中。
   • 方法： 使用两阶段过程，首先利用 GPT-4o-mini 进行实体提取和标准化，随后通过确定性映射到分类体系。
   • 验证： 通过人工审查高频关键词来过滤误报，从而形成了一个包含 2.7k 个匹配金融服务关键词的精选词典。

3. 意图与决策权限分类：

   • 任务： 对 12 个类别的用户意图进行多标签、多分类，并将其映射到三个**决策权限（DA）**等级：
     • 第 1 级（告知/Inform）： 提供信息或解释。
     • 第 2 级（塑造/Shape）： 发挥分析/咨询作用以影响用户选择。
     • 第 3 级（行动/Act）： 承担交易/自主角色以执行动作。
   • 模型： 使用了一个在 3.4k 个标注子对话上进行微调的 BigBird 模型（一种稀疏注意力 Transformer）。为了解决现实世界中高代理性（第 3 级）样本稀缺的问题，研究使用了由 GPT-5.5 生成的合成数据进行数据增强。
   • 性能： 通过针对特定标签的概率阈值处理，将 Micro-F1 从 68.0 提升至 70.6。

4. 主题建模：

   • 方法： 利用 BERTopic 对总结后的子对话进行处理，并使用 Harrier 嵌入模型来识别具体的金融活动及市场间的差异。

核心贡献

1. 行为测量框架： 本文引入了一个结合行为意图（用户寻求什么）与委派决策权限（用户分配多少控制权）的新颖框架。这实现了分析视角的转变：从“讨论了什么主题”转向“AI 在决策过程中扮演什么角色”。
2. 大规模经验基准： 本研究提供了对两个不同市场（美国和印度）中人机金融交互的首次大规模刻画，为评估向日益具代理性的 AI 系统过渡建立了基准。

核心结果

金融交互的普遍性

金融服务是对话式 AI 的重要应用场景。研究期间，大约 50% 的美国用户和 44.3% 的印度用户至少参与过一次与金融相关的对话。金融话题分别占美国子对话的 5.1% 和印度子对话的 6.3%。

决策权限分布

最重要的发现是，信息性与咨询性角色占据了绝对主导地位，而非执行角色：

• 第 1 级（告知）： 绝大多数交互属于此类。美国和印度金融子对话中，有 63.5% 和 72.1% 是纯信息性的（例如，“ISA 免税额度是多少？”）。
• 第 2 级（塑造）： 存在显著比例的交互。美国和印度分别有 58.6% 和 49.7% 的金融子对话涉及 AI 塑造决策（例如，“我应该重新办理再融资吗？”、“对比一下这些银行”）。
• 第 3 级（行动）： 委派执行的情况非常罕见。仅有 0.3% 的美国和 0.1% 的印度子对话涉及 AI 代表用户采取行动。这些交互几乎完全局限于指令驱动型任务（例如“转账 500 美元”）或预算规则，没有任何证据表明用户在委派自主金融决策（例如“把我的钱投在最好的选项里”）。

领域与意图特性

• 零售银行业务与信贷以及支付在两个市场中都是主导类别。
• 投资在印度（占 34.8% 的子对话）比在美国（24.6%）更为普遍。
• 保险和公共援助的讨论在美显著更高，反映了市场的成熟度及特定的社会保障结构。
• 行为差异： 印度用户更多地利用 AI 进行金融学习与教育，而美国用户则更多地依赖 AI 进行金融问题解决（如欺诈、账户访问）和个人财务分析。

具体活动

主题建模显示，虽然高层类别存在重叠，但具体活动有所不同。美国用户频繁讨论保险覆盖范围和教育金融，而印度用户则更关注股票分析、交易和卡片安全。

意义与主张

本文声称其主要意义在于建立了人工智能在金融领域演进过程中的行为基准。

• 现状： 作者断言，目前的 LLM 主要作为决策支持技术发挥作用，旨在增强人类判断而非实现自主代理。这种 AI 能够“塑造”决策但不“执行”决策的“中间行为空间”是目前主流的交互模式。
• 启示： 该框架允许研究人员、监管机构和金融机构系统地追踪从信息检索向委派执行的转变。作者指出，现有的消费者保护框架可能需要演进，以应对决策“塑造”（第 2 级）而非仅仅是决策“执行”（第 3 级）带来的挑战。
• 审慎性： 本文并未声称 AI 已准备好进行自主金融管理。相反，它强调尽管金融服务是一个主要用例，但执行层面的委派仍然罕见，这表明向完全代理型 AI 的过渡仍处于早期阶段。该框架被定位为一个用于衡量这一正在发生的转变的工具。