💻 计算机科学

Beyond Keywords: Intent-Aware Message Routing for Gmail and Slack Using Large Language Models

本文介绍了针对 Gmail 和 Slack 设计、实现并初步评估的一种智能消息路由系统，该系统利用通过 Groq 调用 LLaMA 3.1 模型来进行语义意图分类，使用户能够以纯英文定义路由规则，并在一项可行性研究中显著优于传统的基于关键词的过滤器。

原作者： Ijegwa Acheme, Emmanuella Amukwuo, Ayodeji Makinde, Shangbum Faveren, Chukwuka Obionwu

发布于 2026-10-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ijegwa Acheme, Emmanuella Amukwuo, Ayodeji Makinde, Shangbum Faveren, Chukwuka Obionwu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代职场中，沟通已破碎成十几种不同的流向。一名专业的从业者可能需要同时处理电子邮件、即时消息以及跨多个平台的项目更新，从而产生一种持续不断的、低水平的各种信息涌入的嗡嗡声。几十年来，旨在管理这种流向的工具一直依赖于一种简单且僵化的逻辑：如果一条消息包含某个特定的词，就执行特定的操作。这种基于关键词的方法在处理显而易见的情况时效果良好，但在处理人类语言的细微差别时却显得力不从心。一个寻求账单帮助的人可能会写“我被扣了两次款”、“我的发票错了”或者仅仅是“付款问题”。如果系统只寻找“发票”这个词，就会错过前两种情况，导致发送者等待，而接收者则被杂乱的收件箱所淹没。计算机科学家的长期挑战在于构建能够理解单词背后的“意图”而非仅仅是单词本身的系统，这项任务要求机器能够像人类一样理解语境和含义。

一组研究人员现在开发了一个原型系统，试图通过使用新一代人工智能来解决这个问题，为小企业阅读并分类消息。该平台并非依赖僵化的关键词列表，而是使用大语言模型（一种在海量文本上训练以理解人类如何交流的人工智能类型）来解释传入电子邮件和聊天消息的含义。该系统设计用于与 Gmail 和 Slack 配合使用，允许企业主使用纯英语编写路由规则，例如“如果有人询问有关账单的事，请将其发送给财务团队”。随后，计算机读取传入的消息，弄清楚对方实际想要什么，并自动将其转发到正确的地方、发送回复或将其搁置。这种方法旨在取代过去那种脆弱的、依赖关键词的过滤器，转而使用一种更灵活、更智能的助手，以应对日常业务沟通中混乱的现实情况。

研究人员将该系统构建为一个可以直接连接到用户电子邮件和聊天账户的完整软件应用程序。在后台，一个后台进程每五分钟检查一次新消息。当新消息到达时，系统不仅仅是扫描特定术语，而是将内容连同用户的纯英语指令一起发送给一个强大的人工智能模型。该模型分析消息以确定其目的，例如它是账单查询、会议请求还是普通问题。基于这种理解，系统决定采取什么行动。如果消息清晰地符合某条规则且 AI 具有信心，它会立即采取行动，如转发消息或发送自动回复。如果消息含糊不清、AI 不确定或主题属于关键事项，系统则会暂停并将消息标记出来供人工审核。这种“放弃并升级”（abstain and escalate）策略确保了计算机在不确定时绝不会进行猜测，从而防止了可能引起客户不满或延误重要工作的错误。

为了测试这个想法是否真的奏效，研究人员创建了一组包含 14 条测试消息的小型集合，涵盖了四个常见的业务主题：账单、调度、合作伙伴关系和一般查询。他们仔细编写这些消息，以避免使用系统中规则里出现的精确单词，从而迫使计算机依赖理解而非简单的单词匹配。例如，如果规则是针对“发票”（invoice）一词编写的，测试消息则会使用“我的卡被扣了两次款”或“我需要关于账单的帮助”等短语。结果显示，智能系统正确识别了 14 条消息中的 12 条，并将它们路由到了正确的类别。相比之下，一个使用传统关键词匹配（类似于标准电子邮件程序中的过滤器）的模拟系统仅正确识别了 14 条消息中的 5 条。智能系统错过的两条消息并没有被发送到错误的地方；相反，系统识别出它们难以分类，并正确地将它们标记出来交由人工处理。

这项研究凸显了自动化工作方式的重大转变，特别是对于资源有限且团队规模较小的地区的小型企业而言。研究人员发现，通过使用预训练的人工智能模型，他们可以创建一个能够理解语言的系统，而无需收集数千个示例或聘请专家来教导它。该系统旨在实现易用性，允许非技术用户使用日常语言定义自己的规则。虽然测试规模较小，且消息是由研究人员本人编写而非取自现实世界的混乱状态，但结果表明这种方法是可行的。该系统成功证明了它能够解释消息的含义，并做出简单关键词过滤器无法完成的路由决策。作者强调，这是对该概念的一次初步演示，而非最终解决方案，该系统的真正价值将取决于它在处理现实业务中那些多样化、未经修饰且往往混乱的沟通时的表现。

技术摘要：超越关键词：利用大语言模型实现 Gmail 与 Slack 的意图感知消息路由

1. 问题陈述

本文探讨了企业环境中（特别是尼日利亚及非洲中小企业）长期存在的消息路由错误问题。虽然目前已存在 Gmail 过滤器、Slack 工作流、Zapier 和 Make 等工具，但它们过度依赖关键词匹配和僵化的条件逻辑。这些系统无法捕捉自然语言的语义意图，导致在用户表达方式不同时（例如，“我无法访问我的账户”与“我的登录功能坏了”）频繁出现分类错误。

此外，现有的复杂自动化工具通常需要较高的技术专业知识，并会产生以美元计价的持续成本，这为资源受限的非洲中小企业制造了障碍。目前的学术解决方案多针对自动工单分类，通常需要对大规模标注数据集进行监督式微调，这对于缺乏专门机器学习工程能力的组织来说是难以实现的。本文识别出的差距在于，缺乏一个能够将大语言模型（LLM）语义分类能力与面向多渠道路由的自然语言（纯英文）无代码规则界面相结合的、易于获取且经济实惠的平台。

2. 方法论与系统架构

系统设计

作者设计并实现了一个采用客户端-服务器架构的全栈智能消息路由平台：

前端： 使用 Next.js（React, TypeScript）构建 Web 端仪表板。
后端： 使用 Express.js（TypeScript）处理身份验证、规则管理和 API 编排。
数据库： 使用 MongoDB（通过 Mongoose）存储用户账户、路由规则和活动日志。
集成：
- Gmail & Slack： 通过 OAuth 2.0 及其各自的 API（Google Gmail API, Slack Web API）进行连接。
- LLM 引擎： 利用通过 Groq API 访问的 LLaMA 3.1 (8B) 模型，以实现高速推理。

核心工作流

轮询服务： 一个后台 Node.js 进程每五分钟 ( $T_p$ ) 轮询连接的 Gmail 和 Slack 账户，以检索新消息。
分类引擎： 在检索到消息后，系统会构建一个结构化提示词，其中包含消息元数据（发送者、主题、截断至 400 字符的正文）、用户的活跃纯英文规则，以及每个类别下若干个语义多样化的示例表述。该提示词被发送至 LLM。
决策逻辑： LLM 返回一个包含以下内容的结构化 JSON 对象：
- 匹配的规则索引 ( $i^*$ )
- 紧急程度 ( $g$ ：低、中、高)
- 置信度得分 ( $c$ )
- requiresUserAction（需要用户操作）标志 ( $h$ )
路由策略（弃权与升级）： 系统应用一种保守的决策规则 $d(M)$ $d (M)$ ：
- 自动执行： 仅当满足以下条件时执行：匹配到规则 ( $i^* \neq \emptyset$ )、模型未标记需人工审查 ( $h = \text{false}$ ) 且紧急程度不高。
- 升级： 如果没有匹配到规则、模型标记为需人工审查或紧急程度较高，则将消息路由至人工审查队列，而不是进行推测性的自动化处理。
可审计性： 每项事件都会记录在 Activity 集合中，记录分类结果和采取的行动，但不存储完整的消息正文。

实现细节

提示策略： 系统采用**示例增强提示（example-augmented prompting）**而非严格的零样本分类（zero-shot classification）。它包含了每个规则类别下少量的示例表述，以鼓励基于意图的匹配，而非字面上的关键词重叠。
配置： 模型温度（temperature）设置为 0.1，以最大限度地减少输出方差。系统未进行任何特定任务的微调或梯度更新，而是直接使用预训练的 LLaMA 3.1。
开发： 系统通过四个周期的迭代开发，最终完成了功能测试（34 项测试）和集成测试。

3. 主要贡献

本文的主要贡献包括：

系统设计： 记录了一种将基于 LLM 的语义分类嵌入多渠道业务工具（Gmail/Slack）的架构，且无需微调基础设施。
无代码界面： 提供了一种允许非技术用户使用纯英文定义路由逻辑的机制，弥合了复杂 LLM 能力与中小企业易用性之间的鸿沟。
弃权与升级机制： 一种特定的决策规则，通过将模糊或高紧急度的消息升级至人工审查，优先保证安全性，防止了推测性的自动化错误行为。
上下文相关性： 针对尼日利亚及非洲中小企业的经济和技术约束进行了设计，为昂贵的、基于订阅制的企业级自动化方案提供了替代方案。

4. 结果与评估

评估过程较为简易，重点在于功能正确性和在小型作者自建数据集上的初步可行性检查。

功能测试： 在涵盖身份验证、CRUD 操作、集成和日志记录的 34 项测试中，实现了 100% 的通过率。
分类可行性：
- 数据集： 14 条消息，涵盖四个类别（账单、调度、合作伙伴关系、一般查询）。消息经过刻意设计，以避免与规则产生精确的关键词匹配。
- LLM 表现： 正确匹配了 14 条消息中的 12 条 (85.7%)。未匹配的两条消息被升级为人工审查（假阴性），而非错误路由。
- 基准对比： 模拟关键词匹配基准（模仿标准 Gmail 过滤器）仅匹配了 14 条消息中的 5 条 (35.7%)。
- 指标： 精确率（Precision）为 1.00（无误路由），召回率（Recall）为 0.857，F1 分数为 0.923。
错误分析： 失败发生在“调度（Scheduling）”类别中，原因是其表述与特定规则条件的关联度较低（例如，“找个时间聊聊”对比“安排一次通话”）。这突显了系统对规则特异性的敏感度。

作者承认的局限性：

测试集规模较小（14 条消息），由作者构建，缺乏现实世界的噪声（如拼写错误、语码转换、尼日利亚皮钦语）。
仅评估了一种模型配置和一次运行过程。
关键词基准过于简单；未测试更强的基准（如 TF-IDF 或嵌入相似度）。
由于样本量较小且 LLM 与基准之间的置信区间存在重叠，统计显著性有限。

5. 意义与主张

本文明确将其意义界定为技术可行性演示和设计贡献，而非证明其相对于所有现有方法的绝对优越性。

可行性： 研究表明，通过示例增强提示，LLM 可以有效地进行意图分类，而无需标注训练数据或微调基础设施，这使得语义路由对于缺乏机器学习工程资源的组织而言变得触手可及。
安全性： “弃权与升级”政策被强调为一项关键的设计特性，它确保了系统不会因错误的自动化路由而造成业务中断，这也是自动化过程中常见的风险。
可及性： 本研究为非洲中小企业提供了一个可负担且易于获取的自动化蓝图，解决了当前企业级解决方案在成本和复杂度方面的障碍。

作者总结道，虽然结果与语义匹配的可行性一致，但并未证明这种方法在生产环境中普遍优于关键词匹配或其他基准。作者指出，未来有必要通过使用真实的 SME 用户、更大的数据集以及多样化的语言输入来进行进一步验证。