VIDEE: Visual and Interactive Decomposition, Execution, and Evaluation of Text Analytics with Intelligent Agents
本文介绍了 VIDEE，这是一个人机协作系统，通过分解、执行和评估的三阶段工作流，赋能初级分析师开展高级文本分析，并证明了其在不同专业水平下的有效性和可用性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你面前有一大堆杂乱无章的信件、新闻文章或客户评论，而你希望从中挖掘出隐藏的故事。在过去，要做到这一点，你必须是一位精通复杂编程语言（如 Python）和高等数学的计算机巫师。这就像试图在从未打开过引擎盖的情况下修理汽车引擎。
最近，“AI 智能体”（智能计算机程序）在自动执行这些任务方面变得更加出色。但本文的作者发现了一个问题：如果你只是告诉 AI“分析这段文本”，它往往会变得懒惰，编造内容（产生幻觉），或者制定出一个混乱、支离破碎的计划。这就像雇佣了一位非常自信但缺乏经验的实习生，他试图用一大步混乱的方式完成所有工作，最终交出一份充满虚假事实的报告。
为了解决这个问题，研究人员构建了一个名为VIDEE的系统。请将 VIDEE 想象成一个智能建筑工地，而不是一个替你干活的机器人；在这个工地里，你是工地经理，而 AI 是你的施工队。
以下是 VIDEE 的工作原理，分为三个简单的阶段：
1. 蓝图阶段（分解）
问题所在：如果你要求 AI“找出这 2000 封信件中的主题”，它可能会随意猜测一种简单的做法并固守不放，即使这并非良策。
VIDEE 的解决方案：VIDEE 使用一种特殊的搜索工具（称为蒙特卡洛树搜索），它就像一张分支地图。
- 想象你在规划一次公路旅行。AI 不会只选择一条路线，而是绘制出一棵包含数十条可能路径的树。
- 当 AI 探索这些路径时，它会停下来询问你（人类）：“这一步是否过于复杂？这一步在接上一步之后是否合理？这一步是否真的重要？”
- 你可以调整地图、删除不良分支，或者指示 AI 探索不同的方向。你掌控着航向，确保在开始任何工作之前，计划是稳固的。
2. 施工阶段（执行）
问题所在：一旦计划制定完成，AI 往往会尝试编写代码来执行它。但如果计划很复杂，AI 可能会写出导致崩溃的代码，或者假装完成了任务，而实际上并未完成。
VIDEE 的解决方案：VIDEE 将你的“蓝图”转化为一条逐步组装流水线。
- AI 将宏大的目标分解为微小、具体的任务（例如“阅读信件”、“查找姓名”、“对姓名进行分组”）。
- 它构建了一个流水线，你可以看到每一个单独的步骤。
- 你可以点击“执行”来测试单个步骤是否有效。如果 AI 试图做奇怪的事情，你可以立即发现。这就像在浇筑混凝土之前检查房屋的地基。
3. 检查阶段（评估）
问题所在：你如何确定 AI 没有凭空捏造结果？
VIDEE 的解决方案：VIDEE 充当质量检查员的角色。
- 在 AI 完成一个步骤后，它会自动为该步骤生成一张“成绩单”。
- 它利用其他 AI“裁判”，根据你设定的规则（例如“该摘要是否抓住了主要观点？”）对工作进行评分。
- 这些结果会以可视化的方式展示给你。例如，如果你正在分析客户投诉，VIDEE 可能会展示一张彩色图表，让你看到哪些投诉属于“满意”，哪些属于“愤怒”，以及具体哪些信件属于哪个组别。你可以点击图表中的某个点来阅读实际的信件内容。
测试时的结果如何？
研究人员进行了两类测试：
“仅机器人”测试：他们让标准 AI 尝试独立分析文本。
- 结果：机器人经常失败。它编造数据，被长文档搞糊涂，并制定出混乱、不合逻辑的计划。这就像一位司机不断试图开车穿过墙壁，因为他认为那是门。
“人类 + 机器人”测试（VIDEE）：他们让人们使用 VIDEE 系统。
- 结果：系统表现要好得多。即使是从未写过代码的人，也能利用它从文本数据中发现洞察。
- 关键发现：人们更信任结果，因为他们能看到逐步的过程。当 AI 直接给你一个答案（一个“黑盒”）时，你不知道它是否在撒谎。但当你看到 AI 一步步构建答案，并且你有机会检查工作成果时，你会感到信心十足。
核心启示
VIDEE 证明，我们无需在"AI 包办一切”和“人类包办一切”之间做出选择。最佳方案是一种伙伴关系。
- AI 擅长生成想法、编写代码以及承担繁重的工作。
- 人类 对于检查逻辑、识破虚假内容以及确保计划合理至关重要。
通过赋予人类可视化的地图来控制 AI，VIDEE 让强大的文本分析变得对普通人（如记者或研究人员）触手可及，而无需他们成为计算机科学家，同时依然保证了结果的可靠性和真实性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。