HLER: Human-in-the-Loop Economic Research via Multi-Agent Pipelines for Empirical Discovery

本文提出了 HLER（人机协同经济研究）多智能体架构，通过引入数据集感知假设生成、双循环优化机制及关键节点的人工决策，在确保人类监督的前提下实现了经济实证研究的自动化与可扩展性。

要点

这篇文章介绍了一个名为 HLER 的新系统，你可以把它想象成一位**“超级经济学研究助理”**。

在传统的经济学研究中，做一项研究就像是在一片茫茫大海里找宝藏：你需要先找数据（大海），然后想一个值得研究的问题（画藏宝图），接着用复杂的数学工具去验证（挖宝），最后写成一篇文章（展示宝藏）。这个过程非常耗时，而且很容易因为想出的问题数据里根本没有，或者方法不对而“翻车”。

HLER 就是为了解决这个问题而生的。它不是要完全取代人类经济学家，而是像**“人机协作的探险队”**：AI 负责干脏活累活，人类负责掌舵和做关键决定。

以下是用通俗语言和比喻对这篇论文的详细解读：

1. 核心问题：为什么以前的 AI 做不好经济学研究？

以前的 AI 写论文，有点像**“只会写故事的作家”**。它文笔很好，能编出很流畅的故事，但它不懂“数据”这个硬道理。

• 幻觉（Hallucination）： 就像作家为了剧情需要，编造了“在沙漠里种水稻”这种在现实中根本不可能发生的事。在经济学里，AI 可能会提出一个需要“不存在的变量”的研究问题，导致研究无法进行。
• 缺乏判断： 经济学研究非常讲究“因果推断”（比如：是因为吃了药病好了，还是因为本来就要好了？）。AI 以前很难自己设计严谨的实验来证明这一点。

2. HLER 是怎么工作的？（它的“超能力”）

HLER 不像是一个单打独斗的 AI，而更像是一个分工明确的“研究工厂”，里面有几个专门的“机器人员工”：

• 数据审计员（Data Audit Agent）： 就像**“仓库管理员”**。在开始干活前，它先检查仓库（数据集）里到底有什么货。如果仓库里没有“收入”这个数据，它绝不会让 AI 去研究“收入对健康的影响”。
• 数据分析师（Data Profiling Agent）： 就像**“体检医生”**。它给数据做全面体检，看看哪里缺数据、哪里数据分布很奇怪，提前发现潜在的风险。
• 提问员（Question Agent）： 这是最聪明的地方。它不再是“天马行空”地乱想，而是**“戴着镣铐跳舞”。它根据仓库管理员和体检医生的报告，只提出那些在现有数据里能真正验证**的问题。
  • 比喻： 以前是让你“随便想个菜谱”，结果你想到了“用石头炒菜”；现在是给你看冰箱里有什么食材，让你“用这些食材做道菜”。
• 经济学家（Econometrics Agent）： 负责用数学工具（如回归分析）去算数，验证那个问题。
• 审稿人（Reviewer Agent）： 就像**“严厉的编辑”**。它写完初稿后，会挑刺：“这里逻辑不通”、“那里数据不够强”，然后让前面的机器人重新算、重写。

3. 两个关键的“循环”（它的“双核”设计）

HLER 设计了两个循环，确保研究质量：

1. 选题质量循环（Question Quality Loop）：

   • AI 先提出 10 个研究问题 -> 系统自动筛选掉那些“数据里没有”的假问题 -> 人类研究员从剩下的好问题里选 1 个最感兴趣的。
   • 比喻： 就像餐厅的**“试菜环节”**。厨师（AI）先做 10 道菜，经理（人类）尝一下，只选那道最棒的端给客人，而不是把 10 道都端上去。

2. 研究修订循环（Research Revision Loop）：

   • AI 写完初稿 -> 审稿人（AI）挑刺 -> 经济学家（AI）重新算数、加图表 -> 作家（AI）修改文章 -> 审稿人再检查。
   • 这个过程会重复 2-3 次，直到文章变得足够好。
   • 比喻： 就像**“打磨钻石”**。第一遍切出来的石头很粗糙，经过反复打磨、抛光，最后才变成闪闪发光的宝石。

4. 人类在哪里？（“人在回路”的意义）

虽然 AI 很能干，但 HLER 坚持**“人类掌舵”**。人类研究员只在两个关键时刻出手：

1. 选题目时： 决定研究哪个方向（因为 AI 不懂什么是“有趣”或“重要”的社会问题）。
2. 发文章前： 决定这篇论文是否足够好，可以发表。

这就像**“自动驾驶汽车”**：车可以自己开（处理数据、写草稿），但遇到复杂的路况或决定去哪里时，必须由人类司机（研究员）来确认。

5. 效果怎么样？（实验结果）

作者用三个真实的数据集（包括中国健康与营养调查数据）做了 14 次实验，结果很惊人：

• 可行性大提升： 以前 AI 瞎想的问题，只有 41% 是可行的；用了 HLER 的“看菜做饭”模式后，87% 的问题都是可行的。
• 越改越好： 经过 AI 审稿人的几轮修改，文章的质量评分从 4.8 分（满分 10 分）提升到了 6.3 分。
• 便宜又快： 跑完一次完整的流程，只需要 20-25 分钟，成本只要 0.8 到 1.5 美元（比以前的系统便宜多了）。

6. 总结与启示

HLER 并不是要取代经济学家，而是给经济学家装上了**“外骨骼”**。

• 它把那些枯燥、重复、容易出错的数据清洗和初步分析工作全包了。
• 它让人类研究员可以把精力集中在**“提出好问题”和“判断研究价值”**这些真正需要人类智慧的事情上。

一句话总结：
HLER 是一个**“懂数据的 AI 研究团队”，它通过“先看数据再提问”和“人类把关”的机制，让经济学研究变得更快、更靠谱，同时避免了 AI 瞎编乱造的问题。这标志着我们进入了一个“人机协作”**进行科学发现的新时代。

技术摘要

HLER 论文技术总结

论文标题：HLER: HUMAN-IN-THE-LOOP ECONOMIC RESEARCH VIA MULTI-AGENT PIPELINES FOR EMPIRICAL DISCOVERY
作者：Chen Zhu, Xiaolu Wang (中国农业大学)
日期：2026 年 3 月 10 日

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在自动化科学写作和生成技术叙事方面取得了显著进展，但在实证经济学和社会科学研究的全流程自动化中仍面临严峻挑战：

• 幻觉与不可行性：现有的全自动研究系统（如 AI Scientist）往往生成流畅但缺乏数据支持的假设，导致提出的研究问题在现有数据集中无法实现（例如，假设所需的变量不存在）。
• 缺乏外部工具交互：实证研究需要与外部数据集、代码库和计量经济学软件进行复杂交互，单纯依靠文本生成无法保证结果的可信度。
• 人类判断的缺失：经济学研究高度依赖对识别策略（Identification Strategy）的设计、经济显著性的评估以及对数据结构的深刻理解，完全自主的系统难以替代人类专家的关键决策。
• 现有系统的局限性：虽然已有如 APE（自主政策评估）等项目尝试全自动生成，但缺乏对数据可行性的严格检查，且缺乏人类在关键环节的介入机制。

核心问题：如何构建一个既能自动化处理繁琐的实证研究流程，又能保留人类专家关键监督（Human-in-the-Loop），从而确保研究假设可行、结果可信且符合经济学规范的系统？

2. 方法论 (Methodology)

HLER (Human-in-the-Loop Economic Research) 是一个多智能体（Multi-Agent）架构，旨在通过协调专用智能体来自动化实证研究流程，同时嵌入人类决策关口。

2.1 系统架构

系统由一个中央协调器（Orchestrator）管理，维护共享状态对象（RunState），按顺序调度以下七个专用智能体：

1. 数据审计智能体 (Data Audit Agent)：验证数据集结构，构建变量清单，防止生成需要不存在变量的假设。
2. 数据画像智能体 (Data Profiling Agent)：分析统计属性（摘要统计、缺失值模式、分布、相关性），识别内生性风险并建议变量转换。
3. 问题生成智能体 (Question Agent)：基于数据审计和画像结果生成候选研究问题，而非无约束的头脑风暴。
4. 数据收集智能体 (Data Agents)：从公共 API（如世界银行、FRED）和本地数据集检索并合并数据。
5. 计量经济学智能体 (Econometrics Agent)：根据数据结构和研究问题构建分析计划，执行 OLS、固定效应面板模型、双重差分（DID）或事件研究等模型。
6. 论文撰写智能体 (Paper Agent)：基于实证结果生成包含摘要、引言、方法、结果和讨论的完整学术手稿。
7. 评审智能体 (Reviewer Agent)：从新颖性、识别可信度、数据质量、清晰度和政策相关性等维度评估手稿，提出修改意见。

2.2 核心设计原则

• 数据感知假设生成 (Dataset-aware Hypothesis Generation)：这是 HLER 的关键创新。假设生成过程被显式地限制在数据集的审计结果和统计画像之上，确保生成的问题在变量可用性和数据结构上是可行的。
• 双循环研究架构 (Two-Loop Research Architecture)：
  1. 问题质量循环 (Question Quality Loop)：生成候选假设 $\rightarrow$ 可行性筛选 $\rightarrow$ 人类研究者选择。如果候选项不满意，可重新生成。
  2. 研究修订循环 (Research Revision Loop)：生成手稿 $\rightarrow$ 自动评审 $\rightarrow$ 触发重新分析/修改 $\rightarrow$ 再次评审。该循环可迭代 2-4 次，直至收敛。
• 人类决策关口 (Human Decision Gates)：
  1. 研究问题选择：人类专家从筛选后的候选项中选择最具潜力的方向。
  2. 出版批准：人类专家决定最终手稿是否达到发表标准。

2.3 技术实现

• 语言：Python。
• LLM 模型：Anthropic API (Claude Sonnet 4.6)，架构模型无关。
• 工具库：使用 statsmodels, linearmodels 进行统计计算；使用 Pandoc 和 LaTeX 生成 PDF。
• 数据支持：支持本地数据集（如 CHNS, CMGPD-Liaoning）和外部 API（World Bank, FRED）。

3. 主要贡献 (Key Contributions)

1. 数据感知的假设生成机制：提出了一种基于数据集审计和统计画像的条件化生成方法。相比无约束的 LLM 头脑风暴，将不可行假设的比例从 59% 降低至 13%。
2. 双循环研究架构：设计了包含“生成 - 筛选 - 人类选择”和“评审 - 重分析 - 修订”的迭代架构。实证表明，经过修订循环后，评审分数显著提升。
3. 端到端评估：在三个实证数据集上进行了 14 次完整管道运行，验证了系统能以极低的成本（每次运行$0.8-$1.5）可靠地生成完整的实证研究手稿。

4. 实验结果 (Results)

实验在三个数据集上进行（中国健康与营养调查 CHNS、中国多代面板数据 CMGPD-Liaoning、英国生物样本库 UK Biobank），共运行 14 次。

• 研究问题可行性：
  • 数据感知生成 (HLER)：87% 的候选问题（69/79）满足可行性标准。
  • 无约束生成 (Ablation)：仅 41% 的候选问题（34/82）可行。
  • 主要失败原因：无约束生成常假设了数据集中不存在的变量（占失败案例的 42%）。
• 端到端完成率：14 次运行中有 12 次（86%）在不进行人工干预（除两个决策关口外）的情况下完成了从数据审计到最终手稿的全流程。失败案例主要源于稀疏子样本下的固定效应估计收敛问题。
• 修订循环效果：
  • 评审分数（1-10 分）从初稿的平均 4.8 提升至最终稿的 6.3。
  • 提升最显著的领域是清晰度（+2.1 分）和识别可信度（+1.4 分）。
  • 大多数运行在 2-3 次迭代后收敛。
• 成本与效率：
  • 单次运行耗时约 20-25 分钟。
  • 平均 API 成本为 $0.8 - $1.5，远低于类似系统（如 AI Scientist 的$6-$15），因为 HLER 将统计计算委托给程序化库，仅让 LLM 负责推理和文本生成。
• 案例研究：在中国健康与营养调查（CHNS）上，系统成功完成了关于“中国农村女性教育程度是否缩小职业性别差距”的研究，从数据检查到修订后的手稿（7282 字）全流程自动化，评审分数从 4.6 提升至 6.5。

5. 意义与讨论 (Significance & Discussion)

• 人机协作新范式：HLER 证明了在实证研究中，AI 可以高效处理重复性任务（数据清洗、回归分析、初稿撰写），而人类专家保留对核心科学决策（假设选择、识别策略、最终发布）的控制权。这种模式比完全自主系统更可靠，比纯人工更高效。
• 可扩展性：该框架有望大幅扩展实证研究的规模，特别是在拥有海量观测数据的健康经济学、劳动经济学等领域，使研究者能够探索更广阔的假设空间。
• 伦理与方法论挑战：
  • P-hacking 风险：快速生成大量假设可能增加选择性报告的风险。HLER 通过记录所有生成和未选择的假设来提供审计追踪，但研究者仍需遵循统计纪律。
  • 评估循环性：目前的评审智能体与生成智能体基于同一 LLM，可能存在评估偏差。未来需要引入独立的人类评审或不同模型进行评估。
  • 方法论局限：当前系统仅支持有限的计量方法（如 OLS, DID），尚未涵盖工具变量、断点回归或结构模型等高级方法。

结论：HLER 为实证经济学研究提供了一条切实可行的自动化路径。它不是要取代研究者，而是作为增强工具，通过“人在回路”的机制，平衡了自动化效率与科学严谨性，推动了大规模、可复现的实证发现。