💬 NLP

Taxonomy-Aligned Risk Extraction from 10-K Filings with Autonomous Improvement Using LLMs

本文提出了一种基于大语言模型的三阶段流水线，用于从 10-K 文件中提取符合预定义分类体系的结构化风险因素，并配备了一个用于持续进行分类体系优化的自主智能体，证明了其既具有极高的提取准确性，又具备捕捉具有经济意义的特定行业风险特征的能力。

原作者： Rian Dolphin, Joe Dursun, Jarrett Blankenship, Katie Adams, Quinton Pike

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Rian Dolphin, Joe Dursun, Jarrett Blankenship, Katie Adams, Quinton Pike

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名金融侦探，试图理解为什么成千上万家不同的公司会失败。你拥有一个庞大的年度报告（称为“10-K 文件”）图书馆，但其中的“风险因素”部分是用杂乱、独特的自然语言编写的。一家公司可能会说，“我们担心美元走强，”而另一家公司可能会说，“外汇波动可能会损害我们。”它们表达的是同一个意思，但计算机看到的却是完全不同的问题。

如果你只是让一个聪明的 AI（大语言模型，或称 LLM）阅读这些报告并列出风险，你会得到一堆混乱且标签各异的结果。这就像是让一百个人把一堆混杂在一起的玩具分类到盒子里，但每个人对盒子的命名都不一样。最终，你会得到“旋转轮”、“圆形物体”和“汽车零件”，而不是一个整洁的“轮子”类别。

本文介绍了一个三步走系统，旨在解决这种混乱，将风险整理成一份干净、一致的清单，同时还教会该系统如何实现自我进化。

三步流水线

将这个过程想象成工厂里的一条高端质量控制线：

1. 专家阅读者（提取）
首先，AI 阅读杂乱的文本并提取出它发现的所有风险。至关重要的一点是，它现在还不尝试将风险强行归入某个类别。相反，它的行为像一名律师：它不仅找到风险，还会复制报告中证明该风险存在的准确句子。

类比： 想象一名侦探写下每一个线索以及发现该线索的具体页码，而暂时不去担心这些线索属于哪个“案卷”。

2. 语义匹配员（映射）
接下来，系统使用“语义地图”（一种能够理解含义而非仅仅识别关键词的 AI）将侦探发现的线索与一份预先制定的官方风险类别清单（即分类法/Taxonomy）进行对比。这份清单包含 140 个特定的类别，例如“利率风险”或“网络安全风险”。

类比： 系统查看线索并询问：“这听起来最像‘天气’文件还是‘法律’文件？”它利用数学方法来寻找最接近的匹配项。
问题： 有时，数学计算会出错。它可能会仅仅因为某个选项是“次优”的选择，就强行将线索塞进那个框里，即使该线索其实并不属于那里。

3. 严格的法官（验证）
这是最关键的一步。第二个 AI 充当“法官”。它观察线索、建议的类别以及该类别的官方描述。它会给出一个 1 到 5 分的匹配评分。

类比： 想象一位严厉的老师在给学生的作业评分。如果学生试图把一道数学题放进“历史”文件夹，老师会说：“不，这是 1/5 分。这不属于这里。”
结果： 系统会丢弃任何低分匹配（不合适的匹配），仅保留高质量的匹配。这确保了最终清单的准确性。

“自我改进”功能

本文引入了一个酷炫的新功能：自主改进（Autonomous Improvement）。

通常情况下，如果清单中的某个类别令人困惑，需要人工去发现错误并进行修复。在这里，系统可以自行完成。

运作方式： “法官”AI 会记录每一次给出低分的记录。一个自动化代理（机器人助手）会查看这些日志，寻找模式，并弄清楚系统为何感到困惑。
修复方法： 该代理会重写那个令人困惑类别的描述，使其更加清晰。
真实案例： 本文在名为“药物审批”的类别上测试了这一点。系统曾在此处产生混淆，难以区分美国规则（FDA）和欧洲规则（EMA）。代理发现了这一模式，意识到原有的描述过于侧重于美国，于是将其重写为包含“国际机构”的内容。
结果： 这种自我修正使系统的辨别正确与错误匹配的能力提升了 104.7%。系统通过这种方式，字面意义上地教会了自己如何更好地进行分类。

这真的有效吗？（证据）

为了证明其系统并非凭空捏造，作者在 500 家主要的美国公司（标普 500 指数成分股）上进行了测试。他们提出了一个简单的问题：“同一行业的公司是否具有相似的风险特征？”

测试方法： 他们利用清理后的风险清单进行对比。他们并没有告诉计算机哪些是银行，哪些是制药公司。他们只是让计算机观察这些风险。
发现： 计算机自然而然地将银行归为一类，将制药公司归为一类。
- 同一行业的公司比不同行业的公司具有高出 63% 的相似风险特征。
- 例如，83% 的银行被标记为具有“利率风险”，而其他所有公司的这一比例仅为 22%。与此同时，银行很少出现关于“原材料”的风险，而这对于工厂来说是一个巨大的担忧。
结论： 该系统成功地提取了这些公司真实的经济真相，而无需被明确告知其所属行业。

总结

本文描述了一种将杂乱、非结构化的金融文本转化为干净、有序的风险清单的方法。它使用一个由“阅读者、匹配员、法官”组成的三个步骤团队来确保准确性，并包含一个能随时间推移自动修复错误的“自我修正”机器人。其结果是，该系统能够自动理解不同类型企业面临的具体危险，其表现如同人类专家，但具备计算机的速度。

技术摘要：基于 LLM 的自动化改进型 10-K 文件分类法对齐风险提取技术

问题陈述

企业 10-K 文件中的“风险因素”（Item 1A）部分提供了关于面临公开公司不确定性的关键洞察。然而，这些文档的非结构化特性和庞大的篇幅使得大规模、系统性的手动分析变得不切实际。虽然大语言模型（LLMs）可以提取风险信息，但采用朴素的方法会产生具有特异性的、不一致的标签（例如，“汇率波动风险”与“外汇风险敞口”），从而阻碍系统性比较。核心挑战在于如何从自由格式的文本中提取结构化风险因素，同时严格遵循预定义的层级分类法，确保映射既符合语义准确性，又不存在伪造分配。

方法论

作者提出了一种结合了 LLM、语义嵌入（embeddings）和基于 LLM 验证的三阶段流水线，以实现稳健的分类法对齐提取。

1. 三层风险分类法

该系统使用了一个专门为投资分析设计的自定义层级分类法，包含：

7 个一级类别（例如：战略与竞争、财务与市场）。
28 个二级类别。
140 个三级类别（叶层分类）。
不同于可能过度细分风险（例如区分风暴类型）的现有分类法，本分类法在全面性与金融决策所需的粒度之间取得了平衡。

2. 三阶段流水线

第一阶段：基于 LLM 的风险提取

输入： 10-K 文件中的原始 Item 1A 文本。
过程： LLM（Claude 4.5 Sonnet）在不受匹配分类法约束的情况下，提取出全面的风险因素列表。
输出： 包含一个自由格式风险标签及其**支持性引文（supporting quote）**的元组列表。这种“思维链”方法确保了提取过程有据可查，并提供了后续语义匹配所需的文本片段。

第二阶段：基于嵌入的分类法映射

过程： 每个提取的支持性引文都使用 Qwen3 Embedding 0.6B 模型进行嵌入，并由特定任务的指令（“对风险因素文本进行分类……”）引导。这些嵌入被映射到预先计算好的 140 个三级类别描述的嵌入上。
机制： 最近邻匹配（点积）将每个风险分配给语义最相似的类别。
局限性： 此阶段保证了每个风险都有一个映射，即使不存在合适的类别，这可能会导致伪造分配。

第三阶段：LLM-as-a-Judge 验证

过程： 一个独立的 LLM 实例充当评审员，评估每个提议映射（引文到类别）的质量。
评分： 评审员按 1–5 分制进行评分（1 = 非常差，5 = 极好）并提供简要理由。
过滤： 只有得分 $\ge$ 4 的映射才会被保留用于最终输出。得分较低的映射会被记录其理由，以用于指导分类法的完善。
去重： 最终输出仅保留每个申报文件中每个分类法类别下质量最高的映射。

3. 自主分类法优化

本文的一个独特贡献是用于持续改进分类法的自主工作流：

反馈循环： AI Agent 分析记录的低质量映射（得分 < 4），以识别有问题的类别。
诊断： Agent 根据评审员的理由，汇总失败模式（例如：地理范围混淆、上市前与上市后对齐问题）。
完善与测试： Agent 提出候选的描述优化方案，并使用基于嵌入的测试方法进行验证。这涉及测量“嵌入分离度”（即真阳性案例与假阳性测试案例之间平均相似度得分的差异），以确保新的描述提高了语义辨别力。

核心贡献

稳健的提取方法论： 一种混合流水线，结合了 LLM 提取、基于嵌入的相似度以及 LLM 验证，能够可靠地将自由格式文本映射到固定的分类法，同时过滤掉假阳性。
投资专用分类法： 一个专为投资分析定制的三层层级结构，在覆盖范围与实际效用之间取得了平衡。
自主维护： 一种系统化的方法，通过 AI Agent 利用评估反馈来自主识别、诊断并完善分类法类别，从而创建一个持续改进的闭环。
实证验证： 通过对 S&P 500 公司 10-K 文件的广泛评估，证明了所提取风险特征的经济有效性。

结果与评估

该方法在 500 家 S&P 500 公司的 2024 年 10-K 文件上进行了评估，共提取了 10,688 个经过验证的风险因素。

自主优化案例研究

在涉及“药物和医疗器械审批”类别的案例研究中，自主 Agent 发现原始描述在地理范围（FDA 与 EMA）和时间节点（上市前与上市后）方面引起了混淆。

结果： Agent 生成了一个精炼后的描述，明确列出了多个卫生管理机构并强调了上市前审批。
指标： 此次优化使嵌入分离度提升了 104.7%（从 0.064 提升至 0.132），显著减少了假阳性。

行业聚类验证

为了测试提取的风险是否捕捉到了真实的经济结构，作者在映射过程中未使用行业代码，分析了行业间的风险特征相似性。

相似性： 同一行业的公司表现出比跨行业对高出 63% 的风险特征相似性。
统计显著性： 该差异具有高度显著性（ $p < 0.001$ ）且效应量较大（Cohen's $d = 1.06$ ）。
预测能力： 使用风险相似度来预测行业成员身份，在宽泛的 2 位数 SIC 板块上获得了 0.733 的 AUC，在特定的 4 位数行业上获得了 0.822 的 AUC。
粒度： 信号随着更精细的行业定义而增强，证实了该分类法捕捉的是特定的行业特征而非通用的模板化内容。

特定行业模式

对“存款机构”部门（SIC 60）的分析揭示了直观的模式：

利率风险出现在 83% 的银行中，而在所有公司中仅占 22%。
资本与流动性要求出现在 67% 的银行中，而在整体中仅占 3%。
相反，制造业相关的风险（如原材料供应）在银行业中显著缺失。

意义与主张

本文声称提供了一个从非结构化文本中提取结构化信息，同时保持对预定义类别系统遵循度的通用框架。其意义在于：

解决“非结构化到非结构化”的陷阱： 超越了仅产生不一致标签的简单 LLM 提取，转向一个强制执行一致、受控分类法的系统。
持续改进： 将分类法开发从一个静态的设计问题转变为一个迭代改进的系统，随着处理文档数量的增加，质量不断提高，从而减轻了人工维护的负担。
经济有效性： 证明了提取的数据不仅是语言层面的，而且捕捉到了真实的经济风险维度，这一点通过风险特征与行业部门之间的强相关性得到了证实。

作者指出，虽然目前的实现侧重于英文 10-K 文件，但该方法论是与语言无关的，适用于其他需要分类法对齐提取的领域。其局限性包括 LLM 的 API 成本和延迟，但可以通过批处理和缓存来缓解。