A Retrieval-Augmented Language Assistant for Unmanned Aircraft Safety Assessment and Regulatory Compliance

本文提出并验证了一种基于检索增强生成的语言助手，该助手通过严格依赖权威法规来源、强制引用证据及保留人工最终决策权，旨在为无人机系统的安全评估、认证及合规工作提供可追溯、可审计的决策支持，以应对日益复杂的无人机运营挑战。

要点

这篇论文介绍了一个专门为无人机（无人机）安全评估设计的“智能助手”。你可以把它想象成一位极其严谨、绝不瞎编的“法规导航员”。

为了让你更容易理解，我们把这篇论文的核心内容拆解成几个生动的比喻：

1. 背景：为什么需要这位“导航员”？

想象一下，现在的无人机像雨后春笋一样多，飞行的规则（法律法规）也像一座巨大的、不断生长的迷宫图书馆。

• 问题：以前，检查员或无人机操作员想确认飞行是否安全，得亲自钻进这座图书馆，翻遍成千上万页的文件，把相关的条款找出来，还要确保没有漏掉任何一条。这既累人又容易出错（比如看错了页码，或者漏看了某个小字）。
• 现状：现在的 AI（大语言模型）虽然很聪明，能写诗、写代码，但它们有个大毛病：爱“幻觉”。也就是说，它们可能会一本正经地胡说八道，编造出一些看起来很像真的、但实际不存在的法规条款。在航空安全这种“差之毫厘，谬以千里”的领域，这是绝对不允许的。

2. 核心方案：RAG（检索增强生成）——“带着书本的助手”

为了解决这个问题，作者设计了一个**“检索增强生成”（RAG）**系统。

• 比喻：想象这位助手不是一个“过目不忘但会记错”的天才，而是一个**“带着厚厚一本法规书、且必须边查边答的图书管理员”**。
• 工作原理：
  1. 只信书：当有人问问题时，助手不会靠自己的记忆（训练数据）来回答，而是先把手伸进那本权威的法规书（EASA 发布的无人机安全规范）里，把相关的段落检索出来。
  2. 有根有据：它只能根据刚才找到的这几段话组织答案。如果书里没写，它就老实承认“我不知道”，而绝不会瞎编。
  3. 指路牌：它给出的每一个答案，后面都会像学术引用一样，标出“这句话出自第几章第几页”。这样，人类专家随时可以回头去核对，确保万无一失。

3. 两个主要“工作场景”

论文里测试了这个助手的两个主要用途：

• 场景一：法规问答机器人（像查字典）

  • 任务：用户问：“如果我在人群上空飞，需要什么条件？”
  • 助手表现：它去书里翻找，找到关于“人群”和“风险”的条款，然后告诉你：“根据第 X 章第 Y 条，你需要……"并且把原文贴给你看。
  • 特点：即使你换种说法问（比如把“人群”说成“很多人”），它也能尽量找到对应的条款，但如果书里真没有，它就绝不猜测。

• 场景二：安全评估小助手（像填表向导）

  • 任务：用户输入一些参数（比如：无人机多重？飞多高？是白天飞还是晚上飞？）。
  • 助手表现：它根据这些参数，去书里匹配，然后给出一个初步的“风险评估建议”。比如：“根据你的输入，这属于‘特定类别’，建议进行‘结构化评估’。”
  • 特点：它只负责整理信息和提供建议，绝不代替人类做最终决定。它就像个计算器，算出结果后，必须由人类专家签字确认。

4. 为什么它很安全？（关键设计）

为了防止 AI 犯错，作者给这个助手加了很多“紧箍咒”：

• 切断外部记忆：它被禁止使用训练时的“旧知识”，只能看眼前的“新书”。
• 保守策略：如果找到的资料模棱两可，或者资料不够全，它会直接说“资料不足，无法判断”，而不是强行给个答案。
• 人类在环：它明确知道自己只是个助手，最终拍板签字的必须是持有执照的人类专家。它不背锅，也不抢功。

5. 总结与启示

这篇论文告诉我们：在航空安全这种严肃的领域，AI 不能是个“全知全能的预言家”，而应该是个“严谨的图书管理员”。

• 成功之处：这个系统能帮人类快速从海量法规中找到关键信息，大大减少了翻书的时间，而且因为每一步都有出处，所以非常透明、可审计。
• 局限性：如果用户的问题太模糊，或者法规本身有冲突，AI 可能会找不到完美的答案。这时候，它的作用就是提醒人类：“这里有点模糊，需要您这位专家来仔细斟酌。”

一句话总结：
这就好比给无人机安全审查员配了一个**“戴着镣铐跳舞的超级秘书”**——它动作快、懂规矩、绝不乱说话，但所有的决定权依然牢牢掌握在人类手中。

技术摘要

论文技术总结：面向无人机安全评估与合规性的检索增强语言助手

1. 研究背景与问题定义 (Problem)

随着无人机（UAS）操作的数量、规模和多样性迅速增长，航空当局和利益相关者的工作负荷显著增加。在安全监督和合规性评估中，评估人员面临以下核心挑战：

• 文档复杂性：需要跨多个相互关联的文档（如规范、可接受的合规手段 AMC、指南等）定位相关条款、交叉检查要求并汇编证据。
• 现有大语言模型（LLM）的局限性：
  • 知识滞后：模型训练时的知识是固定的，无法反映最新的法规更新。
  • 幻觉问题：模型可能生成看似可信但缺乏权威来源支持的陈述（幻觉）。
  • 缺乏可追溯性：通常无法将生成的主张链接到具体的法规段落，这在需要审计证据链的安全评估和认证场景中是不可接受的。
  • 微调的弊端：微调可能导致灾难性遗忘，且更新参数比更新外部语料库更复杂，难以治理。

核心目标：设计并验证一个检索增强生成（RAG）助手，该助手仅依赖权威的法规来源，提供可追溯、可审计的决策支持，辅助无人机系统的安全评估和合规性检查，同时不替代人类专家的判断。

2. 方法论 (Methodology)

该系统采用严格的 RAG 架构，将可检查的证据存储（法规语料库）与语言模型合成严格分离。

2.1 数据源与文档工程

• 数据源：欧洲航空安全局（EASA）发布的《无人机系统认证规范》（CS-UAS），重点聚焦特定运行风险评估（SORA）和预定义风险评估（PDRA）相关的规范描述和指南。
• 结构化处理：
  • 分块策略：采用人工分块，以法规条款（Article）、可接受的合规手段（AMC）和一般材料条目为基本单位，避免自动分块导致的语义断裂。
  • 表格处理：使用 LLM 将表格转换为包含标题、叙述性解释、摘要和关键词的 JSON 格式，保留单元格与脚注的关联，排除难以重建的图像。
  • 元数据增强：每个分块包含标题、摘要和关键词，用于检索和证据归因。

2.2 检索架构 (Retrieval Architecture)

系统采用混合检索与多阶段重排序策略，以提高召回率和精确度：

1. 密集检索 (Dense)：使用 all-MiniLM-L6-v2 编码器生成向量，利用 FAISS 进行最大内积搜索（MIPS）。为提升标题匹配度，索引字符串采用 标题 + 标题 + 正文 的加权拼接方式。
2. 稀疏检索 (Sparse)：使用 BM25 算法进行基于术语频率的检索。
3. 融合 (Fusion)：使用倒数排名融合 (RRF) 结合密集和稀疏检索结果，平衡语义覆盖和词汇精确度。
4. 多样性控制：应用最大边际相关性 (MMR) 减少候选集冗余，确保覆盖不同的法规段落。
5. 重排序 (Reranking)：使用基于 ColBERT 设计的延迟交互重排序器 (Late-interaction reranker)，在 Token 级别进行匹配，提高相关性评分的准确性。
6. 过滤：基于分数下降的“肘部法则”筛选最终证据集，剔除弱相关上下文。

2.3 生成控制与审计 (Generation Control)

• 严格约束：LLM（选用 OpenAI gpt-oss-20B）仅能基于检索到的证据生成回答，禁止引入外部知识或进行无依据的推断。
• 证据归因：生成的每个陈述必须引用具体的分块 ID 和来源。
• 不确定性处理：如果证据不足，模型被指令明确声明证据缺口（Evidence Gap），拒绝猜测。
• 交互模式：
  1. 对话式助手：回答法规问题，提供可追溯的解释。
  2. 指标导向工作流：针对结构化安全评估任务（如 SORA 初步评估），输出符合固定 JSON 模式的单一指标（如监管路径、地面/空中风险导向），便于机器解析和验证。

3. 关键贡献 (Key Contributions)

1. 可审计的 RAG 架构：提出了一种将证据存储与生成分离的架构，通过显式的证据链接和保守的生成策略，解决了 LLM 在安全关键领域的幻觉和不可追溯问题。
2. 针对法规文档的优化工程：设计了专门针对法规文本的分块、表格转换和混合检索策略（标题加权、MMR 去重、ColBERT 重排序），显著提升了法规检索的精确度。
3. 双模式验证：通过两个具体的用例（法规问答助手和结构化安全评估指标生成）验证了系统的可行性，证明了其在减少文档导航时间和辅助结构化输出方面的价值。
4. 系统级安全控制：将证据控制视为系统级属性，而非仅靠提示词工程。包括查询预处理、证据缺口显式声明、以及防止模型越权（如不做出批准决定）的机制。

4. 实验结果 (Results)

研究通过两个用例进行了评估：

4.1 法规助手 (Regulatory Assistant)

• 检索性能：在直接匹配查询中，检索准确率达到 100%；在同义改写和重构问题中，Top-5 召回率保持在 75%-100%。
• ** groundedness ( groundedness)**：即使检索准确，生成内容的“ groundedness"（基于证据）也受限于检索质量。直接匹配查询中，50% 的回答被判定为完全基于证据；在重构问题中，这一比例波动较大。
• 发现：检索质量是必要条件但非充分条件。当检索碎片化时，模型倾向于生成看似合理但不完整的回答。

4.2 安全评估任务 (Safety Assessment Task)

• 一致性：在重复运行中，分类指标（如监管路径、风险导向）的值一致性平均达到 91.7%（其中“预期评估深度”达到 100%）。
• 准确性：与人工标注的基准相比，整体准确率为 81.8%。
  • “预期评估深度”：100% 准确。
  • “初始地面/空中风险导向”：80.3% 准确。
  • “可能的监管路径”：66.6% 准确（因涉及解释边界，难度较大）。
• 解释稳定性：虽然分类结果稳定，但解释文本的表面形式相似度较低（平均 57.6%），表明模型在保持结论一致的同时，措辞存在变化。

5. 意义与结论 (Significance & Conclusion)

• 决策支持而非替代：该研究证实，RAG 助手可以作为有效的决策支持工具，加速信息检索和文档准备，但必须明确其不替代人类专家的判断和最终责任。
• 安全边界设计：在安全关键领域，系统必须强制执行“证据边界”。当证据不足时，系统应拒绝生成或明确声明不确定性，而不是进行推测性合成。
• 可追溯性至关重要：通过显式的引用和来源链接，系统满足了航空监管中对审计追踪（Audit Trail）的严格要求。
• 未来方向：
  • 增强查询预处理和检索扩展以应对语义重构。
  • 引入后处理验证器，在句子级别检查生成内容与检索证据的对应关系。
  • 扩展语料库至国家解释材料，并探索GraphRAG（知识图谱检索）以处理多跳推理和复杂的法规依赖关系，同时保持对源文档的显式链接。

总结：该论文为将生成式 AI 引入航空安全监管工作流提供了一套严谨的技术框架，强调了受控生成、证据归因和人类监督在平衡效率与合规性中的核心地位。