💻 computer science

TVR: Automotive System Requirement Traceability Validation and Recovery Through Retrieval-Augmented Generation

本文介绍了 TVR，这是一种利用大语言模型实现检索增强生成（RAG）的方法，旨在验证现有并恢复汽车软件开发中利益相关者需求与系统需求之间缺失的追溯性链路，并证明了其在工业环境中的高准确性和实际有效性。

原作者： Feifei Niu, Rongqi Pan, Lionel C. Briand, Hanyang Hu

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Feifei Niu, Rongqi Pan, Lionel C. Briand, Hanyang Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在建造一辆庞大且高科技的汽车。这辆车不仅仅是金属和橡胶，它是一个由数千条软件指令构成的复杂大脑。为了确保这个大脑安全运行，工程师们编写了两类“待办事项清单”：

“宏观图景”清单（利益相关者需求）： 由希望汽车正常工作的人员（驾驶员、监管机构、维修人员）编写。例如：“如果汽车与发动机计算机失去联系，我们需要一个警告灯。”
“技术蓝图”清单（系统需求）： 由实际构建软件的工程师编写。例如：“如果 MESSAGE_1 在 5 个周期内缺失，则开启 DTC_001。”

问题所在：断裂的链条
在一个理想的世界里，每一个“宏观图景”清单上的条目都应该完美地对应到“技术蓝图”清单中的特定条目。这种匹配被称为可追溯性（traceability）。这就像是用回形针将两个清单连接起来的链条。

然而，在现实世界中，这条链条经常断裂。

有时，当“宏观图景”清单发生变更时，工程师们忘记更新“技术蓝图”。
有时，人类犯了错误，将错误的条目连接在了一起。
有时，某些条目完全缺失了。

如果这些链条断裂了，汽车可能无法在出现问题时提醒驾驶员，或者会在没有问题时发出虚假警报。这在后期会导致危险且昂贵的修复成本。

旧方法 vs. 新方法
以前，工程师必须手动检查每一个回形针连接。这既缓慢、枯燥，又容易产生人为错误。

一些计算机程序曾尝试提供帮助，通过寻找相似的词汇。如果“宏观图景”清单说“发动机”，而“蓝图”也说“发动机”，它们就会将两者连接起来。但这就像仅仅通过寻找“面粉”这个词来尝试将食谱与购物清单进行匹配一样。这种方法过于简单。技术清单使用的语言非常专业且充满术语，即使表达的是同一个意思，看起来也与宏向图景清单大不相同。

解决方案：TVR（智能匹配者）
论文介绍了一种名为 TVR（可追溯性验证与恢复）的新工具。你可以把 TVR 想象成一位超级聪明、经验丰富的图书管理员，她使用了一种被称为 RAG（检索增强生成）的特殊技术。

以下是 TVR 的工作原理，我们使用一个简单的类比：

1. “展示给我看，而不只是告诉我”的方法

想象一下你正在教一名实习生如何识别假身份证。

旧方法（零样本学习/Zero-Shot）： 你只是说，“这是一张身份证。告诉我是真是假。”实习生靠猜，结果猜错了，因为他们不知道规则。
新方法 (TVR/RAG)： 在要求实习生判断新的身份证之前，你先从档案柜里抽出一叠过去的案例。你说：“看这 3 个我们判定为‘真实’的例子，以及这 3 个我们判定为‘伪造’的例子。注意到‘真实’案例中的字体了吗？现在，看这张新身份证。基于这些例子，它是真的还是假的？”

TVR 对大型语言模型（AI）也做了同样的事情。它不是直接问 AI“这个链接是否正确？”，而是首先从公司的历史记录中检索出相似的正确和错误连接案例。它向 AI 展示这些例子，以“教导”它该汽车公司特定的模式，然后再让 AI 做出决定。

2. TVR 究竟在做什么

论文在涉及诊断故障码（DTCs）（即仪表盘上弹出的错误代码，如“检查发动机”）的真实汽车数据上测试了 TVR。

验证（检查链条）： TVR 查看“宏观图景”与“技术”清单之间现有的连接，并判断：“是的，这个链接是正确的，”或“不，这个链接是断裂的。”
- 结果： 它的准确率达到了 98.87%。
恢复（寻找缺失的链接）： TVR 查看尚未连接的条目，并询问：“嘿，这两个其实属于一对，尽管目前还没有人把它们连在一起。”
- 结果： 它找回缺失链接的准确率为 85.50%。
鲁棒性（处理新风格）： 有时工程师会以略微不同的方式编写需求（例如使用不同的词汇表达同一件事）。TVR 在这些“未见过的”变体上进行了测试，依然达到了 97.13% 的正确率。

3. 为什么这很重要

论文声称 TVR 是汽车行业的一个实用工具。

它通过自动化检查数以千计的连接，节省了时间。
它能解释自己做出决策的原因（例如：“我之所以说‘否’，是因为技术清单中没有提到宏观图景清单所要求的特定信息”）。
它比旧方法能更好地处理充满术语且杂乱无章的汽车软件现实情况。

总结
论文将 TVR 呈现为一个高度准确、由 AI 驱动的助手，扮演着资深专家的角色。它不是靠猜测，而是通过回顾过去关于汽车领域中“正确”和“错误”连接的案例，利用这些知识来修复断裂的链条并寻找缺失的环节。其结果是使汽车软件更加安全、一致且更少出错。

技术摘要：TVR —— 基于检索增强生成的追溯性验证与恢复

1. 问题定义

在汽车软件开发中，在利益相关者需求（高层需求）与系统需求（详细规范）之间维持准确的追溯性，对于确保一致性、正确性和合规性（如 ASPICE、ISO 26262）至关重要。然而，人工追溯过程容易出错，导致：

变更传播不当： 利益相关者需求的更新往往未能反映在系统需求中，从而产生过时或无效的链接。
人工映射错误： 由于手动验证的工作量巨大，容易出现错误的映射或缺失的链接。
语言与结构差异： 需求以不同的术语、抽象层次和模板进行表达（例如，“通信丢失”与“数据不可靠”诊断故障码或 DTC）。传统的基于相似性的方法（如 TF-IDF、SentenceBERT）以及标准的大语言模型（LLM）提示技术（零样本学习、思维链）难以泛化处理这些异构变化，并且往往无法区分消息和信号定义中的细微语义差异。

本文解决的具体挑战是针对 DTC 利益相关者需求与系统需求之间现有追溯链接的验证以及缺失链接的恢复，其中一个系统需求可能覆盖多个利益相关者需求，且仅凭文本相似度不足以进行验证。

2. 方法论：TVR 方法

作者提出了 TVR（Traceability Validation and Recovery，追溯性验证与恢复），这是一个利用增强型上下文学习（In-Context Learning）的检索增强生成（RAG）框架。与通过检索外部文档来增强领域知识的传统 RAG 系统不同，TVR 检索先前标记的需求对，以此作为推理示例。

核心组件

检索器 (Retriever)：
- 输入： 一个测试对 $\langle \text{stakeReq}, \text{sysReq} \rangle$ 。
- 机制： 使用 Amazon Titan 模型为拼接后的需求对生成嵌入（由于行业合作伙伴的限制而选择该模型）。
- 选择： 从训练数据库 ( $D_{train}$ ) 中检索出最相似的 $k$ 个有效（正向）示例和最相似的 $k$ 个无效（负向）示例。
- 相似度： 通过 FAISS 库使用余弦相似度进行计算（优化设定为 $k=3$ ）。
生成器 (Generator)：
- 模型： 主要使用 Claude 3.5 Sonnet 进行评估，尽管测试了 13 种 LLM。
- 提示策略： 生成器接收包含以下内容的提示词：
  - 指令： 一个特定的任务，即验证系统需求是否覆盖了利益相关者需求中的特定消息或信号（将范围从通用追溯缩小到特定的信号覆盖）。
  - 上下文： $k \times 2$ 个检索到的示例（有效和无效示例），用以引导模型的推理。
  - 输入： 待评估的测试对。
  - 输出指示： 二进制的“是 (Yes)”或“否 (No)”响应。
- 目标： LLM 利用检索到的示例作为“演示”，学习判断追溯正确性的决策模式，而非依赖于外部知识检索。
追溯恢复（预处理）：
为了在不进行穷举笛卡尔积搜索的情况下恢复缺失的链接，TVR 采用了三步过滤策略：
- 变体匹配： 根据 DTC 类型对需求进行配对（例如，“通信丢失”仅与“通信丢失”配对）。
- 条件匹配： 根据条件类型（成熟型 Mature 与非成熟型 Demature）对需求进行配对。
- 消息重叠匹配： 过滤掉不共享至少一个共同消息或信号标记的配对。
- 经过过滤的候选对随后由 TVR 进行验证，以识别缺失的有效链接。

3. 主要贡献

TVR 框架： 一种专门为汽车系统追溯链接验证与恢复设计的创新 RAG 方法，利用上下文示例而非外部知识检索。
对变体的鲁棒性： 通过利用受增强的 LLM 语义理解能力和代表性示例，展示了处理未见过的需求变体（不同的模板和术语）的能力。
全面的评估： 在 13 种 LLM（包括 Claude、Llama、Mistral 和 Titan 系列）和四种提示策略（零样本、思维链、少样本、自一致性）下进行了严格评估，并将 TVR 与最先进的基准方法（LiSSA、TF-IDF、SentenceBERT）进行了对比。
工业验证： 在来自汽车合作伙伴的 2,132 个 DTC 需求对的真实工业数据集上进行评估，其基准真相（Ground Truth）通过系统工程师的结构化标注建立。

4. 实验结果

研究是在包含 1,320 个利益相关者需求和 48 个系统需求（共 2,132 个链接）的数据集上进行的。

追溯性验证：
- 准确率： TVR（使用带有 RAG 的 Claude 3.5 Sonnet）达到了 98.87% 的准确率。
- 宏 F1 值 (Macro-F1)： 达到了 96.72%，显著优于表现最好的基准方法（LiSSA-CoT 为 52.89%，SentenceBERT 为 57.82%）。
- 对比： 在同一模型上使用零样本提示仅得到 79.55% 的准确率，凸显了 RAG/上下文学习方法的必要性。
- 鲁棒性： 在针对未见过的需求变体进行测试（跨四个变体类别的交叉验证）时，TVR 保持了 97.13% 的准确率和 90.86% 的宏 F1 值。
追溯恢复：
- 在三步预处理将候选池从约 3 万个减少到 1,919 个配对后，TVR 识别出了 502 个潜在的缺失链接。
- 正确性： 人工验证确认，恢复的链接中 85.50% 是正确的。
错误分析：
- 错误主要发生在 LLM 关注触发条件而非目标输入消息，或者考虑了特定信号之外的组件（如验证规则）时。
- TVR 与基于检索的基准方法（SentenceBERT）表现出正交的错误模式，这表明存在混合方法的潜力。

5. 重要性与主张

论文声称 TVR 为那些追溯性至关重要但人工维护困难的工业环境提供了一种实用、高精度的解决方案。

效率： 它显著减少了追溯验证所需的人工工作量，解决了行业合作伙伴报告的时间和成本约束问题。
可靠性： 高准确率 (98.87%) 和对未见变体的鲁棒性使其适用于复杂的、不断发展的汽车系统。
可解释性： 该框架支持可解释性；在配置完成后，LLM 可以提供分步推理（例如，识别特定消息并检查其是否存在于系统需求中），从而辅助工程师验证自动化决策。
局限性与未来工作： 作者承认该方法依赖于检索数据库的质量，并且由于模型偶尔无法严格遵循“仅限消息”的关注点，可能会出现假阳性。他们建议未来的工作可以涉及将基于检索的相似性与 LLM 推理进行混合，并优化预处理过程以排除触发条件。

作者总结道，虽然 TVR 目前是针对汽车 DTC 需求定制的，但其利用检索增强的上下文学习进行需求验证的核心原理，可以推广到其他需要高层到低层需求追溯性的领域。