← 最新论文
💻 computer science

Context Matters: Evaluating Context Strategies for Automated ADR Generation Using LLMs

该论文通过评估五种不同的上下文策略,发现利用大语言模型自动生成架构决策记录(ADR)时,包含少量近期记录(通常为 3-5 条)的上下文提示策略在质量与效率之间取得了最佳平衡,表明上下文工程比模型规模本身对自动化效果更为关键。

原作者: Aviral Gupta, Rudra Dhar, Daniel Feitosa, Karthik Vaidhyanathan

发布于 2026-04-16
📖 1 分钟阅读☕ 轻松阅读

原作者: Aviral Gupta, Rudra Dhar, Daniel Feitosa, Karthik Vaidhyanathan

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

这篇论文探讨了一个非常实际的问题:如何用人工智能(AI)自动帮软件工程师写“架构决策记录”(ADR),以及如何让 AI 写得更好。

为了让你轻松理解,我们可以把整个研究过程想象成**“教一个实习生写工作日记”**的故事。

1. 背景:什么是 ADR?为什么需要 AI?

想象一下,你是一家大公司的软件架构师。你的工作就是决定公司大楼(软件系统)该怎么盖:是用砖头还是混凝土?电梯装在哪?

每次你做一个重大决定,你都需要写一份**“架构决策记录”(ADR)。这就好比“工作日记”**,里面要写清楚:

  • 背景:为什么要做这个决定?
  • 决定:我们选了哪个方案?
  • 后果:选了之后会有什么影响?

痛点:写日记很麻烦,而且往往没人愿意写。结果就是,很多项目刚开始写,后来就忘了,导致新来的员工(维护者)看不懂之前的决定,甚至把大楼盖歪了(架构漂移)。

解决方案:大家想,能不能用**AI(大语言模型)**来自动写这些日记?只要告诉 AI“我们要换测试框架了”,它就能自动写出完整的日记。

2. 核心问题:AI 需要多少“上下文”?

这就引出了论文的核心:给 AI 多少“历史资料”作为参考,它才能写得最好?

这就好比教那个实习生写日记:

  • 情况 A(无上下文):你只给实习生一个标题“换测试框架”,让他凭空瞎编。
    • 结果:他可能会写出一堆废话,或者完全不符合公司之前的风格。
  • 情况 B(全量历史):你把公司过去 10 年所有的 5000 份日记全塞给他,让他自己找参考。
    • 结果:资料太多,他看花了眼,找不到重点,而且处理起来太慢,成本太高。
  • 情况 C(只给最近的):你只给他看最近 3-5 份日记。
    • 结果:他抓住了最近的趋势,写得很准。
  • 情况 D(智能检索):你告诉他“去找跟‘测试框架’最相关的几份日记”,不管它们是什么时候写的。
    • 结果:理论上很完美,但操作复杂。

3. 研究人员做了什么?

作者们收集了750 个开源软件项目4500 多份真实 ADR 记录,把它们整理成了一条条时间线。然后,他们让不同的 AI 模型(像 Gemini, Qwen 等)尝试用上述**五种不同的“给资料策略”**来写新的 ADR,最后拿 AI 写的和人类写的真日记做对比。

4. 关键发现(用比喻解释)

🏆 发现一:有参考总比没参考强

比喻:让实习生完全不看以前的日记(无上下文),他写出来的东西就像**“无头苍蝇”,又长又啰嗦,而且经常偏离主题。
结论:只要给 AI 看一点历史资料,它写的日记质量就会
突飞猛进**。

🎯 发现二:不需要“读万卷书”,只需“温故知新”

比喻:你不需要把实习生关在图书馆里读过去 10 年的所有日记(全量历史)。研究发现,只要给他看最近 3 到 5 份日记(Last-K 策略),他写得就几乎和看了一整年资料一样好
为什么? 因为软件架构的决策通常有**“近因效应”。现在的决定,往往更多是受最近的决定影响,而不是受一年前的决定影响。
结论
“最近 3-5 条记录”**是性价比最高的策略。既省时间(省钱),效果又好。

🧩 发现三:智能检索(RAFG)是“特种部队”

比喻:有一种策略叫**“智能检索”(RAFG),它不是按时间顺序给资料,而是像“特种部队”一样,专门去档案库里找“概念上最相关”**的几份资料。
结论

  • 大多数普通情况下,它和“只看最近记录”的效果差不多
  • 但在特殊复杂的情况下(比如要解决一个跨越了几年前的老问题,或者涉及多个不相关的模块),它能挖出那些被时间埋没的重要线索,这时候它就比“只看最近”更厉害。
  • 代价:它太复杂了,需要额外的技术搭建,平时没必要用。

🤖 发现四:模型大小不是关键,给什么资料才是关键

比喻:以前大家觉得,要写好日记,必须用最聪明、最贵的 AI 大脑(大参数模型)。
结论:这篇论文发现,只要给的资料(上下文)给对了,一个小巧、便宜、甚至能在本地运行的 AI(小模型),也能写出和大模型一样好的日记。
核心观点“怎么给资料”(上下文工程)比“用多大的模型”更重要。

5. 给普通人的启示(总结)

这篇论文告诉我们,在让 AI 帮忙写专业文档时:

  1. 不要让它“裸奔”:一定要给它提供背景信息。
  2. 不要“信息过载”:给太多旧资料反而没用,**“最近 3-5 条”**通常是黄金法则。
  3. 资料质量很重要:如果人类自己写的日记里全是“详见外部链接”这种废话,AI 也学不会写得好。所以,人类先要把自己的记录写清楚、写完整,AI 才能帮上忙。
  4. 小模型也能干大事:只要策略得当,不需要花大价钱买最顶级的 AI,普通的 AI 也能胜任。

一句话总结
教 AI 写架构日记,不用给它读一辈子书,只要让它看看最近几天的“朋友圈”(最近几条记录),它就能写得既专业又高效。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →