How often do Answers Change? Estimating Recency Requirements in Question Answering
该论文针对大语言模型在处理时效性问题时因知识过时而犯错的问题，提出了一个关于答案更新频率的“时效性 - 稳定性”分类体系，并构建了包含 4031 个标注样本的 RecencyQA 数据集，以支持对模型在动态变化语境下细粒度时效推理能力的评估与优化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文主要解决了一个大模型（LLM）经常犯的“糊涂病”：它太自信，但有时候答案已经过时了。
想象一下，你问一个非常博学但有点“老古董”的朋友：“现在美国总统是谁？”或者“今天的股市指数是多少？”
- 如果问的是“谁发明了电灯”，这位朋友能立刻答对，因为答案几百年没变过。
- 但如果问的是“现在的油价”，这位朋友可能还在背诵他“毕业”那天（训练数据截止日）的油价，然后自信地告诉你一个错误的数字。
这篇论文就是为了解决这个问题，给大模型设计了一套新的“体检标准”和“训练教材”。
1. 核心问题：答案的“保质期”不同
以前的测试题（基准）通常把问题分成两类：要么是对的，要么是错的。但这不够用。
这就好比超市里的食物：
- 罐头食品（如：水的化学式）：保质期是永久的，放一百年也没事。
- 鲜奶（如：今天的天气）：保质期只有几天，甚至几小时。
- 生鲜蔬菜（如：奥运会金牌榜）：保质期极短，比赛一结束，昨天的榜单今天就作废了。
以前的模型不知道哪些是“罐头”，哪些是“鲜奶”。它可能把“鲜奶”当成“罐头”来吃，结果就拉肚子（给出错误答案）。
2. 新发明：给问题贴上“保质期”和“稳定性”标签
作者发明了一个新的分类法（Taxonomy），就像给每个问题贴上了两个标签：
- 标签一：更新频率（Recency）
- 这个问题多久变一次？是每小时变（An-Hour）、每年变（A-Year），还是永远不变（Never）？
- 比喻：这就像给食物贴上“最佳食用日期”。
- 标签二：稳定性（Stationarity）
- 这个“保质期”是固定的，还是看情况变的？
- 比喻：
- 稳定型（Stationary）：像“一年一度”的春节，每年都在变，但规律很死板，大家都知道。
- 非稳定型（Non-stationary）：像“股市”或“疫情数据”。平时可能几个月才变一次，但一旦出事（比如经济危机），可能每分钟都在变。这种问题的“保质期”是看天吃饭的。
3. 新教材：RECENCYQA 数据集
为了教模型区分这些，作者造了一个包含 4000 多个问题 的新题库（RECENCYQA）。
- 他们不仅收集了问题，还让 AI 给每个问题“算命”：预测它多久会变，以及这种变化规律是否稳定。
- 他们还给每个问题配上了“上下文背景”。
- 例子：问“谁是奥运金牌榜第一？”
- 背景 A（奥运会期间）：答案每小时都在变（高频率）。
- 背景 B（奥运会结束后）：答案几年都不变（低频率）。
- 这就强迫模型学会看情况说话，而不是死记硬背。
- 例子：问“谁是奥运金牌榜第一？”
4. 实验结果：模型还很“笨”
作者用这个新题库测试了目前最厉害的几款大模型，发现了一些有趣（且有点让人担心）的现象：
- 遇到“罐头”问题（稳定事实）： 模型表现不错，能答对。
- 遇到“鲜奶”问题（高频变化）： 模型经常答错，而且越新的东西，它越容易犯错。
- 最尴尬的“非稳定”问题： 当背景变了（比如从奥运会期间变成了结束后），模型很难适应。它往往固执地坚持之前的答案，不知道要“刷新”一下。
- 给背景信息反而帮倒忙？ 有趣的是，对于本来就很稳定的问题（如“水的化学式”），如果强行给它加上一段关于“今天天气”的背景描述，模型反而会被带偏，答得更差。这说明模型分不清什么时候该看背景，什么时候该忽略背景。
5. 总结：我们要什么样的 AI？
这篇论文告诉我们，未来的 AI 不能只是一个“百科全书”，它还得像一个聪明的新闻编辑：
- 知道什么时候该查旧书（对于历史事实，直接调用记忆）。
- 知道什么时候该查互联网（对于新闻、天气、股价，必须去搜最新的）。
- 知道什么时候该“刷新”记忆（当环境变化时，主动抛弃旧答案）。
一句话总结：
这篇论文给大模型装了一个“时间感”的仪表盘，告诉它：别光背答案，要看答案的“保质期”和“变脸速度”，不然你会因为提供过期的信息而闹笑话。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。