How often do Answers Change? Estimating Recency Requirements in Question Answering

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 시의성 있는 질문에 답할 때 종종 훈련 데이터의 컷오프 시점 이후의 정보를 반영하지 못해, 자신감은 있지만 잘못된 답변을 생성하는 경향이 있습니다. 기존 질문 응답 (QA) 벤치마크와 연구들은 다음과 같은 한계를 가지고 있습니다:

• 이분법적 접근: 대부분의 기존 벤치마크 (FreshQA, RealTimeQA 등) 는 정답의 유효성을 단순히 '최신 (Current)' 대 '구식 (Outdated)'의 이분법으로만 구분합니다.
• 변화 빈도 무시: 정답이 시간당, 연간, 혹은 영구적으로 변하는지 그 **변화 빈도 (Update Frequency)**를 모델링하지 못합니다.
• 맥락 의존성 부재: 어떤 질문은 항상 최신 정보가 필요하지만 (비정상적, Non-stationary), 어떤 질문은 맥락에 따라 최신성 요구사항이 달라지는 경우가 있습니다. 기존 연구는 이러한 **맥락 의존적 (Context-dependent)**인 동적 특성을 고려하지 못합니다.

2. 방법론 (Methodology)

2.1. 최신성 - 정상성 분류 체계 (Recency-Stationarity Taxonomy)

저자들은 질문의 시의성 민감도를 두 가지 직교하는 차원으로 분류하는 새로운 분류 체계를 제안했습니다.

1. 최신성 (Recency): 정답이 얼마나 자주 변할 것으로 예상되는지 (변화 주기).
   • 12 개의 이산적 클래스로 정의됨 (예: 1 시간 이내, 몇 시간 이내, 1 일 이내, ... 몇 년 이내, 영구 불변 등).
2. 정상성 (Stationarity): 해당 업데이트 빈도가 시간에 따라 일정한지 (정상적, Stationary) 아니면 맥락에 따라 변하는지 (비정상적, Non-stationary).
   • 예시: "미국 대통령의 이름은?"은 일반적으로 저빈도이고 정상적입니다. 반면 "올림픽 메달 순위는?"은 대회 기간 중에는 고빈도 (비정상적) 이지만 대회 사이에는 변하지 않습니다.

2.2. RECENCYQA 데이터셋 구축

위 분류 체계를 기반으로 4,031 개의 오픈 도메인 질문으로 구성된 RECENCYQA 데이터셋을 구축했습니다.

• 데이터 소스: 기존 시의성 QA 데이터셋 (FreshQA, PATQA, SituatedQA) 에서 추출한 질문과 LLM(LLaMA 3.3 70B) 을 이용해 생성한 이벤트 기반 질문을 혼합했습니다.
• 레이블 생성 프로세스:
  • 최신성 라벨: 각 질문에 대해 LLM 을 13 번 실행하여 12 개 클래스에 대한 분포를 생성하고, 다수결을 통해 주 라벨과 불확실성 분포를 도출했습니다.
  • 정상성 라벨: GPT-5.2, Gemini 3 Flash, Claude Sonnet 4.5 등 3 개의 SOTA 모델로 초기 분류를 수행하고, 생성된 최신성 분포의 일관성 (Consistency Rules) 을 통해 교차 검증하여 최종 라벨을 확정했습니다.
  • 맥락 생성: 각 질문의 시의성 행동을 구체화하기 위해 검증된 시간적 맥락 (Temporal Context) 을 생성하고, 이를 다시 LLM 을 통해 검증하여 신뢰성을 확보했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 분류 체계 제안: 정답의 예상 업데이트 빈도 (Recency) 와 그 빈도의 맥락 의존성 (Stationarity) 을 동시에 모델링하는 2 차원 분류 체계를 도입했습니다.
2. RECENCYQA 데이터셋 공개: 4,031 개의 질문에 대해 최신성 분포, 정상성 라벨, 검증된 시간적 맥락이 포함된 최초의 오픈 도메인 데이터셋을 공개했습니다. 이는 이분법적 '신선도'를 넘어선 세밀한 분석을 가능하게 합니다.
3. 종합적 평가 및 분석: RECENCYQA 를 활용하여 최신 LLM 들의 시의성 인식 능력, 맥락 민감도, 그리고 동적 적응 능력을 평가하고 그 한계를 규명했습니다.

4. 실험 결과 (Results)

저자들은 Qwen, LLaMA, Mistral, Gemma 등 6 개의 다양한 크기의 LLM 을 대상으로 Zero-shot, Few-shot, Chain-of-Thought(CoT) 프롬프트 전략을 사용하여 실험했습니다.

• 최신성 분류 (Recency Classification):

  • 모든 모델에서 정답을 12 개 클래스 중 하나로 분류하는 것은 매우 어려웠습니다 (정확도 24%~52%).
  • Few-shot 프롬프팅이 가장 성능이 좋았으며, Gemma 3(27B) 이 52.05% 의 정확도를 기록했습니다.
  • 엄격한 정확도보다 인접한 클래스를 맞추는 '관용적 정확도 (Tolerant Accuracy)'는 높았으나 (0.88 이상), 미세한 시간적 구분을 하는 능력은 부족했습니다.

• 맥락의 역할 (Role of Context):

  • 비정상적 질문 (Non-stationary): 맥락 정보가 제공될 때 모델의 성능이 크게 향상되었습니다 (일부 경우 +40% 이상). 이는 맥락에 따라 정답이 변하는 질문에서는 모델이 맥락 단서를 효과적으로 활용함을 의미합니다.
  • 정상적 질문 (Stationary): 오히려 맥락 정보가 제공될 때 성능이 저하되거나 변하지 않았습니다. 이는 모델이 불필요한 시간적 단서에 과도하게 반응하여 안정된 정답을 왜곡할 수 있음을 시사합니다.

• 동적 적응 (Dynamic Recency Transition):

  • 맥락이 변할 때 (RL1 → RL2) 모델이 예측을 수정하는 능력을 평가한 결과, **전이 정확도 (Transition Accuracy)**가 매우 낮았습니다 (Few-shot 기준 14.8%).
  • 이는 LLM 이 개별 맥락 내에서는 어느 정도 성능을 내지만, 맥락 변화에 따른 동적 업데이트에는 실패하고 정적 추론에 머무르고 있음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 한계 규명: 현재 LLM 은 시의성이 안정된 질문에는 잘 대응하지만, 빈번하게 변하거나 맥락에 따라 최신성 요구가 달라지는 질문에서는 심각한 성능 저하를 보입니다. 특히 맥락 의존적인 상황에서의 동적 적응 능력이 부족합니다.
• 향후 연구 방향: RECENCYQA 는 단순한 벤치마크를 넘어, 최신성 인식 (Recency-aware) 검색, 신뢰도 보정, 동적 다단계 추론 시스템 개발을 위한 기초를 제공합니다.
• 시스템 설계 시사점: 모델이 언제 저장된 지식을 활용하고 언제 외부 정보를 검색 (Retrieval) 해야 하는지 판단하는 맥락 민감형 (Context-sensitive) QA 시스템 개발의 필요성을 강조합니다.

이 논문은 질문 응답 시스템이 단순한 사실 회상을 넘어, 정보의 시간적 동역학을 이해하고 적응할 수 있어야 함을 강조하며, 이를 정량화할 수 있는 표준적인 프레임워크를 제시했습니다.