RAG or Learning? Understanding the Limits of LLM Adaptation under Continuous Knowledge Drift in the Real World

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 사전 학습 (Pretraining) 을 통해 방대한 지식을 습득하지만, 이는 특정 시점 (Knowledge Cutoff) 의 고정된 스냅샷에 불과합니다. 반면, 실제 세계의 지식은 CEO 교체, 정책 변경, 사건 발생 등으로 인해 지속적으로 진화 (Continuous Knowledge Drift) 합니다.

이러한 지식의 지속적인 변화 속에서 기존 LLM 은 다음과 같은 심각한 한계에 직면합니다:

• 구식 정보 (Outdated Knowledge): 최신 사실을 반영하지 못함.
• 시간적 불일치 (Temporal Inconsistency): 과거의 사실과 현재의 사실을 혼동하거나, 시간 순서에 따른 논리적 모순을 일으킴.
• 기존 방법론의 실패:
  • 지속적 파인튜닝/학습: 계산 비용이 크고, 새로운 지식을 학습할 때 기존 지식을 망각하는 재앙적 망각 (Catastrophic Forgetting) 문제가 발생함.
  • 지식 편집 (Knowledge Editing): 특정 사실을 수정하지만, 과거의 여러 상태를 동시에 유지하거나 시간적 맥락을 명시적으로 다루지 못해 반복적인 편집 시 충돌이 발생함.
  • 기존 RAG (Retrieval-Augmented Generation): 단순한 문서 검색에 그쳐, 시간 순서가 중요한 복잡한 추론 (예: "2024 년과 2025 년의 CEO 가 어떻게 변했는가?") 을 수행하지 못함.

2. 제안된 방법론: Chronos

저자들은 이러한 문제를 해결하기 위해 Chronos라는 시간 인식형 검색 (Time-aware Retrieval) 프레임워크를 제안했습니다. 모델의 파라미터를 수정하지 않고, 검색된 증거를 구조화하여 시간적 일관성을 확보하는 것이 핵심입니다.

Chronos 의 주요 구성 요소:

1. 시간 인식 검색 (Time-aware Retrieval):

   • 사용자의 쿼리에서 엔티티와 시간 창 (Time Window) 을 추출합니다.
   • 검색 시 단순한 의미적 유사도뿐만 아니라, 쿼리 시간과 문서의 타임스탬프 간의 시간적 거리를 고려한 점수를 부여합니다. 이를 통해 시간적으로 관련성이 높은 증거를 우선적으로 검색합니다.

2. 사건 진화 그래프 (Event Evolution Graph, EEG) 구축:

   • 검색된 지식 쿼드 (Subject, Relation, Object, Timestamp) 를 기반으로 그래프를 구성합니다.
   • 3 단계 구축 과정:
     1. 초기 (EEG-I): 검색된 사건들을 타임라인에 따라 정렬하여 시간적 순서를 부여합니다.
     2. 역사 재구성 (EEG-F): 쿼리와 관련된 과거 사건을 모델이 추론하여 추가하고, 이를 타임라인에 통합합니다.
     3. 사건 증강 (EEG-A): 누락된 정보를 찾기 위해 추가 검색을 수행하거나, 모델이 직접 관련 지식을 생성하여 그래프를 보충합니다.
   • 엔티티 중심 연결: 동일한 엔티티가 여러 사건에 등장할 경우, 시간 순서대로 연결하여 해당 엔티티의 상태 변화를 명확히 추적할 수 있도록 합니다.

3. 다중 관점 추론 (Multi-Perspective Views):

   • 구축된 EEG 를 두 가지 관점으로 직렬화하여 LLM 에게 제공합니다.
     • 시간적 관점 (Temporal View): 전체 타임라인상의 사건 흐름.
     • 엔티티 중심 관점 (Entity-centric View): 특정 엔티티의 상태 변화 궤적.
   • 이를 통해 모델은 과거와 현재의 정보를 구분하고, 시간적 맥락을 유지하며 답변을 생성합니다.

3. 새로운 벤치마크 (New Benchmark)

기존 벤치마크가 정적이거나 단일 사실 업데이트에 집중했던 한계를 극복하기 위해, 실제 세계의 동적 사건 (Real-world Dynamic Events) 을 기반으로 한 새로운 벤치마크를 구축했습니다.

• 데이터 범위: 2024 년 1 월부터 2025 년 10 월까지의 타임스탬프가 포함된 증거 기반.
• 도메인: 기업 리더십 변경, 스포츠 이적, 경제 지표, 정책 변경 등 10 개 분야.
• 평가 태스크:
  1. 역사적 QA (Historical): 2024 년 이전의 사실을 정확히 기억하는지 평가.
  2. 현대적 QA (Contemporary):
     • 단일 타임스탬프 (C1): 특정 시점의 사실 확인.
     • 다중 타임스탬프 (C2): 동일 엔티티의 시간별 변화 추적.
     • 다중 소스 (C3): 여러 엔티티와 시간의 정보를 통합하여 추론.
  3. 상식 QA (Commonsense): 지식 드리프트가 일반 추론 능력에 미치는 영향 확인.

4. 실험 결과 (Key Results)

GPT-4o, Claude, LLaMA-3.1 등 다양한 모델을 대상으로 실험한 결과는 다음과 같습니다.

• 파라미터 기반 방법 (파인튜닝, 지식 편집) 의 한계:
  • 새로운 지식을 학습하면 기존 역사적 지식을 망각하거나 (재앙적 망각), 시간별 다른 사실을 구분하지 못해 동일한 답변을 반복하는 오류가 발생했습니다.
• 기존 RAG 의 한계:
  • 단순 검색 기반 RAG 는 최신 사실 (Contemporary) 에 대해서는 어느 정도 성능을 보였으나, 시간적 순서가 필요한 복잡한 추론 (C2, C3) 과 역사적 질문에서는 성능이 급격히 떨어졌습니다.
• Chronos 의 우수성:
  • Chronos는 모든 평가 시나리오 (역사적, 현대적, 상식) 에서 가장 높은 성능을 기록했습니다.
  • 특히 다중 타임스탬프 (C2) 및 다중 소스 (C3) 추론에서 기존 방법 대비 압도적인 성능 향상 (예: LLaMA-3.1 기준 C2 에서 12.1%p, C3 에서 16.5%p 향상) 을 보였습니다.
  • 이는 증거를 단순 나열하는 것이 아니라, 시간적 진화 구조 (EEG) 로 조직화함으로써 모델이 시간적 일관성을 유지하며 추론할 수 있게 했기 때문입니다.

5. 의의 및 기여 (Significance & Contributions)

1. 문제 정의의 정립: LLM 이 지속적으로 변화하는 현실 세계의 지식에 적응할 때 발생하는 '시간적 일관성 유지' 문제를 체계적으로 정의했습니다.
2. 실증적 벤치마크 제공: 단순한 사실 업데이트가 아닌, 시간 순서가 중요한 동적 사건을 다루는 새로운 벤치마크를 공개하여 향후 연구의 기준을 마련했습니다.
3. 효율적이고 강력한 베이스라인 제안: 모델 재학습 없이도 시간적 일관성을 확보할 수 있는 Chronos를 제안했습니다. 이는 파라미터 수정의 비용과 망각 문제를 우회하면서도, 복잡한 시간 추론을 가능하게 하는 실용적인 해결책입니다.

결론적으로, 이 논문은 LLM 이 고정된 지식의 한계를 넘어 실시간으로 변화하는 세계를 이해하기 위해서는 단순한 지식 업데이트를 넘어, 지식의 시간적 구조를 명시적으로 모델링하고 관리하는 접근법이 필수적임을 증명했습니다.