기술 요약: 시계열 RAG에서의 신선도와 휴리스틱 트렌드 탐지의 한계

문제 정의

검색 증강 생성(RAG) 시스템은 일반적으로 임베딩 공간 내의 의미적 유사성에만 기반하여 증거의 순위를 매기며, 시간적 역동성을 무시한다. 이러한 비시계열적 접근 방식은 최신성, 역사적 유효성 또는 주제의 진화가 중요한 도메인(예: 사이버 보안, 스포츠 분석, 뉴스)에서 실패한다. 시간적 구성 요소가 없다면, RAG 시스템은 오래된 정보를 노출하거나, 중요한 업데이트를 놓치거나, 잘못된 "특정 시점 기준(as-of)" 진술을 제공할 위험이 있다. 벡터 임베딩은 의미적 근접성에는 뛰어나지만, 새로운 업데이트와 중복되거나 구식인 정보 사이를 구분할 수는 없다.

방법론

저자들은 기존 RAG 파이프라인을 재학습시키지 않고 직접 통합할 수 있는 가볍고 모델 불가지론적인(model-agnostic) 시계열 메모리 레이어를 제안한다. 이 시스템은 네 가지 명확한 단계로 작동한다:

1. 데이터 정규화: 서로 다른 입력 스트림(예: JSONL 로그, CSV)을 UTC 타임스탬프, 압축된 텍text 표현, 선택적 도메인 키를 포함하는 통일된 스키마로 매핑한다.
2. 임베딩: 텍스트 표현은 경량 Sentence-BERT 모델(all-MiniLM-L6-v2)을 사용하여 384차원 벡터로 인코딩된다. 벡터는 L2 정규화되어 float16으로 저장된다.
3. 주간 주제 추적:
   • 이벤트는 ISO 주 단위로 버킷팅(bucketing)된다.
   • 클러스터링: 각 주 내에서 지배적인 테마를 식별하기 위해 K-means 클러스터링이 적용된다. 클러스터의 수($K$)는 엘보우 방법(elbow method)을 통해 자동으로 결정된다.
   • 매칭: 인접한 주로부터의 클러스터는 중심점 코사인 유사성에 기반한 탐욕적 일대일 할당(greedy one-to-one assignment)을 통해 연결된다.
   • 레이블링: 크기 변화와 중심점 이동에 따라 주제에 발생(Emergence), 성장(Growth), 쇠퇴(Decay), 표류(Drift), 안정(Stable) 레이블이 부여된다.
4. 시간 인식 검색:
   • As-of 쿼리: 시스템은 지정된 컷오프 날짜까지의 문서만 포함하도록 지식 베이스를 필터링한다.
   • 최신성 쿼리: 후보군들은 의미적 유사성과 시간적 감쇠 사전 확률(temporal decay prior)을 결합한 융합 점수를 사용하여 재순위화된다:
     $$\text{score}(q, d, t) = \alpha \cos(q, d) + (1 - \alpha) \cdot 0.5^{\text{age\_days}(t)/h}$$
     여기서 $\alpha$는 의미와 최신성의 균형을 맞추며(기본값 0.7), $h$는 반감기(일 단위)이다(기본값 14). 결정적으로, 저자들은 최신성이 작동하기 위해서는 후보 풀이 넓어야 한다(또는 전체 코퍼스여야 함)고 언급한다. 좁은 top-$K$ 코사인 컷오프는 최신 관련 항목이 최신성 사전 확률에 의해 작용하기도 전에 버려질 수 있기 때문이다.

주요 기여

이 논문은 시계별 RAG 문제를 두 가지 별개의 과제로 경험적으로 분리하여 두 가지 주요 기여를 한다:

1. 다루기 쉬운 신선도 솔루션: 저자들은 단순한 최신성 사전 확률(반감기 감쇠)이 가장 최근의 관련 증거를 효과적으로 부각시킨다는 것을 입증한다. 이는 의미 점수를 시간적 감쇠 함수와 융합함으로써 달성되며, 이를 통해 적절한 경우 더 새로운 항목이 더 오래된 항목보다 높은 순위를 차지할 수 있게 한다.
2. 주제 진화에서의 휴리스틱 실패 국소화: 논문은 단순한 휴리스틱 트래커의 성능(낮은 macro-F1)을 조사한다. 이러한 트래커의 낮은 성능은 클러스터링 알고리즘(예: K-means vs. HDBSCAN) 때문이 아니라 레이블링 규칙에 의해 발생한다는 것을 발견했다. 연속된 주를 비교하는 규칙(per-week-delta)은 다주간(multi-week) 트렌드를 포착하는 데 실패하는 반면, 베이스라인 상대적 규칙(baseline-relative rule)은 성능을 크게 향상시킨다.

실험 결과

시스템은 세 가지 단계의 현실성을 가진 코퍼스에서 평가되었다:

• 합성 로그 스트림:
  • 신선도: 융합 점수는 1.00 Latest@10(top 10 내의 가장 최신 관련 항목)을 달성한 반면, 코사인 전용 베이스라인은 0.00을 기록했다.
  • 트렌드 탐지: 베이스라인 레이블링 규칙은 0.08의 macro-F1을 달성했다. 규칙을 베이스라인 상대적 방식으로 교체했을 때 이는 0.49로 상승했으며, 그라운드 트루스 볼륨을 사용했을 때(클러스터링 노이즈 제거)는 0.96에 도달했다. K-means를 HDBSCAN으로 교체해도 영향이 미미하여(0.10), 규칙이 병목임을 확인했다.
• CERT Logon 코퍼스 (849k 이벤트):
  • 이 데이터셋은 신선도에 대한 스트레스 테스트 역할을 했으나, 텍text 표현이 거의 일정하여 트렌드 탐지에는 "퇴보적(degenerate)"이었다.
  • 신선도: 코퍼스 튜닝된 파라미터($\alpha=0.3, h=3$)를 사용했을 때, 시스템은 1.00 Latest-Set@10을 달성했다. 기본 합성 파라미터는 실패(0.00)하여 파라미터 민감성을 보여주었다.
• NVD CVE 설명 (다양한 실제 데이터):
  • 이 코퍼스는 "가장 최신인 것이 가장 유사한 것은 아니다"라는 시나리오를 테스트했다. 가장 최신의 관련 CVE는 코사인 유사도에 의해 종종 낮은 순위(예: SQL 인젝션의 경우 87번째 백분위수)로 매겨졌다.
  • 신선도: 융합 점수는 튜닝된 $\alpha=0.3$를 사용하여 Latest@10을 0.00(코사인) 및 0.20(의미 후 최신 항목)에서 0.60으로 끌어올렸다.
  • 관련성: Top-10 관련성(nDCG@10)은 여전히 높게($\ge 0.90$) 유지되었으나, 최신성 가중이 증가함에 따라 Precision@10에서 약간의 트레이드오프가 발생했다.

의의 및 주장

논문은 시계열 RAG에 대한 재현 가능하고 분리된 프레임워크를 제공하며, 각 구성 요소에 대해 "정직한 실제 데이터 범위"를 제공한다고 주장한다:

• 신선도는 실재하지만 부분적이다: 단순한 최신성 사전 확률은 최근 증거를 부각시키는 데 효과적이지만, 파라미터에 민감하며 코퍼스 밀도에 의존한다. 이는 해결된 문제가 아니며, 다양한 데이터에 대한 격차를 줄이기 위해서는 학습된 랭킹 모델(learned-to-rank models)이 필요하다.
• 주제 진화는 레이블링 문제이다: 단순 휴리스틱 트래커의 실패는 클러스터링 알고리즘 때문이 아니라 주로 레이블링 규칙 때문이다. 이는 연구 방향을 더 강력한 클러스터러를 찾는 것이 아니라, 변화 인식 레이블링 규칙과 밀도 기반 클러스터링(고정된 $K$를 피하기 위함)으로 재설정하게 한다.
• 실무적 엔지니어링: 이 접근 방식은 베이스 모델을 재학습시킬 수 없는 실무자들에게 실용적인 솔루션을 제공한다. 이는 복잡성 스펙트럼에서 독특한 위치를 차지한다: 단순 필터링보다는 더 통합되어 있지만, 전체 파이프라인 재설계(예: 시계열 지식 그래프 또는 특화된 리트리버)보다는 덜 복잡한 사후 처리 단계이다.

저자들은 기본적인 신선도는 가벼운 시계열 사전 확률으로 부분적으로 해결될 수 있지만, AI를 위한 깊은 시계열 이해를 달성하는 것은 여전히 중요한 미해결 연구 과제로 남아 있다고 결론짓는다.