Streaming Knowledge Compilation: Proactive Materiality-Scored Pinning for Time-Evolving LLM Wikis

기술 요약: 시변형 LLM 위키를 위한 스트리밍 지식 컴파일 (Streaming Knowledge Compilation)

1. 문제 정의

본 논문은 기존 LLM 위키 시스템의 한계를 다룹니다. 기존 시스템은 효율적인 추론을 위해 지식을 사전 채워진 KV 캐시(KV cache)로 컴파일하지만, 이는 정적인 코퍼스를 가정합니다. 금융이나 실시간 백과사전과 같은 고가치 영역에서는 정보 지형이 지속적으로 진화합니다. 근본적인 도전 과제는 **스트리밍 지식 컴파일(Streaming-Knowledge Compilation)**입니다. 즉, 연속적인 문서 스트림, 고정된 토큰 예산, 그리고 데이터 수집 시점에는 알 수 없는 미래의 쿼리가 주어졌을 때, 어떻게 하면 오프라인 오라클(offline oracle)에 대해 누적 후회(cumulative regret)를 최소화하는 컴파일된 위키를 유지할 것인가 하는 문제입니다.

핵심적인 어려움은 매일 발생하는 수백 개의 문서 중 어떤 것이 지식 공백을 드러내는 쿼리가 발생하기 전에 고정된 예산 내에서 포함될 가치가 있는지를 결정하는 것입니다. 본 논문은 이를 예산 제약이 있는 온라인 최적화 문제로 공식화하며, 목표는 완벽한 미래 고중요도 이벤트를 알고 있는 오라클 위키와 온라인 위키 사이의 답변 품질 차이인 '후회(regret)'를 최소화하는 것입니다.

2. 방법론: Online WiCER

저자들은 원래의 WiCER(Counterexample-Guided Abstraction Refinement, CEGAR에서 영감을 얻음)의 반응적 "컴파일-평가-정제(Compile–Evaluate–Refine)" 루프를 선제적이고 예측 중심적인 프로세스로 변환하는 Online WiCER 알고리즘을 소개합니다.

주요 구성 요소:

• 중요도 신호 ($\phi_t$): 이 프레임워크는 시간 $t$에서 엔티티 $k$에 대한 문서 $n$의 정보적 중요도를 점수화하는 도메인 특화 신호 $\phi_t(k, n) \in [0, 1]$에 의존합니다. 이 신호는 쿼리 관련성을 위한 대리 지표 역할을 하여, 쿼리가 도착하기 전에 선제적으로 핀(pin)을 고정할 수 있게 합니다.
  • 금융 사례: 비정상 변동성 비율(AVR)로 정의되는 비정상 주가 변동성(Abnormal Stock Volatility)입니다. 이는 특정 주식의 5일 선행 실현 변동성을 횡단적 시장 평균으로 나눈 값입니다.
  • 위키피디아 사례: 비정상 편집 비율(AER)로 정의되며, 엔티티의 편집 속도를 횡단적 평균으로 나눈 값입니다.
• 상태 인식 한계 후회 스코어러 (State-Aware Marginal Regret Scorer): 사실(fact)을 개별적으로 점수 매기는 대신, 시스템은 동결된 LLM 백본 상의 회귀 헤드를 사용하여 현재 핀으로 고정된 사실 집합이 주어졌을 때 후보 사실이 가져올 한계(marginal) 기대 후회 감소량을 추정합니다. 이는 중복성을 고려합니다. 만약 어떤 사실이 이미 존재하는 핀들에 의해 커버된다면, 그 한계 가치는 감소합니다.
• 핀 선택 및 제거 (Pin Selection and Eviction):
  • 선택: 그리디(greedy) 알고리즘을 사용하여 토큰 예산 하에서 한계 후회 감소를 최대화하는 사실을 선택합니다. 이론적으로 위키의 품질이 부서 가법성(submodularity)을 가진다면, 이는 최적의 집합에 대해 $(1 - 1/e)$ 근사치를 달성합니다.
  • 제거: 감쇄 가중치가 적용된 우선순위 큐(decay-weighted priority queue)가 핀 예산을 관리합니다. 핀은 시간이 지남에 따라 감쇄($\exp(-\lambda \cdot \Delta t)$)하여, 오래된 고득점 사실이 새로운 이벤트를 위한 공간을 만들기 위해 제거되도록 보장합니다.
• 컴파일: 시스템은 매일 점진적 업데이트를 수행하고, 주기적 간격($T_r$)마다 전체 재컴파일(원래의 WiCER 알고리즘 사용)을 수행하여 핀으로 고정된 사실들을 서사 구조(narrative structure)에 통합합니다.
• 예측적 CEGAR (Predictive CEGAR): 이 프레임워크는 "반례(counterexamples, 지식 공백)"가 QA 프로브를 통한 사후적 발견이 아니라, 스트림(예: 높은 변동성)으로부터 예측되는 "예측적 CEGAR"를 공식화합니다.

이론적 보증:
본 논문은 $O(\sqrt{T} \log K)$의 누적 후회 경계(cumulative regret bound)를 증명합니다. 이 경계는 제거 후회 항과 예측 오차 항($\epsilon = E[|\phi_t - \hat{\phi}_t|]$)으로 분해됩니다. 결정적으로, 이 후회 경계는 도메인 불가지론적입니다. 유일한 도메인 특화 양은 중요도 신호의 예측 오차뿐입니다.

3. 실험 결과

프레임워크는 두 가지 도메인에서 구현되었습니다: 금융(76k 문서, 39개 S&P 500 기업) 및 위키피디아(25개 엔티티, 50k–200k 편집).

금융 도메인:

• 중요도 예측: 동결된 Llama 3.1 8B 백본에서 훈련된 경량 분류 헤드가 엄격한 시간적 분할(temporal split)에 대해 비정상 변동성을 예측하는 데 0.728의 AUROC를 달절했습니다. 모델은 1.49배 더 높은 선행 실현 변동성과 관련된 기사들을 성공적으로 식별했습니다.
• 스코어러 아키텍처: 하이브리드 접근 방식(제로샷 프롬프팅 + 선형 분류 헤드)을 통해, 분류 헤드만으로도 판별 신호를 포착할 수 있음을 보여주었으며, 제로샷 경로는 주로 모호한 경우를 위한 저지연 라우터 역할을 수행했습니다.
• 엔드 투 엔드 QA: 평가 결과 중요한 혼란(confound)이 발견되었습니다. 사후 훈련된 사실에 대해 답변을 평가하기 위해 동일한 백본을 사용하는 LLM-as-judge를 사용할 때, "No Wiki" 베이스라인이 종종 가장 높은 점수를 받았습니다. 이는 해당 모델이 사실에 기반한 구체적인 위키 콘텐츠보다 유창하고 자신감 있는 파라미터적 응답을 선호하는 경향이 있기 때문입니다.
• 후회 분석: QA 점수의 혼란에도 불구하고, 매칭된 쌍(matched pairs)에 대한 후회 분석에서 Online WiCER는 오라클에 대해 -20.0 (평균 -0.12/step)의 누적 후회로 수렴했습니다. 저자들은 이 음수 값이 알고리즘의 우월성이 아니라, 오라클의 밀도 높고 구체적인 사실들이 LLM-judge에 의해 저평가되었음을 나타내는 증거라고 해석합니다.

위키피디아 도메인:

• 중요도 신호: 비정상 편집 비율(A-AER)이 신호 역할을 했습니다.
• 후회 분석: 이 도메인에서는 LLM-judge의 혼란이 없었습니다(백본이 특정 2024–2025 편집에 대한 파라미터 지식을 갖지 않음). 여기서 더 풍부한 컨텍스트는 일관되게 점수를 향상시켰습니다. Online WiCER는 오라클에 대해 +16.0 (평균 +0.13/step)의 누적 후회를 보였습니다. 양수 값은 알고리즘이 오라클을 성공적으로 추적했음을 확인시켜 주며, 그 격차는 금융 변동성 예측기보다 노이즈가 많은 AER 신호 때문인 것으로 분석되었습니다.
• 비교: FIFO(최신성 전용) 베이스라인이 위키피디아에서 오라클과 거의 유사한 성능을 보였는데, 이는 편집 속도가 높은 엔티티의 경우 최신성이 강력한 프록시가 될 수 있음을 시사합니다. 다만, AER 신호는 원칙적이고 도메인 불가지론적인 선택 메커니즘을 제공했습니다.

효율성:
시스템은 일반적인 하드웨어(Apple M4)에서 높은 처리량을 보여주었으며, 시간당 30,000개 이상의 기사를 처리하여 금융 뉴스 피드의 피크 스트림 속도보다 63배 빠른 속도를 기록했습니다. 상태 인식 스코어러는 동결된 백본의 순전파(forward pass) 대비 무시할 만한 수준의 지연 시간(단일 도트 곱)만을 추가했습니다.

4. 주요 기여

1. 스트리밍 지식 컴파일의 공식화: 미래의 쿼리를 알 수 없는 스트리밍 코퍼스에 대해 예산 제한이 있는 위키를 유지하는 문제를 정의했습니다.
2. Online WiCER 알고리즘: 중요도 점수가 부여된 선택, 감쇄 가중치 제거, 주기적 재컴파일을 사용하는 선제적 핀닝 알고리즘을 제안했습니다.
3. 상태 인식 한계 스코어러: 현재 핀 집합을 조건으로 하여 중복되지 않는 사실을 선택하는, 동결된 백본 상의 회귀 헤드를 도입하였으며, $(1-1/e)$ 부서 가법 근사 보증을 제공합니다.
4. 후회 분해 정리: 유일한 도메인 특화 항이 중요도 신호의 예측 오차인 $O(\sqrt{T} \log K)$ 후회 경계를 증명했습니다.
5. 예측적 CEGAR: CEGAR 패러다임을 반응적 반례 발견에서 선제적 지식 공백 예측으로 확장했습니다.
6. 방법론적 발견: "LLM-as-judge" 평가가 사후 훈련된 사실에 대해 혼란을 일으킨다는 점을 입증하여, 컴파일된 지식 시스템에 대해 매칭된 쌍에 대한 후제 분석이 더 신뢰할 수 있는 지표임을 확립했습니다.

5. 의의 및 주장

본 논문은 스트리밍 지식 컴파일이 지식 공백을 스트리밍 신호(예: 금융, 임상 문헌, 법률 문서)로부터 예측할 수 있는 모든 도메인에 적용 가능한 일반적인 문제라고 주장합니다. 그 의의는 다음과 같습니다:

• 선제성: 반응적 업데이트(실패한 쿼리를 기다리는 것)에서 선제적 유지보수(고가치 이벤트를 예측하는 것)로의 전환.
• 도메인 불가지론: 알고리즘과 이론적 보증은 특정 중요도 신호에 독립적이며, 도메인 전문가는 단지 신호 $\phi_t$를 제공하기만 하면 됩니다.
• 이론적 근거: 쿼리 불확실성 하에서 작동하는 시스템에 대한 공식적인 수렴 보증과 후회 경계를 제공합니다.
• 실용적 타당성: 단일 동결 LLM 백본이 지식 컴파일러와 중요도 스코어러 역할을 모두 수행할 수 있음을 보여주며, 실시간 스트림에 적합한 높은 처리량과 낮은 지연 시간을 달려합니다.

저자들은 중요도 예측의 내재적 불완전성(블랙 스완 이벤트 누락 가능성), 상관관계가 높은 위기 상황에서의 횡단적 정규화 왜곡 가능성, 현재의 특정 도메인 신호 의존성 등의 한계를 언급하며 겸허한 태도를 유지합니다. 이들은 본 시스템이 트레이딩 도구가 아니라 지식 큐레이션 메커니즘임을 명시합니다.