Leakage-Aware Benchmarking of LLM Forecasting: Real-Time Nowcasts as the Decision-Time Input for Macro Factor Ranking

기술 요약: LLM 예측의 누출 인지 벤치마킹 (Leakage-Aware Benchmarking of LLM Forecasting)

문제 정의

금융 예측을 위한 현재의 RAG(검색 증강 생성) 벤치마크는 빈번하게 정보 누출(information leakage) 문제를 겪고 있다. 거시 경제가 주도하는 금융 맥락에서, 특정 타임스탬프(예: $t$월의 소비자 물가 지수)로 라벨링된 데이터는 실제 의사결정 시점(통상 월말)에는 관측 불가능한 경우가 많다(공식 발표는 며칠 또는 몇 주간의 시차가 발생하기 때문). 미래의 라벨이 붙은 값을 입력값으로 사용하는 표준 워크 포워드(walk-forward) 백테스트는 의도치 않게 "미래를 내다보는(look-ahead)" 정보를 소비하여 성과 지표를 부풀린다. 이러한 문제는 에이전트가 매크로 내러티브와 이벤트 요약을 수집할 때, 해당 데이터가 역사적 관측 제약 조건을 준수하지 못할 수 있는 LLM 파이프라인에서 특히 두드lar진다.

방법론

저자들은 7개의 미국 주식 스타일 팩터(SMB, HML, RMW, CMA, UMD, BAB, QMJ)를 36개월 기간(2023년 4월 – 2026년 3월) 동안 순위 매기기 위해 누출이 통제된 월간 워크 포워드 벤치마크를 구축하였다.

1. 의사결정 시점 정보 제약:
엄격한 관측 가능성을 보장하기 위해, 시스템에는 의사결정 날짜 $t$에 사용 가능한 데이터만 제공된다:

• 시차 적용된 매크로 변수: FRED 변수(CPI, 실업률)는 한 달의 캘린더 월만큼 시프트(shift)되었다.
• 실시간 나우캐스트(Nowcasts): 미발표된 당월 인플레이션은 $t$ 시점에 쿼리된 클리블랜드 연준의 아카이브된 일일 CPI 나우캐스트로 대체되었다.
• 이벤트 요약: 최근 FOMC 및 CPI 발표 요약이 포함되었다.
• 역사적 유사 사례 검색: 검색 모듈은 데이터 오염을 방지하기 위해 $t$보다 최소 12개월 이전의 시점으로 제한된 풀(pool)에서 역사적 유사 상태를 선택한다(엄격한 엠바고 적용).

2. 모델 아키텍처 (Actor-Critic RAG):
파이프라인은 2단계 Actor-Critic 구성을 가진 7B 파라미터 오픈 소스 LLM(Qwen2.5-7B-Instruct, 4-bit 양자화)을 활용한다:

• 검색(Retrieval): 매크로 유사 모듈이 4차원 z-score 정규화된 매크로 벡터(성장 펄스, 인플레이션 펄스, 기간 스프레드, VIX 펄스)를 기반으로 현재 상태와 가장 유사한 상위 4개의 역사적 월(month)을 검색한다.
• 비평가(Critic): "비평가" LLM은 검색된 유사 사례와 현재 매크로 상태를 읽고 하나의 전술적 규칙(예: "HML을 0.15 높여라")을 합성한다.
• 행위자(Actor): "행위자" LLM은 현재의 실시간 상태, 최근 이벤트 요약, 그리고 지난 6개의 전술적 규칙이 담긴 롤링 버퍼를 매핑하여 7개 주식 팩터에 대한 점수를 산출한다.

3. 베이스라인(Baselines):
LLM 파이프라인은 동일한 의사결정 시점 정보 세트를 사용하는 비(non)-LLM 베이스라인과 비교된다:

• kNN 매크로 유사 사례: 동일한 4개의 유사 사례를 검색하지만, LLM 없이 해당 사례들의 실현된 다음 달 수익률 평균을 바탕으로 팩터 수익률을 예측한다.
• 릿지 회귀(Ridge Regression): 나우캐스트 전용 또는 전체 매크로/나우캐스트 벡터를 사용하는 선형 모델이다.

주요 결과

1. 성과 지표:

• 전체 LLM 파이프라인은 중앙값 월간 스피어먼 순위 IC(Spearman rank IC) +0.154 및 평균 IC +0.131를 달계했다.
• 신호는 세 개의 겹치지 않는 12개월 서브 윈도우(+0.111, +0.165, +0.117) 전반에 걸쳐 방향성 있게 양수를 기록했다.
• 그러나 평균 IC는 통계적으로 검증력이 부족하다: 부트스트랩 95% 신뢰 구간이 0을 포함하며 $[-0.02, +0.28]$이고, 순열 $p$-값은 0.11이다.

2. 절제 실험(Ablation) 및 기여도 분석:

• 나우캐스트의 역할: 중앙값 IC가 (+0.009에서 +0.154로) 급격히 상승한 지점은 클리블랜드 연준의 나우캐스트가 추가되었을 때이며, 이는 실시간 인플레이션 정보가 신호의 주요 동인임을 나타낸다.
• LLM vs. kNN: kNN 매크로 유사 사례 베이스라인(비-LLM)은 전체 LLM 파이프라인(+0.154)과 유사한 중앙값 IC(+0.161)를 달성했다. 이는 핵심적인 "중앙값 신호"가 LLM 아키텍처 자체가 아니라 매크로 유사 상태의 검색과 실시간 나우캐스트의 포함에 의해 주도됨을 시사한다.
• LLM의 한계적 기여: LLM 파이프라인은 평균 IC( +0.131 대 +0.070)와 경제적 건전성 체크(Long-Top-2/Short-Bottom-2 포트폴리오)에서 kNN 베이스라인을 능가했다. LLM의 샤프 지수(Sharpe ratio)는 +0.71로 kNN의 +0.29에 비해 높았다. 저자들은 이를 LLM이 중앙 경향성보다는 극단적인 순위(상위 및 하위 팩터)를 정교화하는 데서 구체적인 한계 이익을 제공한다고 해석한다.

의의 및 주장

본 논문은 예측력의 돌파구나 배포 가능한 트레이딩 전략을 주장하는 것이 아니다. 대신, 그 의의는 **진단적 엄밀성(diagnostic rigor)**에 있다:

1. 누출 통제: 본 연구는 표준 벤치마크가 종종 모델의 능력과 정보 누출을 혼동한다는 것을 보여준다. 의사결정 시점의 제약 조건(특히 미래 라벨이 붙은 CPI를 나우캐스트로 대체)을 강제함으로써, 저자들은 의사결정자가 사용할 수 있는 진정한 정보 집합을 분리해 냈다.
2. 신호 원천의 분리: 이 연구는 특정 매크로 조건부 작업에서 실시간 인플레이션 나우캐스트와 매크로 유사성 검색이 중앙값 예측 신호의 대부분을 차지함을 밝혀냈다. LLM의 기여는 새로운 신호를 *데 노보(de novo)*로 발견하기보다는 극단적인 순위를 정교화하는 데 집중되어 있는 것으로 보인다.
3. 재현성: 저자들은 클리블랜드 연준 나우캐스트를 포함한 "동결된" 의사결정 시점 입력 아카이브, 프롬프트 템플릿, 그리고 36개의 재현 가능한 크리틱 규칙을 포함한 전체 파이프라인을 공개하여, 데이터 누출 없는 금융 예측에서의 LLM 행동에 대한 엄격한 감사를 가능하게 한다.

저자들은 7B 검색 증강 LLM이 양수의 신호를 생성하기는 하지만, 증거가 통계적으로 완벽하지 않으며($n=36$), LLM 아키텍처의 한계적 가치는 일반적인 팩터 예측보다는 비선형적 상호작용을 처리하는 데 국한될 가능성이 높다고 결론짓는다.