Detecting Lookahead Bias in LLM Forecasts

기술 요약: LLM 예측의 룩어헤드 편향(Lookahead Bias) 탐지

문제 제기
대규모 언어 모델(LLM)은 뉴스 헤드라인이나 실적 발표 컨퍼런스 콜과 같은 비정형 텍스트로부터 기업 수준의 예측을 생성하기 위해 경험 경제학 및 금융 분야에서 점점 더 많이 활용되고 있다. 이러한 모델들은 종종 전통적인 계량경제학적 벤치마크와 대등하거나 이를 상회하는 예측력을 실제 결과(예: 주식 수익률, 자본 지출)에 대해 보여준다. 그러나 핵심적인 우려는 이러한 예측 능력이 입력 텍스트에 대한 진정한 경제적 추론에서 비롯된 것이 아니라, 사전 학습 과정에서 흡수된 실제 결과에 대한 모델의 "기억"에서 기인했을 가능성이다. 모델이 자신의 학습 코퍼스 내에 존재하는 날짜에 대해 평가를 수행할 때, 특정 기업-날짜 쌍에 대한 실제 결과는 회고적 서사와 함께 흡수되었을 수 있으며, 이는 모델이 프롬프트를 통해 추론하는 대신 답을 기억해내는 "룩어헤드 편향(lookahead bias)"을 생성한다. 엔티티 마스킹(entity masking)이나 컷오프 이후의 데이터로 평가 범위를 제한하는 기존의 완화 전략들은 부분적이거나(미세한 기억 채널이 여전히 남아 있음), 통계적으로 제한적이다(표본 외 기간이 짧음). 따라서 LLM의 예측이 기억에 의존하는지 아니면 추론에 의존하는지를 결정할 수 있는 휴대 가능한 진단 도구가 부족한 실정이다.

방법론
저자들은 **룩어헤드 성향(Lookahead Propensity, 이하 LAP)**이라 명명된 지표를 중심으로 한 통계적 절차를 제안한다. 이는 $LAP^{(known)}_{i,t+1}$로 표기된다.

1. LAP의 구축:

   • 이 방법은 기업 명칭, 티커(ticker), 대상 날짜(또는 분기)만을 포함하고 동시대 정보(헤드라인, 스크립트, 펀더멘털 등)는 전혀 포함하지 않는 "날짜 전용 회상 쿼리(date-only recall query)"를 활용한다.
   • 모델은 결과의 방향(예: "상승" 또는 "하락")을 예측하거나 중립("알 수 없음")을 선택하도록 유도된다.
   • $LAP^{(known)}$은 방향성 레이블에 할당된 첫 번째 토큰 확률의 합($P_{up} + P_{down}$)으로 계산된다.
   • 값이 1에 가까우면 모델이 결과를 "알고 있음"(높은 기억력)을 의미하며, 0에 가까우면 중립/회피(기억력 없음)를 의미한다.

2. 계량경제학적 프레임워크:

   • 저자들은 LLM 예측($\hat{\mu}_t$)을 진정한 조건부 기대값과 오염 항의 합으로 모델링한다: $\hat{\mu}_t = \mu(X_t) + \gamma L_t \epsilon_{t+1}$.
   • 여기서 $L_t$는 기업-기간별 기억 강도(LAP^{(known)}으로 대리됨)를 나타내며, $\gamma$는 텍스트 조건부 예측에 기억된 내용을 유출시키는 모델의 성향을 나타낸다.
   • 탐지 테스트는 실제 결과($Y_{t+1}$)를 LLM 예측($\hat{\mu}_t$), LAP 측정치, 그리고 이들의 상호작용 항에 대해 회귀 분석하는 과정을 포함한다:
     $$Y_{t+1} = \beta_1 \hat{\mu}_t + \beta_2 LAP_t + \beta_3 (\hat{\mu}_t \times LAP_t) + \epsilon_{t+1}$$
   • 명제 1: 완만한 조건 하에서, 양(+)의 유의미한 상호작용 계수($\beta_3 > 0$)는 $\gamma > 0$에 대한 일방향 진단 역할을 하며, 이는 모델의 예측력이 기억된 콘텐츠에 의해 증폭됨을 나타낸다.

3. 검증 및 플라세보(Placebo):

   • 검증: 회상 쿼리의 방향성 성분($(U-D) = P_{up} - P_{down}$)을 실제 결과와 대조한다. 여기서 나타나는 예측력은 기억의 존재($L_t > 0$)를 확인시켜 준다.
   • 플라세보: 모델의 학습 컷오프 시점 이후의 날짜(학습 데이터에 엄격히 포함되지 않는 기간)에 대해 테스트를 적용한다. 이 구간에서 $LAP^{(known)}$은 0에 가깝게 붕괴되어야 하며, 상호작용 항은 유의성을 잃어야 한다. 이는 인샘플(in-sample)에서의 증폭 효과가 학습 시점의 노출에 의해 유발되었음을 확인시켜 준다.

주요 실증 결과
저자들은 Llama-3.3-70B(학습 컷오프: 2023년 12월)를 사용하여 두 가지 예측 작업에 이 프레임워크를 적용하였다.

1. 주식 뉴스의 수익률 예측:

   • 블룸버그 헤드라인을 사용하여 익일 주식 수익률을 예측함 (인샘플: 2012–2023).
   • 베이스라인 LLM 신호는 수익률을 예측함 ($t=12.18$).
   • 상호작용 항($LLM \times LAP$)은 양(+)의 값을 가지며 매우 유의미함 ($t=3.64$). $LAP^{(known)}$이 1 표준편차 증가할 때마다 LLM 신호의 한계 효과는 약 32% 증가한다.
   • 회상 쿼리 자체(헤드라인 없이)는 수익률을 예측하지만 ($t=3.53$), 이는 $LAP^{(known)}$이 높은 기업-날짜에 대해서만 나타난다.
   • 아웃오브샘플(Out-of-Sample, 2024): $LAP^{(known)}$의 평균이 0에 가깝게 붕괴되며, 상호작용 항은 통계적으로 유의미하지 않게 됨 ($t=1.06$). 이는 룩어헤드 편향 가설을 검증한다.

2. 실적 발표 컨퍼런스 콜의 자본 지출(Capex) 예측:

   • 스크립트를 사용하여 2분기 후의 자본 지출을 예측함 (인샘플: 2006–2020).
   • 베이스라인 LLM 신호는 미래 자본 지출을 예측함 ($t=16.69$).
   • 상호작용 항은 양(+)의 값을 가지며 유의미함 ($t=2.01$). $LAP^{(known)}$이 1 표준편차 증가할 때 한계 효과는 약 12% 증가한다.
   • 아웃오브샘플(2023Q3–2024Q1): 상호작용 항이 유의성을 잃으며 ($t=1.35$), 회상 날짜가 학습 컷오프 이후에 해당함에 따라 증폭 효과가 사라진다.

3. 내적 확신도(Inner Confidence)와의 비교:

   • 저자들은 $LAP$ 측정치를 "내적 확신도"(주 프롬프트에서 모델이 선택한 답변에 대한 확률)와 비교 테스트한다.
   • 두 상호작용 항($LLM \times LAP$ 및 $LLM \times Inner Confidence$)을 함께 포함해도 모두 유의미하게 유지되는데, 이는 두 지표가 서로 다른 구성 요소를 포착함을 나타낸다: $LAP$는 기억을 포착하고, 내적 확신도는 모델의 추론에 대한 확신을 포착한다.

의의 및 주장
본 논문은 LLM 생성 예측의 타당성을 평가하기 위한 휴대 가능하고, 비용 효율적이며, 모델 수준의 진단 도구를 제공한다고 주장한다.

• 진단적 유용성: 연구자는 모델을 재학습시키거나, 독점적인 학습 데이터에 접근하거나, 결함 없는 모델을 구축할 필요 없이, LLM의 겉보기 예측력이 얼마나 많은 기억에 의해 구동되는지 정량화할 수 있다.
• 태스크 특이적 성격: 저자들은 룩어헤드 편향이 LLM의 보편적인 실패가 아니라, 입력 도메인, 대상 변수, 모델 및 프롬프트에 따라 달라지는 태스크 특이적인 현상임을 강조한다.
• 실질적 적용: 이 테스트는 모델을 쿼리하고 첫 번째 토큰의 레이블 확률을 읽는 능력만을 요구한다. 이를 통해 연구자는 기억 효과를 "상쇄(net out)"하여 예측의 진정한 경제적 내용을 판단할 수 있다.
• 한계: 이 테스트는 오염 로딩($\gamma > 0$)의 정확한 크기보다는 그 부호(sign)를 식별한다. 이는 LLM 예측을 폐기하라는 제안이 아니라, 특정 맥락에서 예측의 신뢰도를 해석하기 위한 도구를 제공하는 것이다.

결론적으로, 본 논문은 LLM 기반 금융 예측의 예측 내용 중 상당 부분이 학습 시점의 기억을 반영하고 있으며, 제안된 $LAP^{(known)}$ 테스트가 이러한 편향을 탐지하고 설명하는 엄격한 방법을 제공한다고 밝히고 있다.