FinAnchor: Aligned Multi-Model Representations for Financial Prediction

1. 문제 정의 (Problem Definition)

금융 예측, 특히 긴 문서 (수익성 발표 회의록, 규제 공시, 정책 커뮤니케이션 등) 를 기반으로 한 예측은 다음과 같은 고유한 어려움에 직면해 있습니다:

• 희소하고 노이즈가 많은 신호: 실행 가능한 신호 (actionable signals) 는 문서 전체에 걸쳐 희소하며, 표준적인 문구나 반복적인 논의 패턴으로 인해 가려지기 쉽습니다.
• 모델 간 불일치 (Heterogeneity): 서로 다른 대규모 언어 모델 (LLM) 은 동일한 금융 문서를 처리할 때 서로 다른 귀납적 편향 (inductive biases) 을 가집니다. 이로 인해 중요한 증거 구간 (evidence spans) 을 다르게 강조하고, 상이한 예측 결과와 논리를 도출할 수 있습니다.
• 특성 공간의 비호환성: 서로 다른 LLM 에서 생성된 임베딩은 서로 다른 좌표계에 존재하므로, 이를 단순히 평균내거나 결합하는 것은 수학적으로 정의하기 어렵고 성능 저하를 초래할 수 있습니다.

기존의 단일 모델 접근법은 이러한 모델 간 차이를 활용하지 못하며, 단순 앙상블 방법은 불일치하는 특성 공간으로 인해 최적의 성능을 내지 못합니다.

2. 제안 방법론: FinAnchor (Methodology)

저자들은 FinAnchor(금융 앵커 표현) 을 제안합니다. 이는 파인튜닝 없이 여러 LLM 의 임베딩을 통합하는 경량화 프레임워크입니다. 핵심 절차는 다음과 같습니다:

1. 앵커 공간 선택 (Anchor Selection): 여러 소스 LLM 중 하나를 '앵커 (Anchor)'로 선택합니다. 이 앵커의 임베딩 공간을 공통 좌표계로 사용합니다.
2. 선형 정렬 (Linear Alignment):
   • 다른 소스 모델들의 임베딩을 앵커 공간으로 투영하기 위해 릿지 회귀 (Ridge Regression) 기반의 선형 매핑 행렬을 학습합니다.
   • 이 과정은 학습 데이터셋 (Training Split) 에서만 수행되며, 소스 모델과 앵커 모델 자체는 파인튜닝되지 않고 고정 (Frozen) 됩니다.
   • 수식: $W_m = \arg \min_W \| \tilde{X}^{(m)}W - \tilde{X}^{(a)} \|_F^2 + \alpha \|W\|_F^2$
3. 정렬된 표현 집계 (Aligned Aggregation):
   • 모든 소스 모델의 임베딩을 앵커 공간으로 정렬한 후, 고정된 연산자 (예: 앵커 공간에서의 평균) 를 사용하여 통합된 표현을 생성합니다.
4. 경량 리더아웃 (Lightweight Readout):
   • 생성된 통합 표현 위에 작은 분류기 (MLP 등) 를 학습시켜 최종 금융 예측 (주가 변동, 이자 정책 등) 을 수행합니다.

이 방식은 계산 오버헤드를 최소화하면서도 여러 사전 훈련된 인코더의 장점을 통합된 표현 공간에서 체계적으로 재사용할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

• 파인튜닝 없는 다중 인코더 정렬 프레임워크: 서로 다른 LLM 의 고정된 (frozen) 표현을 공유된 앵커 공간에서 결합하는 경량화 방법을 제시했습니다.
• 체계적인 평가: 시간 기반 분할 (time-based splits) 을 적용하여 여러 금융 예측 태스크 (수익성 surprise, 주가 변동, FOMC 성향 분류 등) 에서 단일 모델 및 기존 앙상블 방법과 비교 평가했습니다.
• 해석 가능성 분석: 성능 향상이 단순한 노이즈가 아님을 입증하기 위해 오차 중첩 (error overlap), 결정 전환 (decision transitions), 신뢰도 변화 (confidence shifts) 등을 분석하고 구체적인 사례 연구를 제시했습니다.

4. 실험 결과 (Results)

다섯 가지 데이터셋 (Conference Call, 10-Q, FNSPID Nasdaq News, Stock Movement, FOMC) 에서 실험을 수행한 결과는 다음과 같습니다:

• 성능 우위: FinAnchor 는 모든 5 개 데이터셋에서 정확도 (Accuracy) 와 F1 점수에서 가장 우수한 성능을 기록했습니다.
  • 특히 긴 문서가 포함된 Conference Call 및 10-Q 태스크에서 단일 LLM 베이스라인 (Llama3, Qwen, Gemma 등) 보다 명확한 마진으로 우위를 점했습니다.
  • 신호가 약하고 노이즈가 많은 Stock Movement 및 FOMC 태스크에서도 최상의 결과를 달성했습니다.
• 기존 방법론 비교: 제로샷/퓨샷 프롬프팅, Longformer, Hierarchical FinBERT 등 강력한 베이스라인들을 모두 능가했습니다.
• 정렬의 질: 소스 모델과 앵커 모델 간의 선형 정렬 품질을 측정하는 $R^2$ 값이 매우 높게 (0.97~0.98) 나타나, 서로 다른 LLM 의 표현 공간이 선형 변환을 통해 호환 가능한 기하학적 구조를 공유함을 입증했습니다.

5. 해석 가능성 및 통찰 (Interpretability & Insights)

성능 향상의 원인을 분석한 결과는 다음과 같습니다:

• 상호 보완적 오류 패턴: 서로 다른 LLM 은 서로 다른 오류를 범합니다 (오류 중첩률 약 0.78~0.84). 이는 한 모델의 오류를 다른 모델이 보완할 수 있는 잠재력을 의미합니다.
• 실질적인 오류 수정: 정렬 과정은 단순한 예측 변경이 아니라, 특히 거짓 양성 (False Positive) 을 진음성 (True Negative) 으로 전환하는 방향으로 작용했습니다. 이는 금융 예측에서 불필요한 매수 신호를 줄이고 리스크를 통제하는 데 기여합니다.
• 신뢰도 변화: FinAnchor 는 정답 레이블에 대한 확률을 체계적으로 높이는 방향으로 작동하며, 이는 무작위적인 변동이 아닌 안정적인 신호 추출에 기반함을 보여줍니다.
• 증거 재가중 (Evidence Reweighting): 사례 연구에서 FinAnchor 는 단일 모델 (Gemma) 이 간과했던 '마진 압축', '비용 압박', '재고 증가'와 같은 중요한 금융적 신호를 강화하여 잘못된 예측을 수정하는 것을 확인했습니다.

6. 의의 및 결론 (Significance)

FinAnchor 는 금융 NLP 분야에서 다음과 같은 실용적 가치를 제공합니다:

• 안정적인 배포: 복잡한 파인튜닝 없이도 여러 모델의 장점을 통합하여 예측 안정성을 높입니다.
• 해석 가능성: 모델이 왜 특정 예측을 했는지, 어떤 문맥적 신호에 기반했는지에 대한 통찰력을 제공합니다.
• 실무 적용성: 계산 비용이 적게 들고 구현이 간단하여 실제 금융 기관에서 즉시 적용 가능한 솔루션을 제시합니다.

결론적으로, FinAnchor 는 이질적인 LLM 표현 공간 간의 불일치를 해결하고, 이를 보완적인 증거로 변환하여 금융 예측의 강건성과 정확성을 획기적으로 향상시키는 유효한 방법론임을 입증했습니다.