Relational Probing: LM-to-Graph Adaptation for Financial Prediction
이 논문은 금융 텍스트에서 언어 모델의 은닉 상태를 직접 관계 그래프로 변환하여 주가 예측과 결합하는 'Relational Probing' 기법을 제안하고, 단일 GPU 에서 파인튜닝 가능한 소형 언어 모델을 활용한 실험을 통해 기존 방법 대비 성능 향상과 효율성을 입증했습니다.
뉴스 읽기: AI 가 뉴스 기사를 읽고 "A 회사와 B 회사가 관련이 있구나"라고 텍스트로 써냅니다.
관계 연결: 사람이 그 텍스트를 다시 읽어보고, "아, A 와 B 는 친구구나"라고 그래프 (관계도) 를 그립니다.
비유하자면:
한 명의 **수석 스카우트 (AI)**가 매일 수천 편의 뉴스 기사를 읽고, "이 선수와 저 선수는 팀워크가 좋을 것 같아"라고 수기로 일기를 씁니다. 그 다음, **코치 (예측 모델)**가 그 일기를 다시 받아서 "오, 이 선수들이 연결되겠네"라고 관계도를 그립니다.
문제점:
시간과 비용: 스카우트가 일기를 쓰는 데 시간이 너무 오래 걸립니다 (자동 생성 비용).
오류: 일기를 쓰는 과정에서 실수가 생기거나, 코치가 일기를 잘못 해석할 수 있습니다.
단절: 스카우트와 코치가 따로 놀기 때문에, "어떤 관계가 중요한지"를 코치가 스카우트에게 직접 가르쳐 줄 수 없습니다.
2. 해결책: '관계 탐지 (Relational Probing)'란 무엇일까요?
이 논문은 **"일기 쓰기를 없애고, 스카우트가 바로 관계도를 그릴 수 있게 하겠다"**고 제안합니다.
새로운 방식 (Relational Probing): AI 의 머릿속 (숨겨진 상태) 에서 직접 "A 와 B 는 연결된다"는 신호를 뽑아내어, 즉시 관계도 (그래프) 를 만들어냅니다.
비유하자면:
이제 수석 스카우트는 일기를 쓰지 않습니다. 대신, 그가 뉴스를 읽는 순간, 그의 **눈빛과 표정 (숨겨진 상태)**을 보고 바로 "이 선수와 저 선수는 팀워크가 좋네!"라고 관계도를 그리는 기계가 작동합니다. 그리고 이 기계는 **코치 (예측 모델)**와 함께 훈련됩니다. 코치가 "이 관계도가 맞으면 점수를 주고, 틀리면 고쳐줘"라고 말하면, 스카우트는 바로 그 관계를 더 잘 찾아내도록 학습합니다.
핵심 장점:
빠름: 일기 (텍스트) 를 쓰지 않고 바로 관계도를 그리므로 속도가 매우 빠릅니다.
정확함: AI 가 텍스트를 해석하는 실수가 없습니다.
함께 성장: 관계도를 그리는 기계와 주가를 예측하는 코치가 서로의 실수를 바로잡으며 함께 배웁니다.
3. 실험 결과: 실제로 효과가 있을까요?
연구진은 Qwen3라는 작은 AI 모델 (SLM) 을 사용했습니다.
작은 AI 란? 일반 가정용 그래픽 카드 (24GB) 하나만 있으면 작동할 정도로 가볍고 효율적인 AI 입니다.
비교 대상: 단순히 "뉴스에 함께 언급된 회사"를 연결하는 기존 방식 vs 새로운 '관계 탐지' 방식.
결과:
기존 방식 (동시 언급): "A 와 B 가 뉴스에 같이 나왔으니 친구겠지?"라고 생각하다가, 실제로는 전혀 상관없는 경우가 많아 **소음 (노이즈)**이 많았습니다.
새로운 방식 (관계 탐지): AI 가 뉴스의 맥락과 의미를 깊이 이해하여, 진짜 중요한 연결고리를 찾아냈습니다.
성능: 작은 AI 모델일수록 성능이 좋았으며, 모델이 커질수록 (0.6B → 4B) 예측 정확도가 조금씩 더 올라갔습니다.
4. 요약: 이 연구가 우리에게 주는 메시지
직접적인 연결: AI 가 텍스트를 출력해서 사람이 다시 해석하는 번거로운 과정을 없애고, AI 의 뇌에서 직접 관계도를 뽑아내게 했습니다.
함께 배우기: 관계도를 그리는 부분과 주가를 예측하는 부분을 한 팀으로 묶어서 함께 훈련시켰습니다.
가벼운 AI: 거대하고 비싼 AI 가 아니더라도, **가벼운 AI(SLM)**만으로도 훌륭한 성과를 낼 수 있음을 증명했습니다.
한 줄 요약:
"주식 예측 AI 가 뉴스 기사를 읽고 일기를 쓰는 대신, 바로 관계 지도를 그려서 코치에게 전달하도록 만들었더니, 더 빠르고 정확하게 주가 흐름을 예측할 수 있게 되었습니다."
이 방법은 금융 시장에서 뉴스의 흐름을 실시간으로 분석하고, 기업 간의 숨겨진 관계를 찾아내는 데 큰 도움이 될 것으로 기대됩니다.
1. 문제 제기 (Problem Statement)
금융 예측의 한계: 주식 시장 예측은 개별 주식의 동향뿐만 아니라 주식 간의 상호작용 (관계) 에 크게 의존합니다. 기존 연구들은 섹터 정보, 지분 관계, 위키백과 기반 연관성 등 사전 정의된 정적 (Static) 관계 그래프를 사용하거나, 뉴스 기반의 동적 그래프를 구축하기 위해 프롬프트 기반 파이프라인을 사용했습니다.
기존 방법의 결함:
정적 그래프의 비효율성: 사전 정의된 관계는 역동적인 시장 환경에서 빠르게 구식화되거나 노이즈가 많을 수 있습니다.
프롬프트 기반 파이프라인의 비효율성: 언어 모델 (LM) 을 사용하여 텍스트에서 관계를 추출하는 기존 방식은 자동 회귀 (autoregressive) 디코딩에 의존하여 지연 시간과 비용이 높습니다. 또한, 그래프 구축과 하류 (downstream) 예측 작업이 분리되어 있어 최적화가 비동기적으로 이루어집니다.
구조적 불안정성: 지시 (Instruction) 를 따르는 벤치마크에서 LLM 은 복잡한 계층적 제약 하에서 형식을 위반하거나 우선순위를 무시하는 등 취약한 모습을 보입니다.
2. 제안 방법론: 관계 탐지 (Relational Probing)
저자들은 Relational Probing이라는 새로운 엔드 - 투 - 엔드 (End-to-End) 프레임워크를 제안합니다. 이는 표준 언어 모델 헤드를 제거하고, 언어 모델의 은닉 상태 (hidden states) 에서 직접 관계 그래프를 유도하는 **경량 관계 헤드 (Relation Head, RH)**로 대체하는 방식입니다.
핵심 구조:
뉴스 인코딩 (News Encoding): 뉴스 기사를 토큰화하고 언어 모델 (LM) 백본 (Qwen3 시리즈) 을 통해 문맥적 토큰 표현 (H) 을 생성합니다.
관계 유도 (Relation Induction):
학습 가능한 **티커 임베딩 (Ticker Embeddings)**을 뉴스 콘텐츠에 조건부로 조정하기 위해 스케일된 점곱 어텐션 (Scaled Dot-Product Attention) 을 사용합니다.
조정된 티커 표현 (Z) 을 사용하여 쌍별 상호작용 점수를 계산하기 위해 이차선형 (Bilinear) 매핑을 적용합니다.
이를 통해 뉴스 기반의 **인접 행렬 (Adjacency Matrix)**을 직접 생성합니다.
하류 예측 (Downstream Prediction): 생성된 그래프 (인접 행렬 및 가중치) 와 역사적 거래 데이터로 인코딩된 노드 특징을 입력받아 **그래프 어텐션 네트워크 (GAT)**를 통해 주가 추세를 예측합니다.
공동 학습 (Joint Training): 관계 헤드 (RH) 와 GAT 는 하류 예측 손실 (Cross-Entropy Loss) 을 통해 동시에 학습됩니다. 하류 작업의 그라디언트가 GAT 를 거쳐 RH 로 역전파되므로, 유도된 그래프 구조가 최종 금융 예측 목표와 완벽하게 정렬됩니다.
3. 주요 기여 (Key Contributions)
관계 탐지 (Relational Probing) 의 일반화: 선형 탐지 (Linear Probing) 개념을 확장하여, 언어 모델의 은닉 상태를 제약 없는 디코딩 없이 직접 관계 그래프로 변환하는 학습 가능한 헤드를 제안했습니다.
공동 최적화: 관계 헤드를 하류 작업과 함께 학습시켜, 그래프 구조가 특정 작업 (주가 추세 예측) 에 최적화되도록 했습니다. 이는 텍스트 파싱 및 후처리 단계를 제거하여 효율성을 높입니다.
작은 언어 모델 (SLM) 의 운영적 정의: 단일 24GB GPU 에서 배치 크기와 시퀀스 길이 제약 하에 엔드 - 투 - 엔드 미세 조정이 가능한 모델을 SLM 으로 정의하고, Qwen3-0.6B/1.7B/4B 모델을 사용하여 통제된 비교 실험을 수행했습니다.
4. 실험 결과 (Results)
데이터셋 및 설정: 금융 뉴스 데이터셋을 사용하며, 주식 추세 예측을 3 클래스 (상승, 하락, 변동 없음) 문제로 설정했습니다.
성능 비교:
Co-occurrence Baseline 대비 우위: 단순한 단어 공발현 (Co-occurrence) 기반 그래프보다 제안된 Relational Probing 그래프가 모든 지표 (Accuracy, Macro F1, MCC, AUC) 에서 일관되게 우수한 성능을 보였습니다.
예: Qwen3-0.6B 기반 모델은 Macro F1 을 0.2831 (기반) 에서 0.3171 로, MCC 를 0.0143 에서 0.0312 로 향상시켰습니다.
모델 크기 확장: Qwen3-0.6B → 1.7B → 4B 로 모델 크기가 커질수록 성능이 향상되었으나, 1.7B 에서 4B 로 갈수록 체감 효과는 감소하는 경향 (Diminishing Returns) 을 보였습니다.
어블레이션 연구 (Ablation Study):
Full Attention vs. Limited/Pooling: 뉴스 전체와 티커 간의 전역 어텐션 (Full) 을 사용하는 것이 특정 티커만 제한하거나 (Limited), 평균 풀링 (Pooling) 하는 것보다 성능이 뛰어났습니다. 이는 의미론적 융합을 위해 어텐션 메커니즘이 필수적임을 입증했습니다.
입력 상태 (Input-only vs. Input+Gen): 생성된 토큰을 포함하는 것보다 입력 시퀀스만 사용하는 것이 성능 면에서 비슷하거나 더 좋았으며, 계산 비용이 훨씬 낮아 실용적입니다.
5. 의의 및 결론 (Significance & Conclusion)
효율성과 정확성: Relational Probing 은 자동 회귀 디코딩 오버헤드를 제거하고 파이프라인 복잡성을 줄이면서도, 의미론적으로 기반을 둔 더 깨끗하고 정보량이 풍부한 관계 그래프를 생성하여 하류 예측 모델의 성능을 향상시켰습니다.
실용성: 대규모 언어 모델 (LLM) 이 아닌 **작은 언어 모델 (SLM)**만으로도 경쟁력 있는 결과를 얻을 수 있음을 보여주었습니다. 이는 단일 GPU 환경에서도 배포 가능한 경량 솔루션을 제공합니다.
미래 방향: 클래스 불균형 문제 해결을 위한 손실 함수 개선 및 백본을 변경하지 않고도 구조화된 출력을 유지할 수 있는 다양한 작업 특화 헤드 (Task-specific heads) 연구가 필요함을 제시했습니다.
이 논문은 금융 예측 분야에서 텍스트 이해, 그래프 구축, 예측을 하나의 통합된 학습 루프로 결합하여, 기존 프롬프트 기반 접근법의 한계를 극복하고 구조화된 그래프 데이터의 품질을 극대화하는 새로운 패러다임을 제시합니다.