🤖 AI

GIFT: LLM-Guided State-Reward Interface for Financial Reinforcement Learning

이 논문은 금융 지식과 리스크 원칙을 바탕으로 대규모 언어 모델을 사용하여 최적화된 상태 특징과 보상 형성 규칙을 설계함으로써 PPO 기반 금융 강화 학습을 향상시키는 LLM 유도 프레임워크인 GIFT를 제안하며, 이를 통해 테스트 단계에서의 LLM 개입 없이도 표본 외 위험 조정 포트폴리오 성과를 개선한다.

원저자: Yanyan Wu, Boyi Zhang, Yanlin Liu, Xinyu Fang, Jining Luan, Meiqi Zhang, Jiacheng Liu, Hao Zeng, Dexu Yu, Chang Liu, Hanwen Du, Yongxin Ni, Youhua Li

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yanyan Wu, Boyi Zhang, Yanlin Liu, Xinyu Fang, Jining Luan, Meiqi Zhang, Jiacheng Liu, Hao Zeng, Dexu Yu, Chang Liu, Hanwen Du, Yongxin Ni, Youhua Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 주식 포트폴리오를 관리하는 법을 가르치고 있다고 상상해 보세요. **강화 학습(Reinforcement Learning, RL)**의 세계에서 로봇은 시행착오를 통해 배웁니다. 즉, 어떤 움직임을 취하고, 그 결과를 확인한 뒤, 자신의 전략을 조정하는 방식입니다.

문제는 금융이라는 혼란스러운 세상 속에서 당신이 로봇에게 주는 "지침"이 너무 모호하거나 혼란스러울 때가 많다는 점입니다.

상태(State, 보는 것): 보통 로봇은 가공되지 않은 가격 차트(시가, 고가, 저가, 종가, 거래량)만을 봅니다. 이는 마치 체스 선수에게 체스판 위의 기물 위치만 보여주면서, 정작 그 움직임 뒤에 숨겨진 규칙이나 전략은 알려주지 않는 것과 같습니다. 로봇은 스스로 "모멘텀"이나 "리스크" 같은 복잡한 개념을 파악하면서 동시에 승리하기 위해 고군분투해야 합니다.
보상(Reward, 점수): 보통 로봇은 "오늘" 얼마나 많은 돈을 벌었느냐에 따라 점수를 받습니다. 하지만 오늘 돈을 버는 방식이 내일의 포트폴리오를 파산시킬 만큼 큰 위험을 감수하는 것일 수도 있습니다. 이는 마치 학생이 시험에서 부정행위를 해서 "A"를 받는 것과 같습니다. 당장의 보상은 높지만, 장기적인 학습 결과는 최악인 셈입니다.

GIFT의 등장.

이 논문의 저자들은 GIFT(Guided Interface Design for Financial Trading)라고 불리는 새로운 시스템을 제안합니다. GIFT를 실제 트레이딩을 하는 로봇 그 자체가 아니라, 거대 언어 모델(LLM)을 사용하여 로봇의 '사용 설명서'를 다시 써주는 매우 유능한 금융 코치라고 생각해보세요.

GIFT가 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. 코치는 게임을 직접 하지 않습니다

GIFT의 가장 중요한 규칙은 AI가 절대로 실제 매매를 하지 않는다는 것입니다. AI는 "애플을 사고, 테슬라를 팔아라"라고 말하지 않습니다. 대신 AI는 학습 환경의 설계자 역할을 합니다. AI는 다음과 같이 질문합니다. "로봇에게 데이터를 어떻게 보여줘야 할까? 로봇이 안전하고 똑똑하게 배우도록 하려면 어떤 종류의 점수를 부여해야 할까?"

2. 코치가 사용하는 세 가지 도구

GIFT는 로봇의 학습 경험을 업그레이드하기 위해 세 가지 특정 도구를 사용합니다.

FSE (Factor-guided State Enhancement, 요인 기반 상태 강화): "하이라이트 영상"
단순히 가공되지 않은 지저한 가격 데이터만 보여주는 대신, AI 코치는 "하이라이트 영상"을 만듭니다. AI는 원시 숫자 데이터에 특별한 "금융 렌즈"(모멘텀, 변동성, 유동성 등)를 추가합니다.
- 비유: 운전자를 가르친다고 상상해 보세요. 단순히 도로를 보여주는 대신, "미끄러운 구간", "다가오는 커브", "교통 밀도"를 강조해 보여주는 대시보드를 제공하는 것입니다. 이제 로봇은 시장 구조를 훨씬 더 잘 "볼" 수 있게 됩니다.
RRS (Risk-rule-guided Reward Shaping, 리스크 규칙 기반 보상 형성): "공정한 채점 시스템"
AI 코치는 점수 체계를 다시 작성합니다. 단순히 "오늘 번 돈"에 보상을 주는 대신, 나쁜 행동(과도한 리스크 감수나 너무 빈번한 종목 교체 등)에 대한 페널티와 좋은 습관(다양한 포트폴리오 유지 등)에 대한 보너스를 추가합니다.
- 비유: 비디오 게임에서 적을 죽일 때만 점수를 준다면, 플레이어는 체력 바를 무시하다가 죽을 수도 있습니다. 코치는 플레이어가 단순히 단기적인 킬을 올리는 것이 아니라, 생존하고 영리하게 플레이할 때 점수를 얻도록 규칙을 바꿉니다.
DGR (Diagnostic-guided Refinement, 진단 기반 정교화): "연습 세션 리뷰"
코치는 단순히 최선의 규칙을 추측하지 않습니다. 로봇과 함께 연습 세션(시뮬레이션)을 실행합니다. 그런 다음 로봇의 성과를 분석합니다. 로봇이 혼란을 겪었나요? 리스크를 너무 많이 감수했나요? 이 "진단 보고서"를 바탕으로 코치는 사용 설명서를 수정하고 다시 시도합니다.
- 비유: 스포츠 코치가 경기 영상을 보며 선수가 왼손 샷을 계속 놓치는 것을 발견하고, 실제 경기에 투입되기 전 그 약점을 고치기 위해 훈련 드릴을 조정하는 것과 같습니다.

3. "동결(Freeze)" 규칙

코치가 연습 세션을 통해 완벽한 사용 설명서와 점수 체계를 설계하고 나면, 이를 동결합니다.

로봇이 "실제 세상"(실제 시장 테스트)에 들어갈 때, 코치는 물러납니다. 더 이상의 AI 쿼리나 규칙 변경은 없습니다. 로봇은 코치가 설계한 고정되고 최적화된 규칙에 따라 게임을 수행합니다. 이는 로봇이 게임 도중에 규칙을 바꾸기 위해 미래의 정보를 사용하는 부정행위를 방지하기 위함입니다.

무엇을 발견했는가?

연구진은 실제 주식 데이터를 사용하여 다양한 시장 조건(강세장, 약세장, 혼란스러운 시기)에서 이 시스템을 테스트했습니다.

결과: GIFT가 설계한 지침으로 훈련된 로봇은 표준적인 원시 지침을 가진 로봇보다 성능이 현저히 뛰어났습니다.
핵심적인 승리: 그들은 단순히 돈을 더 많이 번 것이 아니라, 더 안전하게 돈을 벌었습니다. 시장 폭락기에도 손실(최대 낙폭, Drawdown)을 덜 입었으며, 리스크와 수익 사이의 균형을 더 잘 맞췄습니다.
성공 요인: 금융적 가이드 없이 단순히 규칙을 추측하는 "자유 형식(Free-form)" AI는 실패했습니다. 하지만 실제 금융 원칙을 따르도록 강제된 "가이드형(Guided)" AI인 GIFT는 성공했습니다.

결론

GIFT는 트레이더가 될 필요 없이 AI를 활용할 수 있다는 것을 증명합니다. 대신, AI를 전통적인 트레이딩 로봇을 위한 더 나은 학습 환경을 구축하는 **마스터 아키텍트(Master Architect)**로 사용할 수 있습니다. 로봇에게 더 나은 "눈"(상태)과 더 똑똑한 "점수표"(보상)를 제공함으로써, 로봇은 금융 시장을 훨씬 더 효과적으로 항해하며 배울 수 있습니다.

기술 요약: GIFT (Guided Interface Design for Financial Trading)

문제 정의

금융 포트폴리오 트레이딩은 에이전트가 수익, 리스크, 거래 비용의 균형을 맞추기 위해 자산을 재조정하는 순차적 의사결정 문제로 정식화됩니다. 심층 강화 학습(DRL), 특히 근사 정책 최적화(PPO)가 이 작업의 지배적인 패러다임이지만, 그 효과는 에이전트에게 제공되는 **상태-보상 인터페이스(state-reward interface)**에 결정적으로 의존합니다.

현재의 접근 방식들은 두 가지 주요 한계점에 직면해 있습니다:

미지정 상태(Under-specified States): 가공되지 않은 OHLCV(시가, 고가, 저가, 종가, 거래량) 관측치는 복잡한 금융 구조(예: 모멘텀, 변동성, 하락 위험, 유동성, 평균 회귀)를 암묵적으로 남겨둡니다. 정책 네트워크는 노이즈가 있는 시퀀스로부터 이러한 구조를 복구하는 동시에 트레이딩 정책을 학습해야 하므로 학습 과정이 복잡해집니다.
약한 보상 신호(Weak Reward Signals): 단기 포트폴리오 수익은 노이즈가 많으며 시장 충격과 거래 비용의 영향을 받습니다. 이는 장기적인 수익-리스크 목표를 위한 장기적 리스크 감소(예: 드로다운 제어)를 위한 즉각적인 긍정적 피드백을 제공하지 못하는 경우가 많아, 장기적인 수익-리스크 목표에 대한 가이드가 약해지는 결과를 초래합니다.

대규모 언어 모델(LLM)은 상태 및 보상 설계에 도메인 지식을 주입할 수 있는 메커니즘을 제공하지만, 가이드가 없는 개방형 LLM 생성은 금융 맥락에서 위험합니다. 금융 시계열은 비정상성(non-stationary)을 띠고 노이즈가 많으므로, 제약 없는 LLM은 허구적 상관관계를 인코딩하거나, 단기 변동을 따르거나, 과도한 거래를 조장하는 설계를 생성할 수 있습니다.

방법론: GIFT 프레임워크

저자들은 PPO 기반 금융 강화 학습을 위한 상태-보상 인터페이스를 구축하고 정교화하기 위해 설계된 LLM 가이드 프레임워크인 GIFT(Guided Interface Design for Financial Trading)를 제안합니다. 결정적으로, GIFT는 LLM을 직접적인 트레이딩 에이전트로 사용하지 않습니다. 대신, LLM은 제약된 인터페이스 설계자(constrained interface designer) 역할을 수행하며, PPO가 트레이딩 정책을 학습하는 책임을 유지합니다.

GIFT는 평가 전의 오프라인 설계 단계에서 작동하며 세 가지 핵심 구성 요소로 이루어집니다:

1. 요인 가이드 상태 강화 (Factor-guided State Enhancement, FSE)

FSE는 사전 정의된 금융 요인 프리미티브( $\mathcal{B}$ ) 라이브러리에 기반하여 LLM이 실행 가능한 상태 특징을 생성하도록 제약합니다.

메커니즘: 임의의 특징 구축 대신, LLM은 모멘텀, 변동성, 하락 위험, 유동성, 평균 회귀, 추세 강도를 다루는 프리미티브를 통해 압축된 금융 요인 채널 세트를 선택, 변형 및 조합합니다.
출력: LLM은 원시 OHLCV 인코딩을 이러한 금융 요인들로 증강하는 함수를 생성하여, PPO 에이전트를 위한 강화된 상태 표현 $\tilde{s}_t$ 를 만듭니다.

2. 리스크 규칙 가이드 보상 형성 (Risk-rule-guided Reward Shaping, RRS)

RRS는 기초 포트폴리오 수익에 금융 리스크 제어 신호를 추가함으로써 단기 수익의 노이즈와 불일치 문제를 해결합니다.

메커니즘: LLM은 강화된 상태를 기반으로 내재적 보상 항을 생성하고, 라이브러리( $\mathcal{R}$ )에서 소수의 리스크 규칙 세트를 선택합니다. 이 규칙에는 분산 제어, 회전율 페널티, 드로다운 제어, 변동성 스케일링, 모멘텀 정렬 등이 포함됩니다.
출력: 기초 수익, LLM 생성 내재적 보상, 그리고 선택된 리스크 규칙 페널티를 결합한 형태의 보상 함수 $R_t$ 를 생성합니다.

3. 진단 가이드 정교화 (Diagnostic-guided Refinement, DGR)

DGR는 생성된 인터페이스와 PPO 학습 결과 사이의 루프를 닫아 설계를 반복적으로 개선합니다.

메커니즘: 각 후보 인터페이스에 대해, GIFT는 역사적 설계 윈도우에서 PPO를 학습시키고 진단치를 계산합니다. 이 진단치는 다음을 측정합니다:
- 상태 정보성(State Informativeness): 채널 정보 계수(IC) 및 크리틱 기여도(critic attribution)를 사용.
- 보상 안정성(Reward Stability): 보상 추세, 자기상관성, 신호 대 잡음비(SNR) 분석.
- 포트폴리오 행동(Portfolio Behavior): 드로다운, 수익률, 리스크 조정 성과 평가.
피드백: 진단 요약은 피드백 메모리( $H_m$ )로 압축되어 다음 라운드의 정교화를 가이드하기 위해 LLM에 다시 입력됩니다 (예: 낮은 IC를 가진 요인 제거 또는 리스크 규칙 강화).

평가 프로토콜

$M$ 번의 정교화 라운드를 거친 후, GIFT는 역사적 설계 윈도우에서의 롤아웃 성능을 기준으로 최적의 실행 가능한 인터페이스 $(F^\star, R^\star)$ 를 선택합니다. 이 인터페이스는 평가 전에 **고정(frozen)**됩니다. 테스트 단계에서는 새로 초기화된 PPO 에이전트가 이 고정된 인터페이스를 사용하여 테스트 윈도우의 후반부에서 적응 및 평가를 수행합니다. 이 과정에서 LLM 쿼리, 프롬프트 업데이트 또는 인터페이스 수정은 발생하지 않으며, 이를 통해 데이터 누수를 방지합니다.

주요 기여

새로운 관점: 본 논문은 금융 RL을 위한 최초의 LLM 가이드 상태-보상 인터페이스 설계 관점을 도입하며, LLM을 직접적인 트레이딩 에이전트가 아닌 제약된 지식 가이드 설계자로 위치시킵니다.
GIFT 프레임워크: 실행 가능한 인터페이스를 생성하고 수정하기 위해 요인 가이드 상태 강화, 리스크 규칙 가이드 보상 형성, 진단 가이드 정교화를 통합한 PPO 기반 프레임워크를 제안합니다.
실증적 검증: 다양한 시장 국면(강세장, 약세장, 혼조세, V자형 반등) 및 포트폴리오 섹터에 걸친 포괄적인 롤링 윈도우 실험을 통해, GIFT가 베이스라인 대비 학습 신호의 품질과 표본 외(out-of-sample) 리스크 조정 성과를 개선함을 입증했습니다.

실험 결과

저자들은 6개의 롤링 테스트 윈도우(2020–2023)와 6개의 포트폴리오 패널(기술, 헬스케어, 에너지, 산업재, 경량 혼합, 중량 혼합)에 대해 S&P 500 구성 종목을 대상으로 GIFT를 평가했습니다.

Pure PPO 대비 성능: GIFT-강화 PPO는 Pure PPO 베이스라인(원시 OHLCV 및 단기 수익 사용)과의 180개 지표 수준 비교 중 160개에서 우위를 점했습니다. 36개 패널-윈도우 셀 중 35개에서 GIFT는 최소 4개 이상의 지표(수익률, 샤프 지수, 소르티노 지수, MDD, 칼마 Ratio)에서 승리를 달성했습니다.
리스크 조정 이득: 개선 효과는 특히 스트레스가 높은 시장 윈도우(예: 금리 인상, 지정학적 충격 시기)에서 두드러졌으며, 수익률을 유지하면서도 드로다운을 줄이고 샤프/소르티노/칼마 비율을 개선했습니다.
학습 신호 품질: 진단 실험 결과, GIFT가 생성한 인터페이스는 자유 형식의 LLM 생성이나 고정된 설계와 비교했을 때 더 높은 보상 추세 기울기, 더 강한 자기상관성, 더 나은 신호 대 잡음비를 특징으로 하는 명확한 학습 피드백을 PPO에 제공함을 보여주었습니다.
절제 연구(Ablation Studies): 진단 가이드 정교화(DGR) 구성 요소를 제거했을 때 성능 저하가 가장 컸으며, 이는 반복적 피드백의 중요성을 강조합니다. FSE 또는 RRS를 제거하는 것 또한 성능을 약화시켜, 상태 강화와 보상 형성 모두의 필요성을 확인시켜 주었습니다.
강건성: 본 프레임워크는 다른 RL 백본(A2C)으로의 전이 가능성과 다양한 랜덤 시드 및 탐색 예산에 대한 강건성을 입증했습니다.

의의 및 주장

본 논문은 GIFT가 금융 강화 학습에서 LLM의 더 통제된 역할, 즉 트레이딩 결정은 RL 정책에 맡기되 학습 인터페이스를 설계하는 역할을 지원한다고 주장합니다.

저자들은 성능 향상이 고정된 특징 공학이나 무제한적인 LLM 생성보다는 가이드된 오프라인 인터페이스 설계에서 주로 기인한다고 단언합니다. 금융 요인 및 리스크 규칙 라이브러리로 LLM을 제약하고 PPO 진단을 통해 설계를 정교화함으로써, GIFT는 비정상적인 시장 국면에서도 더 유익하고 안정적인 상태-보한 인터페이스를 생성합니다.

이 연구는 구조적 설계 계층으로 LLM을 제한함으로써, 개방형 LLM 트레이딩의 함정(예: 환각된 근거 또는 앞서보기 편향)을 피하는 것을 강조합니다. 저자들은 일별 역사적 데이터에 대한 의존성, 유동성 제약 및 실행 지연과 같은 실제 시장 마찰의 제외를 한계점으로 언급하며, 이를 향후 연구 분야로 제시했습니다.