기술 요약: FactorMiner

문제 정의

본 논문은 퀀트 투자에서 발생하는 **공식 기반 알파 팩터 마이닝(formulaic alpha factor mining)**의 핵심적인 과제를 다룹니다. 예측 가능한 알파 팩터를 발견하는 것은 포트폴리오 구축의 중심이지만, 이 작업은 다음과 같은 세 가지 근본적인 문제로 인해 어려움을 겪습니다:

1. 방대한 탐색 복잡도: 연산자의 조합과 파라미터에 따라 공식 표현식의 공간이 조합론적으로 증가합니다.
2. 지식 축적의 부재: 기존의 탐색 방법(예: 유전 프로그래밍, 강화 학습)은 탐색 세션 간에 통찰력을 유지하지 못하여, 반복적인 시도와 "지식 망각" 현상을 초래합니다.
3. "상관관계의 레드 오션(Correlation Red Sea)": 팩터 라이브러리가 커짐에 따라, 새로운 직교(orthogonal) 팩터를 위한 가용 영역이 급격히 줄어듭니다. 기존 방식들은 종종 개별 팩터를 독립적으로 최적화하며, 새로운 후보가 글로벌 라이브러리와 어떻게 상호작나를 무시하기 때문에 높은 중복성과 비효리적인 탐색을 초래합니다.

또한, 금융 실무자들은 블랙박스 형태의 신경망 접근법 대신 명시적인 금융 로직을 가진 **해석 가능하고 감사 가능한 공식(interpretable, auditable formulas)**을 필요로 합니다.

방법론: FactorMiner 프레임워크

저자들은 지속적인 지식 축적을 통해 복잡한 팩터 공간을 탐색하도록 설계된 경량화된 자가 진화 에이전트 프레임워크인 FactorMiner를 제안합니다. 이 시스템은 세 가지 핵심 구성 요소로 통합됩니다:

1. 모듈형 스킬 아키텍처 (Modular Skill Architecture)

도메인 로직을 에이전트의 추론 루프에 하드코딩하는 대신, FactorMiner는 전체 팩터 마이닝 과정을 재사용 가능한 **에이전트 스킬(Agent Skill)**로 캡슐화합니다. 이 스킬은 다음을 포함합니다:

• 연산자 라이브러리: 계산 효율성을 위해 GPU 가속 백엔드로 구현된 60개 이상의 정제된 금융 연산자(예: TsRank, Rsqr, VWAP) 세트.
• 검증 파이프라인: 생성과 평가를 분리하는 표준화된 다단계 프로토콜입니다. 이는 모든 지표(IC, ICIR)가 LLM의 추정이 아닌 코드를 통해 결정론적으로 계산되도록 보장함으로써 "계산 환각(calculation hallucinations)"을 방지합니다.
• 교차 도메인 적응성: 에이전트의 추론 모델을 재학습시키지 않고도 설정 파일을 통해 다양한 시장(예: A-share, Crypto)을 지원할 수 있도록 스킬이 파라미터화되어 있습니다.

2. 경험 메모리 (Experience Memory)

과거 마이닝 세션으로부터 얻은 통찰력을 축적하여 향후 탐색을 가이드하는 구조화된 지식 베이스입니다. 메모리는 세 가지 연산자를 통해 정형화됩니다:

• 형성 (Formation): 가공되지 않은 마이닝 궤적을 기호적 패턴으로 증류하여, 이를 **성공 패턴($P_{succ}$)**과 **금지 영역($P_{fail}$)**으로 분류합니다.
  • 성공 패턴: 품질 임계값을 일관되게 통과하는 고성공 논리 템플릿(예: 특정 모멘텀 레짐 또는 효율성 상호작용).
  • 금지 영역: 기존 라이브러리 멤버들과 지속적으로 높은 상관관계를 보여 "레드 오션"으로 식별된 팩터 군집(예: 단순한 VWAP 편차).
• 진화 (Evolution): 중복된 항목을 통합하고 효용이 낮은 정보를 폐기하여, 메모리가 탐색 지형의 압축된 표현을 유지하도록 합니다.
• 검색 (Retrieval): 팩터 생성 중에 에이전트는 문맥 의존적인 메모리 신호(프롬프트)를 검색하여 LLM의 정책을 제한하며, 이를 통해 샘플링 분포를 프로그램 공간의 직교적이고 유망한 영역으로 효과적으로 이동시킵니다.

3. 랄프 루프 (The Ralph Loop: 자가 진화적 발견)

FactorMiner는 반복적인 정교화 사이클인 Ralph Loop 패러다임을 채택합니다:

1. 검색 (Retrieve): 현재 라이브러리 상태를 기반으로 경험 메모리에서 관련 패턴을 가져옵 옵니다.
2. 생성 (Generate): 검색된 사전 확률(priors)의 가이드를 받아 에이전트 스킬을 사용하여 후보 팩터를 샘플링합니다.
3. 평가 (Evaluate): 다단계 평가 파이프라인을 실행합니다:
   • 1단계: 자산 서브셋에 대한 빠른 IC 스크리닝.
   • 2단계: 다양성 확보를 위한 기존 라이브러리와의 상관관계 체크.
   • 2.5단계: 교체 체크(Replacement check). 고품질 후보가 상관관계가 높은 열등한 기존 팩터를 대체할 수 있도록 허용합니다.
   • 3단계: 배치 중복 제거.
   • 4단계: 전체 자산 유니버스에 대한 전체 검증.
4. 증류 (Distill): 미래의 탐색 전략을 개선하기 위해 결과(성공 및 실패)를 경험 메모리에 업데이트합니다.

주요 기여

본 논문은 다섯 가지 주요 기여를 설명합니다:

1. 에이전트 기반 마이닝을 위한 경험 메모리: 구조화된 메모리를 도입하여 자가 진화를 가능하게 하며, 메모리가 없는 베이스라인에 비해 중복 탐색을 줄이는 재사용 가능한 패턴을 저장합니다.
2. 모듈형 스킬 아키텍처: 팩터 마이닝을 구성 가능하고 재사용 가능한 스킬로 설계하여, 에이전트의 추론과 결정론적 실행을 분리함으로써 신뢰성을 확보하고 독립적인 최적화를 가능하게 합니다.
3. 경량화 및 효율적인 시스템: GPU 가속, 멀티 프로세스 병렬화, C 컴파일 연산자를 사용하는 고성능 평가 엔진을 구축하여 대규모 반복적 팩터 탐색을 가능하게 합니다.
4. 글로벌 팩터 라이브러리 관점: 후보가 기존 라이브러리와 어떻게 보완 관계를 갖는지 고려하도록 강제하는 라이브러리 입고 메커니즘을 포함하여, 개별 최적화 문제를 넘어섭니다.
5. 오픈 팩터 라이브러리: 명시적인 공식 표현을 가진 110개의 검증된 A-share 주식 팩터를 제공하여, 시장 미세구조에 대한 연구 통찰력과 실제 트레이딩을 위한 실용적 가치를 모두 제공합니다.

실험 결과

저자들은 10분 단위 인트라데이 바(intraday bars)를 사용하여 A-share 주식(CSI 300, 500, 1000) 및 암호화폐(Cryptocurrency) 시장에서 FactorMiner를 평가했습니다.

• 베이스라인: 시스템은 Alpha101 (Classic 및 Adapted), Random Formula Exploration, GPLearn, AlphaForge, AlphaAgent와 비교되었습니다.
• 성능: CSI 500 (2024)에서 상위 40개 팩터를 선택하고 동결하여 평가하는 엄격한 프로토콜 하에서, FactorMiner는 경쟁력 있는 성능을 달성했습니다. 팩터 라이브러리 설정에서, CSI 500 데이터셋에 대해 IC 8.25% 및 ICIR 0.77을 기록했습니다.
• 다양성: 결과물인 110개 팩터 라이브러리 분석 결과, 대부분의 팩터 쌍은 약하거나 중간 정도의 상관관계를 보였으며, 높은 의존성을 보이는 클러스터는 극히 일부에 불과했습니다. 이는 직교성을 유지하기 위한 글로벌 라이브러리 관점의 효과를 입증합니다.
• 효율성: 시스템은 표준 Python 구현의 계산 병목 현상을 극복하기 위해 GPU 가속을 활용하여 대규모 반복 평가를 성공적으로 처리했습니다.

의의 및 주장

본 논문은 FactorMiner를 "상관관계의 레드 오션" 제약 조건 하에서 해석 가능한 공식 기반 알파 팩터의 확장 가능한 발견을 위한 실용적인 접근 방식으로 포지셔닝합니다.

• 패러다임의 전환: 팩터 마이닝을 단발성 탐색이나 순수 생성 작업으로 취급하는 것을 넘어, 에이전트가 구조적 지식을 축적함으로써 탐색하는 방법을 배우는 **순차적 결정 문제(sequential decision problem)**로 프레임화합니다.
• 해석 가능성: 명시적인 공식 표현을 유지함으로써, 블랙박스 예측보다 투명한 로직을 요구하는 금융 실무자들의 규제 및 리스크 관리 요구를 충족합니다.
• 자가 진화: 이 프레임워크는 에이전트가 모델 재학습 없이도 구조적 패턴에 집중하고 알려진 막다른 길을 피하며 시간이 지남에 따라 탐색 전략을 자율적으로 개선할 수 있음을 보여줍니다.

저자들은 결론적으로 FactorMiner가 상관관계 한계로 인해 탐색 공간이 점점 제약되는 상황에서도 다양하고 고품질인 팩터 라이브러리를 구축할 수 있는 실행 가능한 경로를 제공한다고 주장합니다.