기술 요약: OpenPM – LLM 포트폴리오 관리 에이전트를 위한 감사 가능한 시점별(Point-in-Time) 평가

1. 문제 정의

본 논문은 현재 LLM 트레이딩 에이전트 평가에서 발생하는 세 가지 결정적인 결함, 즉 종종 부풀려지거나 실제 배포가 불가능한 결과를 초래하는 문제들을 다룹니다:

1. 정보 누출 (Information Leakage): 에이전트가 의사결정 시점에 가용하지 않은 데이터(예: 이벤트 발생 시점 기준의 기록이 아닌, 가용성 시점 기준의 기록)에 접근함으로써 인위적인 실력을 만들어내는 현상.
2. 낙관적 실행 (Optimistic Execution): 보고된 수익률이 거래 비용(스프레드, 슬리피지, 회전율)을 무시하여, 실제 배포 가능한 추정치보다는 상한선을 제시하는 문제.
3. 미준수된 명령 (Unenforced Mandates): 자연어 형태의 리스크 제약 조건(예: "보수적 운용", "최대 종목 수 20개")이 사후 점수를 위한 소프트 선호도로 취급되어, 실행된 포트폴리오에 강제되는 하드 제약 조건으로 작동하지 않는 문제.

기존 벤치마크들은 이러한 문제들을 동시에 제어하지 못하며, 특히 시점별(Point-in-Time, PIT) 데이터 게이팅과 엄격한 명령 이행 측면에서 미흡합니다.

2. 방법론: OpenPM 프레임워크

OpenPM은 신뢰할 수 있는 평가를 하나의 엔지니어링 산출물로 취급하도록 설계된, 감사 가능한 시점별 평가 프레임워크입니다.

핵심 설계 원칙

• 시점별(Point-in-Time) 데이터 환경: 시스템은 엄격한 "가용성 게이트(availability gate)"를 강제합니다. 기록은 ts_available $\le T$인 경우에만 의사결정 시점 $T$에 에이전트의 상태로 진입합니다. 이는 이벤트 시간(event time)과 가용 시간(availability time)을 구분합니다(예: 분기 보고서는 EDGAR 수락 이후에만 가용함). 환경은 5분 단위의 시장 상태 관측치를 포함하는 S&P 500 유니버스를 다룹니다.
• 명령 이행 (Mandate Enforcement): 자연어 리스크 명령은 유형화된 제약 조건(예: 종목당 최대 가중치, 최대 종목 수)으로 파싱됩니다. 결정적으로, 이러한 제약은 단순히 사후에 점수를 매기는 것이 아니라, 에이전트가 제안한 가중치를 실행 전 가용 집합(feasible set) 위로 투영하는 **결정론적 인-루프 크리틱(deterministic in-loop critic)**에 의해 강제됩니다.
• 비용 인식 실행 (Cost-Aware Execution): 수익률은 시장 충격 모델링 없이 사이드 인식 하프 스프레드(매수는 ask, 매도는 bid)를 사용하여 계산되며, 이는 보수적이지만 현실적인 비용 베이스라인을 제공합니다.

계층형 할당기 (참조 에이전트)

본 논문은 트레이딩 파이프라인의 특정 구성 요소를 격리하기 위해 참조 에이전트 아키텍처를 도입합니다:

1. 명령 컴파일 (Mandate Compilation): 자연어를 유형화된 제약 조건으로 변환합니다.
2. 유동성 게이트 (Liquidity Gate): 유니버스를 거래 가능한 종목(예: 유동성 상위 50개)으로 필터링합니다.
3. 애널리스트 계층 (Analyst Tier): 6개의 병렬 LLM 애널리스트가 유형화된 채널(기술적, 레짐, 이벤트, 뉴스, 8-K 항목, 10-K/10-Q 내러티브)을 통해 후보들을 독립적으로 점수화합니다.
4. 컨스트럭터 (Constructor): 별도의 LLM이 애널리스트의 종합 점수와 스프레드를 기반으로 포트폴리오 가중치를 제안하지만, 원시 가격이나 종합 점에는 접근할 수 없습니다.
5. 결정론적 크리틱 (Deterministic Critic): 컨스트럭터의 제안을 가용 집합(long-only, 종목 캡, 유동성 제한 준수)으로 투영합니다.
6. 필 시뮬레이터 (Fill Simulator): 인용된 사이드(quoted sides)에서 거래를 실행합니다.

실험 설정

• 데이터셋: 2026년 2월 19일부터 2026년 5월 1일 사이에 활성화된 S&P 500(508개 종목)의 콘텐츠 해시가 고정된 스냅샷입니다. 평가 기간은 2026년 3월 2일부터 2026년 5월 1일까지(44 거래일)입니다.
• 격리 전략: "컨스트럭터" 역량을 격리하기 위해, 저자들은 애널리스트 계층을 한 번 실행하여 "고정된 캡처(frozen capture)" 형태의 증거를 생성합니다. 이 동일한 증거를 서로 다른 컨스트럭터 모델(gpt-5, Opus-4.7, DeepSeek-V3.2, Qwen3-Max, gpt-4o-mini)에 재현하여, 시그널 품질과 독립적으로 컨스트럭터가 가치를 더하는지 결정합니다.
• 모드: 실험은 "once-then-hold"(단일 리밸런싱) 및 데일리 리밸런싱 모드로 실행됩니다.

3. 주요 결과

본 논문은 절대적인 알파 클레임보다는 구조적 발견을 보고하며, 모든 결과가 단일 고정 윈도우에 대한 상한선임을 강조합니다.

컨스트럭터 역량

• 조건부 이득 (Conditional Gains): 더 강력한 컨스트럭터(예: gpt-5, Opus-4.7)는 동일한 후보 풀에 대해 동일 가중(Equal-Weighting, EW) 방식보다 모델에 따라 완만한 이득을 보이지만, 이는 상위 애널리스트 시그널이 강할 때만 나타납니다.
• 애널리스트 지배력 (Analyst Dominance): 애널리스트 계층의 품질이 성과의 주요 동력입니다. 애널리스트 캡처가 약했을 때(DeepSeek-V3.2), 어떤 컨스트럭터도 동일 풀 EW 베이스라인을 이기지 못했습니다. 반면 캡처가 강했을 때(gpt-5), 대부분의 컨스트럭터가 EW를 상회했습니다.
• 중첩 (Overlap): 강력한 컨스트럭터는 EW 로스터를 완전히 대체하기보다는 주로 재가중(re-weight)합니다(75–78% 중첩). 약한 컨스트럭터는 크게 벗어나며 성과가 저조합니다.

비용 및 회전율

• 회전율이 비용의 주동력: 데일리 리밸런싱 시, 회전율은 지배적인 비용 요소가 됩니다. 높은 회전율을 보이는 모델(예: Qwen3-Max, gpt-4o-mini)은 낮은 회전율 모델과 유사한 총수익률을 가졌음에도 불구하고, 비용 드래그로 인해 순수익률이 SPY 벤치마크 아래로 떨어졌습니다.
• 절제(Discipline)의 중요성: 승리하는 패턴은 잘 선택하고 드물게 거래하는 것입니다. 낮은 회전율만으로는 불충분합니다(gpt-5는 가장 낮은 회전율을 기록했으나, 해당 레짐에서의 선택 부진으로 인해 SPY를 하회했습니다).

컴플라이언스 및 감사

• 명령 준수: 모든 컨스트럭터는 원시 제안 단계에서 명시적인 수치 캡(예: 최대 가중치 10%)을 성공적으로 준수했습니다.
• 크리틱의 필요성: 결정론적 크리틱은 모델에게 보이지 않으면서도 명령보다 더 엄격한 유동성 제약(hard clips)을 강제하는 데 필수적이었습니다.
• 오염 (Contamination): 모든 실행은 오염 인증서(contamination certificate)를 통과하였으며, 이는 룩어헤드(look-ahead) 누출이 없음을 확인해 줍니다.

4. 의의 및 주장

본 논문은 OpenPM을 검증된 알파 생성기가 아닌, LLM 트레이딩 커뮤니티를 위한 진단 도구로 포지셔닝합니다.

• 엔지니어링 산출물: 이를 엄격한 데이터 계약, 가용성 게이팅, 결정론적 이행 계층을 요구하는 엔지니어링 문제로 재정의합니다.
• 정직한 주장: 저자들은 모든 수익률이 "시장 충격이 없는 단일 고정 윈도우에 대한 상한선이며, 검증된 알파가 아니다"라고 명시적으로 밝힙니다. 목표는 데이터 핑거프린트, 비용 모델, 명령 등 모든 수치를 생성한 특정 조건에 결부시켜 주장의 정직성을 유지하는 것입니다.
• 진단적 통찰: 프레임워크는 "건설 기술(construction skill)"이 종종 "애널리스트 시그널 품질"의 대리 지표임을 보여줍니다. 저자들은 이후의 가장 저렴하고 유능한 컨스트럭터를 사용하는 대신, 애널리스트 계층을 위해 컴퓨팅 자원을 우선 배정해야 한다고 주장합니다.
• 감사 가능성: 모든 실행에 대해 오염 인증서, 비용 민감도 곡선, 제약 준수 보고서와 같은 산출물을 생성함으로써, OpenPM은 연구자들이 결과가 데이터 누출이나 낙관적인 실행 가정의 산물이 아님을 검증할 수 있게 합니다.

요약하자면, OpenPM은 LLM이 특정 조건 하에서 단순한 베이스라인을 상회하는 포트폴리오를 구성할 수 있음을 보여주지만, 그 성과는 상위 시그널 품질에 크게 의존하며 회전율 비용에 의해 쉽게 잠식될 수 있음을 입증합니다. 이 프레임워크는 진정한 기술과 평가 아티팩트를 구분하기 위한 필요한 엄격함을 제공합니다.