기술 요약: CLQT – 진단적 평가를 위한 폐쇄 루프형, 비용 인식형, 전략 일관성 기반의 LLM 포트폴리오 관리 에이전트 벤치마크

1. 문제 정의

LLM(대규모 언어 모델) 에이전트를 위한 금융 벤치마크는 정적인 질의응답에서 순차적 트레이딩으로 이동해 왔습니다. 그러나 기존의 평가 패러다임은 고정된 윈도우 동안의 수익률(샤프 지수, 누적 수익률 등)로 에이전트를 순위 매기는 리더보드에 의존하고 있습니다. 저자들은 이러한 접근 방식이 연구 목적상 근본적으로 결함이 있다고 주장합니다:

• 시장 지배력: 수익률은 에이전트의 추론 품질보다는 실현된 시장 경로와 리스크 프로파일에 의해 결정되는 경우가 많습니다.
• 누수 및 알파: 미래 데이터 누수(look-ahead data leakage)를 통제하면 겉으로 보이는 "알파"는 대부분 사라지며, 주로 패시브 팩터 노출만 남게 됩니다.
• 불완전한 진단: 단일 점수만으로는 추론의 건전성, 전략의 일관성, 또는 엣지(edge)의 지속 가능성을 입증할 수 없습니다.
• 인프라 부재: 기존 벤치마크는 시점별(Point-in-Time, PiT) 데이터 의미론을 강제하고, 현실적인 거래/금융 비용을 모델링하며, 포트폴리오 수준의 의사결정을 평가하고, 라운드 간 전략 일관성을 측정하며, 구조화된 메모리를 축적하고, 도구 오케스트레이션을 측정 가능한 능력으로 취급하는 것을 동시에 수행하지 못합니다.

본 논문은 벤치마크의 지속 가능한 기여는 순위를 매기는 것이 아니라, 에이전트의 의사결정 과정이 어디서 그리고 왜 성공하거나 실패하는지를 국소화하는 진단 도구가 되어야 한다고 상정합니다.

2. 방법론 및 시스템 설계

2.1 핵심 아키텍처: 폐쇄 루프(Closed-Loop)

CLQT는 폐쇄 루프형, 비용 인식형, 시간 제어형 환경입니다. 이는 추론-행동-성찰(reason–act–reflect) 전통을 따르는 5단계 사이클로 작동합니다:

1. 정보 습득 (Intelligence Acquisition, IA): 시장, 뉴스, 매크로 및 자산 클래스 데이터를 수집합니다.
2. 다중 소스 신호 합성 (Multi-Source Signal Synthesis, MSS): 신호, 리스크 평가 및 팩터 분해를 생성합니다.
3. 위임 사항 인지형 포트폴리오 구성 (Mandate-Aware Portfolio Construction, MAPC): 투자 위임 사항(mandate)에 따라 타겟 배분을 제안하고 검증합니다.
4. 비용 최적화 주문 집행 (Cost-Optimal Order Execution, COE): 비용을 최소화하는 전략과 함께 주문을 생성하고 집행합니다.
5. 기여도 분석 및 교훈 추출 (Attribution & Lesson Extraction, ALE): 성과를 귀속시키고, 구조화된 교훈을 추출하며, 메모리를 업데이트합니다.

시스템은 두 가지 **스킬 모드(Skill Modes)**를 지원합니다:

• 구조화 모드 (Structured): 6개의 에이전트 위원회(리서치, 애널리스트, PM, 리스크 관리자, 실행, 성찰)가 제한된 도구 집합과 규정된 워크플로우를 가집니다.
• 자율 모드 (Autonomous): 전체 파이프라인을 소유하며 전체 도구 접근 권한과 의사결정 자율성을 가진 단일 에이전트가 운영합니다.

2.2 6대 설계 원칙

1. 하드 타임게이트 (Hard TimeGate): 시점별(point-in-time) 데이터 의미론을 강제합니다. timestamp > as_of_ts인 경우 데이터 접근이 허용되지 않습니다. 이는 누수를 실패한 전제 조건으로 취급합니다.
2. 기관급 비용 모델링: 가중 평균 비용 기준, 일일 금융 비용, 그리고 4가지 선택 가능한 시장 충격 모델(fixed, square-root, Almgren–Chriss, structural)을 사용하여 포지션 수준의 PnL을 추적합니다.
3. 전략 일관성 점수: 스타일 드리프트(style drift), 회전율 일관성, 신호 준수, 위임 사항 일치도를 기준으로 라운드당 ConsistencyScore를 계산합니다.
4. 3계층 메모리:
   • 작업 메모리 (Working): 현재 관측값 + 최근 라운드.
   • 일화적 메모리 (Episodic): 감쇠하는 사건-행동-결과 기록.
   • 의미적 메모리 (Semantic): 일반화된 교차 자산 패턴.
   • 기록을 병합하기 위한 통합(consolidation) 단계와 망각을 시뮬레이션하기 위한 감쇠 메커니즘을 포함합니다.
5. 모델-컨텍스트-프로토콜 (MCP) 도구 계층: 에이전트는 19개의 유형화된 퀀트 도구(시장 데이터, 퀀트 도구, 뉴스, 실행)를 통해 상호작용합니다. 모든 도구 호출은 해싱되고, 시간이 기록되며, 감사 가능합니다.
6. 위임 사항 인지형 합성: 퀀트 옵티마이저의 제안을 제약 조건 및 리스크 관리자의 검증 하에 에이전트의 전술적 오버레이와 조율하는 파이프라인입니다.

2.3 데이터 무결성 및 감사 추적

• 변조 방지 해시 체인 (Tamper-Evident Hash Chain): 각 라운드는 이전 라운드의 행동 해시와 연결되어 해시 체인에 봉인되는 DecisionRound를 생성합니다. 관측 해시와 행동 해시는 이전 라운드의 행동 해시에 연결됩니다. 사후 수정 시 체인이 깨지므로, 추가적인 계측 없이도 제3자 검증이 가능합니다.
• 오염 제어: 모델 학습 컷오프를 사용하여 백테스트 윈도우를 필터링하고, 컷오프 이후의 데이터 검증을 위해 라이브 브로커 트랙을 사용합니다.

3. 평가 프레임워크: 5축 스코어카드 (APM-CS)

단일 수익률 지표 대신, CLQT는 감사 추적으로부터 완전히 도출된 5축 역량 스코어카드를 계산합니다:

1. 일관성 (Coherence): 선택된 배분이 에이전트가 명시한 분석으로부터 도출되었는지 측정합니다.
   • 지표: 50% 신호-행동 일치도(방향 일치) + 50% 홀드아웃 LLM 판사 점수(추론 일관성).
   • 혁신: 자기 선호 편향을 억제하기 위해 비 코호트 방식의 추론 가능 LLM(minimax-m3)을 판사로 사용합니다.
2. 예리함 (Acuity): 정보가 있는 신호와 노이즈에 대한 주의력을 측정합니다.
   • 지표: 제안된 거래와 정보적 복합체(모멘텀, 어닝, 매크로) 간의 상관관계에서 변동성 노이즈 디스트랙터와의 상관관계를 뺀 값.
3. 침착성 (Composure): 변동성에 대한 견고함(불필요한 잦은 거래 방지)을 측정합니다.
   • 지표: 변동성에 대한 회전율의 회귀 분석(낮은 기울기가 더 좋음)과 전략 일관성의 결합.
4. 규율 (Discipline): 하드 가드레일 없이 위임 사항에 대한 자기 조절 능력을 측정합니다.
   • 지표: MAPC 클리퍼(clipper)에 의존하는 횟수 대비 스스로 제약을 준 라운드의 비율.
5. 신뢰성 (Reliability): 프로토콜 준수 및 운영적 견고함을 측정합니다.
   • 지표: 완료율, 파싱 실패율, 절단(truncation) 발생률.

집계: 각 축은 코호트 백분위수로 매핑됩니다. 합성 점수인 APM-CS는 이 다섯 가지 백분위수의 평균입니다. "우수한" 에이전트는 축과 하위 기간 전반에서 일관된 우위를 보이는 에이전트로 정의되며, 이는 깨끗하게 달성하기 매우 어려운 기준입니다.

4. 주요 결과

4.1 캠페인 설정

• 코호트: 5개 모델 (Qwen, Gemini, DeepSeek, GPT-5, Claude)을 구조화 및 자율 모드로 구성.
• 기간: 백테스트를 위한 26회의 격주 라운드(1년); 라이브 브로커 페이퍼 트레이딩을 위한 9일.
• 어블레이션 (Ablation): 단일 모듈 제거 및 다중 모듈 클러스터 제거를 포함한 13가지 구성.

4.2 주요 발견

• 역량 $\neq$ 결과: "샤프 승자"(Qwen-structured, 샤프 9.82)는 5라운드 만의 일시적 현상이었으며, 절단 및 속도 제한으로 인해 신뢰성 점수가 0.19에 불과했습니다. 진정한 역량 리더(DeepSeek-structured, APM-CS 72.4)는 중간 수준의 샤프(2.96)를 기록했지만 균형 잡힌 프로파일을 보였습니다.
• 스캐폴드 효과 (Scaffold Effects): 구조화 모드는 일반적으로 역량 프로파일(특히 침착성과 규율)을 개선했으나, 그 정도는 모델마다 달랐습니다 (예: DeepSeek는 +36 APC-CS 상승을 보였으나, GPT-5는 +1 상승에 그침).
• 숨겨진 결함:
  • 신뢰성: Gemini-structured는 건강한 샤프 지수에도 불구하고 지속적인 스키마 파싱 실패로 인해 신뢰성이 0.61에 머물렀습니다.
  • 예리함: 코호트 전체의 예리함이 0.06~0.18로 낮았으며, 이는 에이전트들이 알파 신호와 노이즈를 구분하는 데 어려움을 겪었음을 나타냅니다.
  • 일관성 격차 (Coherence Gap): 기계적인 신호-행동 일치도(0.6)와 추론 판사 점수(0.28) 사이에 체계적인 격차가 존재합니다. 이 격차는 백테스트와 라이브 데이터 모두에서 지속되었으며(+0.33 대 +0.34), 이는 선언적 지식을 절차적 행동으로 전환하는 데 근본적인 결함이 있음을 시사합니다.
• 어블레이션 통찰: 모듈(뉴스, 매크로, 메모리)을 제거해도 온건하고 상승하는 시장 환경에서는 수익에 큰 영향을 미치지 않았습니다(모든 어블레이션이 노이즈 범위 내 유지). 그러나 역량 축을 통해 보면 심각한 저하가 드러났습니다 (예: 정보 스택 제거 시 예리함이 0.02로 급락).
• 라이브 트랙 검증: 본 도구는 미지의 라이브 데이터에서도 동일한 결정 특성을 측정했습니다. 일관성 격차는 안정적으로 유지되었으며, 라이브 트랙은 자율 모드에서의 특정 실패 모드(도구 예산 고갈 또는 스키마 실패로 인한 간헐적 "홀드" 동작)를 드러냈는데, 이는 구조화 모드에서는 방지되었습니다.

5. 의의 및 주장

본 논문은 CLQT가 리더보드가 아니라 진단 도구라고 주장합니다. 그 의의는 다음과 같습니다:

1. 결과와 역량의 분리: 높은 수익률이 허구적(시장 상황이나 아티팩트에 의한 것)일 수 있는 반면, 낮은 수익률이 견고하고 규율 있는 추론을 가릴 수 있음을 보여줍니다.
2. 제품보다 프로세스: 단순 PnL이 아닌 결정 경로(일관성, 예리함 등)를 점수화함으로써, 특정 실패 모드(예: "말하는 것과 행하는 것" 사이의 결함)를 식별합니다.
3. 감사 가능성: 변조 방지 해시 체인을 통해 제3자가 보고된 지표가 엔진에 의해 생성된 것과 정확히 일치함을 검증할 수 있습니다.
4. 일반 에이전트 진단: 5가지 축은 금융 분야의 구현체로서 일반적인 에이전트 역량(예: 시스템 수준의 추론으로서의 일관성, 섭동에 대한 견고함으로서의 침착성)을 나타내며, 이를 통해 벤치마크를 더 넓은 범위의 에이전트 평가에 적용할 수 있게 합니다.
5. 겸손한 순위 매기기: 저자들은 단일 연구가 제공할 수 있는 것보다 훨씬 더 많은 모델, 환경, 실행 횟수가 필요하다는 이유로 모델 순위를 매기는 것을 명시적으로 거부합니다. 대신, 평가된 코호트에 대한 "한계의 지도"를 제공합니다.

논문은 "지속적인 기여"는 현재 누가 "이기고 있는지"에 대한 스냅샷이 아니라, 에이전트의 역량과 한계에 대한 지속 가능하고 확장 가능한 지도라는 점이라고 결론짓습니다.