Indistinguishable from Chance: Auditing LLM-Generated Trading Strategies Against Exposure-Matched Nulls

투자 세계에서 가장 가치 있는 기술은 언제 사고 언제 팔지를 아는 것입니다. 이를 마켓 타이밍(market timing)이라고 부릅니다. 수십 년 동안 투자자들은 인간보다 더 잘 이러한 순간을 예측할 수 있는 기계를 만들고자 노력해 왔으며, 작은 우위를 큰 수익으로 바꾸기를 희망해 왔습니다. 이 탐구의 최신 도구는 복잡한 컴퓨터 코드를 작성하고 그 논리를 유창한 문장으로 설명할 수 있는 인공지능의 한 종류인 거대 언어 모델입니다. 이 모델들에게 매매 전략을 설계하고, 이를 실행할 코드를 작성하며, 과거에 얼마나 많은 돈을 벌었는지 보여주는 보고서까지 생성하도록 요청할 수 있습니다. 그 약속은 전문 펀드 매니저부터 호기심 많은 개인에 이르기까지 누구나 컴퓨터에 승리하는 계획을 요청하면 완전하고 즉시 사용 가능한 솔루션을 받을 수 있다는 것입니다. 하지만 과거를 보고 미래를 예측하는 데에는 깊고도 잘 알려진 문제가 있습니다. 어떤 전략이 단지 데이터의 무작위 패턴과 우연히 일치했기 때문에 서류상으로 매우 뛰어나 보일 수 있는데, 이를 과적합(overfitting)이라는 오류라고 합니다. 현실 세계를 본 적이 없는 기계에 의해 구축된 전략의 위험은, 그것이 숨겨진 패턴을 찾아내는 것이 아니라 단순히 노이즈의 형태를 흉내 내는 것에 불과할 수 있다는 점입니다.

한 연구팀은 이 인공지능 모델들이 실제로 시장 타이밍을 맞추는 기술을 보유하고 있는지, 아니면 그들의 인상적인 보고서가 그저 설득력 있는 환상에 불과한지를 테스트하기 위해 나섰습니다. 그들은 단순히 모델에게 코드를 작성하라고 시킨 것이 아니라, 그 코드가 실제 시장 데이터와 만났을 때 어떤 일이 일 벌어지는지 확인하기 위해 엄격한 테스트 환경을 구축했습니다. 연구진은 다섯 가지 서로 다른 AI 모델에게 S&P 500 주가지수, 금 선물, 그리고 유로/미국 달러 통화 쌍이라는 세 가지 주요 자산에 대한 매매 전략을 만들도록 요청했습니다. 모델들은 각각 매수와 매수의 규칙을 가진 약 200개의 서로 다른 전략을 생성했습니다. 테스트의 공정성을 보장하기 위해, 연구진은 실제 거래 비용을 모사하여 거래할 때마다 소액의 수수료를 부과하는 통제된 디지털 환경에서 모든 전략을 실행했습니다. 그런 다음 AI가 생성한 계획의 결과를 단순한 벤치마크, 즉 자산을 사서 팔지 않고 계속 보유하는 것과 비교했습니다. 또한 AI 전략을 영리한 대조군과도 비교했습니다. 모든 AI 전략에 대해, AI가 포지션을 보유하기로 결정한 것과 정확히 동일한 시간대를 가져오되 그 기간들을 무작위로 섞어버림으로써 '널(null)' 버전을 만들었습니다. 이 테스트는 적절한 시점을 선택하는 AI의 주장된 능력을 제거하고, 단지 자산을 일정 시간 동안 보유하고 있다는 사실만을 남겼습니다. 만약 AI가 진정으로 숙련되었다면, 섞인 버전보다 더 나은 성과를 냈어야 합니다.

결과는 극명하고 일관적이었습니다. 전반적으로 인공지능이 생성한 전략들은 자산을 단순히 보유하는 행위를 이기지 못했습니다. 평균적으로 AI 전략은 손실을 기록했으며, 샤프 지수(Sharpe ratio)라고 불리는 성과 지표가 음수였습니다. 이는 위험과 거래 비용을 고려했을 때, 평균적인 투자자가 AI의 조언을 따르는 것보다 아무것도 하지 않는 편이 더 나았음을 의미합니다. AI의 전략 중 단 8% 미만의 아주 적은 부분만이 단순한 매수 후 보유(buy-and-hold) 방식을 능가했습니다. 연구진이 더 깊이 파고들었을 때, 그들은 AI 모델들이 숨겨진 타이밍 기술을 찾지 못했다는 것을 발견했습니다. 전략들은 무작위로 섞인 버전들과 비교했을 때 통계적으로 차이가 없었습니다. 전략이 잘 작동하는 것처럼 보였던 몇 안 되는 경우는 모델이 시장을 예측하는 법을 배웠기 때문이 아니라, 시장이 상승할 때 자산을 더 자주 보유하는 경e 따라갔기 때문이었습니다. 이는 적절한 순간을 선택하는 기술이라기보다는 롱(long, 매수) 포지션에 대한 편향입니다. 연구진이 이 편향을 제거하기 위해 전략을 섞인 대응군과 비교했을 때, 기술의 환상은 완전히 사라졌습니다.

아마도 가장 드러나는 부분은 연구진이 모델들에게 실제로 할 수 없는 일, 즉 데이터를 받지 않은 상태에서 백테스트를 수행하고 결과를 보고하도록 요청했을 때 발생했습니다. 모델들은 전략을 작성하고, 성과를 계산하고, 사용자에게 최종 수치를 알려달라는 요청을 받았습니다. 어떤 모델도 이를 수행할 수 없었는데, 왜냐하면 그들은 코드를 실행하거나 실시간으로 숫자를 계산하는 능력이 없기 때문입니다. 대신, 그들은 보고서의 시뮬레이션을 만들어냈습니다. 일부 모델은 누군가 실행하면 숫자를 계산할 것처럼 보이는 스크립트를 출력했습니다. 다른 모델들은 좋은 결과가 무엇인지에 대한 일반적인 규칙만을 언급했습니다. 몇몇 모델은 더 나아가, 완성된 보고서처럼 보이는 텍스트 블록을 제시하며 구체적인 숫자를 날조하기도 했습니다. 이러한 행동은 역량의 실체와 외견상의 유능함 사이의 위험한 간극을 강조합니다. 모델들은 금융의 언어에 유창하며 전문적인 분석의 구조를 흉내 낼 수는 있지만, 그 분석이 요구하는 증거를 생성할 수는 없습니다.

연구는 또한 더 크고 강력한 모델을 사용하거나 더 견고한 전략을 요청하는 것이 결과를 바꿀 수 있는지 조사했습니다. 결과는 바뀌지 않았습니다. 더 큰 모델이 오류 없이 실행될 가능성이 높은 코드를 작성했고, 특정 프롬프트가 자산을 보유하는 빈도를 변화시키기는 했지만, 두 요인 모두 시장 타이밍 능력을 향상시키지는 못했습니다. 개선된 점은 의사 결정의 질이 아니라, 시장에 머무는 시간, 즉 노출 정도뿐이었습니다. 연구진은 또한 자신들의 테스트 과정 자체를 지속적으로 점검해야 했다는 사실을 발견했습니다. 한 사례에서는 연구진 자신의 시스템 내 데이터 오류로 인해 무작위 전략이 승리한 것처럼 보였는데, 이는 자신들의 작업을 검증하기 위한 통제 장치를 구축했기에 겨우 잡아낼 수 있었던 실수였습니다. 이 자체 감사는 핵심적인 교훈을 강화했습니다. 즉, 그럴듯해 보이는 결과라 할지라도, 승자를 찾아낼 수 있는 기준에 비추어 검증되지 않는 한 올바른 결과가 아니라는 것입니다.

투자자에게 주는 교훈은 명확합니다. 인공지능 모델은 현재 진정한 기술을 포함하는 매매 전략을 생성할 능력이 없습니다. 그들은 완전하고 자신감 넘치는 전략을 만들어내지만, 실제 데이터로 테스트했을 때 무작위 확률보다 나을 것이 없으며 단순히 자산을 보유하는 것보다 못한 경우가 많습니다. 구체적인 숫자와 성과 차트로 채워진 그들이 생성하는 보고서는 증거가 아니라 가설입니다. 전략이 문서화된 데이터에 의해 다시 실행되고, 시장에 머무는 시간을 고려한 공정한 벤치마크와 비교되기 전까지는, 그 전략을 검증되지 않은 것으로 취급해야 합니다. 이러한 도구에 의존하는 비용은 단순히 시장을 이길 기회를 놓치는 것뿐만 아니라, 패시브 투자를 통해 얻을 수 있는 꾸준한 수익을 잃을 수도 있는 잠재적 위험을 의미합니다. 모델들은 전문가처럼 들리는 기술은 마스터했지만, 아직 전문가가 되는 법은 배우지 못했습니다.