기술 요약: InvestPhilBench

문제 정의

대규모 언어 모델(LLM)이 투자 리서치 어시스턴트로 점점 더 많이 배치되고 있으나, 기존의 금융 벤치마크들은 모델이 전문가 투자자의 특정 **절차적 의사결정 프레임워크(procedural decision frameworks)**를 정확하게 재구성하고 적용할 수 있는지 평가하는 데 실패하고 있다. 현재의 벤치마크들은 사실적 정보 검색(예: FinanceBench), 수치적 추론(예: FinQA), 또는 에이전트 기반의 의사결정 결과(예: INVESTORBENCH)에 집중되어 있다. 이들은 모델이 투자 철학(예: 워런 버핏의 "능력 범위(Circle of Competence)" 게이트나 레이 달리오의 체제 의존적 로직)을 정의하는 순차적, 조건적, 그리고 "킬 크리테리언(kill-criterion, 중단 기준)" 로직을 이해하고 있는지를 테스트하지 못한다.

본 논문은 투자 철학 지식이 금융 계산이나 문서 검색과는 구별되는 절차적(procedural), 속성적(attributed), 모순적(contradictory), 그리고 비교적(comparative) 특성을 지니고 있다고 주장한다. 모델들은 다음과 같은 이유로 실패하곤 한다:

• 킬 크리테리언 누락 (Omitting Kill Criteria): 프로세스를 종료해야 하는 게이트(예: 버핏의 능력 범위를 벗어난 제약 조건에도 불구하고 제약 없이 파마(pharma) 기업의 P/E 비율을 평가하는 것)가 있음에도 불구하고 분석을 계속 진행함.
• 운용화의 평면화 (Flattening Operationalizations): 공유된 개념에 대한 서로 다른 정의를 혼동함 (예: 그레이엄의 기계적인 "넷-넷(net-net)" 스크리닝 방식을 버핏의 "안전 마진(margin of safety)"에 관한 질문에 적용함).
• 시간적 혼동 (Temporal Conflation): 모순되는 과거의 입장을 하나로 합침 (예: 2001년 항공주를 거부했던 버핏의 입장과 2016년 항공주를 매수한 입장을 혼동함).
• 보이스 확산 (Voice Diffusion): 서로 다른 투자자들의 고유한 분석 페르소나를 뒤섞음.

방법론

1. 인지적 분류 체계 (L1–L8)

InvestPhilBench는 추론의 깊이를 평가하기 위해 8단계 인지적 분류 체계를 도입한다:

• L1–L3 (사실적 검색): 원칙 식별, 출처 속성 부여, 그리고 운용화 회상.
• L4–L5 (절차적 재구성): 다단계 의사결정 프로세스를 올바른 순서로 재구성하고, 투자자 간의 프레임워크를 비교.
• L6–L8 (생성적 적용): 모순을 인식하고, 새로운 시나리오에 프레임워크를 적용하며, 미지의 거시 경제적 전개 상황으로 확장 및 추론.

2. 데이터셋 아키텍처 (v0.6)

이 릴리스는 1차 자료 검증을 거친 데이터셋으로 구성된다:

• 118개의 원칙 카드 (Principle Cards): 명시적인 운용 기준과 출처 인용이 포함된, 검토자가 해결한 투자 원칙들.
• 25개의 의사결정 프레임워크 카드 (Decision Framework Cards): 토폴로지 메타데이터(예: linear_sequential, parallel_threshold, conditional_branch)와 게이트 로직이 주석 처리된 구조화된 JSON 형태의 투자자 의사결정 프로세스.
• 243개의 QA 질문: 197개의 개발용 질문과 46개의 홀드아웃(held-out) 테스트 질문을 포함하며, 여기에는 특정 게이트 수준의 실패 패턴을 겨냥한 8개의 전문가 난이도 "하드(hard)" 질문이 포함된다.
• 골드 추론 프로그램 (Gold Reasoning Programs, GRPs): L4 및 L7 질문을 위해, 데이터셋은 정확한 게이트 순서, 판정(PROCEED/REJECT/INCONCLUSIVE), 그리고 필수 요소들을 정의하는 구조화된 "골드 프로그램"을 포함하여, 실행(최종 판정)과 프로그램 정확도(추론 경로)를 동시에 평가할 수 있게 한다.

3. 평가 프로토콜

본 벤치마크는 성능 격차를 분해하기 위해 세 가지 조건 설계를 채택한다:

• 조건 A (Closed-book): 사전 학습된 지식을 테스트함.
• 조건 B (PKB-augmented/RAG): 상위 3개의 검색된 원칙 카드를 활용한 검색 증강 추론을 테스트함.
• 조건 C (Oracle): 정확한 정답 프레임워크 카드를 주입하여 절차적 적용 능력을 테스트함.

4. 자동화된 점수 산출 파이프라인 (BASP)

질적 루브릭을 대체하기 위해, 본 논문은 다섯 가지 알고리즘 지표로 구성된 **벤치마크 자동화 점수 산출 파이프라인 (BASP)**을 도입한다:

1. OGRS (Ordered Gate Reconstruction Score): 누락된 게이트와 잘못된 순서 모두에 대해 페널티를 부여함.
2. KCCS (Kill Criterion Coverage Score): "킬(kill)"을 트리거하는 특정 조건들에 대한 F1 커버리지를 측정함.
3. SAP@k (Source Attribution Precision): 엔티티, 문서, 컨텍스트 수준에서의 속성 부여 정확도를 평가함.
4. IVP (Investor Voice Precision): 임베딩을 사용하여 모델의 응답이 할당된 투자자의 특정한 어휘적, 개념적 특징을 유지하는지 평가함.
5. CKCA (Compound Kill Criterion Accuracy): 다중 구성 요소의 킬 크리테리언을 가진 기관 프레임워크를 평가함.

또한, **실패 모드 탐지 프로토콜 (FMDP)**은 계산 가능한 규칙을 통해 6가지 실패 모드(예: 게이트 환각, 시간적 혼동)를 알고리즘적으로 탐지한다. 더 엄격한 지표인 **게이트 재구성 정확도 (Gate Reconstruction Accuracy, GRA)**는 개별 게이트(이름, 판정, 요소)의 재구성을 평가하여, 종합 점수에 의해 가려진 결함을 노출한다.

주요 결과 (v0.6 Sanity Wave)

본 논문은 네 가지 모델(Claude Sonnet 4.6, GPT-5.5, Gemini Flash Lite, Gemini 3.5 Flash)을 대상으로 조건 A(closed-book) 환경에서 혼합형 심사위원 설정을 통해 수행한 예비 "새니티 웨이브(sanity wave, W1)" 결과를 보고한다.

• 제공자 계층별 분리 (Provider-Tier Split): 프런티어 모델(Claude, GPT)은 비용 효율적 모델(Gemini)에 비해 모든 레이어에서 유의미하게 우수한 성능을 보였으며, 후자의 경우 L8에서 급격한 성능 붕괴를 보였다.
• 종합 점수와 GRA의 괴리 (The Composite vs. GRA Divergence):
  • 종합 점수의 포화 (Composite Saturation): 프런티어 모델의 BASP 종합 점수는 높게 나타났으며(예: Claude L4 = 0.932), 이는 사실적 레이어(L3)와 절차적 레이어(L4) 사이의 "절벽" 현상을 보여주지 않았다. 이는 종합 점수가 유창한 문체에 보상을 주어 절차적 결함을 숨길 수 있음을 시사한다.
  • GRA에 의해 노출된 절차적 결함: 더 엄격한 GRA로 평가했을 때, 프런티어 모델의 점수는 크게 하락했다(L4 GRA ≈ 0.77; L7 GRA ≈ 0.57–0.62). 이는 모델이 게이트의 이름은 맞히더라도, 킬 크리테리언이나 판정 로직을 재구성하는 데 실패하는 잔여 절차적 결함이 존재함을 드러낸다.
• 실패 모드: 가장 빈번한 실패 모드는 **킬 크리테리언 누락 (FM-3, 42.5%)**과 **운용화의 평면화 (FM-5, 35.0%)**였다. 프런티어 모델은 비용 효율적 모델에 비해 이러한 실패율이 낮았으나, 비용 효율적 모델은 높은 절차적 붕괴율을 보였다.
• 세 가지 조건 파일럿: 소규모 파일럿(n=10) 결과, 정확한 소스를 제공하는 것(Oracle)이 폐쇄형(Closed-book)보다 점수를 높여주지만, 타겟팅된 검색(조건 B)이 전체 프레임워크 주입(조건 C)보다 때때로 더 나은 성능을 보이기도 했다. 이는 롱 컨텍스트(long-context)로 인한 간섭 때문일 가능성이 크다. 또한, 정확한 소스가 컨텍스트에 있음에도 불구하고 **적용 격차(Application Gap)**가 여전히 존재한다.

의의 및 주장

본 논문은 InvestPhilBench를 단순한 모델 리더보드가 아닌 벤치마크 및 방법론적 기여로 규정한다. 주요 주장은 다음과 같다:

1. 방법론적 혁신: 본 연구는 단순한 사실적 회상이나 결과 기반 평가를 넘어, 전문가 투자 프레임워크의 절차적 재구성을 평가하는 최초의 벤치마크이다.
2. 지표 설계: 종합 점수가 프런티어 모델에서 포화되어 절차적 결함을 가린다는 점을 입증하였다. GRA 지표는 유창한 문체와 올바른 게이트 로직을 구분하여 이러한 결함을 드러내는 필수적인 도구로 제시된다.
3. 실패 모드 분류 체계: 알고리즘적 탐지 규칙을 갖춘 정량화된 실패 모드 분류 체계(예: 시간적 혼동, 보이스 확산)를 제공하여, 모델 개선을 위한 진단 프레임워크을 제시한다.
4. 오염 저항성: 동적 섭동(지표 치환, 시간적 변위)과 "살아있는 투자자(living investor)" 경력 경계 프로토콜을 통해, 본 벤치마크는 사전 학습 코퍼스로부터의 데이터 오염에 저항하도록 설계되었다.

저자들은 제시된 경험적 결과가 지표 설계를 테스트하기 위한 "예비 새니티 웨이브"임을 명시적으로 밝힌다. 전체 멀티 모델 리더보드, 디컨파운딩(de-confounded)된 통합 심사 결과, 그리고 인간 신뢰도 연구는 v1.0 릴리스로 유보된다. 결론적으로, 진정한 절차적 이해와 패턴 매칭 기반의 검색을 구분하는 것은 제도권 금융에서 LLM을 안전하게 배포하기 위해 필수적이며, InvestPhilBench는 이러한 구분을 가능케 하는 인프라를 제공한다.