🤖 machine learning

GAUGE: Grading Agent-Built Financial Models Without a Golden Answer

이 논문은 단 하나의 '정답'이 아닌 관찰된 애널리스트의 관행에 대비하여 AI가 구축한 금융 모델을 평가하는 새로운 벤치마크인 GAUGE를 소개하며, 현재의 에이전트들이 기계적인 모델 구축에는 뛰어나지만 가치 평가 판단에 있어서는 여전히 인간 전문가에 비해 크게 뒤처져 있음을 밝히고 있다.

원저자: Jiacheng Lu, Sinuo Wang, Wentao Zhao, Rui Sun, Cheng Hua, Tao Song, Hui Cai, Beidi Luan, Zhengze Wu, Lingjing Teng, Yijia He, Jing Li, Daxin Jiang, Zuo Bai, Haibing Guan

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiacheng Lu, Sinuo Wang, Wentao Zhao, Rui Sun, Cheng Hua, Tao Song, Hui Cai, Beidi Luan, Zhengze Wu, Lingjing Teng, Yijia He, Jing Li, Daxin Jiang, Zuo Bai, Haibing Guan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 요리 경연 대회의 심사위원이라고 상상해 보십시오. 보통 심사위원들은 단 하나의 '완벽한' 레시피 카드를 가지고 있습니다. 만약 참가자의 요리가 이 카드와 조금이라도 맛이 다르면 점수를 잃게 됩니다. 하지만 라자냐를 만드는 맛있는 방법이 열 가지나 있다면 어떨까요? 만약 '완벽한' 레시피가 그저 한 사람의 의견일 뿐이고, 참가자의 버전은 다른 향신료를 사용했을 뿐 똑같이 맛있다면 어떨까요? 이것이 바로 과학자들이 금융 모델링과 같은 복잡한 과제를 수행하는 AI를 테스트할 때 직면하는 문제입니다. 금융 모델링은 기업의 미래를 예측하는 상세한 예측 기계를 만드는 것과 같습니다. 여기에는 과거 매출과 같은 확고한 사실과, 기업이 얼마나 빨리 성장할 것인지에 대한 교육된 추측(예상치)이 혼합됩니다. 수십 년 동안 우리는 AI의 추측을 단 한 명의 전문가의 정답과 비교하여 테스트해 왔습니다. 하지만 전문가들 사이에서도 최선의 추측에 대해 의견이 갈린다면, AI가 합리적인 다른 답을 내놓았다는 이유로 벌을 주는 것은 불공평해 보입니다. 이 논문은 질문합니다: 정답이 하나가 아닐 때, 우리는 AI를 어떻게 채점해야 하는가?

이 연구의 저자들은 GAUGE라는 이름의 연구를 통해, 단 하나의 완벽한 금융 모델이 있는 척하는 것을 그만두기로 했습니다. 그들은 AI 에이전트가 이러한 복잡한 금융 '예측 기계'를 구축할 수 있는지, 그리고 더 중요하게는, 그 안에 담긴 판단을 인간 전문가처럼 내릴 수 있는지를 확인하기 위해 새로운 테스트 환경을 구축했습니다.

먼저, 그들은 기존의 채점 방식을 테스트했습니다. 그들은 동일한 기업에 대해 서로 다른 인간 전문가들이 만든 108쌍의 금융 모델을 가져왔습니다. 기존의 '단 하나의 완벽한 정답' 규칙을 사용하여 한 전문가의 모델을 다른 전문가의 모델과 대조하여 채점했을 때, 결과는 충격적이었습니다. 중앙값 점수는 1.0점 만점에 0.33점에 불과했습니다. 실제로 92.6%의 쌍이 0.70점 미만의 점수를 받았습니다. 이는 모두가 전문가인 전문 인력들조차 서로 너무나 다르게 의견을 내기 때문에, 만약 한 명을 '진실'로 간주한다면 다른 한 명은 낙제하게 된다는 것을 의미합니다. 결국 금융의 세계에서는 '다르다'는 것이 '틀렸다'는 것을 의미하지 않습니다.

이를 해결하기 위해 팀은 GAUGE(Golden Answer 없이 에이전트가 구축한 금융 모델 채점하기)를 만들었습니다. 단 하나의 레시피 카드 대신, 그들은 실제 전문가들이 실제로 하는 행동을 기반으로 한 '안전 영역(safety envelope)'을 만들었습니다. 과녁의 중심이 하나의 점이 아니라 넓은 고리라고 상상해 보십시오. 만약 AI의 추측이 그 '합리적인 전문가의 행동' 범위 안의 고리 어디에라도 착륙한다면, 점수를 받게 됩니다. 이 시스템은 두 가지를 확인합니다:

메커니즘: 수학적 계산이 제대로 작동했는가? 스프레드시트의 균형이 맞는가? (오븐이 실제로 켜졌는지 확인하는 것과 같습니다).
판단: AI의 추측이 실제 전문가들이 방어 가능하다고 간주하는 범위 안에 들어오는가? (양념이 좋은 셰프의 입맛 범위 안에 있는지 확인하는 것과 같습니다).

그들은 24개의 서로 다른 AI 에이전트를 이 새로운 시스템으로 테스트했으며, 금융 전공 학생부터 시니어 분석가에 이르는 55명의 인간 그룹도 함께 테스트했습니다. 결과는 다음과 같았습니다:

AI는 수학에는 능숙해지고 있지만, 직관(gut feeling)에는 서툽니다. AI 에이전트들은 기계적인 부분에서 탁월했습니다. 최고의 AI는 기계적 검사(스프레드시트 공식이 올바른지 확인하는 작업)의 93%를 통과했습니다. 그러나 판단 부분(실제 예측을 수행하는 것)에 있어서는 최고의 AI조차 78%만을 통과했습니다.
'격차'는 실재합니다. AI 에이전트들은 평균적으로 모델을 구축하는 것보다 가치 평가 판단을 내리는 데 있어 26점 더 낮은 성적을 보였습니다. 그들은 자동차를 만들 수는 있지만, 아직 운전하는 데는 서툽니다.
여전히 인간이 승리합니다. 최고의 AI는 53.4점을 기록했습니다. 이는 평균적인 금융 전공 학생(43.2점)보다는 높았지만, 모든 시니어 분석가(평균 88.3점)와 대부분의 주니어 분석가보다는 낮았습니다. AI는 숙제를 할 만큼 똑똑하지만, 상사가 되기에는 아직 부족합니다.

이 연구는 AI가 복잡한 금융 모델을 구축하는 데 매우 유능해지고 있지만, 가장 어려운 부분인 전문가들이 기업의 가치를 평가할 때 사용하는 미묘하고 방어 가능한 판단을 내리는 것은 여전히 큰 도전 과제로 남아 있음을 시사합니다. 저자들은 단순히 점수를 찾아낸 것이 아닙니다. 그들은 단 하나의 완벽한 답을 찾는 기존의 방식이 인간과 기계 모두에게 불공평하다는 것을 증证明했으며, 전문가 간의 의견 불일치라는 복잡한 현실을 존중하면서 발전 과정을 측정할 수 있는 새로운 방법을 제시했습니다.

기술 요약: GAUGE – 정답(Golden Answer) 없이 구축된 금융 모델을 평가하는 에이전트용 벤치마크

1. 문제 정의

금융 모델링은 공시 데이터와 애널리스트의 가정을 결합하여 예측 및 밸류에이션을 생성하는 과정이다. 이러한 모델의 기계적 구성 요소(예: 과거 데이터의 정확성, 회계 항등식의 균형)는 객관적으로 검증 가능하지만, 밸류에이션 구성 요소(예: 매출 예측, 할인율, 목표 주가)는 본질적으로 여러 가지 타당한 답을 허용한다.

기존의 금융 AI 에이전트 벤치마크는 일반적으로 단일한 전문가 작성 참조값(소위 "골든 Answer")에 대해 출력값을 평가한다. 저자들은 이러한 접근 방식이 밸류에이션 작업에 있어 결함이 있다고 주장하는데, 이는 에이전트의 가정이 방어 가능하고 전문적인 관행과 일치하더라도 특정 참조 애널리스트와 의견이 다르다는 이유로 에이전트에게 불이익을 주기 때문이다. 이러한 설계는 전문적인 견해 차이를 모델의 오류와 혼동하며, 개방형 금융 산출물에 내재된 "평가 불확정성(rating indeterminacy)"을 고려하지 못한다.

본 논문은 독립적으로 구축된 애널리스트 모델들을 서로 대조하여 평가함으로써 이 문제를 실증적으로 보여준다. 65개 기업을 대상으로 한 108개의 방향성 쌍(directed pairs)을 분석한 결과, 단일 참조점 기반의 오차 허용 방식(point-tolerance approach)을 사용했을 때 점수 중앙값은 0.33이었으며, **92.6%**의 쌍이 0.70 미만의 점수를 기록했다. 동일 시기에 작성된 어떤 모델 쌍도 내재 주가(implied share price)에서 10% 이내의 일치도를 보이지 않았다. 이는 표준적인 점 오차 허용 방식의 채점이 전문 애널리스트들 사이에서도 존재하는 자연스러운 견해 차이를 처벌하고 있음을 시사한다.

2. 방법론: GAUGE 벤치마크

단일 참조점 기반 평가의 한계를 해결하기 위해, 저자들은 단일 점 추정치가 아닌 관찰된 애널리스트 관행을 기준으로 에이전트가 구축한 밸류에이션 모델을 평가하도록 설계된 벤치마크인 GAUGE를 도입한다.

2.1 코퍼스 및 태스크 설계

코퍼스: 벤치마크는 25개 GICS 산업군 내 922개 티커를 아우르는 1,001개의 벤더 분류 애널리스트 워크북으로 구성된다.
태스크 형식: 평가 세트는 196개의 태스크(에이전트 평가를 위한 48개 핵심 태스크 포함)로 구성된다. 에이전트는 "Excel-in / Model-out" 형태의 태스크를 수행한다. 즉, 로우(raw) 과거 데이터, 세그먼트 스켈레톤, 가이드라인은 제공받지만, 컨센서스 예측치는 제공되지 않는다.
산출물: 에이전트는 수식 기반 모델, 밸류에이션, 민감도 분석, 가정 파일 및 메모를 생성해야 한다.
데이터 무결성: 코퍼스는 익명화되었으며, 오염을 방지하기 위해 향후 종단적 평가를 위한 "보류된 리프레시 풀(withheld refresh pool)"(~600개 워크북)을 별도로 확보하였다.

2.2 스코어링 시스템

GAUGE는 기계적 정확성과 판단력을 분리하는 다층적 스코어링 스택을 채택한다.

3단계 방어 가능 범위(Defensibility Envelope): 단일 지점 대신, 관찰된 관행으로부터 도출된 범위를 기준으로 판단이 개입되는 수치들을 평가한다.
- E-method: 특정 워크북 내의 다중 방법론 값과 민감도 그리드의 최소/최대값을 사용한다.
- E-industry: 산업 전반의 가정에 대한 P10–P90 분포를 사용한다.
- E-company: 동일 기업을 커버하는 여러 애널리스트 간의 분산(dispersion)을 사용하여 밴드를 보정한다.
- 채점 방식: 좁은 밴드 내부의 값은 2점, 확장된 "근접(near)" 밴드(P90 불일치에 의해 확장됨) 내의 값은 1점, 범위를 벗어난 값은 0점을 부여한다.
56개 패싯(Facets): 시스템은 다음 카테고리로 분류된 56개의 구체적인 패싯을 평가한다.
- 29개 결정론적(Deterministic, D) 패싯: 구조적 체크(예: 수식 연결, 회계 항등식).
- 23개 LLM 판단(LLM-Judged, J) 패싯: 가정 및 논리에 대한 질적 평가.
- 4개 직접 규칙(Direct-Rule, R) 패싯: 특정 규칙 기반 체크(예: WACC 밴드 멤버십).
유효성 게이트(Validity Gates, G1–G8): 8개의 결정론적 게이트가 구조적 실패(예: 불균형 대차대조표, 순환 참조, 미래 데이터 오염/look-ahead contamination)를 감지한다. 게이트가 트리거되면 **점수 상한(ceiling)**을 부과하여, 구조적으로 사용할 수 없는 모델이 높은 점수를 받는 것을 방지한다.
실패 인지 점수( $\phi_0$ ): 기본 메트릭은 미완료 또는 기능 실패에 대해 0점을 부여함으로써, 에이전트가 일부 태스크만 완료하고 나머지는 실패하면서 높은 순위를 차지할 수 없도록 한다.

3. 실험 설정

에이전트: 12개 제공업체(Claude, GPT-5 변형, Gemini, Kimi, Qwen 등 포함)의 24개 에이전트를 48개 핵심 태스크에 대해 평가하였다.
인간 기준선(Human Baseline): **55명의 참가자를 대상으로 한 알려진 집단 연구(known-groups study)**를 실시하였다. 참가자는 세 그룹(시니어 애널리스트 12명, 주니어 애널리스트 18명, 재무 전공 학생 25명)으로 나뉘었다. 참가자들은 에이전트와 동일한 제약 조건(네트워크 접속 불가, 동일한 입력값) 하에서 작업하였으나, 엄격한 시간 제한은 적용되지 않았다.
평가 프로토콜: 에이전트는 표준화된 도구 호출(tool-calling) 하네스를 사용하였다. 최선의 경우 편향(best-case bias)을 피하기 위해 각 태스크는 에이전트당 한 번씩 실행되었다.

4. 주요 결과

4.1 에이전트 성능 vs 인간

실패 인지 점수 $\phi_0$ 기준:

시니어 애널리스트: 평균 88.3
주니어 애널리스트: 평균 66.0
재무 전공 학생: 평균 43.2
최고 성능 에이전트 (Claude Fable 5): 53.4를 기록했다.
- 이는 학생 평균보다는 높지만, 모든 시니어 애널리스트 및 18명의 주니어 애널리스트 중 15명보다 낮은 점수이다.
- 55명의 인간 참가자 중 33명이 최고 성능의 에이전트보다 높은 점수를 받았다.

4.2 기계적 측면 vs 판단력의 격차

에이전트의 모델 구축 능력과 밸류에이션 판단 능력 사이의 격차는 중요한 발견이다:

기계적 패싯: 최고 성능의 에이전트는 **93%**의 기계적 패싯을 통과하였다(구조적/수식적 정확성).
판단력 패싯: 최고 성능의 에이전트는 **78%**의 판단 패싯만을 통과하였다.
플릿 중앙값 격차(Fleet Median Gap): 24개 에이전트 전체에서 기계적 통과율과 판단 통과율 사이의 중앙값 격차는 26포인트였다.
결론: 현재의 에이전트들은 금융 모델을 구축하는 데는 유능해지고 있으나, 밸류에이션을 위한 판단을 내리는 데는 여전히 한계가 있다.

4.3 유효성 및 안정성

알려진 집단 순위(Known-Groups Ordering): 벤치마크는 경력에 따른 인간의 순위(시니어 > 주니어 > 학생)를 높은 통계적 유의성( $p < 10^{-6}$ )과 함께 성공적으로 구분해 냈다.
게이트의 영향: 유효성 게이트를 제거했을 때 276개의 모델 쌍 중 11개의 순위가 역전되었으며, 이는 구조적 체크가 고장 난 모델에 대해 부풀려진 점수를 주는 것을 방지하는 데 필수적임을 확인시켜 준다.
판단자 안정성: 고정된 단일 판단자가 5회 반복 투표를 수행했을 때 Kendall's $\tau$ 가 0.944로 나타나, 높은 샘플링 안정성을 입증하였다.

5. 의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

단일 참조점 가정에 대한 실증적 검토: 밸류에이션에서는 단일 전문가 참조점을 기준으로 채점하는 것이 문제가 될 수 있음을 입증하였다. 전문 애널리스트들은 내부적으로 일관된 모델을 생성하더라도 핵심 입력값(WACC, 영구 성장률, 내재 주가 등)에 대해 빈번하게 의견이 갈리기 때문이다.
GAUGE 도입: 기계적 검증과 판단 평가를 분리하고, "관찰된 관행 범위(observed-practice envelope)"를 사용하여 동일한 답이 아닌 방어 가능한 선택지를 채점하는 체계를 제공한다.
에이전트 역량 식별: 에이전트가 금융 모델의 구축을 자동화하는 능력은 갖추고 있으나, 밸류에이션에 필요한 판단력은 여전히 중요한 병목 구간임을 규명하였다.

저자들은 GAUGE가 밸류에이션의 "지상 진실(ground truth)"을 확립하려는 것이 아니라, 에이전트의 선택이 관찰된 전문적 관행의 범위 내에 있는지를 평가하는 프레임워크를 제공하는 것임을 강조한다. 본 연구는 방법론, 게이트가 적용된 데이터 분할, 그리고 재현 가능하고 오염이 통제된 평가를 지원하기 위한 버전 관리된 종단적 핵심 데이터를 함께 공개한다.