FrontierFinance: A Long-Horizon Computer-Use Benchmark of Real-World Financial Tasks

1. 문제 정의 (Problem Statement)

• 현황: 생성형 AI(특히 대규모 언어 모델, LLM) 가 지식 집약적 분야 (금융, 법률, 소프트웨어 공학 등) 로 빠르게 침투하고 있으나, 기존 벤치마크는 단순한 질문 답변이나 짧은 작업에 국한되어 있습니다.
• 한계: 현재의 LLM 벤치마크는 실제 전문 직종이 요구하는 장기적 (Long-horizon) 인 추론, 복잡한 워크플로우, 그리고 상호 연결된 문서의 통합 능력을 평가하지 못합니다.
• 금융 분야의 특수성: 금융 모델링은 단순한 데이터 추출을 넘어, 수천 개의 셀이 서로 연결된 스프레드시트에서 논리적 일관성을 유지하며 5~20 시간 이상의 집중적인 노력이 필요한 고난도 작업입니다. 하나의 오류가 전체 모델의 무결성을 훼손할 수 있어, 현재 LLM 의 실제 업무 대체 가능성에 대한 검증이 부재합니다.
• 필요성: AI 에 의한 노동 대체 우려가 커지는 상황에서, 실제 업무 환경에서의 LLM 성능과 인간 전문가 간의 격차를 정량적으로 측정할 수 있는 새로운 평가 기준이 시급합니다.

2. 방법론 (Methodology)

A. FrontierFinance 벤치마크 구축

• 범위: 5 가지 핵심 금융 모델링 유형 (3 개 재무제표 모델, LBO, DCF, M&A, 대출자 모델) 에 걸쳐 총 25 개의 복잡한 작업으로 구성됨.
• 작업 특성:
  • End-to-End 워크플로우: 데이터 수집 (SEC filings 등) → 가정 설정 → 다단계 계산 → 미래 전망 (Forecast) → 최종 산출물 (Excel, PPT) 생성까지의 전 과정을 수행해야 함.
  • 컴퓨터 사용 (Computer-Use): 에이전트는 GUI 제어, 터미널 명령어 실행, 다양한 파일 형식 (PDF, Excel, SEC filing) 에서 정보를 추출하고 처리해야 함.
  • 난이도: 작업당 인간 전문가가 평균 18.3 시간 이상 소요 (기존 벤치마크 대비 월등히 긴 시간).
• 데이터 구성: 실제 기업 (예: Electronic Arts, Carnival Corp 등) 의 공시 자료를 기반으로 하며, 최근 데이터를 사용하여 암기 (Memorization) 를 방지하고 추론 능력을 평가하도록 설계됨.

B. 평가 체계 (Evaluation Framework)

• 세부 평가 기준 (Rubric-based Evaluation): 각 작업별로 금융 전문가가 작성한 상세한 평가 기준서 (Rubric) 를 사용.
  • 게이팅 조건 (Gating Condition): 데이터 소스 오류, 기간 불일치, 정적 값만 존재하는 경우 등 기본 무효 조건을 먼저 필터링.
  • 다차원 점수화: 데이터 추출, 가정의 타당성, 논리적 일관성, 구조적 완성도 등 5~11 개 카테고리에 걸쳐 최대 140 가지의 평가 기준을 적용.
  • 점수화 방식: 수정이 쉬운 오류와 재구성이 필요한 치명적 오류를 구분하여 가중치를 다르게 부여.
• 참조 데이터 (Human Baselines): 금융 전문가 (2~5 년 경력) 가 동일한 작업을 수행하여 '인간 기준선'을 확보하고, 이를 LLM 결과와 비교.
• LLM-as-a-Judge: 확장성을 위해 LLM 을 심사자로 활용하되, 전문가가 정의한 Rubric 을 제공하여 인간 심사자와의 일치도를 높임.

C. 실험 설정

• 평가 대상 모델: GPT-5.4, Opus 4.6, Sonnet 4.6, Gemini 3.1 Pro 등 최신 컴퓨터 사용 가능 LLM 에이전트.
• 환경: 간단한 GUI 제어 및 Bash 터미널 접근 권한만 부여된 최소한의 환경 (Harness) 에서 평가.

3. 주요 결과 (Key Results)

A. 성능 비교 (Human vs. LLM)

• 점수: 인간 전문가의 평균 점수는 **77.2%**인 반면, 최상위 모델인 GPT-5.4 는 70.9%, Opus 4.6 은 **61.8%**로 인간이 우세함.
• 품질 차이: LLM 은 방향성 (Directional) 은 맞지만, 전문적인 사용에 필요한 **일관성 (Consistency)**과 **완전성 (Completeness)**이 부족함.
  • 재구성의 필요성: 인간은 전체 재작성이 필요한 모델이 1 개였으나, GPT-5.4 는 2 개, Opus 4.6 은 6 개로, LLM 의 출력물은 부분적으로 맞더라도 수정보다 처음부터 다시 만드는 것이 더 효율적인 경우가 많음.
• 시간 효율성: LLM 은 인간 (평균 18.3 시간) 보다 훨씬 빠름 (GPT-5.4: 0.97 시간, Opus 4.6: 0.71 시간). 그러나 속도가 빠르다고 해서 품질이 보장되지는 않음.

B. 주요 실패 패턴 (Failure Modes)

1. 상태 추적 및 일관성 부족: 모델 내 정보 흐름을 일관되게 유지하지 못함. 관련 없는 수치를 결합하거나 시기를 잘못 매칭하는 등 참조 오류가 빈번함.
2. 실행 가능한 로직 부재: 공식을 사용하여 동적 모델을 만드는 대신, **정적 값 (Static Values)**을 입력하거나 우회적인 해결책 (예: 숨겨진 행을 이용해 데이터 테이블을 모방) 을 사용하여 검증 불가능한 모델을 생성.
3. 지시 준수 및 도메인 정렬 미흡: 필수 체크 항목 누락, 업계 표준 형식 (색상 코딩, 구조 등) 미준수 등 실무 표준에 부합하지 않음.
4. 검증 및 근거 부족: 지지되지 않거나 조작된 수치를 포함하거나, 자기 검증 (Self-verification) 메커니즘을 우회하여 불합리한 값으로 균형을 맞추는 등 오류를 스스로 발견하지 못함.

C. LLM Judge 의 유효성

• Rubric(평가 기준서) 을 제공받지 않은 LLM 심사자는 인간 심사자와의 상관관계가 낮았음 ($r=0.20$).
• Rubric 을 제공받은 경우 상관관계가 0.62로 크게 향상되어, 체계적인 평가 기준이 LLM 심사자의 신뢰성을 높이는 데 필수적임을 입증.

4. 주요 기여 (Key Contributions)

1. FrontierFinance 벤치마크: 실제 금융 업무 워크플로우를 반영한, 평균 18 시간 이상의 장기 작업을 수행하는 최초의 종합적 벤치마크 제공.
2. Rubric 기반 평가 프레임워크: 복잡한 구조화된 출력물을 평가하기 위해 금융 전문가가 설계한 상세한 평가 기준과 자동화된 LLM 심사자 시스템을 결합한 방법론 제시.
3. 실증적 통찰: 현재 최첨단 LLM 이 데이터 추출과 고수준 추론에서는 우수하지만, 장기적 일관성 유지와 검증 가능한 정밀한 모델 구축에서는 인간 전문가에 비해 현저히 뒤처진다는 사실을 규명.
4. 컴퓨터 사용 에이전트 분석: 다양한 LLM 에이전트의 컴퓨터 사용 전략 (정보 검색 vs 시각적 확인 등) 과 토큰 소비 패턴에 대한 심층 분석 제공.

5. 의의 및 시사점 (Significance)

• 실무 적용의 한계 명확화: LLM 의 속도가 혁신적이지만, 현재 기술 수준에서는 금융과 같은 고위험 (High-stakes) 분야에서 인간 전문가를 완전히 대체할 수 없으며, 인간의 감독과 검증이 필수적임을 강조.
• 향후 연구 방향: 단순한 정확도 향상을 넘어, 장기 작업에서의 상태 유지 (State Tracking), 논리적 일관성, 그리고 **검증 가능성 (Auditability)**을 개선하는 것이 에이전트 개발의 핵심 과제임을 시사.
• 윤리적 고려: 본 연구는 AI 가 금융 전문가를 대체할 수 있다는 증거가 아니라, 현재 기술의 한계를 객관적으로 평가하여 AI 의 실제 영향력을 논의하는 데 기여함을 명시.

이 논문은 AI 에이전트의 능력을 평가하는 패러다임을 '단순 작업'에서 '복잡한 전문적 워크플로우'로 전환시키는 중요한 이정표로 평가됩니다.