기술 요약: FinDeepIndicator

문제 정의

금융 지표는 가공되지 않은 금융 데이터와 의사결정 과정 사이를 잇는 중요한 가교 역할을 하며, 이질적인 신호(예: 재무제표, 자산 가격)를 해석 가능한 정량적 척도로 변환합니다. 그러나 기존의 금융 벤치마크는 AI 에이전트가 이러한 지표를 엔드 투 엔드(end-to-end)로 구축하는 능력을 적절히 평가하지 못하고 있습니다. 현재의 한계점은 다음과 같습니다:

1. 구체성 결여: 금융 지표 구축만을 전담하여 평가하는 벤치마크가 없으며, 기존의 금융 QA 작업들은 지표를 부수적으로만 다룹니다.
2. 데이터 가용성 가정: 대부분의 벤치마크는 관련 문서나 수치 입력을 컨텍스트 내에 제공하며, 실제 시나리오에서 필수적인 데이터 수집 단계를 간과합니다.
3. 정답 중심의 평가: 기존 평가는 최종 답변의 정확도에만 집중하며, 오류가 빈번하게 발생하는 중간 과정(공식 명시, 데이터 검색, 계산)을 무시함으로써 특정 모델의 한계를 은폐합니다.

방법론

벤치마크 구축 (FinDeepIndicator)

저자들은 딥 리서치(Deep Research, DR) 에이전트의 엔드 투 엔드 금융 지표 구축 능력을 평가하기 위해 설계된 최초의 벤치마크인 FinDeepIndicator를 제안합니다. 구축 파이프라인은 세 단계로 구성됩니다:

1. 지표 수집: 234개의 고유한 금융 지표로 구성된 포괄적인 분류 체계를 3가지 주요 범주(기본적, 기술적, 거시경제적)와 21개의 세부 범주로 정리하였습니다. 각 지표에 대해 저자들은 명칭, 수학적 공식, 필요한 원천 데이터 및 실행 가능한 계산 프로그램을 문서화했습니다.
2. 템플릿 설계: 분석 요청(예: 값 계산, 연도 간 비교, 극값 식별)을 포괄하기 위해 170개의 언어적으로 다양한 템플릿을 생성했습니다. 이 템플릿들은 세 가지 난이도로 분류됩니다:
   • Easy (쉬움): 원천 데이터로부터 직접 계산.
   • Medium (중간): 1-홉(one-hop) 분석 (예: 계산 후 최댓값/최솟값 선택).
   • Hard (어려움): 복잡한 비교, 집계, 필터링 또는 시계열 추론을 포함하는 멀티-홉(multi-hop) 분석.
3. QA 생성: 미국 및 중국 시장의 800개 상장 기업을 아우르는 풀(pool)에서 샘플링한 변수(기업, 날짜, 조건)를 사용하여 템플릿을 구체화함으로써, 저자들은 3,350개의 큐레이션된 질문-답변(QA) 쌍을 생성했습니다.

평가 프로토콜

본 벤치마크는 에이전트의 워크플로우를 네 가지 별도의 단계로 분해하여 미세한 오류 국소화를 가능하게 하는 프로세스 레벨 평가 프레임워크를 도입합니다:

1. 공식 명시 (Formula Specification): 에이전트가 단순 문자열 매칭이 아닌 의미적 동등성(LLM-as-a-Judge 활용)을 사용하여 금융 개념과 수학적 정의를 올바르게 식별하는지 평가합니다.
2. 데이터 수집 (Data Collection): 생성된 CSV 테이블을 오차 허용 매칭(예: 반올림 고려)을 통해 참조 데이터와 비교하여 검색된 원천 데이터의 정확도를 평가합니다.
3. 지표 계산 (Indicator Calculation): 수집된 데이터로부터 도출된 중간 수치 계산의 정확성을 평가합니다.
4. 답변 생성 (Answer Generation): 최종 수치 결과를 정답(ground truth)과 대조하여 검증합니다.

평가는 자동화된 파싱 파이프라인(자유 형식의 응답을 구조화하기 위해 LLM 사용)을 사용하며, 이는 인간 전문가에 의해 검증되어 높은 상호 검토자 일치도(Gwet's AC1 > 0.6)와 전문가 수용률(>0.9)을 달s합니다.

실험 설정

본 연구는 검색 기능이 탑려된 최첨단 대규모 언어 모델(LLM) 및 딥 리서치(DR) 에이전트를 평가합니다. DR 에이전트는 ReAct 패러다임을 기반으로 하며, 반복적으로 추론하고, 검색/Python 도구를 호출하며, 결과를 관찰합니다. 테스트된 모델에는 Qwen3.6-Max, Claude-Sonnet-4.6, Gemini-3-Flash, DeepSeek-V4-Flash, Grok-4.3 및 GPT-5 변형 모델들이 포함됩니다.

주요 결과

전반적인 성능

• 낮은 엔드 투 엔드 정확도: 대부분의 모델이 공식 명시 단계에서 70% 이상의 정확도를 보였음에도 불구하고, 가장 성능이 좋은 시스템조차 **최종 답변 정확도는 약 40%**에 그쳤습니다.
• 실행 격차 (The Execution Gap): 금융 개념을 이해하는 것과 구축 워크플로우를 실행하는 것 사이에는 상당한 괴리가 존재합니다. 성능은 공식 단계 이후, 특히 데이터 검색과 수치 실행 단계에서 급격히 하락합니다.
• 에이전트의 우위: DR 에이전트는 검색 기능이 있는 LLM보다 일관되게 높은 성능을 보였으며, 특히 데이터 수집과 계산에서 두드러졌으나, 개선의 폭은 모델마다 차이가 있었습니다.

시장 및 과업 분석

• 시장 간 편차: 성능은 시장별로 차이를 보입니다. 상위 3개 에이전트 중 2개가 중국 시장보다 미국 시장에서 더 높은 정확도를 달성하였으며(각각 9.6% 및 3.1%), 이는 데이터 접근성 및 보고 관행의 차이를 시사합니다.
• 난이도 민감도: 과업 난이도가 Easy에서 Hard로 높아짐에 따라 최종 답변 정확도가 급격히 감소합니다 (예: 한 모델의 경우 ~52%에서 <30%로 감소). 이러한 하락은 공식 명시는 비교적 안정적인 반면, 데이터 수집 및 계산의 복잡성이 증가함에 따라 발생합니다.
• 지표 범주: 거시경제 지표가 가장 까다로우며, 대부분의 모델에서 최종 답변 정확도가 30% 미만으로 나타났습니다. 기술적 지표는 변동성이 컸는데, 추세/모멘텀 과업에서는 선전했으나 위험 조정 지표에서는 부진한 모습을 보였습니다.

절제 실험 및 오류 분석

• 병목 구간으로서의 데이터 수집: 원천 데이터와 공식이 직접 제공될 경우(수집 단계 제거), 기본적 및 거시경제 지표의 정확도는 80% 이상(종종 100%에 근접)으로 급증했습니다. 이는 데이터 수집(데이터의 위치 파악, 추출, 정렬 및 정규화)이 공식 이해나 산술 능력이 아닌, 핵심적인 병목 지점임을 확인시켜 줍니다.
• 오류 분포: 300개의 실패 사례 분석 결과, **데이터 오류가 실패 원인의 87.7%**를 차지했습니다(잘못된 검색, 누락된 필드, 잘못된 시간 범위). 공식 오류는 8.6%, 계산 오류는 2.7%, 논리 오류는 1.0%를 차지했습니다.

의의 및 주장

본 논문은 FinDeepIndicator가 엔드 투 엔드 금융 지표 구축을 위한 최초의 체계적인 프로세스 레벨 평가 프레임 framework를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 한계 노출: 현재의 DR 에이전트들이 의미적 이해 능력은 갖추었으나, 원천 데이터 검색 및 정밀한 처리 문제로 인해 실제 금융 분석 환경에서는 여전히 신뢰하기 어렵다는 점을 드러냈습니다.
2. 세밀한 진단: 과업을 분해함으로써, 본 벤치마크는 특정 실패 모드(예: 데이터 수집 vs 계산)를 식별하여 더욱 신뢰할 수 있는 금융 에이전트 개발을 위한 로드맵을 제시합니다.
3. 미래 연구의 토대: 3,350개의 QA 쌍과 구조화된 지표 분류 체계로 구성된 이 벤치마크는, 단순한 정답 수준의 정확도를 넘어 전체 연구 파이프라인의 무결성을 평가할 수 있는 금융 추론 발전을 위한 구조적 토대로 기능합니다.

저자들은 금융 지식 표현 분야에서 진전이 있었으나, 신뢰할 수 있는 자동화된 금융 분석을 달성하기 위해서는 반드시 "데이터 수집 병목 현상"을 해결해야 한다고 결론지었습니다.