EDINET-Bench: Evaluating LLMs on Complex Financial Tasks using Japanese Financial Statements

본 논문은 일본 기업의 10 년간 공시 자료를 기반으로 회계 부정 탐지 및 수익 예측 등 복잡한 금융 과제를 수행하는 LLM 의 능력을 평가하기 위해 'EDINET-Bench'를 제안하고, 최첨단 모델조차 전문가 수준의 추론이 필요한 이러한 과제에서는 인간 전문가나 단순 통계 모델과 큰 차이가 없는 성능을 보임을 밝혀내어, 실제 금융 업무 환경을 반영한 더 정교한 평가 프레임워크의 필요성을 강조합니다.

핵심

📄 EDINET-BENCH: AI 가 일본 기업의 '진짜 실력'을 꿰뚫어 볼 수 있을까?

이 논문은 **"인공지능 (LLM) 이 정말로 복잡한 금융 업무를 할 수 있을까?"**라는 질문에 답하기 위해 만들어진 새로운 시험지, EDINET-BENCH에 대한 이야기입니다.

기존의 AI 는 수학 문제를 풀거나 코딩을 하는 데는 인간을 뛰어넘는 실력을 보였습니다. 하지만 금융 분야는 다릅니다. 숫자만 보는 게 아니라, 수백 페이지에 달하는 보고서 전체를 읽고, 표와 글자를 연결하며, 전문가의 직관과 논리가 필요한 '진짜' 업무를 해야 하거든요.

이 논문은 그 진짜 업무를 시뮬레이션한 새로운 시험지를 소개합니다.

---

🏗️ 1. 시험지 만들기: "일본의 거대한 도서관"

이 시험지는 일본의 EDINET(전자공시시스템) 에서 가져온 10 년 치의 기업 보고서로 만들었습니다.

• 상상해 보세요: 일본에 있는 4,000 개 이상의 상장 기업이 매년 내는 두꺼운 보고서 4 만 권이 쌓여 있는 거대한 도서관이 있습니다. 연구팀은 이 도서관에서 책을 골라내어 3 가지 미션을 만들었습니다.
  1. 사기 탐지 (Fraud Detection): "이 회사의 보고서에 숨겨진 거짓말 (회계 부정) 이 있을까?"
  2. 수익 예측 (Earnings Forecasting): "내년 이 회사의 수익은 오를까, 내릴까?"
  3. 업종 분류 (Industry Prediction): "이 회사의 재무제표만 보고, 이 회사가 어떤 업종 (자동차, 은행, 식품 등) 일지 맞춰라."

이건 단순히 "A 는 얼마, B 는 얼마"를 묻는 게 아니라, **수천 페이지의 문서 속에서 서로 다른 표와 글자를 연결해서 결론을 내려야 하는 '수퍼맨 같은 작업'**입니다.

---

🤖 2. 시험 결과: AI 는 여전히 '초보생'입니다

연구팀은 최신 AI 모델들 (GPT-4o, Claude 3.7, DeepSeek 등) 을 이 시험지에 풀어보게 했습니다. 결과는 어땠을까요?

결론: AI 는 여전히 '인간 전문가'와 비교하면 초보 수준입니다.

• 비유: 마치 초등학교 6 학생이 의대생처럼 복잡한 수술을 하려고 시도하는 상황과 비슷합니다.
• 사기 탐지 & 수익 예측: 최신 AI 들이 이 문제를 풀 때의 성적이, **로지스틱 회귀 (Logistic Regression)**라는 아주 오래되고 간단한 통계 기법보다 조금 더 나을 뿐이었습니다.
  • 즉, AI 가 보고서 전체를 읽었다고 해서 "아, 이 회사는 사기야!"라고 확실히 알아내는 건 여전히 어렵다는 뜻입니다.
• 업종 분류: 이건 상대적으로 쉬웠습니다. "돈이 많이 들어가는 은행"과 "물건을 파는 유통업"의 재무제표는 생김새가 확실히 다르기 때문에 AI 가 어느 정도 맞추긴 했습니다.

왜 그럴까요?
AI 는 보고서에 있는 숫자는 잘 읽지만, 그 숫자 뒤에 숨겨진 논리적 모순이나 인간의 의도를 파악하는 데는 아직 부족합니다. 예를 들어, "영업이익은 줄었는데 순이익은 왜 갑자기 늘었지?"라는 의문을 품고, 그 이유를 보고서의 작은 글자에서 찾아내야 하는데, AI 는 그 연결고리를 놓치는 경우가 많습니다.

---

💡 3. 중요한 교훈: "책만 줘서는 안 됩니다!"

이 연구의 가장 큰 메시지는 이것입니다.

"AI 에게 단순히 보고서 파일만 던져주면, AI 는 그걸 제대로 못 씁니다."

• 비유: 요리사에게 최고의 식재료를 주고 "이걸로 맛있는 요리를 해"라고만 하면, 요리사는 당황합니다. 그는 레시피 (지식), 칼질 기술 (추론 능력), 그리고 어떤 재료가 어울리는지 아는 경험 (전문성) 이 필요합니다.
• 현재 AI 는 '식재료' (보고서) 는 받았지만, '요리법' (전문적인 추론) 을 아직 완전히 익히지 못했습니다.

따라서, 앞으로는 AI 를 평가할 때 단순히 "보고서를 주고 정답을 맞혀라"가 아니라, 실제 금융 전문가가 일하는 환경을 더 잘 모방한 평가 방식이 필요합니다.

• 예를 들어, AI 가 스스로 정보를 찾아보게 하거나 (웹 검색), 전문가의 조언을 받으며 단계별로 생각하게 하는 **스캐폴딩 (Scaffolding, 비계)**이 필요합니다.

---

🚀 4. 이 연구가 왜 중요할까요?

1. 첫 번째 공개 데이터: 회계 부정 탐지를 위한 공개 데이터셋은 이번이 처음입니다. 앞으로 더 많은 연구자가 이 문제를 해결하려고 노력할 수 있는 발판이 되었습니다.
2. 현실적인 한계 인정: AI 가 모든 걸 다 할 수 있다는 환상을 깨고, 금융 분야에서는 아직 전문가의 감독이 필수적임을 보여줍니다.
3. 미래의 길: 이 시험지를 통해 AI 가 어떻게 발전해야 '진짜' 금융 전문가의 도우미가 될 수 있는지 방향을 제시했습니다.

📝 한 줄 요약

"AI 가 일본 기업의 두꺼운 보고서를 읽게 했더니, 아직은 간단한 통계 프로그램보다 조금 더 나을 뿐, 진짜 '금융 전문가'의 눈은 아니었습니다. 앞으로는 AI 에게 단순히 책만 주는 게 아니라, 전문가처럼 생각할 수 있도록 도와주는 '비계'가 필요합니다."

기술 요약

논문 요약: EDINET-BENCH

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 수학 및 코딩 분야에서 인간을 능가하는 성과를 보이며 급속히 발전해 왔으나, **금융 분야 (Financial Domain)**에서는 상대적으로 진전이 더딥니다. 기존 금융 벤치마크는 단순한 지식 기반 질문 답변 (QA) 이나 표 데이터 추출에 초점을 맞추고 있어, 실제 금융 전문가가 수행하는 복잡한 추론 (Expert-level reasoning) 을 평가하기에는 부족합니다.
특히 회계 부정 탐지, 수익성 예측, 산업 분류와 같은 고난도 작업은 여러 표 (재무제표) 와 텍스트 (보고서 본문) 간의 정보를 통합하고, 도메인 특화 지식을 적용해야 하므로, 단순한 데이터 제공만으로는 LLM 이 인간 전문가 수준의 성능을 내기 어렵습니다. 또한 일본어 금융 데이터에 대한 공개 벤치마크가 부재한 상태였습니다.

2. 방법론 (Methodology)

저자들은 일본의 금융감독청 (FSA) 이 운영하는 EDINET (Electronic Disclosure for Investors' NETwork) 플랫폼의 데이터를 활용하여 새로운 오픈 소스 벤치마크인 EDINET-Bench를 구축했습니다.

• 데이터 수집 및 전처리 (EDINET2DATASET):
  • 2014 년부터 2025 년까지의 일본 상장기업 유가증권보고서 (연간 약 4 만 건) 를 수집하여 EDINET-Corpus 를 구축했습니다.
  • edinet2dataset 툴을 개발하여 PDF 및 TSV 형식의 보고서에서 메타데이터, 요약, 대차대조표 (BS), 손익계산서 (PL), 현금흐름표 (CF), 그리고 텍스트 블록을 추출 및 파싱했습니다.
• 태스크 구성:
  1. 회계 부정 탐지 (Accounting Fraud Detection): 10 년간의 수정 유가증권보고서 (Amended Reports) 중 '부정'과 관련된 수정 사유를 가진 668 건과 무작위 추출된 정상 보고서 700 건을 기반으로 이진 분류 데이터를 구성했습니다. 부정 사례는 수정 사유 텍스트를 분석하여 Claude 3.7 Sonnet 으로 라벨링하고 전문가가 검수했습니다.
  2. 수익성 예측 (Earnings Forecasting): 전년 대비 당해 연도 순이익이 증가했는지 감소했는지를 예측하는 이진 분류 태스크입니다. 1,000 개 기업의 연속된 연간 보고서 쌍을 사용하여 라벨을 생성했습니다.
  3. 산업 예측 (Industry Prediction): 기업의 재무제표와 보고서 내용을 바탕으로 기업의 산업 분류 (TOPIX-33 을 16 개 대분류로 통합) 를 예측하는 다중 클래스 분류 태스크입니다.
• 평가 설정:
  • Zero-shot 평가: 최신 폐쇄형 (GPT-4o, GPT-5, Claude 3.5/3.7 등) 및 오픈소스 (DeepSeek, Kimi, Llama 3.3 등) LLM 들을 평가했습니다.
  • 입력 형식: 요약 (Summary) 만 제공, 재무제표 (BS+CF+PL) 추가, 그리고 보고서 전체 텍스트 (Text) 포함 등 3 가지 시나리오로 정보의 양에 따른 성능 변화를 측정했습니다.
  • 기저 모델 (Baselines): 로지스틱 회귀, 랜덤 포레스트, XGBoost 등 전통적인 기계학습 모델과 비교했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 일본어 회계 부정 탐지 오픈 데이터셋: 실제 수정 보고서를 기반으로 대규모로 구축된 회계 부정 탐지 데이터셋과 벤치마크를 공개했습니다.
2. 고난도 금융 추론 벤치마크: 단순한 정보 추출을 넘어, 여러 표와 텍스트를 종합하여 전문가 수준의 추론이 필요한 3 가지 핵심 금융 태스크를 제시했습니다.
3. 구현 툴킷 공개: EDINET 에서 데이터를 다운로드하고 파싱하여 벤치마크를 구축할 수 있는 edinet2dataset 툴과 평가 코드를 오픈 소스로 공개하여 재현성을 보장했습니다.

4. 실험 결과 (Results)

• LLM 의 한계: SOTA(최신) LLM 들조차 회계 부정 탐지와 수익성 예측 태스크에서 전통적인 기계학습 모델 (로지스틱 회귀 등) 보다 크게 우월한 성과를 보이지 못했습니다.
  • 특히 회계 부정 탐지에서 Random Forest 가 가장 높은 성능을 보였으며, Claude 3.5 Sonnet 같은 최상위 모델조차 ROC-AUC 기준 로지스틱 회귀를 겨우 약간 능가하는 수준이었습니다.
  • 수익성 예측에서는 GPT-5 가 ROC-AUC 0.65 정도의 낮은 성능을 보였으며, 텍스트 정보를 추가하더라도 성능 향상이 미미했습니다.
• 정보의 중요성:
  • 부정 탐지: 텍스트 정보 (보고서 본문) 를 포함할 때 LLM 의 성능이 크게 향상되었습니다. 이는 서술적 공시 (Narrative disclosures) 가 부정 탐지에 중요한 신호가 됨을 시사합니다.
  • 산업 예측: 재무제표 (BS, CF, PL 등) 만으로도 어느 정도 예측이 가능했으나, 텍스트 정보가 포함되면 산업별 자산 구성의 차이 (현금, 대출, 증권 비율 등) 를 반영하여 성능이 더욱 향상되었습니다.
• 데이터 오염 (Contamination) 검증: 테스트 세트 오염 가능성을 확인하기 위해 기업명 예측 태스크와 연도별 성능 추이를 분석한 결과, 오염으로 인한 성능 왜곡은 미미한 것으로 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 평가의 필요성: 단순히 연간 보고서를 LLM 에게 제공하는 것만으로는 복잡한 금융 문제를 해결할 수 없음을 증명했습니다. 이는 금융 전문가가 실제 업무에서 수행하는 것처럼, 현실적인 시뮬레이션과 **작업별 추론 지원 (Scaffolding)**을 갖춘 벤치마크 프레임워크가 필요함을 강조합니다.
• 향후 연구 방향:
  • 멀티링구얼 확장: 미국 EDGAR 등 다른 국가의 데이터를 포함하여 글로벌 금융 시장 평가로 확장.
  • 에이전트 (Agentic) 프레임워크: 웹 검색, 로컬 파일 접근, 코드 실행 등을 통해 외부 정보를 통합하고 복잡한 금융 분석을 수행하는 에이전트 기반 벤치마크 설계.
  • 규범적 평가 (Rubric-based Evaluation): 단순 이진 분류를 넘어, 모델의 추론 과정과 답변의 질을 다각도로 평가하는 방식 도입.

이 논문은 LLM 이 금융 분야의 실제 고난도 작업을 수행하기 위해서는 단순한 데이터 학습을 넘어, 전문적인 추론 능력을 갖춘 새로운 평가 체계와 접근법이 필요함을 명확히 보여줍니다.