FinSheet-Bench: From Simple Lookups to Complex Reasoning, Where LLMs Break on Financial Spreadsheets

이 논문은 실제 사모펀드 구조를 모방한 합성 데이터셋 'FinSheet-Bench'를 통해 대규모 언어 모델 (LLM) 이 복잡한 금융 스프레드시트의 구조적 난이도가 증가함에 따라 오류율이 급격히 상승하여 전문 금융 업무에 단독으로 적용하기 어렵다는 점을 규명하고, 신뢰할 수 있는 추출을 위해서는 문서 이해와 결정론적 계산을 분리하는 새로운 아키텍처가 필요함을 주장합니다.

핵심

📊 "FinSheet-Bench": AI 가 엑셀 표를 볼 때 왜 망가질까? (쉬운 설명)

이 논문은 **"인공지능 (LLM) 이 복잡한 금융 엑셀 파일을 읽을 때 얼마나 잘하는지, 그리고 왜 아직 전문가가 될 수 없는지"**를 실험한 결과입니다. 마치 "AI 가 회계사 시험을 봤는데, 쉬운 문제는 다 맞췄지만 계산이 들어간 문제는 엉망으로 풀었다"는 이야기와 비슷합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 배경: 왜 이 실험을 했을까요?

금융 투자 회사 (사모펀드 등) 는 매일 수많은 엑셀 파일을 분석합니다. 하지만 이 파일들은 매우 복잡하고 제각각입니다.

• 현실: 파일마다 표의 모양이 다르고, 합쳐진 셀이 있고, 머리글이 여러 줄이고, 숫자가 뒤죽박죽 섞여 있습니다.
• 문제: AI 는 글은 잘 읽지만, 이런 '지저분한 표'에서 숫자를 찾아내고 계산하는 데는 아직 서툴러요. 게다가 실제 금융 데이터는 비밀이라 공개할 수 없어서, AI 를 테스트할 만한 '공식 문제집'이 없었습니다.

그래서 연구팀은 실제 금융 회사의 파일 모양을 그대로 베껴서, 내용은 가짜로 만든 'FinSheet-Bench'라는 문제집을 만들었습니다.

2. 실험 내용: AI 들은 어떻게 시험을 봤나요?

연구팀은 OpenAI(GPT), Google(Gemini), Anthropic(Claude) 의 최신 AI 10 개 모델을 불러와서 이 문제집을 풀게 했습니다.

• 문제 유형:
  • 쉬운 문제: "여기 펀드가 몇 개야?", "A 회사 이름 뭐야?" (단순 찾기)
  • 어려운 문제: "모든 펀드의 평균 수익률을 계산해줘", "수익률이 높은 순서대로 회사 이름을 나열해줘" (계산과 정렬)
• 방법: AI 에게 엑셀 파일을 텍스트로 변환해서 보여주고, 질문에 답하게 했습니다.

3. 결과: AI 는 얼마나 잘했을까요?

결과는 **"글은 잘 읽지만, 계산은 못 한다"**는 것이었습니다.

• 최고 성적: 가장 잘한 AI(Gemini 3.1 Pro) 는 **82.4%**를 맞췄습니다.
  • 비유: 시험을 6 개 치면 1 개는 틀린 셈입니다.
  • 현실: 금융 세계에서는 1 개의 실수가 수백만 원, 수천만 원의 손실로 이어질 수 있습니다. 그래서 "혼자서 (사람 없이) 일하게 하기엔 아직 위험하다"는 결론입니다.
• 난이도 차이:
  • 쉬운 문제 (단순 찾기): 90% 이상 정답률. AI 가 "찾기"는 잘합니다.
  • 어려운 문제 (복잡한 계산/정렬): 30~40% 수준으로 뚝 떨어집니다. AI 가 "계산기" 역할을 하려니 엉망이 됩니다.
  • 파일 크기가 커지면: 파일이 크고 복잡해질수록 AI 는 더 혼란스러워져서 정답률이 50% 이하로 떨어지기도 했습니다.

4. 왜 AI 는 실패할까요? (핵심 원인)

논문은 AI 가 실패하는 이유를 세 가지로 설명합니다.

1. 2 차원 구조의 붕괴: 엑셀은 '가로 (열)'와 '세로 (행)'가 교차하는 2 차원 공간입니다. 하지만 AI 는 이를 일렬로 늘어선 텍스트로만 봅니다.
   • 비유: 레고 성을 해체해서 벽돌만 나열한 뒤, "이 벽돌이 원래 성의 어느 부분이었는지" 맞추라고 하는 것과 같습니다. AI 는 벽돌 (숫자) 은 보지만, 그 벽돌이 어디에 있어야 하는지 (구조) 를 잊어버립니다.
2. 숫자 계산의 약점: AI 는 언어를 잘 다루지만, 수학 계산기는 아닙니다. 소수점 몇 자리까지 정확히 계산하거나, 복잡한 비율을 구하는 것은 인간의 계산기나 엑셀 함수만큼 정확하지 않습니다.
3. 시각적 단서 상실: 엑셀에서는 굵은 글씨, 색칠, 테두리가 "이건 합계입니다", "이건 주의사항입니다"라고 알려줍니다. 하지만 텍스트로 변환되면 이 모든 시각적 힌트가 사라져 AI 는 헷갈립니다.

5. 결론 및 미래: 어떻게 해결할까요?

현재로서는 AI 하나만 믿고 금융 업무를 맡기기엔 너무 위험합니다. 하지만 AI 가 완전히 쓸모없는 것은 아닙니다.

• 해결책 제안: "AI 가 직접 계산하지 말고, AI 는 숫자를 찾아내고, 컴퓨터 (코드) 가 계산하게 하라"는 것입니다.
  • 비유: AI 를 '데이터를 찾아주는 비서'로 쓰고, '계산은 전산팀 (프로그램) 에게 맡기는 것입니다.
  • AI 가 "A 회사의 매출은 1 억 원, B 회사는 2 억 원"이라고 찾아낸 뒤, "그럼 합계는?"이라는 계산은 사람이 만든 프로그램이 정확하게 수행하게 하면 실수가 사라집니다.

📝 한 줄 요약

"AI 는 엑셀 파일에서 정보를 '찾아내는' 데는 천재지만, 그 정보를 가지고 '계산하고 정리하는' 데는 아직 초보입니다. 그래서 금융 업무에서는 AI 를 보조 도구로 쓰되, 최종 계산과 검토는 사람이 해야 합니다."

이 연구는 AI 가 금융 분야에서 얼마나 발전했는지 보여주면서도, 아직 갈 길이 멀다는 것을 정직하게 알려주는 중요한 보고서입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 법률 계약 분석, 약관 추출 등 텍스트 중심의 금융 업무 (실사, Due Diligence) 에서 인간 수준의 성능을 보이며 활용도가 높아지고 있습니다.
• 문제: 그러나 구조화된 표 형식의 금융 데이터 (복잡한 엑셀 스프레드시트) 에서 정확한 정보 추출 및 수치 추론을 수행하는 능력은 여전히 부족합니다.
  • 데이터 격차: 사모투자 (Private Equity) 등 실제 금융 데이터는 기밀성이 강해 공개된 벤치마크 데이터셋이 존재하지 않습니다. 기존 벤치마크 (WikiTableQuestions, FinQA 등) 는 단순화된 표를 사용하거나 상장사 공시 자료에 국한되어 있어, 실제 사모펀드 포트폴리오 관리 시트의 복잡성 (병합 셀, 다중 헤더, 비표준 레이아웃 등) 을 반영하지 못합니다.
  • 오류 허용도: 금융 분야에서는 작은 수치 오류도 막대한 투자 손실로 이어질 수 있어, 자동화 시스템에 대해 매우 높은 정확도 (약 97% 이상) 를 요구합니다.

2. 방법론 (Methodology)

2.1 FinSheet-Bench 데이터셋 구축

• 구성: 실제 사모펀드 포트폴리오 모니터링 시트의 구조적 템플릿을 기반으로 한 합성 데이터 (Synthetic Data) 를 생성했습니다.
  • 구조: 실제 8 개의 소스 스프레드시트의 레이아웃 (시트 구성, 헤더, 펀드 구분선 등) 을 유지하되, 셀 값은 완전히 재생성하여 기밀 정보를 보호했습니다.
  • 변형: 8 개의 기본 파일 (Version A) 을 기반으로 행을 제거하거나 열을 병합/분할하는 등 구조적 변형을 가해 24 개의 평가 파일 (Version B, C 포함) 을 만들었습니다.
  • 데이터 양: 최대 152 개 기업, 8 개 펀드를 포함하는 복잡한 시트까지 포함합니다.
• 질문 유형: 16 가지 템플릿을 기반으로 7 가지 카테고리 (단순 조회, 카운팅, 필터링, 집계, 정렬, 복잡 집계 등) 와 4 가지 복잡도 수준 (Low ~ Very High) 으로 질문을 설계했습니다.

2.2 실험 설정

• 평가 모델: OpenAI(GPT-3.5GPT-5.2), Google(Gemini 2.03.1 Pro), Anthropic(Claude Opus 4.6) 의 총 10 가지 모델 구성을 평가했습니다.
• 입력 형식: 모든 엑셀 파일을 텍스트 (CSV 형식) 로 직렬화하여 LLM 에 입력했습니다. 이는 현재 산업 표준인 RAG 파이프라인의 실제 사용 환경을 반영하기 위함입니다. (병합 셀, 색상, 폰트 등 시각적 정보는 손실됨)
• 평가 프로토콜:
  1. 3 단계 검증 시스템:
     • Tier 1: 정밀 규칙 기반 매칭 (정확한 수치/문자열).
     • Tier 2: 퍼지 매칭 (유사도 기반).
     • Tier 3: LLM 심판 (GPT-4o-mini 등) 을 통한 자유 텍스트 해석 및 최종 판정.
  2. 지표: 정확도 (Accuracy), 응답 시간, 토큰 사용량.

3. 주요 결과 (Key Results)

3.1 전체 성능

• 최고 성능: Gemini 3.1 Pro가 **82.4%**의 정확도를 기록하여 1 위를 차지했습니다. 이어 GPT-5.2(추론 모드, 80.4%), Claude Opus 4.6(생각 모드, 80.2%) 순이었습니다.
• 현실적 한계: 단일 LLM 모델만으로는 금융 업무의 무인화 (Unsupervised use) 에 필요한 오류율 (약 3% 미만) 을 달성하지 못했습니다. 최상위 모델도 약 6 개의 질문 중 1 개는 틀리는 수준 (82.4% 정확도) 입니다.

3.2 복잡도에 따른 성능 저하

• 단순 조회 vs 복잡 추론: 단순한 값 조회 (Simple Lookup) 는 89.1% 의 높은 정확도를 보였으나, 복잡한 집계 (Complex Aggregation) 나 정렬 (Sorting) 작업에서는 정확도가 급격히 떨어졌습니다.
  • 최상위 3 개 모델 기준: 단순 조회 93.6% → 복잡 집계 33.3%.
  • 가장 큰 파일 (synthetic4_A, 152 개 기업) 에서는 모든 모델의 평균 정확도가 **48.6%**까지 하락했습니다.
• 추론 (Reasoning) 의 효과: 추론 기능을 활성화한 모델 (GPT-5.2, Claude Opus 4.6) 이 비활성화 모델보다 정확도가 크게 향상되었으나 (+13~22%p), 여전히 복잡한 계산에서는 한계를 보였습니다.

3.3 비용 및 토큰 분석

• 추론 모드를 사용하면 정확도는 향상되지만, 출력 토큰 사용량이 5~11 배 증가하고 응답 시간이 길어집니다. 이는 대규모 스프레드시트 처리 시 비용과 처리량 (Throughput) 측면에서 비효율적일 수 있음을 시사합니다.

4. 주요 기여 및 시사점 (Contributions & Significance)

4.1 FinSheet-Bench 벤치마크 공개

• 실제 금융 데이터의 복잡성을 반영한 최초의 공개 벤치마크를 제공하여, 연구자들이 금융 스프레드시트 이해 능력을 체계적으로 평가할 수 있는 표준을 마련했습니다.

4.2 LLM 의 구조적 한계 규명

• 토큰화 문제: 2 차원 스프레드시트 구조를 1 차원 텍스트로 변환하는 과정에서 행/열 관계와 시각적 단서가 손실되어 모델이 문맥을 잃는다는 점을 지적했습니다.
• 추론 vs 계산: LLM 은 내용 검색 (Content Retrieval) 에는 탁월하지만, 다단계 수치 계산 및 논리적 추론에는 근본적인 약점이 있음을 증명했습니다.

4.3 향후 아키텍처 방향성 제시

• 분리된 아키텍처 제안: 문서 이해 (Document Understanding) 와 결정론적 계산 (Deterministic Computation) 을 분리하는 아키텍처가 필요함을 강조했습니다.
  • 제안된 접근법: LLM 은 단순한 값 추출 (Lookup) 만 수행하고, 모든 수치 계산 (합계, 평균, 비율 등) 은 외부의 결정론적 코드 (Python 등) 가 수행하는 단계적 파이프라인 (Staged Pipeline) 방식이 현실적인 해결책으로 제시되었습니다.
  • 현실적 조언: 현재 기술 수준에서는 금융 실사 과정에서 자동화 시스템이 인간 검토를 완전히 대체할 수 없으며, 인간-기계 협업 (Human-in-the-loop) 이 필수적입니다.

5. 결론

이 논문은 최신 LLM 이 금융 스프레드시트 분석에서 획기적인 진전을 이루었음 (GPT-3.5 대비 3 배 이상 정확도 향상) 을 인정하면서도, 복잡한 구조와 수치 추론이 필요한 실제 업무 환경에서는 여전히 신뢰할 수 없는 수준임을 명확히 보여줍니다. 향후 연구는 모델 자체의 성능 향상보다는 추출 (Extraction) 과 계산 (Calculation) 을 분리하는 아키텍처적 접근과 멀티모달 (이미지 기반) 입력 등을 통해 해결해야 할 과제로 제시하고 있습니다.