When Tables Go Crazy: Evaluating Multimodal Models on French Financial Documents
이 논문은 프랑스어 금융 문서의 이해를 평가하기 위해 제안된 '멀티모달 파이낸스 평가 (Multimodal Finance Eval)' 벤치마크를 통해, 비영어권 및 금융 분야 특화 문서에서 텍스트 및 표 추출은 우수하지만 차트 해석과 다단계 대화에서는 여전히 취약함을 보이는 멀티모달 모델의 한계를 규명했습니다.
원저자:Virginie Mouilleron, Théo Lasnier, Anna Mosolova, Djamé Seddah
금융 문서는 보통 수백 페이지에 달하는 두꺼운 책처럼 생겼습니다. 여기에는 법률 용어 (텍스트), 숫자가 가득한 표, 그리고 성장을 보여주는 그래프가 뒤섞여 있습니다.
문제점: 기존 AI 는 영어로 된 짧은 글은 잘 읽지만, 프랑스어로 된 긴 금융 문서를 읽거나, 표와 그래프를 해석하는 능력은 아직 검증되지 않았습니다.
위험성: 만약 AI 가 "수수료"나 "수익률" 같은 중요한 숫자를 잘못 읽으면, 실제 투자자에게 큰 손해를 입힐 수 있습니다.
그래서 연구팀은 **"MULTIMODAL FINANCE EVAL"**이라는 새로운 시험지를 만들었습니다. 이는 프랑스어 금융 문서 이해도를 측정하는 세계 최초의 멀티모달 (텍스트+이미지) 벤치마크입니다.
2. 시험 내용: AI 에게 무엇을 물었나요?
총 1,204 개의 질문으로 구성된 이 시험은 크게 네 가지 유형으로 나뉩니다.
텍스트 읽기: "이 펀드는 능동적으로 운영되나요?" 같은 글자만 있는 질문.
표 이해하기: "연간 관리 수수료는 얼마인가요?"라고 표에서 숫자를 찾아내는 질문.
그래프 해석하기: "이 그래프에서 수익이 가장 높았던 시기는 언제인가요?"라고 그림을 보고 추론하는 질문.
대화 (챗봇) 테스트: 여러 번에 걸쳐 질문을 주고받으며, 앞선 답변을 바탕으로 다음 질문을 답하는 상황.
3. 시험 결과: AI 는 잘했을까요?
6 개의 최신 AI 모델 (80 억~1,240 억 개의 파라미터를 가진 거대 모델들) 을 시험에 붙였는데, 결과는 극과 극이었습니다.
✅ 잘한 부분: "글자 읽기와 표 찾기"
비유: "책에서 'A'라는 글자를 찾아내라"거나 "표에서 3 번째 줄의 숫자를 읽어라"는 지시에는 90% 가까이 정답을 맞췄습니다.
의미: AI 는 명확한 정보를 찾는 능력은 이미 매우 뛰어납니다.
❌ 못 한 부분 1: "그래프 해석"
비유: "이 그래프를 보면 주가가 어떻게 변했는지 설명해줘"라고 물으면, AI 는 **34%~62%**만 맞췄습니다.
이유: AI 는 글자나 숫자처럼 딱딱한 데이터는 잘 보지만, 그래프의 흐름이나 모양을 보고 추론하는 능력은 여전히 부족합니다. 마치 그림을 그리는 법은 알지만, 그림의 의미를 해석하는 법은 모르는 상태입니다.
❌ 못 한 부분 2: "오류가 쌓이는 대화" (가장 치명적)
비유: AI 와 대화할 때, 첫 번째 질문에 틀린 답을 하면, 그 다음 질문부터는 모든 답이 엉망이 되어버립니다.
결과: 아무리 똑똑한 큰 모델 (1,240 억 파라미터) 이라도, 대화 중 실수가 하나 생기면 정답률은 **50% (거의 무작위 추측 수준)**로 뚝 떨어졌습니다.
핵심: AI 는 실수를 인정하거나 수정하지 못하고, 그 실수를 바탕으로 다음 말을 이어가서 결국 완전히 엉뚱한 결론에 도달합니다.
4. 결론: AI 는 아직 금융 전문가가 될 수 없습니다
이 연구는 다음과 같은 중요한 메시지를 전달합니다.
단순 추출은 OK, 복잡한 추론은 NO: AI 는 문서에서 특정 숫자를 찾는 일은 잘하지만, 그래프를 보고 미래를 예측하거나 대화 중에 논리를 유지하는 것은 아직 어렵습니다.
크기가 크다고 해결되지 않음: 모델을 더 크게 키우는 것만으로는 대화 중 발생하는 실수 연쇄 (오류 전파) 를 막을 수 없습니다.
주의 필요: 현재 AI 를 금융 조언이나 복잡한 문서 분석에 바로 쓰기는 위험합니다. 특히 대화형 AI 가 실수를 하면 그 오류가 계속 이어져 큰 문제를 일으킬 수 있습니다.
요약
이 논문은 **"AI 가 금융 문서의 글자나 표는 잘 읽지만, 그래프를 해석하거나 대화 중 실수를 고치는 능력은 아직 부족하다"**고 경고합니다. 마치 계산기는 잘하지만, 그림을 보고 감을 잡거나 대화 중 실수를 바로잡는 '직관'과 '판단력'이 아직 부족한 초보 금융 사원과 같습니다. 따라서 우리는 AI 를 금융 업무에 쓸 때, 그 실수를 인간이 반드시 확인해야 한다는 점을 기억해야 합니다.
논문 요약: 프랑스 금융 문서에 대한 멀티모달 모델 평가 (When Tables Go Crazy)
1. 연구 배경 및 문제 제기 (Problem)
배경: 비전 - 언어 모델 (VLM) 은 일반적인 문서 이해 작업에서 뛰어난 성능을 보이지만, 비영어권 (특히 프랑스어) 이자 전문적인 금융 도메인에서의 신뢰성은 충분히 연구되지 않았습니다.
문제점: 금융 문서 (투자 설명서, KID, PRIIP 등) 는 밀집된 규제 텍스트, 수치 테이블, 시각적 차트가 혼합되어 있으며, 추출 오류가 실제 금전적 손실로 이어질 수 있습니다.
한계: 기존 평가 데이터셋은 영어 중심이며, 길이가 짧거나 텍스트만 포함된 경우가 많습니다. 프랑스어 금융 문서의 복잡성 (수백 페이지, 법적 용어, 다중 모달리티) 을 다루는 대규모 벤치마크가 부재했습니다.
2. 방법론 (Methodology)
2.1. 데이터셋 구축: MULTIMODAL FINANCE EVAL
규모: 1,204 개의 전문가 검증 질문 - 답변 쌍 (QA Pairs) 으로 구성됨.
소스: 자산 관리 회사에서 공개된 프랑스어 투자 설명서, KID(핵심 정보 문서), PRIIP(패키지 소매 및 보험 기반 투자 상품) 문서.
생성 프로세스:
반자동 생성: GPT-4o 및 Gemini-2.0 을 사용하여 후보 질문과 답변 생성.
전문가 검증: 금융 데이터 과학자 (전문가) 가 모든 QA 쌍을 검토, 수정, 재작성 (전체 질문의 75% 가 수정 또는 삭제됨).
다양성 확보: 텍스트 추출, 테이블 이해, 차트 해석, 다중 턴 대화 등 6 가지 태스크 유형으로 구성.
태스크 유형:
텍스트 기반: 순수 텍스트 컨텍스트에서의 정보 추출.
이미지 기반: 테이블 (구조화된 데이터), 차트 (시각적 데이터), 특수 사례 포함.
대화형 (Conversational): 다중 턴 대화 시나리오. 'Gold Context'(정답 이전 답변 제공) 와 'Model Context'(모델의 이전 답변 기반) 두 가지 조건으로 평가하여 오류 전파 (Error Propagation) 를 측정.
2.2. 평가 프로토콜
평가 대상: 6 개의 오픈 가중치 VLM 모델 (Qwen3-VL, Gemma-3, Pixtral 계열). 파라미터 규모는 8B 에서 124B 까지 다양함.
평가 방법:LLM-as-a-Judge 방식 사용. 3 개의 다른 LLM (Llama-3.3-70B, Qwen3-32B, Gemma-3-27B) 을 판사 (Judge) 로 활용하여 답변의 정확성을 평가하고, 다수결 (Majority Vote) 로 최종 점수 결정.
메트릭: 정답률 (Accuracy %).
3. 주요 기여 (Key Contributions)
최초의 프랑스어 금융 멀티모달 벤치마크: 텍스트, 테이블, 차트, 대화형 추론을 포괄하는 1,204 개의 전문가 검증 데이터셋 MULTIMODAL FINANCE EVAL을 공개함.
체계적인 VLM 성능 평가: 다양한 규모의 6 개 최신 모델을 대상으로 프랑스어 금융 문서 이해 능력을 정량화함.
오류 전파 현상의 실증적 발견: 단일 턴 벤치마크에서는 보이지 않는, 대화형 설정에서의 오류 누적 및 성능 붕괴 현상을 규명함.
4. 실험 결과 및 분석 (Results & Analysis)
4.1. 전반적 성능
텍스트 및 테이블: 모델들이 텍스트 기반 질문 (약 8890%) 과 테이블 이해 (약 5286%) 에서 높은 성능을 보임. 이는 잘 정의된 정보 추출 작업에서는 VLM 이 효과적임을 시사.
차트 해석 (Chart Interpretation): 모든 모델에서 심각한 약점 발견 (정답률 34~62%). 가장 좋은 모델 (Qwen3-VL-32B) 도 62% 미만에 그쳤으며, 차트에서 추세를 파악하거나 비교하는 능력이 부족함.
4.2. 대화형 태스크의 치명적 결함 (Critical Failure Mode)
Gold Context (정답 기반): 이전 답변이 정확할 때 모델들은 63~86% 의 성능을 보임.
Model Context (모델 자체 답변 기반): 모델이 자신의 이전 답변을 기반으로 대화할 때, 초기 오류가 후속 턴으로 전파되며 성능이 급격히 하락 (약 46~59%).
규모의 한계: 모델 파라미터 수 (8B vs 124B) 가 커져도 이 오류 전파 현상은 해결되지 않으며, 성능이 약 50% 수준으로 수렴함. 이는 단순한 추론 능력 부족이 아니라 **오류 누적 (Error Accumulation)**과 컨텍스트 오염이 주요 원인임을 시사.
5. 의의 및 결론 (Significance & Conclusion)
현실적 함의: 현재 VLM 은 명확한 정보 추출 작업에는 유용하지만, 상호작용적이고 다단계 추론이 필요한 금융 분석 환경에서는 매우 취약함 (Brittle). 특히 대화형 어시스턴트에서 초기 오류가 수정되지 않고 증폭될 경우 심각한 리스크가 발생.
향후 방향: 모델 스케일링 (Scale) 만으로는 이러한 문제를 해결할 수 없음. 불확실성 인식 (Uncertainty Awareness), 오류 수정 메커니즘, 그리고 다중 모달 추론을 위한 새로운 학습 목표 및 아키텍처 개선이 필요함.
벤치마크의 역할: MULTIMODAL FINANCE EVAL 은 고위험 금융 도메인에서 모델의 한계를 측정하고, 신뢰할 수 있는 금융 분석 모델 개발을 위한 중요한 테스트베드 역할을 할 것임.
핵심 요약: 이 논문은 프랑스어 금융 문서 이해를 위한 새로운 벤치마크를 제시하며, 현재 VLM 들은 텍스트와 테이블 추출에는 뛰어나지만 차트 해석과 대화 중 오류 전파에 취약함을 증명했습니다. 특히 대화형 환경에서 모델 크기와 무관하게 성능이 50% 수준으로 떨어지는 현상은 금융 AI 의 실제 배포 시 신뢰성 문제를 제기합니다.