FCMBench: The First Large-scale Financial Credit Multimodal Benchmark for Real-world Applications

이 논문은 실제 금융 신용 업무의 프라이버시 준수 요구사항과 강건성 평가를 반영한 최초의 대규모 멀티모달 벤치마크인 'FCMBench'를 제안하고, 28 개의 최첨단 비전 - 언어 모델에 대한 평가 결과를 통해 해당 벤치마크가 현대 모델의 능력을 구분하는 데 유효함을 입증했습니다.

핵심

이 논문은 **'FCMBench'**라는 새로운 도구를 소개합니다. 쉽게 말해, **"AI 가 대출 심사를 할 때 얼마나 똑똑하고 튼튼한지 시험보는 첫 번째 거대한 시험지"**라고 할 수 있습니다.

기존의 AI 시험지들은 일반적인 사진 인식이나 문서 읽기만 다뤘는데, 이 'FCMBench'는 은행이나 금융회사가 실제로 겪는 **'대출 심사'**라는 특수한 상황을 완벽하게 재현했습니다.

이 내용을 일상적인 언어와 비유로 풀어서 설명해 드릴게요.

---

1. 왜 이 시험지가 필요했을까요? (문제 상황)

은행에서 대출을 신청하면, 사람들은 신분증, 통장 사본, 소득 증명서 등 다양한 서류를 제출합니다. 과거에는 은행 직원이 눈으로 하나하나 확인했지만, 이제는 AI 가 대신해 주기를 원합니다.

하지만 문제는 **"AI 를 테스트할 실제 자료"**가 없다는 점입니다.

• 개인정보 보호 문제: 실제 사람의 통장 사본이나 신분증은 함부로 공개할 수 없습니다.
• 가짜 자료의 한계: 기존에 있던 자료들은 너무 단순하거나, 실제 은행 업무와 달라서 AI 가 실전에서는 망하는 경우가 많았습니다.

그래서 연구팀은 "가짜지만 진짜처럼 보이는" 완벽한 시험지를 만들기로 했습니다.

2. FCMBench 는 어떻게 만들어졌나요? (비유: '극사실주의' 연극 세트)

이 벤치마크는 실제 은행 업무와 똑같은 환경을 재현하기 위해 다음과 같은 과정을 거쳤습니다.

• 가짜 인물, 진짜 서류: 연구팀은 가상의 인물 26 명을 만들고, 이들을 위한 신분증, 주민등록등본, 부동산 등기부 등 26 가지 종류의 서류를 직접 디자인했습니다.
• 종이로 찍어낸 뒤 사진 찍기: 컴퓨터로 만든 가짜 서류를 그냥 이미지 파일로만 남기지 않았습니다. 실제 종이에 인쇄하고, 도장을 찍고, 실제 카메라로 사진을 찍었습니다.
  • 비유: 마치 영화 세트장에서 배우가 진짜 소품을 들고 연기하듯, AI 가 보는 사진도 실제 카메라의 흔들림, 빛 반사, 초점 흐림 같은 '현실의 결함'을 그대로 담았습니다.
• 데이터 양: 총 5,000 장 이상의 사진과 13,000 개 이상의 질문 (VQA) 이 포함되어 있습니다.

3. AI 는 어떤 시험을 보나요? (시험 내용)

이 시험지는 크게 두 가지 능력을 봅니다.

① '눈'을 보는 능력 (지각, Perception)

• 품질 검사: "이 사진이 너무 흐리거나, 빛이 반사되어 글자가 안 보이나요?" (이미지 품질 평가)
• 종류 구별: "이 서류가 신분증인가요, 아니면 통장인가요?" (문서 유형 인식)
• 정보 추출: "이 통장에서 월급이 얼마인지 숫자를 찾아주세요." (핵심 정보 추출)

② '머리'를 쓰는 능력 (추론, Reasoning)

단순히 글자를 읽는 것을 넘어, 은행 직원이 하듯 판단을 내리는 능력입니다.

• 일관성 확인: "이 신분증 이름과 통장 이름이 같은가요?" (문서 간 일치성)
• 유효성 확인: "이 서류의 유효기간이 지났나요?" (규정 준수)
• 숫자 계산: "지난 6 개월 통장 입금액을 합산해서 월평균 소득을 계산해 보세요."
• 이치성 검토: "월급 200 만 원인데, 월 500 만 원짜리 집을 살 수 있다고 주장하면 이상하지 않나요?" (리스크 판단)

4. AI 들은 어떻게 했나요? (시험 결과)

전 세계 14 개 기관의 최신 AI 28 개 모델을 이 시험지에 풀어보았습니다.

• 전반적인 점수: 평균 점수는 44.8 점 (100 점 만점) 이었습니다. 이는 **"아직 AI 가 은행 업무를 완벽하게 대체하기엔 멀었다"**는 뜻입니다.
• 최고 점수: 구글의 'Gemini 3 Pro'가 65.16 점으로 1 위를 차지했고, 오픈소스 모델 중에서는 'Kimi-K2.5'가 60.58 점으로 가장 잘했습니다.
• 약점 발견:
  • AI 는 글자를 읽는 것은 꽤 잘하지만, 여러 문서를 비교해서 논리적으로 판단하는 능력은 아직 부족했습니다.
  • 가장 큰 문제: 사진이 조금만 흐릿하거나, 빛이 반사되거나, 서류가 잘려서 찍히면 (현실적인 상황), AI 의 점수가 급격히 떨어졌습니다. 마치 안경을 벗은 사람이 흐릿한 글자를 읽지 못하는 것처럼 AI 도 '현실의 잡음'에 매우 약하다는 것을 보여줍니다.

5. 이 연구의 의미는 무엇인가요?

이 논문은 AI 개발자와 금융 업계에 중요한 메시지를 줍니다.

• "실전 테스트가 필요하다": 깨끗한 데이터로만 훈련된 AI 는 실제 은행 창구에서 쓰일 때 실패할 수 있습니다.
• 공정한 기준: 이제 은행들은 AI 를 도입할 때, 이 'FCMBench'라는 시험지를 통해 **"이 AI 는 흐릿한 사진에서도 잘 작동할까?", "여러 문서를 비교할 수 있을까?"**를 객관적으로 비교할 수 있게 되었습니다.
• 미래: 앞으로는 이 시험지를 통해 AI 가 더 튼튼해지고, 실제 대출 심사 현장에 안전하게 투입될 수 있을 것입니다.

요약

FCMBench는 **"AI 가 은행 대출 심사를 제대로 할 수 있는지, 특히 사진이 흐리거나 서류가 복잡할 때에도 견딜 수 있는지 테스트하는 첫 번째 거대한 실전 훈련장"**입니다. 아직 AI 는 완벽하지 않지만, 이 시험지를 통해 어디가 부족하고 어떻게 고쳐야 할지 명확히 알게 되었습니다.

기술 요약

FCMBench: 실제 금융 신용 심사 응용을 위한 대규모 멀티모달 벤치마크

1. 문제 정의 (Problem)

금융 신용 심사 (Credit Review) 분야는 대출 승인 결정을 위해 차입자가 제출한 다양한 이미지 자료 (신분증, 은행 거래내역서, 소득 증명서 등) 를 기반으로 문서의 완전성을 확인하고 (Perception), 정보 간의 일관성을 검증하며 (Reasoning) 위험을 판단하는 복잡한 워크플로우를 가집니다.

• 현황: 기존 멀티모달 벤치마크 (MME, OCRBench 등) 는 일반적인 도메인이나 문서 이해에 초점을 맞추고 있어, 금융 신용 심사 특유의 업무 흐름과 제약 조건을 반영하지 못합니다.
• 제약: 실제 금융 데이터는 개인정보 보호 (Privacy) 문제로 인해 공개가 어렵고, 기존 금융 관련 벤치마크는 데이터의 파편화나 오픈소스 데이터에 대한 과도한 의존으로 인해 실제 적용 가능성을 평가하기에 부족합니다.
• 필요성: 실제 환경의 노이즈 (흐림, 반사광, 회전 등) 와 복잡한 문서 구조 하에서 AI 모델의 성능을 정량적으로 평가할 수 있는 프라이버시 준수형 대규모 벤치마크의 부재가 주요 문제였습니다.

2. 방법론 (Methodology)

2.1 데이터 구축 (Benchmark Construction)

• 데이터 규모: 26 가지 종류의 인증서 (한국어 및 영어), 5,198 개의 프라이버시 준수 이미지, 13,806 개의 쌍을 이루는 VQA(Visual Question Answering) 샘플로 구성됨.
• 생성 프로세스 (Synthetic-to-Physical):
  1. 가상 신원 생성: 실제와 유사한 인구통계학적/경제적 속성을 가진 가상의 신원 (Identity) 풀을 구성.
  2. 템플릿 합성: 고충실도 (High-fidelity) 템플릿을 생성하여 신분증, 은행 명세서, 부동산 등 다양한 문서를 제작.
  3. 물리적 제작 및 촬영: 합성된 템플릿을 실제 카드나 A4 용지로 출력/제작한 후, 11 명의 촬영자가 실제 환경 (다양한 조명, 각도, 배경) 에서 촬영.
  4. 프라이버시 보호: 모든 로고, 기관명, 인물 사진은 AIGC 로 대체되거나 가상의 생태계로 구성하여 실제 정보 유출 위험을 원천 차단.

2.2 태스크 설계 (Task Design)
실제 신용 심사 워크플로우에 맞춰 **지각 (Perception)**과 추론 (Reasoning) 두 가지 핵심 영역으로 구성됨.

• 지각 태스크 (3 가지):
  • IQE (Image Quality Evaluation): 이미지 품질 문제 (흐림, 반사광 등) 식별.
  • DTR (Document Type Recognition): 문서 종류 인식 및 누락 확인.
  • KIE (Key Information Extraction): 문서 내 핵심 정보 (이름, 금액, 날짜 등) 추출.
• 추론 태스크 (4 가지):
  • CC (Consistency Checking): 여러 문서 간 정보 일관성 확인 (예: 신분증과 주민등록등본의 이름 일치).
  • VC (Validity Checking): 유효성 검증 (만료일, 형식 준수 여부).
  • NC (Numerical Calculation): 수치 계산 및 합계 산출.
  • RR (Rationality Review): 소득과 세금, 은행 거래 내역 간의 경제적 합리성 검토.
• 강건성 평가 (Robustness Challenges): 10 가지 실제 환경 간섭 요소 (회전된 시점, 불균일 조명, 반사광, 초점 이탈, 작은 ROI, 오버레이 워터마크, 잘린 이미지, 다중 문서 등) 를 적용하여 모델의 견고성 테스트.

2.3 평가 지표

• 정확 일치 (Exact Match): 신용 심사에서는 부분 정답이나 의미적 동치가 허용되지 않으므로, 원자적 (Atomic) 값에 대한 정확한 일치를 기준으로 평가.
• F1 Score: 사전 정의된 정규화 규칙 (키 - 값 쌍 변환, 숫자 허용 오차 등) 을 적용하여 예측값과 정답을 비교.
• 강건성 비율: 각 간섭 요소 하에서의 F1 점수를 '정상 촬영 (Normal Captures)' 기준 점수로 나누어 상대적 성능 저하를 측정.

3. 주요 기여 (Key Contributions)

1. 신용 특화 멀티모달 벤치마크의 부재 해소: 프라이버시 문제로 인해 공유되지 않았던 실제 신용 데이터의 대체재로, 완전히 자체 제작된 대규모 데이터셋을 최초로 공개.
2. 실무 중심 평가 체계 고안: 단순한 정보 추출을 넘어, 실제 신용 심사관이 수행하는 '일관성 검증', '합리성 검토', '리스크 판단' 등 의사결정 단계까지 포함하는 정량적 평가 프레임워크 제시.
3. 산학협력 촉진: 금융 기관에게는 모델 비교 표준을, 연구진에게는 고품질 도메인 데이터를 제공하여 데이터 장벽을 해소하고 신용 AI 의 협동 혁신을 유도.

4. 실험 결과 (Results)

• 평가 대상: 2025-2026 년에 출시된 14 개 AI 기업 및 연구소의 28 개 최신 VLM(Vision-Language Model) 평가.
• 전체 성능:
  • 평균 F1 점수: 44.8 ± 10.3 (모델 간 편차가 커서 벤치마크의 변별력이 높음을 입증).
  • 최고 성능: 상용 모델 중 Gemini 3 Pro (65.16), 오픈소스 모델 중 **Kimi-K2.5 (60.58)**가 가장 우수함.
  • 추론 vs 지각: 대부분의 최상위 모델이 문서 인식 (DTR) 에서는 높은 점수를 보였으나, 핵심 정보 추출 (KIE) 과 추론 (Reasoning) 태스크에서는 성능이 급격히 하락 (KIE 는 50 미만). 이는 모델이 정보를 '읽는' 것과 '판단하는' 능력 사이에 큰 격차가 있음을 시사.
• 강건성 평가:
  • 모든 모델이 설계된 간섭 요소 (흐림, 반사광, 회전 등) 하에서 성능이 유의미하게 저하됨.
  • 특히 '잘린 이미지 (Cropped)', '다중 문서 (Multi-doc)', '심한 흐림 (Out-of-focus)' 상황에서 상위 모델조차 체계적인 실패를 보임.
• 스케일링 법칙: 모델 파라미터 수 증가와 함께 성능이 향상되는 경향이 확인되었으나, MoE(Mixture-of-Experts) 아키텍처가 대규모에서 경쟁력 있는 성능을 보임.

5. 의의 및 결론 (Significance)

• 실무 적용 가능성 검증: FCMBench 는 실제 금융 환경의 복잡성과 노이즈를 반영하여, 현재 AI 모델이 실제 신용 심사 업무에 투입되기 전 필수적인 '강건성'과 '추론 능력'을 평가할 수 있는 표준을 제시함.
• 향후 과제: 현재는 물리적 촬영 이미지에만 국한되어 있어, 스크린샷, 스캔본, 디지털 인증서 등 다양한 포맷과 오디오/비디오 모달리티를 포함하도록 확장 필요.
• 기대 효과: 이 벤치마크는 금융 AI 의 단일 최적화를 넘어, 산업계와 학계가 협력하여 신뢰할 수 있고 실용적인 신용 심사 시스템을 개발하는 데 기여할 것으로 기대됨.

이 논문은 금융 도메인 특화 멀티모달 AI 연구의 새로운 기준을 마련하고, 실제 비즈니스 환경에서의 AI 배포 전 필수적인 평가 프로세스를 정립했다는 점에서 중요한 의의를 가집니다.