FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages

기술 요약: FIND: 인도어 계열 언어를 위한 다중 모달 금융 추론 및 질문 응답을 향한 노력

문제 제기
다국어 맥락, 특히 인도 내에서의 금융 의사결정은 텍스트, 표, 차트 등 다양한 모달리티에 기반한 정확한 수치 추론을 요구합니다. 그러나 기존 벤치마크는 영어에 집중하고 인도어 계열 언어, 다중 모달 금융 데이터, 통제된 추론 복잡성에 대한 포괄성이 부족하여 이러한 고위험 과제를 대부분 간과하고 있습니다. 현재 비전 - 언어 모델 (VLM) 은 하이브리드 추론에 어려움을 겪으며, 수치 정확도 오류, 다중 모달 정합성 불일치, 그리고 시각적 금융 신호의 활용 부족과 텍스트 단서에 대한 과도한 의존성을 보입니다. 또한, FinQA 및 TAT-QA 와 같은 기존 데이터셋은 주로 영어 중심이며 얕은 산술 연산이나 표 추출에 제한되는 경우가 많아, 지역 언어의 현실적인 금융 시나리오에 필요한 복잡하고 도메인 인식을 갖춘 추론을 평가하지 못합니다.

방법론
이러한 격차를 해소하기 위해 저자들은 대규모 다국어 벤치마크인 FinVQA와 신뢰할 수 있는 다중 모달 금융 추론을 위해 설계된 프레임워크인 FIND를 소개합니다.

• FinVQA 데이터셋 큐레이션:

  • 출처: 데이터는 9~12 학년 National Council of Educational Research and Training (NCERT) 교과서와 ICMAI–CMA 전문 자료 등 권위 있는 인도 교육 자료에서 큐레이션되었습니다.
  • 규모 및 범위: 이 데이터셋은 선진 회계, 금융 수학, 과세 등 14 개 금융 도메인에 걸쳐 18,900 개의 샘플로 구성되었습니다. 영어, 힌디어, 벵골어, 마라티어, 구자라트어, 타밀어 등 6 개 언어를 포괄합니다.
  • 구조: 샘플은 쉬운, 보통, 어려운 세 가지 난이도 수준과 객관식, 빈칸 채우기, 표 매칭, 참/거짓 네 가지 질문 형식으로 조직화되었습니다.
  • 다국어 적응: 영어 인스턴스는 GPT-4O 를 사용하여 다섯 가지 인도어 계열 언어로 번역되었으며, 문장 임베딩 코사인 유사도를 통해 검증되고 원어민에 의해 정제되었습니다. 다중 모달 샘플의 경우, PaddleOCR 을 사용하여 이미지에서 텍스트를 추출한 후 번역하고, 레이아웃을 보존하기 위해 특정 인도어 계열 폰트를 사용하여 원래 바운딩 박스에 다시 렌더링했습니다.
  • 주석: 6 명의 주석자 (4 명의 주니어, 2 명의 시니어 도메인 전문가) 가 참여하는 파이프라인을 통해 품질을 보장했습니다. 시니어 전문가가 시드 샘플에 주석을 달았으며, 주석자 간 일치도 (Fleiss' Kappa) 는 0.78 에 달했습니다.

• FIND 프레임워크:
  저자들은 추론을 평가하고 개선하기 위한 3 단계 실험 파이프라인을 제안합니다.

  1. Zero-Shot 추론: 작업별 적응 없이 사전 훈련된 VLM 을 평가하여 기준선을 설정합니다.
  2. 제약된 디코딩 (Constrained Decoding): VLLM 을 사용하여 추론 시 제약을 구현하여 출력을 유효한 답변 옵션 토큰 (예: A/B/C/D) 으로 제한합니다. 이는 내부 추론을 유지하면서 포맷 불안정성과 장황성을 완화합니다. 언어별 토큰 제약이 적용됩니다 (예: 영어/힌디어는 단일 토큰, 벵골어/타밀어는 최대 3 개).
  3. 지도 미세 조정 (SFT): 답변만 있는 감독을 사용하여 데이터셋으로 VLM 을 미세 조정합니다. 매개변수 효율성을 보장하기 위해 저자들은 랭크 $r=8$인 Low-Rank Adaptation (LoRA) 을 사용하여 자기 어텐션 및 교차 어텐션 레이어의 쿼리, 키, 값 프로젝션만 업데이트합니다. 모델은 입력에 조건부로 올바른 답변 시퀀스를 생성하도록 훈련됩니다.

주요 기여

1. FinVQA 벤치마크: 14 개 도메인과 6 개 언어에 걸쳐 18,900 개의 샘플을 특징으로 하는 인도어 계열 맥락에서의 다중 모달 금융 시각 질문 응답을 위한 최초의 대규모 다국어 벤치마크 도입.
2. FIND 프레임워크: 수치 충실도, 다중 모달 정합성, 구조화된 의사결정을 강화하기 위해 구조화된 디코딩과 지도 미세 조정을 통합한 제약 인식 프레임워크.
3. 종합 평가: 다양한 매개변수 규모 (3B~32B) 및 훈련 체계 (Zero-shot, 제약된 디코딩, SFT) 에 걸친 최첨단 VLM(Qwen2.5-VL, Qwen3-VL, Gemma-3) 에 대한 엄격한 평가.

실험 결과

• 성능 계층 구조: 모델 성능은 규모와 훈련 체계에 의해 강력하게 지배됩니다. 대규모 모델 (예: Qwen3-VL-32B, Gemma-3-27B) 은 상대적으로 작은 모델보다 훨씬 우수한 성과를 냅니다.
• SFT 의 영향: 지도 미세 조정 (SFT) 은 성능에 가장 큰 영향을 미치며, 특히 인도어 계열 언어의 경우 Zero-shot 기준선보다 상당한 개선을 가져옵니다. 예를 들어, SFT 는 Qwen3-VL-4B 의 마라티어 정확도를 Zero-shot 26.2% 에서 47.8% 로 향상시켰습니다.
• 제약된 디코딩의 역할: 제약된 디코딩은 구조적 유효성을 돕지만, SFT 에 비해 개선 효과는 미미합니다. 그러나 SFT 와 제약된 디코딩을 결합하면 가장 견고한 결과를 얻을 수 있습니다.
• 언어 동향: 힌디어와 벵골어는 일반적으로 가장 높은 정확도를 달성하여 더 나은 자원 가용성을 반영합니다. 타밀어는 유형론적 거리와 문자 복잡성으로 인해 가장 도전적이지만, SFT 는 여전히 일관된 개선을 제공합니다.
• 인간 평가: 인간 평가에 따르면, 포맷 준수는 낮은 컴퓨팅 규모에서도 달성 가능하지만, 고충실도 금융 추론 (도메인 이해, 문제 해석, 수학적 정확성) 은 엄격하게 용량에 의존합니다. 대규모 모델 (27B32B) 은 거의 천장 성능 (0.91.0 점) 에 근접하는 반면, 소형 모델 (3B~4B) 은 논리적 일관성과 시각적 정합성에서 어려움을 겪습니다.
• 오류 분석: 소형 모델은 시각적 정합성과 논리적 일관성에서 자주 실패합니다. 중간 규모 모델 (7B12B) 은 구문 분석이 개선되었으나 취약한 수학적 실행으로 고통받습니다. 오직 대규모 모델 (27B32B) 만 시각 - 수학 작업의 견고한 엔드 - 투 - 엔드 실행을 보여줍니다.

의의 및 주장
이 논문은 다국어 환경에서 신뢰할 수 있고 고위험인 금융 추론을 위해서는 대규모 모델 용량, 도메인별 데이터와의 지도 정렬, 그리고 엄격한 출력 제어가 결합되어야 한다고 주장합니다. 저자들은 FIND 와 FinVQA 가 다중 모달 금융 추론을 위한 엄격한 평가 패러다임을 확립하며, 현재 모델들이 종종 "정확성 없는 유창성"을 보인다고 강조합니다. 제약 인식 디코딩이 포맷 준수를 개선하지만 추론 정확성을 보장하지는 않으며, 이는 인간 감독의 필요성과 처방적 금융 의사결정에서 현재 모델의 한계를 부각시킨다고 강조합니다. 이 연구는 인도어 계열 화자를 위한 금융 문해력 도구 격차 해소를 위한 기초적인 단계로 기능하지만, 저자들은 번역된 자료에서 파생된 샘플 다양성의 한계와 자원 제약으로 인한 폐쇄형 소스 기준선의 배제와 같은 한계를 인정합니다.