💬 NLP

BaFCo: A Document Understanding Benchmark for Complex Bangla Form Comprehension

이 논문은 멀티모달 거대 언어 모델(Multimodal Large Language Models)의 방글라데시어 문서 레이아웃 분석 및 핵심 정보 추출에서의 현재 한계를 평가하고 강조하기 위해, 세밀한 주석이 달린 200개의 복잡한 방글라데시 정부 양식으로 구성된 벤치마크 데이터셋인 BaFCo를 소개한다.

원저자: Abu Tyeb Azad, Ishita Sur Apan, Fahim Ahmed, Sumaiya Karim Katha, Ezharuddin Jubaer, Armun Alam, Pranjal Kumar Nandi, Amin Ahsan Ali, Aman Chadha, Md Mofijul Islam, AKM Mahbubur Rahman

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abu Tyeb Azad, Ishita Sur Apan, Fahim Ahmed, Sumaiya Karim Katha, Ezharuddin Jubaer, Armun Alam, Pranjal Kumar Nandi, Amin Ahsan Ali, Aman Chadha, Md Mofijul Islam, AKM Mahbubur Rahman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

방대한 양의 방글라데시 정부 양식 라이브러리가 있다고 상상해 보세요. 이것들은 단순한 영수증이 아닙니다. 손글씨 메모, 공식 직인, 체크박스, 그리고 조밀한 표들로 가득 찬 복잡한 다중 페이지 문서들입니다. 인간에게 이를 읽는 것은 하나의 도전입니다. 컴퓨터에게 이것은 눈을 가린 채 퍼즐을 푸는 것과 같습니다.

이 논문은 AI가 이러한 특정 방글라데시 양식을 읽는 법을 배울 수 있도록 설계된 새로운 "훈련 체육관"인 BaFCo를 소개합니다.

다음은 비유를 사용하여 이 논문을 쉽게 풀어낸 내용입니다.

1. 문제점: "언어의 격차"

AI 모델(ChatGPT나 Gemini 뒤에 있는 똑똑한 두뇌들)을 영어, 프랑스어, 스페인어를 열심히 공부한 학생이라고 생각해 보세요. 그들은 해당 언어로 된 문서를 읽는 데 전문가입니다. 하지만 **방글라데시어(Bangla)**는 그들이 거의 알지 못하는 언어와 같습니다. 2억 8,400만 명의 사람들이 이 언어를 사용함에도 불구하고, AI가 학습할 수 있는 "교과서(데이터셋)"는 매우 적습니다.

이 때문에 이 AI 학생들은 방글라데시 정부 양식을 읽으려고 할 때 혼란을 겪습니다. 서명을 놓치거나, 숫자를 잘못 읽거나, 어떤 체크박스가 어떤 질문에 속하는지 이해하지 못할 수 있습니다.

2. 해결책: "BaFCo" 훈련 매뉴얼

저자들은 이를 해결하기 위해 BaFCo를 만들었습니다. 이것은 AI에게 방글라데시 양식을 가르치기 위해 특별히 작성된 전문 교과서라고 생각하면 됩니다.

내용: 저자들은 은행, 농업, 토지 관리와 같은 분야에서 추출한 200개의 실제 복잡한 정부 양식을 수집했습니다.
상세함: 단순히 페이지를 스캔한 것이 아니라, 모든 부분을 세심하게 라벨링했습니다. 마치 선생님이 모든 단어, 서명, 표의 셀 주위에 상자를 그리고, 그 상자가 무엇인지 설명하는 노트를 적는 것과 같습니다.
- 그들은 찾아야 할 26가지의 구체적인 유형(예: "헤더", "서명", "체크박스", "표 행")을 정의했습니다.
- 또한, AI가 더 단순한 지침을 받았을 때 성능이 좋아지는지 확인하기 위해 5가지 카테고리의 "이지 모드(easy mode)"(예: 모든 "텍text"를 하나로 묶는 것)를 만들었습니다.
품질: 저자들은 작업의 정확성을 보장하기 위해 전문가를 사용하여 검수를 진행했습니다. 심지어 난이도에 따라 양식을 분류했습니다: 쉬움(단순 목록), 중간(일부 표 포함), 어려움(직인과 손글씨가 있는 지저열하고 복잡한 다중 페이지 문서).

3. 테스트: "AI 올림픽"

저자들은 세계 최고의 AI 모델들(Google, OpenAI, Anthropic 등의 기업이 만든 "플래그십" 모델들)을 가져와 BaFCo 교과서를 통해 테스트를 진행했습니다. 그들은 AI에게 두 가지 주요 질문을 던졌습니다.

작업 A: 문서 레이아웃 분석 (DLA) - "그것이 어디에 있는가?"
- 비유: AI가 붐비는 방을 보고 있는 보안 요원이라고 상상해 보세요. 임무는 특정 인물(예: "빨간 모자를 쓴 사람을 가리키세요")을 향해 레이저 포인터를 비추는 것입니다.
- 결과: AI는 고전했습니다. 가장 똑똑한 모델들조차 페이지 위의 특정 박스나 서명이 정확히 어디에 있는지 짚어내는 데 어려움을 겪었습니다. 이는 AI가 방은 볼 수 있지만, 올바른 지점을 가리키려 할 때 발이 꼬여 넘어지는 것과 같습니다.
- 핵적인 발견: AI는 복잡한 "하드 모드"(26개 카테코리)보다 단순한 지침("이지 모드", 5개 카테고리)을 받았을 때 이 작업에서 훨씬 더 나은 성능을 보였습니다.
작업 B: 핵심 정보 추출 (KIE) - "그것이 무엇을 말하는가?"
- 비유: 이제 AI는 비서입니다. 상사가 "오른쪽 상단에 적힌 이름이 무엇인가요?"라고 묻습니다. AI는 단지 텍스트를 읽고 답을 타이핑하기만 하면 됩니다.
- 결과: AI는 이 작업에 훨씬 더 능숙했습니다. 단어를 읽고 답변을 상당히 정확하게 추출할 수 있었습니다.
- 핵적인 발견: 흥미롭게도, AI의 성능은 언어에 크게 좌우되었습니다. 어떤 모델은 방글라데시 양식을 읽는 데 뛰어났지만 영어 양식에는 약했고, 다른 모델은 그 반대였습니다.

4. 놀라운 발견들

논문은 다음과 같이 역설적으로 보일 수 있는 몇 가지 사실을 발견했습니다.

더 깊이 생각하는 것이 항상 도움이 되지는 않는다: 연구진은 AI에게 "단계별로 생각하라(Chain-of-Thought)"고 요청하거나 "고도의 추론" 모드를 사용하도록 시도했습니다. 놀랍게도, 이것이 항상 AI를 더 낫게 만들지는 않았습니다. 때로는 오히려 성능을 약간 떨어뜨리기도 했습니다. 페이지 위의 박스를 찾는 데 있어 AI는 논리로 "생각"하기보다 패턴을 "보는" 것에 더 의존하는 것으로 보입니다.
언어는 읽기에는 중요하지만, 찾기에는 중요하지 않다: AI가 단순히 박스를 찾는 것(DLA)에 집중할 때는 양식이 방글라데시어인지 영어인지가 큰 차이를 만들지 않았습니다. 하지만 텍스트를 읽고 추출해야 할 때(KIE)는 언어가 엄청난 차이를 만들었습니다.
"거친(Coarse)" 지름길: AI는 작업이 단순화되었을 때 성능이 현저히 향했습니다. AI에게 "모든 텍스트를 찾아라"라고 말하면 잘 해내지만, "특정 '서명' 필드와 '날짜' 필드, '이름' 필드를 구분해서 찾아라"라고 하면 혼란을 느낍니다.

5. 결론

이 논문은 AI가 점점 똑똑해지고 있지만, 복잡한 저자원 언어(low-resource languages)인 방글라데시어를 이해하는 데, 특히 양식의 정밀한 레이아웃을 파악하는 데 있어서는 여전히 갈 길이 멀다는 결론을 내립니다.

BaFCo는 이제 다른 연구자들이 사용할 수 있도록 공개되었습니다. 이는 마치 이 특정 방글라데시 양식들을 연습함으로써 AI가 결국 인간 전문가만큼 이 양식들을 잘 읽을 수 있게 되기를 바라는 마음으로, 훈련 체육관의 문을 모두에게 개방하는 것과 같습니다.

데이터를 찾는 곳: 저자들은 데이터셋과 코드를 Hugging Face에 공개하였으므로, 누구나 이 "교과서"를 다운로드하여 자신만의 AI를 훈련시키는 데 사용할 수 있습니다.

기술 요약: 복잡한 뱅글라어 양식 이해를 위한 BaFCo 벤치마크

문제 정의
문서 이해, 특히 문서 레이아웃 분석(DLA) 및 핵심 정보 추출(KIE)은 금융, 교육, 공공 행정 분야의 실제 응용 분야에서 매우 중요합니다. 멀티모달 거대 언어 모델(MLLM)이 이러한 과업들을 발전시켜 왔으나, 뱅글라어와 같은 저자원 언어에서의 도입은 고품질의 주석 데이터 부족으로 인해 어려움을 겪고 있습니다. 뱅글라어는 세계에서 7번째로 많이 사용되는 언어임에도 불구하고, 기존 벤치마크(예: FUNSD, XFUND)는 영어 또는 기타 고자원 언어에 집중되어 있으며, 현재의 뱅글라어 데이터셋(예: BaDLAD)은 복잡한 정부 문서 처리에 필요한 세밀한 양식 특화 주석이 부족합니다.

방법론
이러한 격차를 해소하기 위해, 저자들은 뱅글라어 양식 이해를 위한 벤치마크 데이터셋이자 평가 프레임워크인 BaFCo를 소개합니다.

데이터 수집 및 큐레이션: 이 데이터셋은 다양한 분야(농업, 교육, 금융, 토지 관리 등)에서 수집된 200개의 다중 페이지 방글라데시 정부 양식으로 구성됩니다. 저자들은 다중 열 구조, 중첩된 필드, 표, 그리고 수기 또는 직인 영역을 포함하는 복잡한 레이아웃을 가진 양식을 선택함으로써 "양보다 질"을 우선시했습니다.
주석 스키마:
- 세밀한 엔티티(Fine-Grained Entities): 구조적 구성 요소(헤더, 섹션), 기능적 필드(키-값 쌍, 체크박스, 서명), 보조 요소 등을 포함하는 26개의 의미론적 엔티티 유형 분류 체계를 정의했습니다.
- 거친 엔티티(Coarse Entities): 비교 분석을 위해, 이 26개 유형을 5개의 거친 카테고리로 매핑했습니다.
- 관계(Relationships): 데이터셋에는 관련 필드(예: 키-값, 키-키)를 연결하는 8,771개의 주석 처리된 관계가 포함되어 있습니다.
- 난이도 수준: 레이아웃 밀도, 시각적 혼란, 의미적 결합도를 기준으로 양식을 쉬움(Easy), 중간(Medium), 어려움(Hard) 단계로 분류했습니다.
- KIE 서브셋: 핵심 정보 추출(KIE) 작업을 위해 156개의 양식(1,926개의 키-값 쌍)으로 구성된 특정 서브셋을 큐레이션했습니다.
주석 과정: 뱅글라어에 능숙한 17명의 숙련된 주석 작성자가 Label Studio를 사용하여 데이터를 라벨링했습니다. 이 과정은 독립적인 주석 작업 후 전문가 검토를 거쳤으며, 0.974의 Cohen's $\kappa$ 값을 달성했습니다.
평가 프레임워크: 저자들은 제로샷(Zero-shot) 및 사고 사슬(Chain-of-Thought, CoT) 프롬프팅을 사용하여 5개의 플래그십 MLLM(GPT-5.2, Gemini 3 Pro, Claude Opus 4.6, Qwen 3.6 Plus, Kimi K2.5)을 평가했습니다. 실험은 "낮은(Low)" 및 "높은(High)" 추론 노력 설정 하에서 수행되었습니다.
- DLA 지표: IoU(Intersection-over-Union) 임계값 0.3 및 0.5를 사용하는 정밀도(Precision), 재현율(Recall), F1, 평균 평균 정밀도(mAP).
- KIE 지표: 정밀도(Precision), 재현율(Recall), F1, 정규화된 편집 유사도(Normalized Edit Similarity, NES).

주요 결과

모델 성능 (DLA): 현재의 MLLM은 세밀한 뱅글라어 양식 로컬라이제이션(localization)에 어려움을 겪고 있습니다. Gemini 3 Pro는 대부분의 구성에서 가장 좋은 성능을 보였으며, 세밀한 엔티티 세트에서 0.1177 mAP, 거친 엔티티 세트에서 0.2646 mAP(IoU@0.3, 높은 추론, 제로샷 기준)를 기록했습니다. 오픈 소스 모델(Kimi K2.5, Qwen 3.6 Plus)은 크게 뒤처졌으나, Kimi K2.5는 추론 노력이 증가함에 따라 주목할 만한 개선을 보였습니다.
모델 성능 (KIE): 모델들은 DLA보다 KIE에서 실질적으로 더 나은 성능을 보였습니다. Gemini 3 Pro는 뱅글라어 양식에서 선두를 차지했으며(F1: 0.848), GPT-5.2는 영어 양식에서 선두를 차지했습니다(F1: 0.847). 오픈 소스 모델인 Qwen 3.6 Plus는 경쟁력 있는 성능을 보여주며 독점 모델과의 격차를 좁혔습니다.
세밀도 영향: 엔티티 세트를 세밀한 유형(26개)에서 거친 유형(5개)으로 이동할 때 성능이 현저히 향상되었으며, 이는 현재 모델들에게 세밀한 엔티티 유형을 구별하는 것이 주요 과제임을 나타냅니다.
추론 및 프롬프팅: 추론 노력을 높이고 CoT 프롬프팅을 사용하는 것은 혼합적이거나 미미한 결과를 낳았습니다. CoT는 종종 제로샷 프롬프팅과 유사한 성능을 보였으며, 더 높은 추론 노력이 기하학적 정밀도(평균 IoU)를 일관되게 개선하지는 못했습니다.
언어 효과: DLA의 경우, 뱅글라어와 영어 양식 간의 성능 차이가 미미하여( $\Delta$ mAP $\le$ 0.02), 레이아웃 탐지는 언어와 무관함을 시사했습니다. 그러나 KIE의 경우 언어 차이가 더 뚜렷하게 나타났으며, Gemini 3 Pro를 제외하고는 모델들이 일반적으로 영어에서 더 나은 성능을 보였습니다.

의의 및 기여
본 논문은 세 가지 주요 기여를 주장합니다:

BaFCo 데이터셋: 26개의 엔티티 유형과 주석 처리된 관계를 특징으로 하며 전문가 검토를 통해 검증된, 뱅글라 정부 양식을 위한 최초의 고품질, 세밀한 벤치마크를 도입했습니다.
벤치마킹 격차 해소: 뱅글라어 양식에 대한 DLA 및 KIE를 위한 첫 번째 벤치마크를 구축하여, 저자원 문서 이해 연구의 중요한 공백을 메웠습니다.
경험적 분석: 기성 플래그십 MLLM들에 대한 체계적인 평가를 제공하여, 이 모델들이 의미론적 추출(KIE)에는 효과적이지만, 세밀한 양식 요소의 정밀한 기하학적 로컬라이제이션(DLA)에는 상당한 한계가 있음을 밝혀냈습니다.

저자들은 BaFCo를 일반 목적의 코퍼스가 아니라, 뱅글라어 문서 레이아웃 분석 및 양식 이해 연구를 자극하기 위한 전문적이고 고품질인 자원으로 위치시키며, 저자원 언어가 첨단 멀티모달 AI를 채택할 때 직면하는 구체적인 과제를 강조합니다.