기술 요약: Khondo – 방글라데시 양식의 문서 패킷 분할을 위한 멀티모달 벤치마크

1. 문제 정의

정부 및 행정 워크플로에서 문서는 종종 "패킷(packet)"으로 처리됩니다. 이는 여러 개의 연결된 문서(양식 및 증빙 자료)가 하나의 파일로 구성된 형태이며, 원래의 순서와 다르게 나타날 수 있습니다. 구성 문서를 복구하기 위해서는 세 가지 작업이 필요합니다: 클러스터링(페이지를 소스 문서별로 그룹화), 타이핑(문서 도메인 분류), 그리고 순서 정렬(원래의 페이지 시퀀스 재구성).

기존 연구들이 문서 분할을 다루어 왔으나, 기존 벤치마크는 주로 영어 비즈니스 문서에 집중되어 있으며 OCR로 추출된 텍스트에 의존합니다. 이는 스크립트의 복잡성과 레거시 폰트로 인해 OCR이 신뢰하기 어려운 방글라 언어와 같은 저자원 언어에 있어 심각한 공백을 남깁니다. 또한, 현재의 연구들은 페이지 스트림 세그멘테이션을 순차적 도착을 가정하는 경계 탐지 문제로 취급하는 경향이 있는 반면, Khondo는 페이지가 뒤섞이거나 인터리빙(interleaved)된 상태에서의 재구성 문제로 접근합니다.

2. 방법론

2.1 Khondo 데이터셋

저자들은 방글라데시 정부 양식을 대상으로 한 최초의 멀티모달 문서 패킷 분할 벤치마크인 Khondo(방글라어로 "나누다"라는 뜻)를 소개합니다.

• 데이터 출처: 14개 행정 도메인(예: 농업, 금융, 법률, 등록)에 걸친 국가 전자 양식 포털에서 수집한 423개의 실제 양식.
• 이중 언어 특성: 이 데이터셋은 실세계의 행정 워크플로를 반영하여 본질적으로 이중 언어(방글라-영어)로 구성되어 있습니다. 페이지 수준에서 보면 67%의 방글라, 26%의 영어, 5%의 혼합 페이지로 이루어져 있습니다.
• 구축 파이프라인:
  1. 수집 및 필터링: 비양식 문서 및 저품질 스캔본을 제외하기 위한 수동 검토.
  2. 파티셔닝: 콘텐츠 누출을 방지하기 위해 도메인별로 계층화된 불연속적 훈련/검증/테스트 세트(55:20:25)로 양식을 분할.
  3. 패킷 조립: 목표 페이지 길이인 5~20페이지에 도달할 때까지 양식을 샘플링하여 패킷 생성.
  4. 결합 방식(Concatenation Schemes): 서로 다른 난이도를 격리하기 위해 5가지 변형 생성:
     • MonoSeq/PolySeq: 순차적 결합 (정렬됨).
     • MonoRand: 각 문서 블록 내에서 페이지를 섞음 (shuffled).
     • PolyInt: 서로 다른 문서의 페이지를 라운드 로빈 방식으로 인터리빙.
     • PolyRand: 전체 패킷 전체에서 모든 페이지를 전역적으로 섞음.
• 규모: 총 28,513 페이지에 달하는 1,950개의 패킷.

2.2 작업 공식화

작업은 패킷의 페이지 이미지 $P = \langle p_1, \dots, p_n \rangle$로부터 파티션 $\mathcal{D}$, 도메인 맵 $t$, 그리고 각 문서 $i$에 대한 페이지 순열 $\sigma_i$를 복구하는 것으로 정의됩니다. 기존 연구와 달리, Khondo는 OCR 텍스트에 의존하지 않고 원시 페이지 이미지를 직접 처리하는 비전 네이티브(vision-native) 방식으로 작동합니다.

2.3 평가 프로토콜

• 평가 모델:
  • 제로샷(Zero-Shot): 5종의 플래그십 멀티모달 대규모 언어 모델(MLLM): Gemini-3.5-Flash, GPT-5.4, Qwen 3.6 Plus, GLM-4.6V, Kimi K2.5.
  • 미세 조정(Fine-Tuned): QLoRA를 통해 적응된 3종의 소형 오픈 웨이트 모델(Qwen3-VL-4B, InternVL3.5-4B, Gemma 4 E2B).
• 지표:
  • 클러스터링 ($S_{clu}$): V-measure와 Rand Index의 평균.
  • 순서 정렬 ($S_{ord}$): 예측된 하위 문서들에 대한 Kendall's $\tau_a$의 평균.
  • 타이핑 ($PgAcc$): 페이지 수준 도메인 분류 정확도.
  • 전체 점수 ($S_{pkt}$): 클러스터링과 순서 정렬의 동일 가중치 평균.
• 프롬프팅: 재순서화를 명시적으로 지시하는 순서 인지(Order-Aware, OAw) 프와 순서 무관(Order-Agnostic, OAg) 프롬프트를 비교 실험.

3. 주요 결과

3.1 제로샷 성능

• 클러스터링 vs. 순서 정렬: MLLM은 강력한 클러스터링 능력을 보여주지만, 페이지가 섞였을 경우 순서 정렬에서 크게 어려움을 겪습니다.
  • 순차적 변형(sequential variants)에서는 순서 점수가 높지만($S_{ord} \approx 0.95$), 이는 페이지가 이미 정렬되어 있으므로 사소한 결과입니다.
  • 섞인 변형(MonoRand, PolyRand)에서는 순서 점수가 급격히 떨어집니다 (예: Gemini-3.5-Flash는 0.95에서 0.68로 하락; 약한 모델들은 ~0.05까지 하락).
  • 클러스터링은 섞임 현상에도 비교적 안정적입니다 ($S_{clu} \approx 0.55–0.85$).
• 모델 비교: Gemini-3.5-Flash와 Qwen 3.6 Plus가 다른 모델들보다 우수한 성능을 보이며, 특히 섞인 패킷에서 페이지 순서를 복구하는 데 탁월합니다.

3.2 미세 조정 결과

• 소형 오픈 소스 모델을 미세 조정하면 베이스라인보다 성능이 향면되지만, 병목 현상을 제거하지는 못합니다.
• 미세 조정을 통해 클러스터링은 크게 개선되지만(PolySeq에서 $S_{clu} \approx 0.95$ 도달), 섞인 변형에서의 순서 정렬은 여전히 열악합니다 (최고 성능 모델인 Qwen3-VL-4B의 경우 $S_{ord} \approx 0.32$).
• 모델 크기를 확장(4B에서 32B로)하면 섞인 변형에 대해 단조로운 성능 향상을 보이지만, 플래그십 제로샷 모델과의 격차를 좁히지는 못합니다.

3.3 통제 분석

• 프롬프트 민감도: 페이지 재정렬을 명시적으로 지시하는 프롬프트(OAw)는 입력 순서를 그대로 유지하는 경우가 많은 OAg 프롬프트에 비해 섞인 변형에서의 순서 점수를 유의미하게 향상시킵니다 (0.43–0.67의 이득). 그러나 명시적 지시 후에도 상당한 결손이 남아 있으며, 이는 문제가 단순히 프롬프트 엔지니어링의 실패가 아니라 작업 자체의 본질적인 어려움임을 시사합니다.
• 언어적 효과: 단일 언어 패킷에서 테스트했을 때, 모델들은 방글라 페이지보다 영어 페이지의 순서를 훨씬 더 잘 정렬합니다 ($\Delta S_{ord} = 0.13–0.36$ on shuffled variants). 클러스터링은 언어의 영향을 덜 받습니다. 이는 순서 정렬의 병목 현상이 부분적으로 언어적 요인, 즉 저자원 언어로서의 방글라 문서 이해 능력 부족에 기인함을 나타냅니다.

4. 기여

1. Khondo 벤치마크: 5가지 결합 방식과 14개 도메인에 걸친 1,950개 패킷을 특징으로 하는, 저자원 방글라 중심 정부 양식에 대한 최초의 멀티모달 문서 패킷 분할 벤치마크.
2. 경험적 발견: MLLM이 페이지 클러스터링은 효과적으로 수행할 수 있지만, 페이지 순서 재구성이 특히 섞인 상태와 저자원 언어 환경에서 주요 병목 구간임을 입증.
3. 미세 조정 통찰: 소형 MLLM이 작업을 학습할 수는 있지만, 섞인 변형에 대해서는 플래그십 모델과 상당한 성능 격차가 존재함을 증명.
4. 요인 격리: 명시적 프롬프팅이 순서 정렬을 돕기는 하지만 충분하지 않으며, 언어(방글라 vs 영어)가 순서 정렬 성능을 저하시키는 이차적이지만 일관된 요인임을 밝힌 통제 연구.

5. 의의 및 주장

본 논문은 Khondo를 통해 페이지 순서 재구성을 비전 기반 저자원 문서 이해 분야의 핵심적인 미해결 과제로 설정합니다. 저자들은 다음과 같이 주장합니다:

• 현재의 MLLM은 순차적 텍스트에 대해서는 패킷 분할을 "해결된" 문제로 취급하지만, 비전 네이티브이고 섞여 있는 저자원 문서에 적용될 때는 실패합니다.
• 순서 정렬의 어려움은 단순한 프롬프트 엔지니어링의 실패가 아니라, 시각적 연속성과 논리적 흐름에 대한 추론을 요구하는 작업의 본질적인(intrinsic) 특성입니다.
• 영어와 방글라 사이의 성능 격차는 멀티모달 문서 처리에서 저자원 언어가 직면한 특수한 도전 과제를 강조하며, 신뢰할 수 있는 OCR과 언어적 자원의 부족이 문서 구조 추론의 어려움을 가중시킨다는 점을 보여줍니다.

결론적으로, 미세 조정과 모델 크기 확장이 점진적인 개선을 제공할 수는 있지만, 섞여 있는 저자원 문서 패킷의 순서 정렬 병목을 해결하는 것은 여전히 이 분야의 중대한 과제로 남아 있습니다.