Resumo Técnico: Khondo – Um Benchmark Multimodal para Divisão de Pacotes de Documentos de Formulários em Bangla

1. Definição do Problema

Em fluxos de trabalho governamentais e administrativos, documentos são frequentemente processados como "pacotes" — arquivos únicos contendo múltiplos documentos concatenados (formulários e materiais de apoio) que podem aparecer fora de sua ordem original. Recuperar os documentos constituintes envolve três tarefas: agrupamento (agrupar páginas por documento de origem), tipagem (classificar domínios de documentos) e ordenação (reconstruir a sequência original das páginas).

Embora trabalhos anteriores tenham abordado a divisão de documentos, os benchmarks existentes concentram-se principalmente em documentos comerciais em inglês e dependem de texto extraído via OCR. Isso deixa uma lacuna crítica para línguas de baixos recursos como o Bangla, onde o Reconhecimento Óptico de Caracteres (OCR) é frequentemente pouco confiável devido à complexidade da escrita e de fontes legadas. Além disso, a pesquisa atual trata predominantemente a segmentação de fluxo de páginas como um problema de detecção de limites que assume chegada sequencial, em vez de um problema de reconstrução onde as páginas estão embaralhadas ou intercaladas.

2. Metodologia

2.1 O Conjunto de Dados Khondo

Os autores apresentam o Khondo (Bangla para "dividir"), o primeiro benchmark multimodal para divisão de pacotes de documentos em formulários governamentais de Bangladesh.

• Fonte de Dados: 423 formulários autênticos coletados do portal nacional de e-formulários através de 14 domínios administrativos (ex: agricultura, finanças, jurídico, registro).
• Natureza Bilíngue: O conjunto de dados é inerentemente bilíngue (Bangla–Inglês), refletindo fluxos de trabalho administrativos reais. Ao nível de página, compreende 67% de páginas em Bangla, 26% em Inglês e 5% de páginas mistas.
• Pipeline de Construção:
  1. Coleta e Filtragem: Revisão manual para descartar não-formulários e digitalizações de baixa qualidade.
  2. Particionamento: Os formulários são divididos em conjuntos distintos de treino/validação/teste (55:20:25) estratificados por domínio para evitar vazamento de conteúdo.
  3. Montagem de Pacotes: Pacotes são gerados amostrando formulários para atingir um comprimento alvo de 5 a 20 páginas.
  4. Esquemas de Concatenação: Cinco variantes são criadas para isolar diferentes dificuldades:
     • MonoSeq/PolySeq: Concatenação sequencial (ordenada).
     • MonoRand: Páginas embaralhadas dentro de cada bloco de documento.
     • PolyInt: Intercalação round-robin de páginas de diferentes documentos.
     • PolyRand: Embaralhamento global de todas as páginas em todo o pacote.
• Escala: 1.950 pacotes totalizando 28.513 páginas.

2.2 Formalização da Tarefa

A tarefa é definida como recuperar uma partição $\mathcal{D}$, um mapa de domínio $t$ e permutações de páginas $\sigma_i$ para cada documento $i$ a partir de um pacote de imagens de páginas $P = \langle p_1, \dots, p_n \rangle$. Diferente de trabalhos anteriores, o Khondo opera de forma nativa à visão (vision-native), processando imagens de páginas brutas sem depender de texto OCR.

2.3 Protocolo de Avaliação

• Modelos Avaliados:
  • Zero-Shot: Cinco modelos de linguagem de grande escala multimodais (MLLMs) de ponta: Gemini-3.5-Flash, GPT-5.4, Qwen 3.6 Plus, GLM-4.6V e Kimi K2.5.
  • Ajuste Fino (Fine-Tuned): Três modelos pequenos de pesos abertos (Qwen3-VL-4B, InternVL3.5-4B, Gemma 4 E2B) adaptados via QLoRA.
• Métricas:
  • Agrupamento ($S_{clu}$): Média do V-measure e Rand Index.
  • Ordenação ($S_{ord}$): Média de Kendall's $\tau_a$ sobre subdocumentos previstos.
  • Tipagem ($PgAcc$): Precisão de classificação de domínio ao nível de página.
  • Pontuação Geral ($S_{pkt}$): Média ponderada igual de agrupamento e ordenação.
• Prompting: Experimentos comparam um prompt Consciente de Ordem (OAw - Order-Aware) (instruindo explicitamente o reordenamento) contra um prompt Agnóstico de Ordem (OAg - Order-Agnostic).

3. Resultados Principais

3.1 Desempenho Zero-Shot

• Agrupamento vs. Ordenação: Os MLLMs demonstram capacidades robustas de agrupamento, mas têm dificuldade significativa com a ordenação de páginas quando estas estão embaralhadas.
  • Em variantes sequenciais, as pontuações de ordenação são altas ($S_{ord} \approx 0.95$), mas isso é trivial, pois as páginas já estão ordenadas.
  • Em variantes embaralhadas (MonoRand, PolyRand), as pontuações de ordenação caem drasticamente (ex: Gemini-3.5-Flash cai de 0.95 para 0.68; modelos mais fracos caem para ~0.05).
  • O agrupamento permanece relativamente estável ($S_{clu} \approx 0.55–0.85$) mesmo sob embaralhamento.
• Comparação de Modelos: Gemini-3.5-Flash e Qwen 3.6 Plus superam os outros modelos, particularmente na restauração da ordem das páginas em pacotes embaralhados.

3.2 Resultados de Ajuste Fino (Fine-Tuning)

• O ajuste fino de modelos pequenos de código aberto melhora o desempenho em relação aos seus baselines, mas não elimina o gargalo.
• Embora o agrupamento melhore significativamente (atingindo $S_{clu} \approx 0.95$ em PolySeq), a ordenação em variantes embaralhadas permanece baixa ($S_{ord} \approx 0.32$ para o melhor modelo, Qwen3-VL-4B).
• Escalar o tamanho do modelo (de 4B para 32B) produz melhorias monotônicas nas variantes embaralhadas, mas não fecha a lacuna em relação aos modelos de ponta zero-shot.

3.3 Análises Controladas

• Sensibilidade ao Prompt: Instruções explícitas para reordenar páginas (OAw) melhoram significativamente as pontuações de ordenação em variantes embaralhadas (ganhos de 0.43–0.67) em comparação com prompts OAg, que frequentemente apenas preservam a ordem de entrada. No entanto, um déficit substancial permanece mesmo com instruções explícitas, sugerindo que a dificuldade é intrínseca à tarefa, não apenas um artefato de engenharia de prompt.
• Efeitos Linguísticos: Quando testados em pacotes monolíngues, os modelos ordenam páginas em Inglês significativamente melhor do que páginas em Bangla ($\Delta S_{ord} = 0.13–0.36$ em variantes embaralhadas). O agrupamento é menos afetado pela língua. Isso indica que o gargalo de ordenação é parcialmente linguístico, exacerbado pela natureza de baixo recurso da compreensão de documentos em Bangla.

4. Contribuições

1. Benchmark Khondo: O primeiro benchmark multimodal para divisão de pacotes de documentos em formulários governamentais de baixo recurso, dominantes em Bangla, apresentando 1.950 pacotes através de 5 esquemas de concatenação e 14 domínios.
2. Descobertas Empíricas: Demonstração de que, embora os MLLMs possam agrupar páginas de forma eficaz, a reconstrução da ordem das páginas é o principal gargalo, especialmente sob embaralhamento e para línguas de baixo recurso.
3. Insights de Ajuste Fino: Evidência de que, embora os pequenos MLLMs possam aprender a tarefa, uma lacuna de desempenho significativa persiste em variantes embaralhadas em comparação com modelos de ponta.
4. Isolamento de Fatores: Estudos controlados revelando que o prompting explícito auxilia a ordenação, mas é insuficiente, e que a língua (Bangla vs. Inglês) é um fator secundário, mas consistente, que degrada o desempenho de ordenação.

5. Significância e Alegações

O artigo posiciona o Khondo como estabelecedor da reconstrução da ordem das páginas como um problema aberto fundamental na compreensão de documentos baseada em visão e de baixo recurso. Os autores alegam que:

• Os MLLMs atuais tratam a divisão de pacotes como um problema "resolvido" para textos sequenciais, mas falham quando aplicados a documentos de baixo recurso, nativos de visão e embaralhados.
• A dificuldade na ordenação é intrínseca à tarefa (exigindo raciocínio sobre continuidade visual e fluxo lógico) e não meramente uma falha de engenharia de prompt.
• A lacuna de desempenho entre o Inglês e o Bangla destaca um desafio específico para línguas de baixo recurso no processamento de documentos multimodais, onde a falta de OCR confiável e de recursos linguísticos amplia a dificuldade de inferir a estrutura do documento.

O trabalho conclui que, embora o ajuste fino e modelos maiores ofereçam ganhos incrementais, resolver o gargalo de ordenação para pacotes de documentos embaralhados e de baixo recurso continua sendo um desafio significativo para a área.