DocSplit: A Comprehensive Benchmark Dataset and Evaluation Approach for Document Packet Recognition and Splitting

Each language version is independently generated for its own context, not a direct translation.

Imagine que você recebe uma caixa de correio gigante cheia de papéis misturados. Dentro dela, há contratos de aluguel, contas de luz, receitas médicas, cartas de amigos e extratos bancários. O problema? Alguém rasgou tudo, misturou as páginas e as jogou de volta na caixa sem nenhuma ordem.

O "DocSplit" é o herói que entra nessa história para organizar o caos.

Aqui está uma explicação simples do que os pesquisadores da Amazon criaram, usando analogias do dia a dia:

1. O Problema: A "Salada de Documentos"

No mundo real, empresas (hospitais, bancos, escritórios de advocacia) recebem pacotes de documentos que são uma bagunça.

Analogia: Pense em um livro de receitas onde alguém rasgou as páginas de "Bolo de Chocolate", "Salada de Frutas" e "Sopa", misturou tudo e colou as páginas de volta aleatoriamente.
O Desafio: Um computador precisa olhar para essa pilha bagunçada e dizer: "Ok, as páginas 1, 5 e 10 formam a receita do Bolo. As páginas 2 e 3 são a Salada. E a página 4 é a Sopa." Além disso, ele precisa colocar as páginas do bolo na ordem certa (ingredientes antes do modo de preparo).

2. A Solução: O "DocSplit" (O Organizador Mágico)

Os autores criaram o DocSplit, que é como um campo de treinamento (gym) e uma régua de medição para ensinar e testar Inteligência Artificial (IA) nessa tarefa.

Antes disso, as IAs eram ótimas em ler uma página de cada vez (como ler uma única receita), mas péssimas em entender que várias páginas juntas formam um documento único, especialmente quando elas estão embaralhadas.

O DocSplit oferece:

5 Níveis de Dificuldade: Começa fácil (apenas misturar páginas de documentos iguais) até o "modo pesadelo" (misturar documentos totalmente diferentes, como um contrato e uma foto de um carro, e embaralhar tudo).
Um Novo "Apontador de Notas": Eles criaram uma forma nova de dar nota à IA. Antigamente, se a IA errava uma página, ela tirava zero em tudo. Com o DocSplit, a IA ganha pontos parciais se ela acertar a maioria das páginas ou se entender a ordem, mesmo que não seja perfeita. É como um professor que diz: "Você errou a data, mas acertou o nome do aluno. Nota 8, não 0."

3. Como Eles Testaram?

Eles pegaram as IAs mais inteligentes do momento (como Claude, Qwen e DeepSeek) e as colocaram para "jogar" com esses pacotes bagunçados.

O Resultado: As IAs são muito boas em entender o que está escrito (ler a receita), mas ainda tropeçam feio quando precisam separar os documentos misturados (dizer onde termina o bolo e começa a salada).
A Lição: A IA precisa aprender a "ler entre as linhas" e entender a estrutura global, não apenas o texto de cada folha.

4. Por Que Isso Importa?

Isso não é apenas um jogo de computador. Pense nas consequências reais:

Saúde: Se um hospital não separar corretamente os exames de um paciente do histórico médico de outro, o tratamento pode ser errado.
Bancos: Se um banco não separar a prova de renda de um cliente dos documentos de um vizinho, o empréstimo pode ser negado injustamente.
Justiça: Advogados precisam encontrar a prova certa em pilhas de papéis misturados rapidamente.

Resumo em Uma Frase

O DocSplit é como um novo "treinador de futebol" que criou um campo de treino realista e um sistema de pontuação justo para ensinar as IAs a separar, organizar e entender documentos misturados, algo que hoje é uma das maiores dores de cabeça para empresas que lidam com papelada.

Eles liberaram todos os dados e ferramentas de graça para que outros pesquisadores possam ajudar a treinar essas IAs até que elas se tornem mestres em organizar a bagunça do mundo real.

Each language version is independently generated for its own context, not a direct translation.

Título: DocSplit: Um Conjunto de Dados de Benchmark Abrangente e Abordagem de Avaliação para Reconhecimento e Divisão de Pacotes de Documentos

1. O Problema

Em aplicações do mundo real (como saúde, finanças, seguros e jurídico), o processamento de documentos frequentemente lida com pacotes de documentos heterogêneos e multi-página. Esses pacotes são coleções de documentos "costurados" juntos, que podem conter:

Múltiplos documentos distintos agrupados sem separadores claros.
Páginas desordenadas (fora de ordem).
Documentos intercalados (páginas de diferentes documentos misturadas).
Falta de demarcação visual ou estrutural entre os documentos.

Apesar dos avanços na compreensão visual de documentos (VDU) e na classificação de páginas únicas, a tarefa fundamental de divisão de pacotes de documentos (separar um pacote misto em suas unidades lógicas individuais) permanece subexplorada. As abordagens atuais falham em lidar com a complexidade de detectar limites de documentos, classificar tipos e reordenar sequências simultaneamente, especialmente quando as páginas estão embaralhadas.

2. Metodologia

A. Formalização da Tarefa (DocSplit)

Os autores formalizam a tarefa de DocSplit como a transformação de uma sequência de entrada de $N$ páginas (um pacote) em uma representação estruturada que captura:

Detecção de Limites: Identificar onde um documento termina e outro começa.
Classificação: Determinar o tipo de cada documento (ex: fatura, contrato, relatório médico).
Ordenação de Páginas: Restaurar a ordem sequencial correta das páginas dentro de cada documento identificado.

B. Métricas de Avaliação Propostas

O artigo introduz um novo framework de avaliação que supera as métricas binárias tradicionais (acerto/erro), permitindo uma avaliação granular:

Para Agrupamento (Clustering):
- Índice de Rand (RI): Mede a similaridade entre pares de elementos agrupados.
- Medida V (V-measure): Média harmônica de homogeneidade e completude.
- Score de Agrupamento ( $S_{clustering}$ ): Combinação ponderada de RI e V-measure.
Para Ordenação (Ordering):
- Coeficiente Tau de Kendall ( $\tau$ ): Mede a correlação de ordem entre a sequência prevista e a real, capturando se a ordem foi preservada mesmo que deslocada.
Score Combinado ( $S_{packet}$ ): Uma métrica unificada que pondera o desempenho de agrupamento e ordenação, fornecendo uma pontuação contínua que reflete o desempenho prático do modelo.

C. O Conjunto de Dados (DocSplit Benchmark)

Derivado e expandido a partir do dataset RVL-CDIP-MP, o DocSplit consiste em 5 benchmarks distintos com níveis crescentes de complexidade:

DocSplit-Mono-Seq: Concatenação sequencial de documentos de uma única categoria (desafio de limites sem transição de tipo).
DocSplit-Mono-Rand: Mesma categoria, mas com páginas totalmente embaralhadas (desafio de reordenação).
DocSplit-Poly-Seq: Concatenação sequencial de múltiplas categorias (desafio de limites entre tipos diferentes).
DocSplit-Poly-Int: Páginas de múltiplas categorias intercaladas em ordem round-robin (desafio de separação de documentos não contíguos).
DocSplit-Poly-Rand: Múltiplas categorias com todas as páginas totalmente aleatorizadas (cenário de máxima entropia e pior caso).

O dataset totaliza 52.6 mil documentos e 1,55 milhão de páginas, cobrindo 13 categorias de documentos e cenários multimodais.

3. Principais Contribuições

Primeiro Benchmark Abrangente: Introdução do DocSplit, o primeiro conjunto de dados e framework de avaliação dedicado especificamente à divisão de pacotes de documentos.
Novas Métricas de Avaliação: Desenvolvimento de métricas contínuas (baseadas em RI, V-measure e Kendall's Tau) que oferecem crédito parcial para previsões quase corretas, superando a rigidez das métricas de correspondência exata.
Dataset Diversificado: Criação de cinco variações de benchmark que simulam desafios do mundo real, desde documentos homogêneos até cenários caóticos de intercalação e embaralhamento.
Análise de Estado da Arte: Avaliação sistemática de Grandes Modelos de Linguagem Multimodais (MLLMs) como Claude Sonnet/Haiku, DeepSeek, Gemma e Qwen, revelando lacunas significativas de desempenho.

4. Resultados e Discussão

Desempenho Geral: Modelos de ponta (como Qwen 3 VL e Claude Sonnet) alcançaram bons resultados em cenários simples (Mono-Seq), mas enfrentaram dificuldades significativas em cenários complexos (Poly-Rand).
Gargalo Principal: A detecção de limites (clustering) mostrou-se o principal gargalo, com scores variando de 0,56 a 0,90. A ordenação de páginas, por outro lado, manteve-se alta (>0,97) uma vez que o agrupamento foi bem-sucedido, indicando que os modelos conseguem inferir a ordem estrutural se conseguirem agrupar as páginas corretamente.
Impacto da Complexidade:
- Em cenários de múltiplas categorias intercaladas (Poly-Int) ou aleatorizadas (Poly-Rand), os modelos mais fracos (ex: Gemma 3) sofreram degradação de 20-30% nas métricas clássicas.
- A métrica clássica "Page+Split" (correspondência exata) penalizou excessivamente erros de fronteira, enquanto a métrica proposta do DocSplit capturou nuances de desempenho parcial.
Comparação de Métricas: As métricas clássicas falharam em cenários onde o agrupamento estava correto, mas os rótulos de classe estavam trocados ou a ordem estava invertida (pontuando 0%). As métricas propostas do DocSplit atribuíram pontuações parciais, refletindo melhor a utilidade prática do sistema.

5. Significado e Impacto

O trabalho do DocSplit é fundamental para avançar a inteligência artificial em processamento de documentos (IDP) em setores de alto risco:

Aplicações Práticas: Permite a automação robusta em processamento de sinistros de saúde (separando receitas, exames e notas médicas), aplicações de hipoteca (deeds, impostos, contratos) e descoberta jurídica.
Direção para Pesquisa Futura: Identifica que a modelagem de consistência entre páginas e representações hierárquicas de documentos são áreas críticas para pesquisa, já que os modelos atuais ainda lutam com a detecção de fronteiras em contextos complexos.
Reprodutibilidade: A liberação pública dos datasets, códigos de avaliação e configurações experimentais permite que a comunidade científica desenvolva e compare modelos de forma padronizada, acelerando o progresso na compreensão de documentos complexos.

Em resumo, o DocSplit preenche uma lacuna crítica na literatura de VDU, fornecendo não apenas dados, mas uma metodologia de avaliação rigorosa para tarefas de separação e organização de documentos que são essenciais para a operação eficiente de indústrias baseadas em documentos.