Towards Khmer Scene Document Layout Detection

Este artigo apresenta o primeiro estudo abrangente sobre detecção de layout em documentos de cena em khmer, introduzindo um novo framework que inclui um dataset de treinamento, uma ferramenta de aumento de dados e modelos baseados em YOLO com caixas delimitadoras orientadas para superar os desafios específicos da escrita khmer.

O essencial

Imagine que você tem uma pilha de documentos em cambojano (Khmer) espalhados pelo chão. Alguns são fotos tiradas com o celular na rua, outros são scans de livros, e alguns são até slides de apresentação. O problema é que o cambojano é uma língua muito complexa: as letras se empilham umas sobre as outras como blocos de Lego, e não há espaços claros entre as palavras como no português ou inglês.

Agora, imagine que você quer ensinar um robô (uma Inteligência Artificial) a ler esses documentos e entender a estrutura deles: "Onde começa o título?", "Onde está a tabela?", "Onde está a lista de compras?".

Até agora, os robôs eram ótimos lendo documentos em inglês ou português, mas quando viam cambojano, especialmente fotos tiradas na rua com distorções e fundos bagunçados, eles ficavam completamente perdidos. Era como tentar ensinar alguém a dirigir em uma estrada de terra cheia de buracos usando apenas um manual de uma pista de corrida perfeita.

O que os autores deste artigo fizeram?

Eles decidiram construir a primeira "escola de direção" completa para robôs lerem documentos em cambojano. Eles fizeram três coisas principais:

1. Criaram o "Mapa do Tesouro" (O Conjunto de Dados):
   Eles coletaram milhares de documentos reais e, com a ajuda de humanos, desenharam "caixas" ao redor de cada parte importante (títulos, tabelas, imagens). É como se eles tivessem colorido um mapa gigante, mostrando exatamente onde está cada coisa. Antes, eles tinham apenas um pequeno pedaço de mapa; agora, têm um atlas completo. É o maior conjunto de dados já feito para esse fim.

2. Criaram um "Simulador de Voo" (A Ferramenta de Augmentation):
   Como não dá para tirar milhões de fotos reais de documentos distorcidos, eles criaram um software inteligente. Esse software pega os documentos "perfeitos" e os joga em uma "máquina do tempo" que os dobra, estica, torce e inclina, simulando como eles pareceriam se fossem tirados com um celular tremido na rua.

   • A mágica: Enquanto o software distorce a imagem, ele também distorce as "caixas" que desenharam antes. Assim, o robô aprende a reconhecer o título mesmo que ele esteja torto ou inclinado. É como treinar um atleta não apenas na academia, mas também na lama e no vento, para que ele corra bem em qualquer lugar.

3. Treinaram os "Robôs Detectores" (Os Modelos YOLO):
   Eles usaram uma tecnologia chamada YOLO (que significa "You Only Look Once" - "Você só olha uma vez"), que é famosa por ser rápida e precisa. Eles adaptaram esses robôs para não apenas desenhar caixas retas (como quadrados), mas caixas inclinadas (Oriented Bounding Boxes), capazes de abraçar o texto mesmo que ele esteja virado ou curvado.

O Resultado?

Eles testaram seus novos robôs contra os "velhos mestres" (modelos que já existiam e tentavam ler cambojano).

• Os velhos mestres: Ficaram confusos, errando muito e perdendo partes do texto, especialmente em documentos complexos.
• Os novos robôs: Foram como um farol na neblina. Eles identificaram quase tudo com precisão, mesmo em documentos tortos, com fundos bagunçados e textos densos.

Por que isso é importante?

Pense na digitalização de documentos como a chave para abrir a porta do futuro digital de um país. Se você não consegue ler os documentos antigos ou os novos formulários em cambojano automaticamente, você não consegue criar bancos de dados, não consegue pesquisar informações e não consegue automatizar processos.

Este trabalho é como dar a chave mestra para a comunidade cambojana. Eles liberaram tudo (os dados, o código e os modelos) para que qualquer pessoa possa usar e melhorar. Agora, em vez de lutar contra a complexidade da língua, os pesquisadores podem usar essa "caixa de ferramentas" para construir sistemas que realmente entendem o cambojano, desde um recibo de mercado até um livro de história.

Em resumo: Eles pegaram um problema difícil (ler documentos cambojanos distorcidos), criaram um campo de treinamento perfeito com dados reais e sintéticos, e ensinaram robôs a verem o mundo com clareza, onde antes só havia confusão.

Resumo técnico

Título: Rumo à Detecção de Layout de Documentos em Cena em Khmer

1. O Problema

A análise de layout de documentos (DLA) avançou significativamente para scripts latinos, impulsionada por modelos multimodais grandes (LMMs). No entanto, para o idioma Khmer (câmbodiano), o progresso permanece limitado devido a três fatores principais:

• Escassez de Dados: Há uma falta crítica de dados de treinamento anotados, especialmente para documentos em "cena" (capturados por câmeras de smartphones em ambientes naturais), que apresentam distorções de perspectiva e fundos complexos.
• Complexidade do Script: O Khmer é um sistema de escrita abugida complexo, caracterizado por empilhamento de caracteres em múltiplas camadas, diacríticos e ausência de espaços explícitos entre palavras. Modelos baseados em scripts latinos falham ao delinear unidades de layout semântico em regiões de texto denso.
• Limitações dos Modelos Atuais: As soluções existentes (como Surya-OCR, PaddleOCR, Docling) oferecem suporte limitado ao Khmer e são otimizadas principalmente para documentos digitalizados (escaneados), não lidando bem com as distorções geométricas de documentos em cena.

2. Metodologia

Os autores propõem um estudo abrangente que aborda a construção de dados, aumento de dados e treinamento de modelos. A metodologia divide-se em três pilares:

• Construção do Dataset (Khmer Scene Document Layout Dataset):

  • Coletaram documentos PDF públicos de diversas fontes (governo, cultura, tecnologia) e os converteram em imagens.
  • Utilizaram uma estratégia de anotação em duas etapas:
    1. Pré-anotação com Surya-OCR: Para capturar rótulos agnósticos à linguagem (figuras, tabelas), reduzindo a carga de trabalho humana.
    2. Curadoria Humana: Anotadores humanos corrigiram erros e adicionaram rótulos dependentes do script (cabeçalhos, listas, rodapés) usando o ferramenta LabelMe com anotações poligonais.
  • O dataset final contém 8.990 páginas, divididas em treinamento (7.818) e avaliação (1.178), cobrindo 13 classes de layout (texto, tabelas, listas, figuras, etc.).

• Ferramenta de Aumento de Layout (Layout Augmentor):

  • Para simular documentos em cena reais, desenvolveram uma ferramenta de aumento baseada em composição.
  • O pipeline aplica transformações não-lineares (deformação elástica, distorção de barril/pincushion, ondas) seguidas de transformações afinas (rotação, escala, cisalhamento, perspectiva).
  • Inovação Chave: A ferramenta aplica as mesmas transformações matemáticas tanto aos pixels da imagem quanto às coordenadas das anotações (convertendo caixas delimitadoras retangulares em polígonos), garantindo correspondência pixel-perfeita.
  • Após a geração, imagens aumentadas foram validadas manualmente para remover casos extremos, resultando em 2.258 imagens adicionais anotadas.

• Treinamento de Modelos (Baselines):

  • Para lidar com a orientação variável dos documentos em cena, foram treinados modelos baseados em YOLO (YOLO11, YOLO12 e YOLO26) com capacidade de Oriented Bounding Boxes (OBB).
  • Os modelos foram ajustados para prever o ângulo de inclinação da caixa delimitadora, além das coordenadas e classes.
  • Foram testadas variantes de tamanho (s, m, l, x) com resolução de entrada de 640x640.

3. Principais Contribuições

1. Primeiro Dataset Abrangente: A criação do maior dataset único de treinamento e avaliação para análise de layout de documentos em Khmer, incluindo tanto formatos padrão quanto modernos (apresentações, infográficos).
2. Ferramenta de Aumento de Layout: Desenvolvimento de um software de código aberto capaz de sintetizar documentos em cena realistas, transformando simultaneamente caracteres e estruturas de layout.
3. Baselines de Detecção: Treinamento e avaliação dos primeiros modelos de detecção de layout específicos para Khmer em cenários reais, utilizando arquiteturas YOLO-OBB.
4. Repositório Aberto: Liberação dos modelos, código e datasets para fomentar a comunidade de pesquisa em Análise e Reconhecimento de Documentos (DAR) em Khmer.

4. Resultados

• Desempenho Geral: O modelo YOLO12x obteve o melhor desempenho global, alcançando um mAP@0.5:0.95 de 0.9502, demonstrando um equilíbrio superior entre precisão e recall.
• Comparação com Estado da Arte: Os modelos YOLO12 superaram significativamente as ferramentas existentes:
  • Surya-OCR: mAP@0.5:0.95 = 0.5156.
  • PaddleOCR-V2: mAP@0.5:0.95 = 0.5720.
  • YOLO12x (Proposto): mAP@0.5:0.95 = 0.9502.
  • Isso representa uma melhoria drástica, indicando que os modelos anteriores falhavam devido à falta de dados de treinamento específicos para Khmer e cenários distorcidos.
• Desempenho por Classe: O modelo demonstrou alta robustez na detecção de list-items (0.992 mAP), text (0.974 mAP) e tables (0.995 mAP). As classes com menor desempenho foram page-header e image, atribuídas a erros de anotação no conjunto de teste e confusão entre imagens e figuras.
• Avaliação Qualitativa: A análise visual confirmou que o modelo consegue detectar unidades semânticas em documentos com deformações severas, múltiplas colunas e layouts complexos, onde modelos concorrentes falham em detectar regiões de texto denso ou atribuem rótulos incorretos.

5. Significância e Impacto

Este trabalho é um marco para a digitalização de documentos em Camboja e para a comunidade de IA de línguas de recursos limitados.

• Ponte Tecnológica: Preenche a lacuna crítica entre a teoria de DLA avançada e a aplicação prática em scripts complexos e não latinos.
• Viabilidade Prática: Ao focar em documentos em "cena" (capturados por celulares), a solução é diretamente aplicável a cenários do mundo real, como digitalização de arquivos governamentais, educação e negócios no Camboja.
• Reprodutibilidade: A disponibilização pública dos dados e modelos permite que pesquisadores locais e internacionais construam sobre este trabalho, acelerando o desenvolvimento de OCR e sistemas de compreensão de documentos para o Khmer.

Limitações Futuras: Os autores apontam a necessidade de expandir o dataset para incluir mais blocos de código e equações matemáticas, desenvolver esquemas de anotação para unidades de layout aninhadas (ex: linhas dentro de tabelas) e criar modelos nativos otimizados especificamente para a estrutura linguística do Khmer.