The COTe score: A decomposable framework for evaluating Document Layout Analysis models

Título: A pontuação COTe: Um framework decomponível para avaliar modelos de Análise de Layout de Documentos

1. O Problema

A Análise de Layout de Documentos (DLA - Document Layout Analysis) visa decompor páginas impressas em elementos semânticos para extração de dados. Atualmente, a avaliação desses modelos depende quase exclusivamente de métricas de detecção de objetos genéricas, como IoU (Intersection over Union), F1 e mAP (mean Average Precision).

O artigo identifica uma falha fundamental: essas métricas foram projetadas para imagens que são projeções 2D de espaços 3D (como fotos de cenas com sobreposição de objetos), enquanto documentos impressos são imagens nativamente 2D que funcionam como uma tesselação irregular (onde o espaço é preenchido para minimizar vazios sem prejudicar a legibilidade).

As principais consequências dessa incompatibilidade são:

• Interpretação Enganosa: Métricas tradicionais penalizam excessivamente discrepâncias de granularidade (ex: rótulos de linha vs. parágrafo) que não afetam a semântica ou a precisão do OCR.
• Falha Pragmática: Existe uma lacuna entre o desempenho real do modelo e a pontuação métrica, especialmente em cenários zero-shot ou com esquemas de rotulagem diferentes entre treino e teste.
• Incomensurabilidade: Diferentes conjuntos de dados usam esquemas de rotulagem distintos (ex: PAGE, hOCR, TEI), tornando difícil comparar modelos de forma justa usando métricas baseadas apenas em sobreposição geométrica.

2. Metodologia Proposta

Os autores propõem um novo framework baseado em duas inovações principais:

A. Unidade Semântica Estrutural (SSU - Structural Semantic Unit)

• Conceito: Em vez de focar na posição física exata do texto (como linhas ou palavras), a SSU agrupa regiões de texto que compartilham a mesma unidade estrutural (ex: coluna) e unidade semântica (ex: um artigo, um parágrafo lógico).
• Funcionamento: Duas regiões pertencem à mesma SSU se forem adjacentes na ordem de leitura, da mesma classe, dentro da mesma unidade estrutural e da mesma unidade semântica.
• Objetivo: Permitir que múltiplas previsões do modelo sejam atribuídas a uma única SSU (relação muitos-para-um), tornando a avaliação robusta a diferenças na granularidade dos rótulos (ex: se o modelo prevê parágrafos e o ground truth tem linhas, ou vice-versa).

B. Pontuação COTe (Coverage, Overlap, Trespass, Excess)
Uma métrica decomponível e nativamente 2D que avalia a qualidade do parsing da página através de quatro componentes:

1. Coverage (Cobertura): A fração da área do ground truth (SSU) coberta pelas previsões. Recompensa a cobertura de todo o conteúdo.
2. Overlap (Sobreposição): A fração da área do ground truth coberta por mais de uma previsão. Penaliza previsões empilhadas (impossíveis em espaço 2D nativo), que causam repetição de texto.
3. Trespass (Invasão): A fração da área do ground truth coberta por uma previsão que pertence a uma SSU diferente. Penaliza a violação das fronteiras semânticas (ex: um retângulo que cruza de uma coluna para outra), o que gera erros de ordem de palavras no OCR.
4. Excess (Excesso): Uma métrica de suporte que mede a área prevista fora de qualquer SSU (espaço em branco/margens).

Fórmula da Pontuação Final:
$$\text{COTe Score} = C - O - T$$
(A pontuação varia de 1 (perfeito) a valores negativos, onde pontuações negativas indicam que os erros de invasão e sobreposição superam a cobertura).

3. Principais Contribuições

1. Framework SSU: Um método de rotulagem relacional que aborda a incomensurabilidade entre diferentes esquemas de anotação, melhorando a robustez da avaliação.
2. Métrica COTe: Uma métrica decomponível que fornece diagnósticos específicos sobre modos de falha (cobertura, sobreposição, invasão), superando a visão binária do F1/IoU.
3. Biblioteca Open Source (cotescore): Uma biblioteca Python que permite aplicar o framework, incluindo ferramentas para rotulagem automática de SSU em esquemas como PAGE.
4. Dataset NCSE Rotulado: Atualização do dataset NCSE com anotações SSU para facilitar a pesquisa.

4. Resultados e Experimentos

Os autores avaliaram 5 modelos populares de DLA (DocLayout-YOLO, Heron, PP-DocLayout em 3 tamanhos) em 3 datasets (NCSE, HNLA2013, DocLayNet).

• Robustez à Granularidade: Em estudos de caso com discrepâncias de granularidade (ex: ground truth em nível de linha vs. previsão em nível de parágrafo), as métricas tradicionais (F1, IoU) mostraram quedas drásticas (ex: F1 caindo para 0.32), enquanto a pontuação COTe permaneceu alta (1.00 ou 0.84), refletindo corretamente que o texto foi extraído com sucesso.
• Correlação com Métricas Tradicionais: Houve uma correlação moderada a baixa entre COTe e mAP/IoU. Em alguns casos, o modelo "melhor" segundo o mAP foi considerado o pior pelo COTe devido a altos níveis de invasão (Trespass) ou sobreposição.
• Diagnóstico de Falhas: O COTe revelou modos de falha distintos:
  • Heron: Baixa invasão, mas alta sobreposição.
  • DocLayout-YOLO: Alta cobertura, mas com invasão massiva e sobreposição, resultando em pontuações negativas em páginas específicas.
  • PP-DocLayout: Variação de desempenho não linear com o tamanho do modelo.
• Sem Rotulamento SSU Explícito: Curiosamente, a robustez da granularidade do COTe manteve-se mesmo sem o uso explícito de SSU (usando apenas a estrutura física), sugerindo que a relação muitos-para-um já oferece benefícios significativos, reduzindo barreiras de entrada.
• Redução da Lacuna de Interpretação: O COTe reduziu a lacuna entre interpretação e desempenho em até 76% em comparação ao F1.

5. Significância e Conclusão

O artigo demonstra que as métricas de detecção de objetos tradicionais são inadequadas para documentos impressos devido à natureza de tesselação 2D desses meios.

• Mudança de Paradigma: O COTe muda o foco da "sobreposição geométrica perfeita" para a "integridade semântica e estrutural".
• Utilidade Prática: Ao decompor o erro em Cobertura, Sobreposição e Invasão, o framework permite que engenheiros de ML identifiquem problemas específicos (ex: "o modelo está cruzando colunas") e ajustem o treinamento ou o pós-processamento de forma direcionada.
• Acessibilidade: A descoberta de que o COTe funciona bem mesmo sem rotulamento SSU complexo torna a adoção do método viável para uma ampla gama de projetos de Document Understanding.

Em suma, o COTe oferece uma avaliação mais fiel, interpretável e robusta para modelos de DLA, alinhando-se melhor com os objetivos reais de digitalização e extração de dados de documentos.