Active Learning for Cascaded Object Detection: Balancing Coverage and Uncertainty in Table Extraction Pipelines

Resumo Técnico: Aprendizado Ativo para Detecção de Objetos em Cascata na Extração de Tabelas

Definição do Problema
A extração de tabelas de documentos de negócios normalmente depende de um pipeline em cascata composto por dois estágios: Detecção de Tabelas (TD - Table Detection), que localiza tabelas dentro de uma página de documento, e Reconhecimento de Estrutura de Tabela (TSR - Table Structure Recognition), que recupera o layout interno (linhas, colunas, cabeçalhos) das regiões detectadas. A construção de conjuntos de treinamento para este pipeline é dispendiosa, particularmente para o TSR, que requer anotações estruturais detalhadas em comparação com a caixa delimitadora única exigida para o TD. Embora o Aprendizado Ativo (AL - Active Learning) ofereça uma abordagem fundamentada para reduzir os encargos de anotação ao selecionar as amostras mais informativas, as estratégias existentes são projetadas primariamente para tarefas de modelo único. Elas falham em considerar as dependências estruturais em arquiteturas em cascata, onde o desempenho do TSR é estritamente limitado pela qualidade das predições do estágio anterior (TD). Além disso, os dois estágios diferem em escopo de entrada (página completa vs. tabela recortada) e complexidade de tarefa, sugerindo que podem exigir sinais de treinamento diferentes e não melhoram a taxas idênticas conforme os dados são adicionados.

Metodologia
Os autores adaptam o Uncertainty Herding (UHerding), um método de amostragem híbrido que equilibra cobertura (diversidade) e incerteza, para o cenário de extração de tabelas em cascata. A adaptação central envolve a modificação dos componentes de cobertura e incerteza para lidar com múltiplos estágios com espaços de incorporação (embeddings) distintos.

1. Adaptação do UHerding Generalizado:

   • Embedding: Em vez de características de imagens naturais, um codificador de imagem de documento pré-treinado (DiT) é usado para gerar representações ao nível do documento.
   • Incerteza: Um sinal de incerteza combinado é derivado dos escores de confiança de ambos os modelos, TD e TSR. Se as predições caírem abaixo de um limite, a incerteza assume o valor 1 por padrão.
   • Calibração: Para lidar com a falta de formulações padrão de Erro de Calibração Esperado (ECE) para detecção de objetos, os autores utilizam a correlação de Spearman entre incerteza e erro de predição (GriTS-Con F1) em um conjunto de validação para ajustar dinamicamente a influência da incerteza versus a cobertura.

2. Extensões Sensíveis ao Pipeline (Pipeline-Aware):
   Reconhecendo que tratar os estágios de forma simétrica é subótimo, duas extensões são propostas:

   • RankFusion: Esta abordagem introduz uma cobertura de manifold duplo. Ela emprega um segundo codificador (reutilizando características do TSR) para gerar representações ao nível da tabela. A cobertura é computada independentemente nos espaços de nível de documento e de nível de tabela. Em vez de somar os escores (o que exigiria normalização entre diferentes escalas), o método converte os ganhos de cobertura em rankings e os funde usando Reciprocidade de Fusão de Rank (RRF). Ele mantém um sinal de incerteza compartilhado e um parâmetro de calibração.
   • CAPA (Calibrated and Pipeline-Aware): Este método relaxa ainda mais as suposições de simetria ao modelar explicitamente a dependência TD-para-TSR:
     • Pesagem Adaptativa: Os pesos de fusão ($\beta$) são ajustados dinamicamente com base no desempenho de validação de cada estágio. Se o TD for o gargalo, o peso se desloca para o manifold do TD; se o TD for confiável, o peso se desloca para o TSR.
     • Portão Dependente de Estágio (Stage-Dependent Gating): A incerteza do TSR é suprimida para documentos onde a confiança do TD é baixa, evitando a seleção de amostras para anotação estrutural quando a própria tabela não é detectada.
     • Calibração por Tarefa: Parâmetros de calibração separados ($\tau_{td}, \tau_{tsr}$) são computados para cada estágio com base em suas correlações específicas de incerteza-erro.

Configuração Experimental
Os métodos foram avaliados em quatro conjuntos de dados: dois públicos (PubTables-1M, FinTabNet) e dois privados (invoice-int, business-int). O escopo foi restrito a documentos de tabela única sem células que abrangem múltiplas colunas/linhas (spanning cells) para isolar o efeito da estratégia de amostragem. Experimentos utilizaram detectores D-FINE-X para ambos os estágios, retreinados do zero em cada iteração de AL. A avaliação cobriu orçamentos de anotação variando de 71 a 500 documentos, com resultados calculados pela média sobre 10 sementes aleatórias. O desempenho foi medido usando a Área Sob a Curva (AUC) normalizada das curvas de aprendizado medianas baseadas na métrica GriTS-Con F1.

Principais Resultados

• Generalização: A estratégia de UHerding adaptada superou as linhas de base de sinal único (cobertura pura via MaxHerding e incerteza pura via Confidence) em todos os conjuntos de dados, confirmando que a amostragem híbrida generaliza bem para detecção em cascata.
• Desempenho Sensível ao Pipeline:
  • O RankFusion alcançou a maior média de AUC (65,74%), destacando-se particularmente no conjunto de dados business-int, onde a cobertura de manifold duplo amplificou os sinais de diversidade. No entanto, apresentou maior variância e desempenho menos consistente no PubTables-1M, onde o alto desempenho do modelo tornou a incerteza o sinal dominante.
  • O CAPA emergiu como a estratégia mais consistente, superando a linha de base de UHerding adaptado em três dos quatro conjuntos de dados. Alcançou os melhores resultados no FinTabNet (70,52% de AUC) e manteve um patamar elevado (nunca ficando abaixo do 4º lugar), tornando-se uma escolha robusta quando o gargalo específico de um conjunto de dados alvo é desconhecido.
• Dinâmica de Gargalo: A análise revelou que o gargalo de desempenho (TD vs. TSR) depende do conjunto de dados. A capacidade do CAPA de realocar a cobertura para o estágio de gargalo (por exemplo, deslocando o foco para o TSR quando a detecção é confiável) foi confirmada visualmente através da análise de cobertura do espaço de embedding.

Significância e Contribuições
O artigo reivindica três contribuições primárias:

1. Primeira Adaptação do UHerding: Apresenta a primeira aplicação de Uncertainty Herding a um pipeline de detecção de objetos em cascata, indo além da classificação de imagens de modelo único.
2. Extensões Sensíveis ao Pipeline: Introduz o RankFusion e o CAPA, que exploram explicitamente a dependência entre estágios de detecção e reconhecimento de estrutura. O CAPA, em particular, demonstra que o controle dinâmico de portão da incerteza e a pesagem da cobertura com base na confiabilidade do estágio geram melhorias consistentes.
3. Validação Empírica: Através de avaliação extensa em diversos domínios e orçamentos de anotação, o trabalho estabelece um compromisso entre o ganho esperado (RankFusion) e a consistência (CAPA).

Os autores concluem que o gargalo entre os estágios do pipeline molda as preferências de estratégia mais do que a própria função de aquisição. Eles sugerem que este framework é generalizável para qualquer tarefa de detecção em cascata com dependências sequenciais, onde o "onde" da falha importa tanto quanto o "como" da seleção de amostras. O trabalho não pretende resolver cenários complexos de múltiplas tabelas ou células que abrangem múltiplas colunas/linhas, apontando-os como limitações para investigações futuras.