Resumo Técnico: DocAnnot – Acelerando a Criação de Conjuntos de Dados para KIE com GenAI

1. Definição do Problema

A Extração de Informações-Chave (KIE - Key Information Extraction) de documentos não estruturados é um componente crítico do Processamento Inteligente de Documentos, permitindo aplicações em entrada de dados automatizada, automação de processos robóticos e construção de bases de conhecimento. No entanto, o desenvolvimento de modelos de KIE eficazes é limitado pela escassez de conjuntos de dados anotados de grande escala e alta qualidade. A criação tradicional de conjuntos de dados depende da anotação manual por especialistas humanos, um processo que é inerentemente demorado, trabalhoso e caro. Embora soluções existentes, como métodos baseados em modelos (templates), careçam de flexibilidade para layouts diversos, e o Aprendizado Ativo (Active Learning) ainda exija um envolvimento humano substancial, os atuais Modelos de Linguagem de Visão de Grande Escala (LVLMs) frequentemente enfrentam dificuldades com a extração estruturada devido a alucinações e à falta de ajuste fino para tarefas documentais específicas. Existe uma lacuna crítica para uma abordagem totalmente automatizada, precisa e flexível para gerar conjuntos de dados de KIE que atribuam rótulos a entidades com precisão, sem depender exclusivamente de intervenção manual.

2. Metodologia: O Framework DocAnnot

O artigo apresenta o DocAnnot, um novo Framework de Anotação Automatizada baseado em GenAI Multimodal, projetado para automatizar o processo de criação de conjuntos de dados para KIE. O framework integra três componentes principais para preencher a lacuna entre a compreensão semântica e a estrutura espacial do documento:

2.1 Componentes Principais

1. Modelo de Linguagem de Visão de Grande Escala (LVLM): Utilizado para extrair pares chave-valor de imagens de documentos. Diferente da extração padrão, o LVLM é instruído a fornecer não apenas o valor, mas também o texto da chave real (ex: "SUBTOTAL") conforme aparece no documento, juntamente com seu valor (ex: "10.000").
2. Reconhecimento Óptico de Caracteres (OCR): Processa as mesmas imagens de documentos para gerar uma sequência de segmentos de texto, cada um acompanhado de coordenadas precisas de caixas delimitadoras (bounding boxes).
3. Correspondência de Contexto Espacialmente Informada (SICM): Um algoritmo inovador que serve como o núcleo da inovação do framework: ele reconcilia as saídas dos módulos LVLM e OCR para atribuir os rótulos corretos aos segmentos de texto extraídos pelo OCR.

2.2 O Algoritmo SICM

O algoritmo SICM opera em um processo hierárquico de duas etapas para resolver ambiguidades, particularmente quando o mesmo valor aparece múltiplas vezes em um documento:

• Etapa 1: Filtragem de Similaridade Textual: O algoritmo calcula uma pontuação de similaridade textual (ex: distância de Levenshtein) entre o valor extraído pelo LVLM e todos os segmentos de texto candidatos do OCR. Candidatos abaixo de um determinado limite são filtrados.
• Etapa 2: Desambiguação Espacial via Vizinho Mais Próximo: Para os candidatos restantes, o algoritmo utiliza a relação espacial entre o texto da chave (extraído pelo LVLM com sua caixa delimitadora) e o texto do valor candidato (do OCR). Ele calcula a distância euclidiana entre o centro das caixas delimitadoras. O segmento de texto candidato mais próximo da caixa delimitadora do texto da chave é selecionado como a correspondência correta.

Este processo de múltiplos estágios aproveita tanto a similaridade textual quanto o raciocínio espacial para vincular robustamente chaves a valores, produzindo documentos anotados no formato exigido pelos modelos de ponta de KIE (imagem, texto OCR com caixas delimitadoras e rótulos de entidade).

3. Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Um Framework Totalmente Automatizado: O DocAnnot fornece um pipeline completo para a geração de conjuntos de dados de KIE sem exigir anotação humana inicial.
2. O Algoritmo SICM: Um método inovador que integra efetivamente os insights semânticos do LVLM com os dados espaciais do OCR para garantir a atribuição precisa de rótulos.
3. Validação de Benchmark: A eficácia do framework é demonstrada em dois conjuntos de dados amplamente utilizados, CORD e SROIE.
4. Validação de Dados de Treinamento: O estudo valida que os modelos de KIE (especificamente LayoutLMv3 e UDOP) ajustados exclusivamente com dados autoanotados alcançam níveis de desempenho respeitáveis.

4. Resultados Experimentais

O framework foi avaliado nos conjuntos de dados CORD (Consolidated Receipt Dataset) e SROIE (Scanned Receipts OCR) utilizando dois LVLMs: Claude Sonnet 3.5 e Gemini 1.5 Pro.

4.1 Desempenho de Auto-Anotação

• Conjunto de Dados CORD: Utilizando o Claude Sonnet 3.5, o DocAnnot alcançou um F1-score de 0,679 (Precisão: 0,707, Recall: 0,704).
• Conjunto de Dados SROIE: Utilizando o Claude Sonnet 3.5, o DocAnnot alcançou um F1-score de 0,846 (Precisão: 0,886, Recall: 0,853).
• Comparação: O Claude Sonnet 3.5 superou consistentemente o Gemini 1.5 Pro em ambos os conjuntos de dados.

4.2 Ajuste Fino de Modelos de Jusante (Downstream)

Os autores investigaram se modelos treinados com dados autoanotados poderiam funcionar de forma eficaz:

• LayoutLMv3: Treinado com dados do DocAnnot, alcançou um F1-score de 0,6765 no CORD.
• UDOP: Treinado com dados do DocAnnot, alcançou um F1-score de 0,6861.
• Comparação: Embora os modelos treinados com dados anotados por humanos tenham alcançado um desempenho superior (ex: LayoutLMv3 F1: 0,9141), os modelos treinados via auto-anotação superaram significativamente o baseline usando dados autoanotados do DocKD (DocFormerV2large F1: 0,615).

4.3 Estudo de Ablação (Impacto do SICM)

A remoção do algoritmo SICM (dependendo apenas de correspondência de strings difusa/fuzzy) resultou em quedas significativas de desempenho:

• CORD: O F1-score caiu de 0,679 (com SICM) para 0,571 (sem SICM).
• SROIE: O F1-score caiu de 0,846 para 0,814.
  Isso confirma que o raciocínio espacial é crítico para resolver ambiguidades em layouts de documentos.

4.4 Anotação Híbrida

Em um cenário de "humano no ciclo" (human-in-the-loop), a combinação das saídas do DocAnnot com pequenas frações de dados rotulados por humanos (10–30%) melhorou ainda mais o desempenho. Por exemplo, adicionar 30% de rótulos humanos ao treinamento do UDOP elevou o F1-score para 0,7241, aproximando-se do desempenho de treinamentos totalmente anotados por humanos.

5. Significância e Alegações

O artigo afirma que o DocAnnot oferece uma redução substancial no tempo e no custo associados à criação de conjuntos de dados de KIE. Embora os autores reconheçam modestamente que o framework ainda não elimina totalmente a necessidade de intervenção humana — modelos treinados com dados humanos ainda superam os treinados com dados autoanotados — eles argumentam que o DocAnnot possibilita um fluxo de trabalho altamente eficiente.

Ao automatizar o processo de anotação a um ponto onde revisores humanos podem verificar e refinar as saídas de forma eficiente, o sistema permite "anotações quase perfeitas" com uma eficiência muito maior do que a anotação manual do zero. Esta abordagem é particularmente valiosa para ambientes com recursos limitados e para prototipagem rápida de modelos, oferecendo um equilíbrio prático entre automação e precisão. O framework demonstra que modelos funcionais de KIE podem ser desenvolvidos com o mínimo de intervenção humana direta, marcando um passo significativo para a compreensão escalável de documentos.