PromptDLA: A Domain-aware Prompt Document Layout Analysis Framework with Descriptive Knowledge as a Cue

O artigo apresenta o PromptDLA, um framework inovador de Análise de Layout de Documentos que utiliza um prompter sensível ao domínio e conhecimento descritivo como pistas para integrar priores específicos de cada domínio, superando as limitações da fusão direta de datasets e alcançando desempenho state-of-the-art em múltiplos benchmarks.

O essencial

Imagine que você é um bibliotecário muito ocupado. Sua tarefa é organizar milhares de documentos diferentes: contratos bancários, manuais de instruções de geladeiras, patentes de invenções complexas e jornais em línguas que você nunca viu.

O problema é que cada tipo de documento é organizado de um jeito totalmente diferente. Um contrato bancário tem tabelas e gráficos coloridos; um manual tem muitas fotos de telas de computador; uma patente tem desenhos técnicos em preto e branco.

Se você tentar ensinar um robô (uma Inteligência Artificial) a ler todos esses documentos ao mesmo tempo, misturando tudo numa grande pilha, o robô fica confuso. Ele não sabe se deve procurar por tabelas ou por desenhos técnicos, e acaba cometendo erros. É como tentar ensinar alguém a cozinhar misturando receitas de bolo, de sushi e de churrasco no mesmo livro de instruções: o resultado fica estranho.

O que é o PromptDLA?

Os autores deste artigo criaram uma solução inteligente chamada PromptDLA. Pense nele como um "Guia de Contexto" ou um "Chapéu Mágico" que o robô coloca na cabeça antes de começar a ler.

Aqui está como funciona, usando analogias simples:

1. O Problema (A Confusão):
   Antigamente, os robôs tentavam aprender com todos os documentos ao mesmo tempo, sem saber de onde eles vinham. Era como tentar entender um filme de terror assistindo a ele com os óculos de um filme de comédia: você vê as coisas, mas não entende o clima certo.

2. A Solução (O Guia):
   O PromptDLA pergunta ao robô: "O que você está lendo agora? É um relatório financeiro? É um manual?".
   Com base nessa resposta, o sistema gera uma "dica" (prompt). Essa dica é como um lembrete escrito que diz: "Atenção! Você está lendo um relatório financeiro. Procure por tabelas no topo e gráficos no meio. Ignore desenhos técnicos."

3. Como a "Dica" é Criada?
   O sistema usa um "cérebro" gigante de linguagem (uma IA avançada) para escrever essa dica.

   • Opção Humana: Um especialista diz: "Isso é um contrato".
   • Opção Automática: A IA olha a imagem e diz: "Parece um relatório financeiro".
   • Opção Híbrida (A Melhor): A IA usa o que sabe sobre "contratos" para escrever uma descrição detalhada do que ela deve procurar naquele tipo de papel.

4. O Resultado (O Robô Focado):
   Quando o robô recebe essa "dica" junto com a imagem do documento, ele muda o foco. Ele ignora o que não é importante para aquele tipo específico e foca no que importa.

   • Se é um manual, ele procura por botões e telas.
   • Se é um jornal, ele procura por colunas de texto.
   • Se é um documento em persa ou vietnamita, ele sabe que a leitura e o layout são diferentes e se adapta.

Por que isso é incrível?

• Funciona em qualquer lugar: O robô aprendeu a se adaptar. Se você der a ele um documento novo que ele nunca viu antes (mas que tem um tipo conhecido, como "Patente"), ele usa a "dica" correta e acerta muito mais do que antes.
• Resolve a confusão de rótulos: Às vezes, um documento chama uma lista de "Lista", e outro chama cada item da lista de "Item de Lista". O PromptDLA entende essa diferença e não se confunde.
• É rápido: Adicionar essa "dica" não deixa o robô lento. É como dar uma instrução rápida antes de começar a tarefa; o trabalho é feito quase no mesmo tempo, mas com muito mais precisão.

Em resumo

O PromptDLA é como dar um mapa de navegação para um robô antes de ele entrar em uma cidade diferente. Sem o mapa, ele se perde nas ruas. Com o mapa (a "dica" sobre o tipo de documento), ele sabe exatamente onde ir, o que procurar e como organizar tudo, tornando a leitura de documentos muito mais inteligente e precisa, independentemente do idioma ou do formato.

Resumo técnico

Resumo Técnico: PromptDLA

1. O Problema

A Análise de Layout de Documentos (DLA - Document Layout Analysis) é fundamental para a inteligência artificial de documentos, visando identificar a estrutura física e lógica de elementos como texto, imagens e tabelas. Embora existam grandes conjuntos de dados públicos (como DocLayNet, PubLayNet, M6Doc), a prática comum de mesclar dados de diversos domínios para treinar modelos únicos resulta em desempenho subótimo.

As principais dificuldades identificadas são:

• Diversidade de Domínios: Diferentes tipos de documentos (relatórios financeiros, manuais, patentes) possuem estruturas de layout e distribuições de elementos distintas.
• Variações Linguísticas: O idioma influencia a disposição do texto (ex.: parágrafos densos em persa vs. parágrafos curtos com imagens em documentos do Cazaquistão).
• Inconsistência nas Anotações: Diferentes conjuntos de dados utilizam estilos de rotulagem conflitantes para elementos semanticamente similares (ex.: o DocLayNet rotula itens de lista individualmente, enquanto o DocBank rotula a lista inteira como um único bloco).
  Essas discrepâncias criam conflitos durante o treinamento conjunto, prejudicando a capacidade de generalização dos modelos.

2. Metodologia (PromptDLA)

O PromptDLA é uma nova estrutura de DLA que integra explicitamente conhecimento descritivo do domínio como "cues" (pistas) para guiar o modelo. A abordagem não depende apenas do aprendizado implícito de características, mas injeta conhecimento externo diretamente no processo de análise.

A arquitetura consiste em quatro componentes principais:

1. Módulo de Incorporação de Imagem (Image Embedding): Extrai tokens visuais a partir de patches da imagem do documento (baseado em ViT, CNN ou Swin Transformer).
2. Prompter Consciente do Domínio (Domain-Aware Prompter): O núcleo da inovação. Este módulo gera um vetor de prompt ($p_v$) baseado em informações descritivas do domínio ($d$).
   • Geração de Prompts: Suporta três modos:
     • Baseado em LVLM: Usa modelos de linguagem-vídeo (como LLaMA ou BLIP2) para descrever o documento a partir da imagem.
     • Baseado em Heurística de Domínio: Usa conjuntos de prompts pré-definidos por humanos (ex.: "Uma página de relatório financeiro").
     • Híbrido: Combina conhecimento humano para guiar a geração do LVLM, equilibrando precisão e automação.
   • Codificador de Texto: Utiliza codificadores pré-treinados (CLIP, BLIP2 ou LLaMA) para transformar a descrição textual do domínio em um vetor de embedding.
3. Codificador Transformer com Prompt (Prompted Transformer Encoder): O vetor de prompt é injetado na sequência de tokens visuais antes de entrar nas camadas do Transformer.
   • O método é modular e compatível com arquiteturas CNN (ResNet), ViT e Swin Transformer, utilizando camadas de fusão (Fusion Layers) específicas para cada arquitetura (concatenação espacial para CNN, concatenação de sequência para ViT, etc.).
4. Cabeça de Detecção (Detection Head): Realiza a predição final das caixas delimitadoras e classes, sendo compatível com cabeças baseadas em RCNN (Faster/Mask R-CNN) ou DETR.

3. Principais Contribuições

• Framework PromptDLA: Propõe a primeira abordagem que utiliza prompts conscientes do domínio para guiar a análise de layout, permitindo que o modelo se adapte dinamicamente às características específicas de cada domínio (tipo de documento, idioma, estilo).
• Prompter Modular e Versátil: Desenvolveu um mecanismo de prompting que pode ser integrado a diversas arquiteturas de backbone (CNN, ViT, Swin) e utiliza tanto conhecimento humano quanto gerado por LLMs.
• Novo Conjunto de Dados (MLDLA): Introduziu o MLDLA, um conjunto de dados multilíngue com documentos em 7 idiomas (Hindi, Cazaque, Vietnamita, Turco, Persa, Laosiano, Khmer), criado para avaliar a generalização em cenários linguísticos diversos.
• Superioridade em Generalização: Demonstrou que a injeção de conhecimento descritivo supera a simples mesclagem de dados, resolvendo conflitos de anotação e melhorando a adaptação a domínios não vistos (Out-of-Distribution).

4. Resultados Experimentais

Os experimentos foram conduzidos em múltiplos benchmarks (DocLayNet, M6Doc, D4LA, PubLayNet e o novo MLDLA).

• Desempenho de Estado da Arte (SOTA): O PromptDLA alcançou os melhores resultados em todos os conjuntos de dados testados.
  • DocLayNet: mAP de 78.7% (superando o DiT em +2.3% e o SwinDocSegmenter em +1.8%).
  • M6Doc: mAP de 69.2% (+2.0% sobre o DiT).
  • D4LA: mAP de 69.1% (+1.4% sobre o DiT).
• Generalização Multilíngue: No dataset MLDLA, o modelo melhorou o mAP em +1.0% em comparação ao DiT sem prompt, demonstrando eficácia mesmo com idiomas minoritários.
• Resolução de Conflitos de Rótulos: Ao treinar conjuntamente DocLayNet e PubLayNet (que têm estilos de anotação incompatíveis), o modelo sem prompt sofreu queda de desempenho. O PromptDLA, ao usar prompts de domínio, recuperou e superou o desempenho em ambos os datasets, provando sua capacidade de adaptar o aprendizado aos conflitos.
• Eficiência Computacional: A adição do módulo de prompt introduz um custo computacional negligenciável, reduzindo a velocidade de inferência em apenas 0.13 FPS (de 6.75 para 6.62 FPS em GPU RTX 3090).
• Análise de Componentes:
  • O uso de codificadores de texto pré-treinados (especialmente CLIP e BLIP2) é crucial; a inicialização aleatória sem pré-treinamento degrada o desempenho.
  • A injeção de prompts em todas as camadas do Transformer (Deep Prompted Encoder) superou a injeção apenas na primeira camada.
  • Estratégias híbridas de geração de prompt (humano + LVLM) obtiveram o melhor desempenho.

5. Significado e Conclusão

O trabalho demonstra que a Análise de Layout de Documentos pode ser significativamente aprimorada ao tratar o domínio não apenas como um conjunto de dados, mas como uma informação explícita que pode ser "falada" ao modelo através de prompts.

A significância do PromptDLA reside em:

1. Paradigma de Adaptação: Oferece uma alternativa mais eficiente e flexível aos métodos tradicionais de pré-treinamento massivo, permitindo adaptação rápida a novos domínios sem re-treinamento completo.
2. Robustez: Resolve o problema crônico de inconsistência de anotações entre diferentes conjuntos de dados públicos, permitindo o treinamento unificado de modelos escaláveis.
3. Acesso ao Conhecimento: Valida a utilidade de modelos de linguagem grandes (LLMs) e modelos de linguagem-vídeo (LVLMs) como fontes de conhecimento descritivo para tarefas de visão computacional específicas, como a análise de layout.

Em suma, o PromptDLA estabelece um novo estado da arte ao alinhar a compreensão visual de documentos com o conhecimento semântico do domínio, superando as limitações de modelos puramente baseados em dados visuais.