💻 computer science

DocClaw: A Unified Agentic System for Intelligent Document Processing

O DocClaw é um sistema agente unificado que reformula diversas tarefas de processamento inteligente de documentos como um processo de interação iterativa compartilhada entre um agente e um documento, aproveitando um estado de documento estruturado e ferramentas reutilizáveis para alcançar um desempenho competitivo em benchmarks de OCR, DocQA e KIE.

Autores originais: Siqi Xiang, Zhipeng Xu, Yufei Liu, Junhao Ji, Qing Liu, Zulong Chen, Zhibo Yang, Chunyan Miao, Shijian Lu

Publicado 2026-08-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Siqi Xiang, Zhipeng Xu, Yufei Liu, Junhao Ji, Qing Liu, Zulong Chen, Zhibo Yang, Chunyan Miao, Shijian Lu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Todos os dias, somos cercados por documentos que detêm o conhecimento do mundo: relatórios anuais, prontuários médicos, contratos jurídicos e notas manuscritas. Para que um computador entenda essas páginas, ele deve fazer mais do que simplesmente ler as palavras; ele deve ver como o texto está organizado, reconhecer gráficos e tabelas e reunir informações que estão espalhadas por diferentes seções. Esse desafio, conhecido como processamento inteligente de documentos, tem sido tratado há muito tempo como uma coleção de tarefas separadas. Um programa pode ser projetado para transformar uma imagem de uma página em texto, enquanto um programa diferente é necessário para encontrar uma resposta específica dentro desse texto, e outro ainda para extrair números importantes, como datas ou preços. Essas ferramentas trabalham isoladamente, incapazes de compartilhar o que aprendem de uma tarefa para ajudar na próxima, forçando uma abordagem rígida e passo a passo que frequentemente perde a visão do todo.

Pesquisadores introduziram agora um novo sistema chamado DocClaw que muda a forma como os computadores interagem com documentos. Em vez de tratar cada tarefa como um problema separado, o DocClaw atua como um assistente único e inteligente que pode ler, pesquisar e raciocinar através de um documento em um ciclo contínuo. Quando recebe uma pergunta ou uma solicitação, este sistema não apenas adivinha uma resposta; ele explora ativamente o documento, usando um conjunto de ferramentas especializadas para encontrar a informação correta, verificar seu trabalho e refinar sua compreensão até estar confiante no resultado. Ao manter um registro contínuo do que já descobriu, o sistema pode reutilizar esse conhecimento para perguntas futuras, tornando-se mais rápido e preciso ao longo do tempo.

O cerne desta nova abordagem é uma mudança da previsão estática para a interação ativa. Nos métodos tradicionais, um computador olha para um documento uma única vez e produz um resultado, sem possibilidade de voltar atrás para corrigir um erro ou olhar mais profundamente se a primeira tentativa estiver obscura. O DocClaw, no entanto, trata o documento como um parceiro em uma conversa. Quando um usuário faz uma pergunta, o sistema primeiro decide uma estratégia baseada no que está sendo perguntado. Se o objetivo é simplesmente ler o texto, ele foca no reconhecimento de letras e layout. Se o objetivo é encontrar um fato específico, ele planeja uma busca. Se o objetivo é extrair um valor, como um número de receita, ele se prepara para cruzar as informações encontradas. Essa estratégia é guiada pelo que os pesquisadores chamam de "habilidades de documento", que são essencialmente instruções que dizem ao sistema como se comportar para diferentes tipos de tarefas.

Uma vez definida a estratégia, o sistema começa seu trabalho construindo uma memória estruturada do documento. Ele decompõe a página em partes gerenciáveis, anotando onde o texto, as imagens e as tabelas estão localizados. À medida que utiliza suas ferramentas para ler seções específicas ou analisar um gráfico, ele salva essas descobertas em um banco de memória persistente. Esta é uma diferença crucial em relação aos sistemas antigos: o conhecimento adquirido ao ler uma parte de um relatório não é descartado após a conclusão da tarefa. Em vez disso, ele é armazenado para que, se uma pergunta posterior exigir informações daquela mesma seção, o sistema já saiba onde procurar e o que encontrou. Isso permite que o sistema evite repetir o trabalho e construa uma compreensão mais profunda do documento conforme responde a mais perguntas.

O sistema opera em um ciclo de planejamento, ação e atualização. Ele observa o estado atual de seu conhecimento, decide qual ferramenta usar a seguir — como dar zoom em uma seção borrada, recortar uma tabela para melhor clareza ou pesquisar por uma palavra-chave — e então executa essa ação. O resultado dessa ação é imediatamente adicionado à sua memória. Se o sistema encontra um número que parece inconsistente, ele pode usar suas ferramentas para verificar o dado contra a imagem original ou realizar uma segunda checagem. Esse processo continua até que o sistema tenha reunido evidências suficientes para responder à pergunta com confiança. Somente então ele para e fornece a resposta final, descartando as notas temporárias para aquela pergunta específica enquanto mantém o conhecimento permanente do documento para uso futuro.

Para testar essa abordagem, os pesquisadores avaliaram o DocClaw em três tipos de tarefas muito diferentes: leitura de texto de imagens, resposta a perguntas sobre documentos longos e extração de pontos de dados específicos, como figuras financeiras. Eles compararam o sistema tanto com modelos de inteligência artificial de propósito geral quanto com ferramentas especializadas para tarefas únicas. Os resultados mostraram que o DocClaw teve um desempenho tão bom quanto, ou até melhor que, as ferramentas especializadas em todas as áreas. Em testes envolvendo o reconhecimento de textos complexos, fórmulas e tabelas, o sistema alcançou pontuações de precisão elevadas, frequentemente superando softwares dedicados. Ao ser solicitado a responder perguntas baseadas em relatórios longos, foi capaz de localizar a informação correta e fornecer respostas fundamentadas de forma mais confiável do que os modelos padrão. Da mesma forma, ao ser encarregado de extrair informações essenciais, combinou com sucesso a leitura visual com o reconhecimento de texto para reduzir erros.

Um olhar mais atento sobre como o sistema funciona revelou por que ele foi tão eficaz. Os pesquisadores descobriram que a capacidade de refinar o próprio trabalho foi um fator determinante. Quando o sistema encontrava um texto difícil de ler, ele frequentemente utilizava uma ferramenta de "zoom" para observar mais de perto, o que melhorava significativamente sua capacidade de reconhecer símbolos e números pequenos. Em tarefas que exigiam a extração de dados específicos, o hábito do sistema de dupla checagem de seus achados contra a imagem original corrigiu uma grande parte dos erros cometidos por outros modelos. Além disso, a memória do sistema provou ser essencial para a eficiência. Quando questionado sobre uma série de perguntas sobre o mesmo documento, o tempo para responder a cada pergunta subsequente diminuiu visivelmente. Isso aconteceu porque o sistema não precisava escanear todo o documento para cada nova consulta; ele podia simplesmente recordar o que já havia aprendido e focar apenas na nova informação necessária.

O estudo demonstra que tratar o processamento de documentos como um processo unificado e interativo é uma maneira poderosa de lidar com a complexidade dos documentos do mundo real. Ao permitir que um único sistema alterne entre ler, pesquisar e verificar com base nas necessidades do momento, o DocClaw supera as limitações de ferramentas rígidas de propósito único. Ele mostra que, quando um computador recebe a habilidade de lembrar o que viu e de planejar seu próximo passo cuidadosamente, ele pode compreender documentos com um nível de flexibilidade e precisão que era anteriormente difícil de alcançar. Essa abordagem não apenas automatiza uma tarefa; ela cria uma maneira mais inteligente para as máquinas interagirem com a vasta quantidade de informações escritas que moldam o nosso mundo.

Resumo Técnico: DocClaw

Declaração do Problema

O Processamento Inteligente de Documentos (IDP) abrange diversas tarefas, como Reconhecimento Óptico de Caracteres (OCR), Questionamento de Documentos (DocQA) e Extração de Informação Chave (KIE). Embora essas tarefas compartilhem uma necessidade fundamental de perceber o conteúdo do documento e adquirir informações relevantes, as abordagens existentes geralmente as tratam como problemas de previsão isolados. Os métodos atuais geralmente se enquadram em dois paradigmas:

Previsão de Passagem Única: Modelos que geram resultados específicos da tarefa diretamente, sem etapas intermediárias (por exemplo, OCR padrão ou VLMs de ponta a ponta). Estes dependem de mapeamentos rígidos e específicos para a tarefa e carecem de flexibilidade.
Pipelines de Múltiplas Etapas Específicas por Tarefa: Estes decompõem o processamento em sequências predefinidas de operações especializadas (por exemplo, análise de layout seguida pelo reconhecimento de região). Embora eficazes para tarefas específicas, esses pipelines são limitados por suas estruturas predefinidas e não conseguem se adaptar facilmente a objetivos heterogêneos.

As principais limitações desses paradigmas existentes são a falta de um framework unificado para lidar com diversas tarefas dentro de um único fluxo de trabalho e a incapacidade de acumular, reutilizar ou refinar o conhecimento do documento através de diferentes consultas. Consequentemente, os resultados intermediários de uma operação não podem servir como conhecimento reutilizável para tarefas subsequentes, levando a processamentos redundantes e silos de conhecimento isolados.

Metodologia: DocClaw

Para enfrentar essas limitações, os autores introduzem o DocClaw, um sistema agente unificado que reformula o IDP como uma interação iterativa entre um agente e um documento. O sistema opera através de três componentes principais:

1. Ciclo de Interação Agêntica

O DocClaw trata o processamento de documentos como uma sequência de interações, em vez de uma única passagem direta. Dado um documento $D$ e uma consulta $q$ :

Seleção de Habilidade: O agente primeiro seleciona uma Habilidade de Documento ( $k$ ) de um conjunto predefinido com base no objetivo da consulta. Esta habilidade define a estratégia de interação e os padrões de uso de ferramentas.
Inicialização de Estado: Um Estado de Documento estruturado ( $s_0$ ) é inicializado, compreendendo a Memória do Documento (conhecimento persistente) e a Memória da Tarefa (contexto específico da consulta).
Planejamento e Execução Iterativos: Usando um loop estilo ReAct, o agente lê uma representação condensada do estado atual, da consulta e da habilidade selecionada para determinar a próxima ação ( $a_t$ ). Esta ação envolve a seleção de uma ferramenta de processamento de documento ( $\tau_t$ ) e seus argumentos ( $c_t$ ).
Atualização de Estado: A execução da ferramenta produz um resultado ( $r_t$ ), que é integrado ao estado do documento. A função de atualização de estado separa o conhecimento reutilizável do documento (acumulado na Memória do Documento) do contexto específico da tarefa (rastreado na Memória da Tarefa).
Terminação: O loop continua até que o agente determine que informações suficientes foram reunidas para gerar a saída final. Após a conclusão, a Memória da Tarefa é descartada, enquanto a Memória do Documento é retida para futuras consultas no mesmo documento.

2. Estado Estruturado do Documento

O sistema mantém um estado hierárquico $s_t = (m_t, e_t)$ para organizar a informação:

Memória do Documento ( $m_t$ ): Uma estrutura hierárquica e persistente (documento $\to$ página $\to$ região) que armazena imagens brutas, texto reconhecido, estruturas de layout e atributos produzidos por ferramentas. Isso permite que o conhecimento adquirido por uma ferramenta (ex: análise de layout) seja refinado e reutilizado por outras (ex: reconhecimento de texto) através de diferentes consultas.
Memória da Tarefa ( $e_t$ ): Um contexto ao nível da consulta que registra a habilidade selecionada, o histórico de interação, as regiões inspecionadas e as evidências intermediárias. Isso garante que o agente tenha o contexto necessário para o planejamento, mas evita que ruídos irrelevantes da tarefa afetem consultas futuras.

3. Habilidades de Documento

Para guiar a estratégia do agente através de diferentes objetivos, o DocClaw emprega Habilidades de Documento orientadas à tarefa:

Habilidade Orientada ao OCR: Foca na transcrição precisa. Ela guia a análise de layout para rotear regiões para parsers específicos (texto, fórmula, tabela) e incentiva o aprimoramento visual (zoom, corte, rotação) para regiões de baixa qualidade antes do reconhecimento novamente.
Habilidades Orientadas ao DocQA: Divididas em Inspeção (busca de grosseiro para fino em busca de evidências localizadas) e Enumeração (cobertura ampla para raciocínio em todo o documento) para lidar com variados tipos de perguntas.
Habilidade Orientada ao KIE: Visa a extração de campos combinando extração visual, extração baseada em OCR e verificação fundamentada em imagem para resolver conflitos e melhorar a precisão.

Principais Contribuições

O artigo reivindica três contribuições principais:

Framework Agêntico Unificado: O DocClaw formula tarefas heterogêneas de IDP como interações iterativas agente-documento, permitindo que diversos objetivos de consulta sejam abordados dentro de um loop de interação e um espaço de ferramentas compartilhados.
Estado Estruturado do Documento: A proposta de um sistema de memória dupla (Memória do Documento e Memória da Tarefa) que suporta a acumulação progressiva, reutilização e refinamento do conhecimento do documento através das interações, enquanto isola o contexto específico da tarefa.
Habilidades de Documento: A introdução de um conjunto de instruções orientadas à tarefa que guiam as estratégias de processamento e os padrões de uso de ferramentas do agente, permitindo operações de refinamento dedicadas e adaptadas a objetivos de consulta específicos.

Resultados Experimentais

Os autores avaliaram o DocClaw em três benchmarks: OmniDocBench v1.6 (OCR), MMLongBench-Doc (DocQA) e OCRBench/OCRBench v2 (KIE). O sistema foi testado utilizando três modelos de base: GPT-5.2, Gemini-2.5-Flash e Gemini-2.5-Pro.

OCR: O DocClaw alcançou uma pontuação geral máxima de 96.45 (com Gemini-2.5-Pro) no OmniDocBench v1.6, superando o especializado PaddleOCR-VL-1.6 (96.34) e VLMs de propósito geral. Melhorias notáveis foram observadas nas métricas de Formula CDM e Table TEDS, atribuídas às operações de refinamento visual.
DocQA: No MMLongBench-Doc, o DocClaw atingiu uma pontuação máxima de 61.5, superando a linha de base do Gemini-2.5-Pro em 3.4 pontos e superando pipelines especializados como SimpleDoc e DocDancer.
KIE: O DocClaw alcançou uma pontuação média 'ALL' de 86.9 nos subconjuntos combinados OCRBench e OCRBench v2. Especificamente, no subconjunto OCRBench v2 (EN), alcançou uma pontuação de 87.5, superando métodos especializados como Qianfan-OCR.

Estudos de Ablação:

Estado e Habilidades: A combinação de ambos, Estado do Documento e Habilidades, rendeu o maior desempenho. O Estado do Documento reduziu significativamente a latência (de ~95s para ~60s) em consultas consecutivas ao permitir a reutilização de conhecimento, enquanto as Habilidades melhoraram a precisão ao fornecer orientação orientada à tarefa.
Refinamento: Operações de refinamento visual (zoom, corte, rotação) foram acionadas em 433 páginas, sendo que o "zoom" contribuiu mais para os ganhos de desempenho, particularmente para o reconhecimento de fórmulas.
Verificação: Nas tarefas de KIE, a incorporação de operações de OCR e verificação corrigiu 35.3% e 47.7% dos erros de extração cometidos por VLMs comuns nos subconjuntos de inglês e chinês, respectivamente.

Significância e Alegações

O artigo postula que o DocClaw demonstra a eficácia de um framework agêntico unificado para lidar com tarefas heterogêneas de processamento de documentos. Ao desacoplar o loop de interação e o espaço de ferramentas das definições de tarefas específicas, o DocClaw permite a adaptação flexível entre OCR, DocQA e KIE. Os autores afirmam que o estado estruturado do documento é crucial para superar o problema do "silo de conhecimento" dos métodos existentes, permitindo que o sistema acumule e refine informações progressivamente. Além disso, o uso de habilidades de documento fornece um mecanismo para direcionar o agente para estratégias apropriadas sem exigir o treinamento de modelos separados para cada tarefa. Os resultados sugerem que esta abordagem pode alcançar um desempenho competitivo, e muitas vezes superior, tanto em relação a VLMs de propósito geral quanto a pipelines especializados e específicos para tarefas.