ORCA: Orchestrated Reasoning with Collaborative Agents for Document Visual Question Answering

Each language version is independently generated for its own context, not a direct translation.

Imagine que você precisa responder a uma pergunta muito difícil sobre um documento complexo, como um contrato cheio de tabelas, gráficos, anotações manuscritas e texto normal. Se você pedir para um único "super-robô" (um modelo de inteligência artificial comum) ler tudo e responder, ele pode se confundir, pular detalhes ou inventar respostas. É como pedir para uma única pessoa fazer o trabalho de um escritório inteiro: ela tenta fazer tudo ao mesmo tempo e acaba cometendo erros.

O ORCA (Orquestrado com Agentes Colaborativos) é a solução proposta neste artigo. Em vez de um único robô gigante, o ORCA é como uma equipe de especialistas trabalhando juntos, cada um com sua própria habilidade, sob a coordenação de um chefe.

Aqui está como funciona, passo a passo, usando analogias do dia a dia:

1. O "Detetive" (Agente de Raciocínio)

Tudo começa com um Detetive. Quando você faz a pergunta, ele não tenta responder imediatamente. Em vez disso, ele olha para o documento e diz: "Ok, para responder a isso, precisamos primeiro encontrar a tabela de vendas, depois ler a letra miúda manuscrita e, por fim, somar os valores."
Ele quebra o problema grande em pequenos passos lógicos. Isso é como um professor de matemática que ensina a criança a resolver a equação passo a passo, em vez de apenas dar o resultado final.

2. O "Gerente de Contratação" (Roteador)

Com o plano do Detetive em mãos, entra o Gerente. Ele olha para a lista de tarefas e decide quem precisa ser chamado.

Se a tarefa é ler letra manuscrita, ele chama o Especialista em Caligrafia.
Se é ler uma tabela, ele chama o Especialista em Planilhas.
Se é entender um gráfico, ele chama o Especialista em Imagens.
O Gerente garante que a pessoa certa faça o trabalho certo, em vez de tentar forçar um especialista em gráficos a ler uma tabela.

3. A "Reunião de Especialistas" (Execução Colaborativa)

Agora, os especialistas trabalham em sequência. O primeiro passa a informação para o segundo, que passa para o terceiro. É como uma linha de montagem de alta tecnologia, onde cada peça é verificada e aprimorada antes de ir para a próxima estação.

4. O "Advogado do Diabo" e o "Juiz" (Debate e Verificação)

Aqui está a parte mais inteligente e diferente do ORCA.

O Teste de Estresse: Antes de entregar a resposta final, o sistema pergunta: "Você tem certeza?". Se o Detetive e o Especialista final tiverem respostas diferentes, o sistema não entrega nada ainda.
O Debate: Um Advogado do Diabo (um agente que tenta encontrar falhas) entra em cena. Ele tenta convencer o Especialista de que a resposta pode estar errada, apresentando contra-argumentos baseados no documento.
O Juiz: Um terceiro agente, o Juiz, observa esse debate. Se o Especialista conseguir defender sua resposta com fatos, o Juiz aprova. Se o Advogado do Diabo provar que há um erro, eles voltam a pensar e corrigem.
Isso é como um júri em um tribunal: em vez de aceitar a primeira opinião, eles debatem para garantir que a verdade seja encontrada.

5. O "Revisor de Estilo" (Refinamento)

Por fim, um Revisor olha para a resposta final. Ele não muda o significado, mas garante que a formatação esteja perfeita (por exemplo, se o documento diz "R$ 10,00" e a resposta saiu "10 reais", ele corrige para o formato exato do documento).

Por que isso é tão bom?

Precisão: Como cada especialista foca em uma coisa só, eles cometem menos erros do que um "generalista" tentando fazer tudo.
Confiança: O sistema de debate funciona como um "segundo pensamento". Se o sistema está inseguro, ele debate consigo mesmo antes de te dar a resposta.
Flexibilidade: Se um documento tem uma tabela e um gráfico, o ORCA chama os dois especialistas. Se é só texto, ele só chama o especialista em texto.

O Resultado

O artigo mostra que, ao usar essa "equipe de especialistas" em vez de um único robô, o ORCA consegue responder perguntas sobre documentos complexos com muito mais precisão do que os melhores sistemas atuais. Ele é mais inteligente, mais cuidadoso e, principalmente, mais confiável, porque nunca entrega uma resposta sem antes ter "discutido" e verificado se ela faz sentido.

Em resumo: O ORCA não é um único gênio; é uma orquestra perfeita onde cada músico toca sua parte, e um maestro garante que todos estejam afinados antes do show começar.

Each language version is independently generated for its own context, not a direct translation.

Resumo Técnico: ORCA

1. O Problema

A Resposta a Perguntas Visuais em Documentos (DocVQA) continua sendo um desafio significativo para os Modelos Visuais-Linguísticos (VLMs) existentes, especialmente em cenários que exigem raciocínio complexo e fluxos de trabalho multi-etapa.

Limitações Atuais: As abordagens atuais, baseadas em modelos únicos (single-model), frequentemente falham em decompor perguntas intrincadas em subtarefas gerenciáveis. Elas lutam para coordenar informações entre diferentes modalidades de um documento (texto, tabelas, gráficos, conteúdo manuscrito) e carecem de mecanismos de auto-verificação ou adaptação baseada no conteúdo específico.
Falta de Especialização: Modelos genéricos executam tarefas como extração de dados de tabelas e reconhecimento óptico de caracteres (OCR) de forma inconsistente quando combinadas. Além disso, eles geralmente produzem respostas diretas sem expor os passos de raciocínio ou validar a confiança da resposta.

2. Metodologia: A Arquitetura ORCA

O ORCA (Orchestrated Reasoning with Collaborative Agents) é um novo framework multi-agente projetado para superar essas limitações através de coordenação estratégica e refinamento iterativo. O sistema opera em cinco estágios principais:

Compreensão de Contexto (Context Understanding):
- Um agente "pensador" (thinker agent), baseado no GLM-4.5V-9B, analisa a pergunta e a imagem do documento.
- Ele gera dois outputs críticos: um caminho de raciocínio estruturado ( $R$ ) que decompõe a pergunta em passos lógicos e uma resposta inicial ( $a_T$ ).
Execução Colaborativa de Agentes (Collaborative Agent Execution):
- Um agente roteador (router) analisa o caminho de raciocínio e ativa agentes especializados específicos de um "dock" de nove tipos (ex: OCR, Tabelas/Listas, Figuras/Diagramas, Formulários, Texto Livre, etc.).
- Um orquestrador determina a ordem de execução ótima desses agentes. Eles processam a tarefa sequencialmente, passando o output do anterior para o seguinte.
- O último agente gera a resposta do especialista ( $a_E$ ).
- Inovação: O caminho de raciocínio é "mascarado" para evitar viés de confirmação nos agentes subsequentes.
Sessão de Teste de Estresse (Stress Testing):
- Compara-se a resposta do especialista ( $a_E$ ) com a do pensador ( $a_T$ ).
- Se houver divergência, um agente de debate gera perguntas desafiadoras para testar a confiança do agente especialista. Um agente de avaliação verifica se o especialista manteve sua resposta e forneceu respostas coerentes.
- Se o especialista passar no teste, a resposta é aceita; caso contrário, avança para o próximo estágio.
Conversa Multi-turno (Multi-turn Conversation):
- Ativado apenas se o teste de estresse falhar (indicando incerteza genuína).
- Envolve um agente tese (defendendo $a_E$ ) e um agente antítese (gerando uma alternativa $a_{alt}$ e criticando a tese).
- Um agente juiz supervisiona um debate estruturado de três turnos para resolver conflitos e determinar a resposta final ( $a_C$ ).
Refinamento da Resposta (Answer Refinement):
- Um agente verificador de sanidade (sanity checker) ajusta a formatação final (espaçamento, pontuação) para garantir consistência com as convenções do documento original, essencial para métricas de avaliação precisas.

3. Principais Contribuições

Framework Multi-Agente Integrado: Propõe uma arquitetura que combina raciocínio explícito, compreensão especializada de documentos e verificação adversarial para DocVQA robusto.
Mecanismo de Debate Condicional: Diferente de sistemas que debatem tudo, o ORCA ativa o debate complexo apenas em casos de incerteza (cerca de 8,3% dos casos), otimizando o custo computacional.
Roteamento Baseado em Raciocínio: Utiliza um agente roteador treinado para selecionar dinamicamente especialistas com base no caminho de raciocínio, em vez de regras manuais.
Desempenho Superior: Estabelece novos patamares de desempenho em benchmarks padrão, demonstrando que a colaboração com verificação interna supera modelos monolíticos.

4. Resultados Experimentais

O ORCA foi avaliado em três benchmarks principais: Single-Page DocVQA, InfographicsVQA e OCRBench-v2.

DocVQA e InfographicsVQA:
- O modelo ORCA (Qwen3VL-8B) alcançou 97,2% no DocVQA e 88,0% no InfographicsVQA.
- Isso representa um ganho médio de +0,8% no DocVQA e um aumento significativo de +6,4% no InfographicsVQA em comparação com os melhores modelos de base (single-model).
- O ganno no InfographicsVQA valida a eficácia do sistema em tarefas que exigem integração complexa de texto e visual.
OCRBench-v2:
- O ORCA demonstrou melhorias consistentes em todas as escalas de modelos testados.
- A configuração Qwen3VL-8B atingiu uma pontuação média de 67,1%, superando a linha de base em +1,7 pontos.
- Melhorias notáveis foram observadas em tarefas desafiadoras como "Entendimento" (Understanding), "Raciocínio" (Reasoning) e "Detecção" (Spotting).
Análise de Latência e Custo:
- Embora o pipeline completo tenha maior latência (9,6s–13,1s) comparado a modelos únicos (0,3s–0,8s), o mecanismo de terminação antecipada (quando pensador e especialista concordam) reduz o custo em 77% dos casos.
- O sistema oferece uma alternativa eficiente em termos de computação em comparação com o escalonamento bruto de parâmetros de modelos monolíticos (ex: >100B parâmetros).
Estudos de Ablação:
- A remoção do estágio de raciocínio (Estágio 1) ou dos agentes colaborativos (Estágio 2) causou quedas drásticas de desempenho, confirmando que são os componentes centrais.
- Os estágios de verificação (3, 4 e 5) contribuem incrementalmente, mas são cruciais para casos de borda e confiabilidade.

5. Significado e Impacto

O ORCA representa uma mudança de paradigma na DocVQA, movendo-se de modelos "caixa-preta" únicos para sistemas transparentes, adaptativos e colaborativos.

Confiabilidade: A introdução de mecanismos de debate e verificação reduz alucinações e aumenta a confiança em respostas complexas.
Escalabilidade Modular: A arquitetura permite que componentes individuais (como o roteador ou o pensador) sejam atualizados independentemente à medida que novos modelos base surgem, sem reescrever todo o sistema.
Aplicabilidade: O framework é particularmente eficaz em documentos visuais ricos (infográficos, formulários complexos, tabelas manuscritas), onde a especialização por modalidade é crítica.

Em suma, o ORCA demonstra que a orquestração inteligente de agentes especializados, guiada por raciocínio explícito e validada por debate, é uma abordagem superior para resolver os desafios de raciocínio visual em documentos.