MoDora: Tree-Based Semi-Structured Document Analysis System

O MoDora é um sistema baseado em LLM que melhora a análise de documentos semiestruturados e a resposta a perguntas através de uma estratégia de agregação local, da construção de uma Árvore de Correlação de Componentes (CCTree) para organizar hierarquicamente os dados e de uma recuperação orientada ao tipo de pergunta, superando significativamente os métodos existentes em precisão.

O essencial

Imagine que você recebe uma pilha de documentos antigos e bagunçados: alguns são relatórios financeiros com tabelas complexas, outros são artigos científicos cheios de gráficos, e alguns têm notas de rodapé, cabeçalhos e colunas laterais misturadas. Tentar encontrar uma informação específica nesses documentos, como "qual foi o resultado do experimento no inverno?", é como tentar achar uma agulha em um palheiro, mas o palheiro está cheio de palhas de cores diferentes e a agulha pode estar escondida em uma tabela que não tem título.

É exatamente esse o problema que o MoDora resolve. Vamos explicar como ele funciona usando algumas analogias simples:

1. O Problema: A "Salada de Frutas" Desconstruída

Os métodos antigos de leitura de documentos (como OCR) funcionam como um robô que lê o documento linha por linha, de cima para baixo.

• O que acontece: Ele pega o texto, a tabela e o gráfico e joga tudo numa única lista gigante, como se fosse uma salada de frutas onde você não sabe mais qual pedaço de manga pertence a qual pedaço de morango.
• O resultado: Quando você pergunta algo, o robô não sabe que o gráfico está abaixo do título "Experimento 3", ou que a tabela pertence à seção "Resultados". Ele perde o contexto e a estrutura.

2. A Solução: O MoDora (O "Montador de Quebra-Cabeças")

O MoDora é um sistema inteligente que não apenas lê, mas organiza o documento antes de responder. Ele faz isso em três etapas mágicas:

Etapa 1: Agrupando os "Blocos de Lego" (Agregação Local)

Em vez de ler palavra por palavra, o MoDora olha para o documento e identifica "blocos" naturais.

• Analogia: Imagine que o documento é uma caixa de Lego espalhada. O MoDora não tenta montar o castelo peça por peça aleatoriamente. Ele primeiro junta as peças que formam uma "torre" (um título com seus parágrafos), depois junta as peças que formam uma "casa" (uma tabela com seu título e legenda).
• O que ele faz: Ele agrupa textos, tabelas e gráficos que estão juntos visualmente e semanticamente, criando "Componentes" (COs). Ele entende que um gráfico pertence a um título específico, mesmo que estejam em páginas diferentes.

Etapa 2: Construindo a "Árvore Genealógica" (CCTree)

Agora que ele tem os blocos organizados, ele precisa entender como eles se relacionam.

• Analogia: Imagine que o documento é uma árvore genealógica. O título principal é o "avô". Os capítulos são os "pais", e os parágrafos ou tabelas dentro deles são os "filhos".
• O que ele faz: O MoDora cria uma estrutura chamada CCTree (Árvore de Correlação de Componentes). Ele não trata o documento como uma lista plana, mas como uma árvore hierárquica. Isso significa que ele sabe que a "Tabela 1" é uma "neta" do capítulo "Experimentos".
• O Truque do Resumo: Para não ter que ler tudo de novo, ele cria um "resumo" (metadados) para cada ramo da árvore, indo de baixo para cima. É como se cada pai soubesse um resumo do que seus filhos estão fazendo, e o avô soubesse um resumo de toda a família.

Etapa 3: A "Caça ao Tesouro" Inteligente (Busca Orientada)

Quando você faz uma pergunta, o MoDora não varre todo o documento cegamente. Ele usa uma estratégia de detetive.

• Perguntas de Localização: Se você pergunta "O que está no canto inferior direito da página 1?", ele usa uma grade invisível (como um tabuleiro de xadrez) para ir direto ao ponto.
• Perguntas de Significado: Se você pergunta "Qual foi o resultado do experimento?", ele usa a "Árvore Genealógica". Ele olha para os resumos dos ramos (metadados) para ver qual ramo parece relevante.
  • O Filtro Duplo: Primeiro, ele usa uma IA para "adivinhar" quais partes são importantes (poda). Depois, ele usa outra IA para verificar se a resposta está realmente lá, evitando alucinações (respostas inventadas).

Por que isso é melhor?

Vamos voltar ao exemplo do documento científico da capa do artigo:

• Outros sistemas: Tentam ler o texto e a tabela separadamente. Eles podem achar a palavra "inverno" no texto, mas não conseguem ligar isso à linha correta na tabela que está em outra página. Ou pior, eles "alucinam" um número porque viram um número parecido em outro lugar.
• MoDora: Ele vê que o texto "Experimento 3 foi no inverno" e a "Tabela 1" estão conectados na mesma árvore. Ele sabe que precisa olhar a linha do "Grupo Decoquinate" dentro daquela tabela específica. Ele une o texto, a tabela e o contexto visual para dar a resposta exata.

Resumo Final

O MoDora é como um bibliotecário superinteligente que, em vez de apenas ler os livros, primeiro os organiza em prateleiras lógicas, cria um mapa de onde cada história começa e termina, e depois usa esse mapa para encontrar a resposta exata que você precisa, ignorando o que é irrelevante.

O resultado? Ele é muito mais preciso do que os métodos atuais (melhorando a precisão em até 61% em alguns casos) e consegue lidar com documentos complexos, cheios de tabelas, gráficos e layouts estranhos, que costumam confundir até as IAs mais avançadas.

Resumo técnico

1. O Problema

Os documentos semiestruturados (como relatórios científicos, demonstrações financeiras e manuais técnicos) integram elementos de dados diversos e intercalados (tabelas, gráficos, parágrafos hierárquicos) dispostos em layouts complexos e muitas vezes irregulares. Embora representem uma grande parcela dos dados do mundo real, a análise e a resposta a perguntas em linguagem natural (NL) sobre esses documentos enfrentam três desafios técnicos principais:

1. Fragmentação e Perda de Contexto: Técnicas tradicionais de OCR extraem elementos de forma fragmentada, removendo o contexto semântico original (ex: uma tabela separada do título que a descreve), tornando a análise isolada inadequada.
2. Falta de Representação Estrutural: Métodos existentes não conseguem capturar eficazmente estruturas hierárquicas (ex: associar tabelas a títulos de capítulos aninhados) nem distinguir elementos específicos de layout (ex: diferenciar barras laterais do conteúdo principal).
3. Dificuldade de Rastreamento e Alinhamento: Responder a perguntas complexas frequentemente exige recuperar e alinhar informações dispersas por múltiplas regiões ou páginas (ex: ligar um parágrafo descritivo a células de uma tabela em outra página), algo que métodos baseados apenas em texto ou em imagens inteiras falham em fazer com precisão.

2. Metodologia: O Sistema MoDora

O MoDora é um sistema impulsionado por Grandes Modelos de Linguagem (LLMs) projetado para analisar documentos semiestruturados. A arquitetura é dividida em três módulos principais:

A. Pré-processamento de Documentos (Agregação Local)

O objetivo é transformar elementos brutos do OCR em componentes autossuficientes e conscientes do layout:

• Estratégia de Agregação de Alinhamento Local: Agrupa elementos fragmentados em componentes coerentes.
  • Agregação de Texto: Combina títulos com seus parágrafos subsequentes até o próximo título.
  • Agregação de Tabelas/Gráficos: Associa títulos (se presentes antes ou depois) e metadados aos elementos visuais correspondentes.
  • Agregação de Suplementos: Isola cabeçalhos, rodapés e barras laterais em componentes separados para evitar interferência semântica.
• Detecção de Hierarquia Sensível ao Formato: Utiliza um LLM multimodal (MLLM) para analisar tanto o texto quanto a imagem do título (tamanho de fonte, negrito, posição) para inferir o nível hierárquico correto (ex: H1, H2).
• Enriquecimento de Informação Baseado em Modelos: Para elementos não textuais (tabelas, gráficos), o sistema gera tripletas estruturadas (título, metadados, dados) usando templates específicos, extraindo esquemas e valores representativos.

B. Construção da Árvore (Component-Correlation Tree - CCTree)

Para capturar a estrutura global além da ordem linear de leitura, o MoDora constrói uma Árvore de Correlação de Componentes (CCTree):

• Nós e Arestas: Cada componente do documento é um nó. As arestas representam três tipos de relações:
  1. Texto-para-Texto: Baseado na hierarquia de títulos (pai-filho).
  2. Texto-para-Outros: Elementos não textuais (tabelas/gráficos) são filhos do bloco de texto adjacente que os introduz.
  3. Relação Independente de Suplemento: Elementos como rodapés são anexados a um ramo separado da árvore.
• Resumo de Metadados "Bottom-Up": Um processo de sumarização recursiva propaga informações dos nós folha até a raiz. Um algoritmo de atenuação de informação controla o número de palavras-chave geradas em cada nível, garantindo que os nós superiores tenham um resumo conciso de todo o seu subárvore, facilitando a recuperação.

C. Análise Baseada em Árvore (Recuperação Orientada ao Tipo de Pergunta)

O sistema emprega uma estratégia de recuperação que adapta o método com base no tipo de pergunta:

1. Recuperação Baseada em Localização: Para perguntas como "o que está no canto inferior direito da página 1?", o sistema mapeia a pergunta para uma grade (ex: 3x3) e seleciona nós cujas coordenadas espaciais se sobrepõem à região alvo.
2. Recuperação Baseada em Semântica: Para perguntas de conteúdo, utiliza-se um processo iterativo de duas etapas:
   • Busca Forward (Seleção Guiada por LLM): O LLM seleciona nós candidatos baseando-se em índices e metadados. Nós não selecionados passam por uma busca de fallback baseada em embeddings para garantir alta cobertura (recall).
   • Verificação Backward (Verificador MLLM): Um verificador multimodal examina o conteúdo detalhado e a localização dos nós candidatos para confirmar ou descartar evidências, eliminando falsos positivos e garantindo alta precisão.
3. Geração da Resposta: As evidências textuais, regionais (imagens cortadas) e a estrutura hierárquica global são fornecidas ao MLLM para gerar a resposta final.

3. Principais Contribuições

1. Sistema MoDora: Uma nova arquitetura para análise de documentos semiestruturados que suporta layouts diversos e responde tanto a perguntas semânticas quanto de localização.
2. Estratégia de Agregação Local: Transforma elementos de OCR em componentes autossuficientes, incorporando detecção de hierarquia e extração semântica estruturada para elementos não textuais.
3. Component-Correlation Tree (CCTree): Uma representação hierárquica que modela explicitamente as relações entre componentes e distinções de layout, permitindo sumarização e raciocínio contextual.
4. Estratégia de Recuperação Sensível ao Tipo de Pergunta: Integra seleção guiada por LLM, busca de fallback por embedding e verificação cruzada multimodal para localização robusta de evidências.
5. Benchmarks e Resultados: Demonstração de superioridade significativa sobre métodos existentes em novos benchmarks e conjuntos de dados públicos.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks públicos (DUDE, M3DocVQA, MP-DocVQA) e em um novo conjunto de dados proposto pelos autores chamado MMDA (com maior diversidade de elementos e complexidade de layout).

• Desempenho Geral: O MoDora superou todas as linhas de base (incluindo GPT-5, DocOwl2, ZenDB, TextRAG) em todas as métricas e conjuntos de dados.
  • A melhoria na precisão (AIC-Acc) variou de 5,97% a 61,07% em relação aos melhores baselines.
  • No conjunto MMDA, o MoDora alcançou 73,33% de AIC-Acc, superando o GPT-5 (que obteve 55,23%) e o DocAgent (65,50%).
• Análise por Tipo de Pergunta:
  • Hierarquia: MoDora obteve 76,73% (vs. 55,97% do DocAgent), demonstrando a eficácia da CCTree.
  • Texto: 79,95% de precisão.
  • Híbrido (Texto + Tabela/Gráfico): 68,00%, superando métodos que falham ao alinhar texto e dados visuais.
  • Localização: 68,21%, superando modelos que não utilizam coordenadas espaciais finas.
• Custo: Embora utilize múltiplos chamados de API, o custo por consulta do MoDora ($0,025) é competitivo, oferecendo uma melhoria de precisão de mais de 15% em comparação a métodos mais simples, e é significativamente mais barato que o DocAgent ($0,09).

5. Significado e Impacto

O MoDora representa um avanço significativo na área de Processamento de Documentos Inteligentes (IDP). Ao demonstrar que a modelagem explícita da estrutura hierárquica e das relações espaciais, combinada com a recuperação adaptativa, supera a abordagem "end-to-end" pura (que ignora estrutura) e a abordagem puramente baseada em texto (que ignora layout), o trabalho estabelece um novo paradigma para a análise de documentos complexos.

A capacidade de lidar com documentos do mundo real, que raramente são puramente textuais ou perfeitamente estruturados, torna o MoDora uma ferramenta vital para aplicações em finanças, pesquisa científica e análise jurídica, onde a precisão e a capacidade de raciocínio sobre múltiplos modos de dados são críticas. O código e o conjunto de dados MMDA foram disponibilizados para fomentar pesquisas futuras na área.