MCERF: Advancing Multimodal LLM Evaluation of Engineering Documentation with Enhanced Retrieval

Resumo Técnico: MCERF

1. Problema e Motivação

Os documentos de engenharia (como livros de regras, normas técnicas e especificações) são inerentemente multimodais, integrando texto denso, tabelas, equações matemáticas e ilustrações complexas (desenhos CAD, gráficos de tensão, etc.).

• Desafio Atual: Os sistemas de Geração Aumentada por Recuperação (RAG) tradicionais baseados apenas em texto falham ao capturar o contexto visual crítico necessário para a interpretação correta dessas regras.
• Limitação do DesignQA: O benchmark DesignQA, utilizado para avaliar modelos de linguagem multimodal (MLLMs) em engenharia, revelou que abordagens RAG simples (baseadas em similaridade de texto) têm desempenho significativamente inferior à ingestão completa de documentos (All-Rules), devido à perda de estrutura de layout e informações visuais durante a extração de texto.
• Objetivo: Desenvolver um framework que combine recuperação multimodal avançada com raciocínio adaptativo para superar as limitações de custo e precisão dos métodos atuais, permitindo a compreensão escalável de documentação de engenharia.

2. Metodologia: O Framework MCERF

O Multimodal ColPali Enhanced Retrieval and Reasoning Framework (MCERF) é um sistema modular que integra três componentes principais:

A. Módulo de Recuperação Multimodal (ColPali)

• Diferente dos RAGs tradicionais que fragmentam o texto, o MCERF utiliza o ColPali, que trata cada página do PDF como uma entrada visual discreta.
• O documento é dividido em patches (pedaços) e codificado usando modelos de visão-linguagem (SigLIP e Gemma-2B).
• Isso preserva a estrutura visual, hierarquia de títulos e a relação entre texto e imagens, permitindo uma correspondência semântica fina (late interaction) entre a consulta e as regiões da página.

B. Estratégias de Raciocínio (Variants)
O framework emprega diferentes pipelines de raciocínio dependendo da complexidade da tarefa:

1. Modo Hybrid Lookup: Combina a busca semântica do ColPali com uma busca por palavras-chave (BM25) para casos que exigem citação exata de regras ou termos técnicos específicos.
2. Modo Vision-to-Text: Converte imagens complexas (gráficos, tabelas, CAD) em descrições textuais detalhadas antes do raciocínio. Isso reduz a carga cognitiva do modelo ao transformar relações espaciais em relações textuais explícitas.
3. Modo High Reasoning: Utiliza modelos com capacidades de raciocínio aprimoradas para tarefas que exigem inferência lógica complexa e análise espacial.
4. Modo Self-Consistency: Executa múltiplas passagens de recuperação e raciocínio independentes e agrega as respostas para estabilizar a saída e reduzir alucinações.

C. Roteamento Adaptativo (Routing)
Para automatizar a escolha da melhor estratégia, o MCERF implementa dois mecanismos de roteamento:

• Roteador de Caso Único (Router 1): Seleciona o melhor pipeline para todo um tipo de tarefa (ex: todas as perguntas de "Definição" usam o mesmo modelo).
• Roteador Baseado em Agentes (Router 2): Analisa cada pergunta individualmente e a direciona dinamicamente para agentes especializados (ex: um agente para documentos, outro para visão profunda), permitindo uma adaptação granular.

3. Contribuições Principais

1. Framework Modular e Agnóstico: Uma arquitetura que separa o recuperador, o raciocinador e o roteador, permitindo a substituição de modelos base sem reescrever o sistema.
2. Evidência de Estrutura Visual: Demonstra que manter a estrutura de layout e visual durante a recuperação é um fator dominante para a precisão em QA de engenharia, superando a extração de texto pura.
3. Padrões de Especialização: Validação de que diferentes tipos de tarefas de engenharia exigem abordagens distintas (ex: Hybrid para extração de regras, Vision-to-Text para análise dimensional).
4. Acesso Público: O código e a implementação do framework estão disponíveis publicamente.

4. Resultados e Desempenho

O sistema foi avaliado no benchmark DesignQA (baseado no livro de regras de 140 páginas da competição Formula SAE), comparado com modelos de ponta (GPT-4o, Claude-3, Gemini, LLaVA) e abordagens RAG simples.

• Melhoria Geral: O MCERF alcançou uma precisão média de 0,79, representando um ganho relativo de +41,1% em relação ao melhor resultado de RAG de base (0,56).
• Superação do "All-Rules": Em várias tarefas, o MCERF superou modelos que tinham acesso ao documento inteiro no contexto (All-Rules), provando que uma recuperação multimodal direcionada é mais eficiente e precisa do que a ingestão completa.
• Desempenho por Tarefa:
  • Recuperação (Retrieval): O modelo Hybrid alcançou 0,95 (F1), superando o RAG simples (0,19) e o GPT-4o-AllRules (0,88).
  • Desempenho Funcional: O modelo Vision-to-Text atingiu 0,94 de precisão, igualando o GPT-4o-AllRules.
  • Presença e Definição: O modelo High Reasoning obteve os melhores resultados (0,85 e 0,64, respectivamente).
• Eficiência: O sistema oferece uma alternativa viável entre o RAG impreciso e o custo proibitivo de processar documentos inteiros em janelas de contexto grandes.

5. Significado e Impacto

Este trabalho demonstra que o gargalo na compreensão de documentos de engenharia não reside apenas na capacidade do modelo de linguagem, mas na preservação e uso estratégico da informação multimodal durante a recuperação.

• Aplicações Práticas: O framework é aplicável a assistentes de design inteligentes, verificação de conformidade (compliance) e análise de documentação técnica em setores como aeroespacial, automotivo e construção.
• Escalabilidade: Ao evitar a ingestão completa de documentos, o MCERF permite a análise de bibliotecas de regras massivas com custos computacionais gerenciáveis, mantendo alta precisão através da recuperação baseada em patches visuais e roteamento inteligente.

Em suma, o MCERF estabelece um novo padrão para a interação com documentação técnica complexa, provando que a combinação de recuperação visual inteligente e raciocínio adaptativo é superior às abordagens baseadas puramente em texto.