Resumo Técnico: MMArch

Definição do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) demonstraram proficiência em tarefas de imagens de engenharia, como reconhecimento de desenhos, extração de informações e verificação de conformidade. No entanto, uma lacuna crítica permanece no raciocínio visual fundamentado em princípios: a capacidade de combinar evidências visuais distribuídas de múltiplas figuras com princípios de engenharia explícitos para chegar a uma conclusão. Os benchmarks existentes no domínio de Arquitetura, Engenharia e Construção (AEC) testam primariamente a percepção de figura única (ex: análise de plantas baixas) ou o recall de conhecimento textual (ex: códigos de construção). Nenhum isola efetivamente o requisito conjunto de selecionar evidência visual relevante, conectá-la através de princípios específicos do domínio e derivar uma conclusão específica para o problema. Sem um benchmark que imponha este raciocínio tripartido, a competência de raciocínio profissional dos MLLMs não pode ser medida ou melhorada de forma confiável.

Metodologia

Construção do Benchmark (MMArch)

Os autores introduzem o MMArch, um benchmark composto por 1.212 itens de resposta curta derivados inteiramente de figuras de literatura AEC revisada por pares (periódicos indexados na SCI e arXiv). O processo de construção utiliza um pipeline desacoplado e rigoroso projetado para prevenir alucinações e a exploração de atalhos:

1. Fonte de Dados: Aproximadamente 10.000 artigos foram triados em dez subdomínios (Estrutural, Sísmico, Física da Edificação, Inspeção, Patrimônio, Espacial, Envoltória, Urbano, BIM e Design Computacional). Apenas figuras que apresentavam conteúdo mensurável ou diagnóstico foram retidas.
2. Pipeline Desacoplado Planejador–Escritor:
   • Planejador: Seleciona uma "evidência líder" (uma passagem específica que discute a figura) e destila uma resposta de referência (congelada em ≤10 tokens) juntamente com observações visuais de suporte.
   • Escritor: Compõe uma pergunta de formato livre em torno da resposta congelada. Esta separação garante que a pergunta não possa ser moldada para a resposta, e que a resposta não seja enviesada pela formulação da pergunta.
3. Controle de Qualidade e Validação:
   • Triagem Automatizada: Os candidatos são testados contra entradas apenas de texto e apenas de legenda para garantir que a resposta não possa ser derivada sem evidência visual. Itens solucionáveis apenas por texto são descartados.
   • Auditoria Adversária Cega: Três agentes cegos verificam a visibilidade da evidência, a necessidade de princípios de domínio e a ausência de atalhos linguísticos.
   • Verificação Dupla: As respostas são rederivadas independentemente via dois caminhos (extensão do texto de origem e computação de recorte de imagem) e reconciliadas.
   • Revisão de Especialistas: Três arquitetos e engenheiros profissionais retêm um item apenas mediante acordo unânime.
4. Estágios de Raciocínio: Cada item é projetado para exigir três estágios funcionais: Perceber (extrair evidência), Conhecer (identificar o princípio regente) e Julgar (aplicar o princípio à evidência).

Configuração de Avaliação

O benchmark foi utilizado para avaliar 18 MLLMs, incluindo modelos de pesos abertos (famílias Qwen, Gemma, InternVL, Llama, MiniMax M3) e sistemas proprietários (GPT-4o, GPT-5.5, Claude Opus 4.8, variantes Gemini).

• Métricas: Acurácia (%) baseada na correspondência entre a saída de resposta curta do modelo e a resposta de referência, normalizada para unidades e sinônimos.
• Baseline: Um painel de especialistas de domínio (não envolvidos na construção) alcançou uma acurácia média de 94,57%.
• Testes de Prompting: O estudo avaliou o impacto de Cadeia de Pensamento (CoT) e identificadores de painéis visuais no desempenho.

Resultados Principais

Lacuna de Desempenho

Existe uma lacuna significativa de desempenho entre os atuais MLLMs e especialistas humanos:

• Painel Humano: 94,57% de acurácia.
• Melhor Modelo Proprietário (GPT-5.5): 51,73% de acurácia.
• Melhor Modelo de Código Aberto (MiniMax M3): 29,94% de acurácia.
• Outros Modelos: A maioria dos modelos de código aberto pontuou entre 13% e 26%.

A lacuna de mais de 40 pontos percentuais indica que os modelos atuais lutam fundamentalmente com o raciocínio conjunto exigido, em vez de apenas carecerem de capacidades de reconhecimento visual.

Escalonamento e Prompting

• Escalonamento de Modelo: O aumento das contagens de parâmetros gerou ganhos limitados. Por exemplo, escalar o Llama-3.2 de 11B para 90B melhorou o desempenho em apenas ~4 pontos. Isso sugere que o gargalo não é a capacidade bruta, mas a habilidade de vincular a evidência visual ao conhecimento de domínio.
• Intervenções de Prompting:
  • Cadeia de Pensamento (CoT): Gerou resultados inconsistentes, proporcionando um ganho menor para o GPT-4o (+1,5%), mas degradando o desempenho para outros modelos (ex: -3,1% para Qwen3.5-35B-A3B).
  • Prompting Visual (Identificadores de Painel): Teve efeitos mistos, melhorando levemente alguns modelos enquanto degradou outros.
  • Conclusão: As limitações não se devem à falta de traços de raciocínio explícitos ou ambiguidade de alinhamento visual, mas sim a um déficit de conhecimento específico de domínio e raciocínio composicional.

Análise de Erros

A inspeção manual das falhas revelou cinco categorias de erro:

1. Erro de Composição (35,8%): O modo de falha dominante. Os modelos extraem corretamente quantidades intermediárias, mas falham ao combiná-las corretamente (ex: omitindo um termo em um cálculo).
2. Erro de Princípio (21,7%): Leitura correta da evidência, mas aplicação de uma heurística intuitiva em vez do princípio de engenharia regente.
3. Erro de Percepção (20,3%): Leitura incorreta de sinais visuais (ex: confundindo curvas sobrepostas).
4. Erro de Grounding (14,5%): Identificação correta de uma quantidade, mas leitura incorreta de seu valor ou sinal.
5. Erro de Consistência (7,7%): A análise interna contradiz a resposta final declarada.

A distribuição indica que combinar evidências e princípios é o principal gargalo, e não a localização da evidência.

Significância e Alegações

O artigo posiciona o MMArch como uma ferramenta de diagnóstico para medir o raciocínio multimodal fundamentado em princípios no domínio AEC. Sua significância reside em:

1. Isolar a Lacuna de Raciocínio: Ao filtrar rigorosamente atalhos de apenas texto e de figura única, o MMArch prova que o subdesempenho atual dos MLLMs deve-se a uma incapacidade de sintetizar evidência visual com princípios de engenharia, e não apenas a uma falta de literacia visual.
2. Construção Rigorosa: O pipeline desacoplado planejador-escritor e a validação de múltiplos estágios (incluindo auditorias adversárias cegas e revisão de especialistas unânime) estabelecem um novo padrão para a qualidade de benchmarks, garantindo que o ground truth seja robusto contra alucinações.
3. Direção para Pesquisas Futuras: Os resultados sugerem que o progresso futuro na IA profissional exigirá avanços na arquitetura ou treinamento de modelos para integrar melhor o conhecimento de domínio com o raciocínio visual, em vez de depender de técnicas de prompting ou simples escalonamento de parâmetros. O artigo afirma explicitamente que não investiga imagens de campo ou modelos além de um instantâneo atual, servindo, em vez disso, como um ambiente de teste controlado para essas capacidades de raciocínio específicas.