Resumo Técnico: Rumo à Pesquisa Profunda Multimodal Verificável

Declaração do Problema

Enquanto os Modelos de Linguagem de Grande Escala (LLMs) e os Modelos Visão-Linguagem (VLMs) avançaram os agentes autônomos de "Pesquisa Profunda" (recuperando respostas factuais concisas) para "Pesquisa Profunda" (sintetizando evidências dispersas em relatórios de longo formato), desafios significativos permanecem na pesquisa profunda multimodal verificável.

O artigo identifica dois gargalos primários nos sistemas atuais:

1. Abertura: Ao contrário de tarefas de domínio fechado com verdade fundamental determinística, a pesquisa profunda requer buscas iterativas de múltiplas rodadas em domínios abertos onde as saídas não podem ser verificadas de forma direta. Pipelines existentes frequentemente carecem de verificação por etapas, permitindo que ruídos de estágio inicial se acumulem em textos factualmente não confiáveis e visuais desalinhados.
2. Interleaving Multimodal: Relatórios profissionais exigem a integração estreita de argumentos textuais com evidências visuais (por exemplo, gráficos, diagramas, capturas de tela). Frameworks atuais frequentemente tratam a integração de imagens como uma etapa decorativa post-hoc em vez de um componente central de pesquisa, resultando em evidências visuais frouxamente ligadas a argumentos textuais e que falham em atender aos padrões profissionais de interleaving.

Abordagens existentes lutam para alcançar conjuntamente raciocínio profundo de múltiplos saltos, ampla cobertura de informações e a geração de relatórios de imagem-texto interleaved e críveis.

Metodologia: PTAH

Os autores propõem o PTAH (nomeado em homenagem a Ptah, a deidade egípcia antiga criadora), um harness multiagente projetado para pesquisa profunda multimodal crível. Em vez de tratar a geração de relatórios como um problema monolítico, o PTAH orquestra um fluxo de trabalho de execução controlado através de três etapas distintas: Planejamento, Pesquisa e Escrita, governado por um Agente Verificador que atua como uma função de aceitação ao longo do ciclo de vida.

1. Etapa de Planejamento: Inicialização do Estado de Pesquisa Consciente Visual

• Agente Planejador: Invoca iterativamente ferramentas de busca de texto para explorar conhecimento de domínio. Ele gera um plano estruturado contendo uma visão geral de alto nível, objetivos por seção, tipos de evidência esperados e especificações visuais explícitas. Essas especificações definem onde elementos visuais devem aparecer, seu papel comunicativo e a forma requerida (por exemplo, gráficos versus capturas de tela).
• Verificação: O plano passa por verificação dupla:
  • Baseada em Regras: Verifica protocolos de interação, restrições de uso de ferramentas e formato JSON.
  • Baseada em LLM: Avalia a cobertura de consultas, coerência da seção e relevância visual-argumentativa.
  • Planos falhos são revisados antes de prosseguir.

2. Etapa de Pesquisa: Coleta Paralela de Evidências e Memória de Trabalho Visual

• Agentes Pesquisadores: Para cada seção planejada, agentes independentes realizam investigações usando ferramentas de busca e recuperação. Eles produzem pacotes estruturados contendo descobertas, evidências fundamentadas em alegações, dados numéricos, tabelas e referências.
• Memória de Trabalho Visual (VWM): Em paralelo à coleta de texto, os pesquisadores extraem imagens das páginas da web visitadas.
  • Filtragem: Filtros baseados em regras removem imagens de baixa resolução, duplicadas ou irrelevantes.
  • Seleção: Um seletor baseado em VLM avalia os candidatos restantes contra os requisitos visuais da etapa de planejamento.
  • Armazenamento: Imagens retidas são armazenadas com suas URLs de origem, contexto circundante, seção associada e função visual pretendida. Isso externaliza materiais alinhados à fonte como estado cruzado-estruturado em vez de ativos post-hoc.
• Verificação: O Verificador verifica a fidelidade da citação, o suporte à alegação e a relevância visual. Pacotes falhos são retornados para revisão.

3. Etapa de Escrita: Composição Multimodal Declarativa

• Agente Escritor: Compõe o relatório final usando o plano global, pacotes de pesquisa verificados e a VWM. Em vez de inserção ad-hoc, ele usa uma estratégia de composição multimodal declarativa, gerando conteúdo textual e diretivas de imagem conjuntamente.
• Operações de Imagem: O harness arbitra três operações:
  1. Referência de Imagem: Reutiliza imagens alinhadas à fonte da VWM.
  2. Busca de Imagem: Recupera imagens adicionais da web se a VWM for insuficiente.
  3. Geração de Imagem: Cria novos visuais (gráficos, diagramas) via execução de código ou modelos generativos quando a síntese é necessária.
• Escalonamento em Tempo de Teste (TTS): Antes da renderização final, o sistema aplica um loop de refinamento de seis etapas:
  1. Refinamento de Seção: Melhora a clareza e a cobertura de evidências.
  2. Refinamento de Imagem: Decide Manter, Excluir ou Editar imagens.
  3. Refinamento Geral: Melhora a organização global e a consistência cruzada-modal.
  4. Geração HTML: Converte o relatório para HTML.
  5. Refinamento HTML: Ajusta o layout e o estilo.
  6. Renderização: Exibe o relatório final voltado para o usuário.

Protocolo de Avaliação: PTAHEval

Para abordar a falta de métricas para relatórios interleaved, os autores introduzem o PTAHEval, que amplia benchmarks existentes com duas novas dimensões:

1. Qualidade do Conteúdo da Imagem (ICQ): Avalia imagens individuais quanto à Clareza Visual (VC), Alinhamento Cruzado-Modal (CMA), Complementaridade de Informação (IC) e Suporte Evidencial (ES).
2. Qualidade da Apresentação Multimodal (MPQ): Avalia a página da web renderizada (viewport) quanto ao Equilíbrio Densidade-Legibilidade (DLB), Saliência Informacional (IS), Diversidade de Codificação Visual (VED) e Ergonomia Visual (VE).

Resultados Experimentais

Os experimentos foram conduzidos no DeepResearch Bench e no DeepConsult, comparando o PTAH com modelos de geração direta, agentes de busca apenas de texto (ReAct, Search-o1, WebThinker) e uma linha de base multimodal (LLM-I).

• Qualidade Geral de Conteúdo: O PTAH alcançou a melhor pontuação geral no DeepResearch Bench (45,16), liderando em Insight/Profundidade e Legibilidade. No DeepConsult, superou todas as linhas de base com uma pontuação média de 16,18 (mais que o dobro da próxima melhor).
• Qualidade Visual: O PTAH superou significativamente as linhas de base em ICQ (4,39 vs. 1,97 para LLM-I) e MPQ (3,71 vs. 3,00 para LLM-I), demonstrando imagens mais claras e contextualmente relevantes e organização de layout superior.
• Credibilidade: O PTAH alcançou uma Precisão de Citação de 87,53 com 9,64 citações efetivas por tarefa, superando substancialmente as linhas de base, que frequentemente emitiam URLs inválidas ou alucinadas.
• Avaliação Humana: Anotadores humanos preferiram o PTAH em relação às linhas de base em 88,75% dos casos de legibilidade e em 96,25% dos casos de eficiência de aquisição de informações.
• Estudos de Ablação:
  • Remover o Verificador causou uma queda de 32% na conclusão bem-sucedida de tarefas e um declínio significativo na precisão das citações.
  • Remover o Escalonamento em Tempo de Teste (TTS) reduziu a pontuação geral em 3,03 pontos e aumentou as falhas de geração de imagens.
  • Remover Elementos Visuais (PTAH sem imagens) manteve alta qualidade textual (45,10) mas reduziu as pontuações de MPQ (3,29), confirmando que o interleaving visual melhora especificamente a qualidade da apresentação.

Significado e Alegações

O artigo alega que o PTAH aborda a lacuna crítica na pesquisa profunda multimodal verificável ao:

1. Decompor o ciclo de vida nas etapas de Planejamento, Pesquisa e Escrita com artefatos intermediários inspecionáveis.
2. Instituir um Agente Verificador que impõe fundamentação factual, fidelidade de citação e consistência cruzada-modal em cada etapa, prevenindo a acumulação de erros.
3. Tratar a evidência visual como um componente central de pesquisa por meio da Memória de Trabalho Visual, em vez de uma decoração post-hoc.
4. Introduzir o PTAHEval, um protocolo que fornece métricas necessárias para avaliar a qualidade de relatórios interleaved de imagem-texto e sua apresentação renderizada.

Os autores concluem que a verificação e o escalonamento em tempo de teste são centrais para produzir relatórios críveis e profissionalmente interleaved, e que sua abordagem modular multiagente oferece um framework robusto para geração multimodal crível. Eles reconhecem limitações relacionadas às capacidades de raciocínio dos modelos de código aberto atuais para tarefas de longo horizonte, observando que seu design de etapa sequencial é um compromisso necessário para controlabilidade e confiabilidade do sistema.