Resumo Técnico: Lacuna: Um Mapa de Pesquisa para Aprendizado de Máquina

Declaração do Problema

A literatura científica em aprendizado de máquina (ML) é frequentemente tratada como uma coleção de PDFs isolados, exigindo que pesquisadores e agentes releiam documentos completos para cada nova consulta. Essa abordagem dificulta o reuso de estruturas de pesquisa intermediárias, tais como limitações de métodos, observações empíricas e hipóteses candidatas. Os sistemas atuais de recuperação aumentada (RAG) focam frequentemente em responder perguntas bem formuladas ou sintetizar relatórios, mas carecem de uma camada persistente, fundamentada em artigos, que permita a navegação por vizinhanças de pesquisa, a formulação de novos problemas e a auditoria de afirmações contra evidências específicas da fonte. O desafio é criar uma infraestrutura escalável e vinculada que transforme registros acadêmicos em objetos inspecionáveis e reutilizáveis sem perder a procedência.

Metodologia

O Lacuna aborda isso construindo um mapa de pesquisa servido em larga escala sobre 733.795 artigos de ML catalogados. O sistema opera através de um pipeline de construção de múltiplos estágios e uma estrutura de dados em camadas:

1. Pipeline de Dados e Procedência

O pipeline coleta e reconcilia registros do OpenAlex, OpenReview, DBLP e arXiv. Uma escolha de design crítica é o uso de expansão bibliográfica ancorada na autoria. Em vez de depender apenas de identificadores externos (que podem confundir pesquisadores com nomes compartilhados), o sistema utiliza perfis do OpenReview como a âncora de identidade primária. Ele constrói um vizinhança de coautores confiável a partir dos dados do OpenReview e só incorpora artigos externos se eles se reconciliarem com registros existentes ou sobrepujarem essa vizinhança confiável. Isso minimiza a propagação de erros de desambiguação para o conteúdo gerado.

2. As Camadas do Mapa de Pesquisa

O mapa consiste em quatro camadas geradas primárias, todas vinculadas aos seus artigos de origem:

• Resumos de Artigos: Gerados a partir do texto e metadados do artigo, incluindo resumos de "ideia central" e resumos "ricos em figuras" (combinando texto com figuras extraídas via RT-DETR).
• Elementos de Conceito: Declarações de uma a duas frases extraídas dos resumos, capturando métodos, limitações, observações e descobertas. Eles são incorporados (embedded) e agrupados (clustered).
• Direções de Pesquisa: Sínteses de aproximadamente duas páginas dos clusters de elementos de conceito, representando problemas recorrentes, famílias de métodos ou áreas de oportunidade.
• Propostas de Pesquisa: Hipóteses geradas a partir de amostragens das direções de pesquisa e artigos de suporte, tratadas como hipóteses candidatas para revisão, em vez de fatos estabelecidos.

O mapa de produção utiliza o Gemini-Flash-3.1-preview para resumos, conceitos e direções, e o Gemini-3.1-pro-preview para propostas.

3. Interfaces

O Lacuna expõe o mapa através de:

• Páginas Web: Navegação interativa do mapa em camadas.
• Markdown (/md): Páginas de markdown limpas, de 5 a 30 KB, para acesso programático.
• Links Tipados: Navegação entre artigos, conceitos, direções e propostas.
• MCP (Protocolo de Contexto de Modelo): Um artefato que documenta o esquema da página para ferramentas de LLM.

Principais Contribuições

1. Mapa Lacuna: Um mapa de pesquisa servido contendo 733.795 páginas de artigos, 15.259.720 elementos de conceito, 27.017 direções de pesquisa e 38.000 propostas de pesquisa.
2. Pipeline de Preservação de Procedência: Um processo de construção que transforma registros acadêmicos em resumos e propostas reutilizáveis enquanto mantém vínculos estritos com os registros de origem, permitindo a auditoria de afirmações.
3. Interfaces Multimodais: Acesso voltado para humanos e agentes via web, markdown e MCP, facilitando tanto a navegação quanto o raciocínio automatizado.
4. Avaliação Abrangente: Benchmarks em formulação de problemas, revisão de literatura e síntese de relatórios de pesquisa profunda.

Resultados e Avaliação

O artigo avalia o Lacuna em três configurações distintas:

1. Formulação de Problemas de Pesquisa

Em uma tarefa de replay de rota fixa começando de "prova de teoremas automatizada com assistentes de prova", o Lacuna navegou com sucesso de uma ideia inicial para uma questão de pesquisa delimitada.

• Eficiência: A execução baseada no Lacuna levou 85,5 segundos e custou $0,171, comparado a 289,2 segundos e $0,695 para um baseline que leu PDFs brutos.
• Fundamentação: As afirmações foram auditadas contra as páginas de origem. O sistema identificou corretamente as limitações e distinguiu entre resultados relatados e hipóteses propostas.

2. Revisão de Literatura e QA Fundamentado

O Lacuna foi testado nos benchmarks LitSearch, Multi-XScience-CS/ML e ScholarQA-CS-ML contra o OpenScholar v3.

• LitSearch: O Lacuna alcançou um Recall@10 de 0,538 e MRR de 0,3585, superando o OpenScholar v3 (0,424 e 0,3081, respectivamente).
• Multi-XScience-CS/ML: O Lacuna pontuou 4,167/5, superando o OpenScholar (3,467) e aproximando-se do desempenho dos abstracts origais citados (4,333).
• ScholarQA-CS-ML: Em 42 prompts de ML/AI, o Lacuna-GPT-4o alcançou uma média de rubrica de 0,694, comparado a 0,672 para o OpenScholar-GPT-4o. O ganho concentrou-se na qualidade do conteúdo, expertise e disponibilidade de trechos.

3. Síntese de Relatórios de Pesquisa Profunda

Usando o ReportBench-ML (25 tarefas principais de survey de ML), o Lacuna Deep Research (um agente de múltiplos estágios) foi comparado ao GPT-Researcher, STORM e LangChain ODR.

• Sobreposição de Citações: O Lacuna alcançou o maior F1 (0,052) e Precisão (0,339), com 99 acertos de referências de especialistas (vs. 72 para o GPT-Researcher).
• Qualidade do Relatório: Na rubrica RACE, o Lacuna pontuou 7,82/10, superando significativamente o GPT-Researcher (5,24) e o LangChain ODR (7,42) em abrangência, insight e seguimento de instruções.

Significância e Alegações

O artigo postula que o Lacuna muda o paradigma de tratar artigos como alvos estáticos de recuperação para vê-los como componentes de uma infraestrutura de pesquisa navegável e reutilizável. Ao pré-computar a estrutura intermediária da pesquisa (conceitos, direções, propostas), o Lacuna permite que pesquisadores e agentes "leiam rapidamente, ramifiquem e aprendam" através da literatura de forma mais eficiente.

Os autores alegam que esta abordagem suporta:

• Formulação de Problemas: Mover de tópicos subespecificados para questões delimitadas com evidências de suporte.
• Pesquisa Profunda: Fornecer um substrato de evidências para agentes de múltiplos estágios que requerem cobertura ampla e síntese citada.
• Auditabilidade: Permitir que afirmações em relatórios ou propostas sejam rastreadas até páginas específicas de artigos e abas de relação.

O artigo reconhece limitações, observando que o Lacuna é atualmente um sistema construído em lote (batch-built) em vez de um atualizador online, e seu escopo é limitado à literatura de aprendizado de máquina. Sugere-se que trabalhos futuros possam estender esta infraestrutura para outros campos científicos e explorar a revisão por pares assistida por IA como uma aplicação downstream.