Resumo Técnico: MIRAI – Predição e Geração de Pesquisa Acadêmica de Alto Impacto

Declaração do Problema

A comunidade científica enfrenta uma crise acelerada de volume e qualidade. Com a literatura científica crescendo quase exponencialmente — evidenciado por um aumento anual de 16,1% nos artigos do Nature Index e submissões ao arXiv atingindo recordes em 2026 — identificar trabalhos de alto impacto tornou-se cada vez mais difícil. Este desafio é agravado pela proliferação de textos gerados por IA e por uma contração no financiamento de pesquisa, o que exige uma alocação de recursos mais eficiente.

Os métodos atuais para avaliar o impacto da pesquisa sofrem de limitações significativas:

• Revisão por Pares: Não consegue escalar para a taxa de publicação atual e está sujeita a vieses e à dependência de proxies quantitativos rudimentares.
• Métricas de Citação: São indicadores inerentemente defasados que levam anos para se materializar e frequentemente amplificam vieses de prestígio em vez do mérito intrínseco.
• Modelos de Predição Existentes: Frequentemente dependem de dados pós-publicação (histórico de citações, redes de autores) ou de características superficiais e específicas de domínio, limitando sua capacidade de prever o impacto no momento da publicação.

As questões centrais de pesquisa abordadas são: (1) O impacto da pesquisa pode ser previsto ao nível do artigo usando apenas o conteúdo disponível na publicação (título, resumo, data)? (2) Este sinal preditivo pode ser aproveitado para sintetizar generativamente novas direções de pesquisa que provavelmente serão de alto impacto?

Metodologia

Coleta de Dados e Construção de Grafo

Os autores construíram um grafo de citações acadêmicas autocontido exclusivamente a partir de artigos do arXiv submetidos até 9 de abril de 2026, compreendendo 2.976.125 artigos (98,74% do corpus na época).

• Fonte: A API do Semantic Scholar foi utilizada para recuperar metadados, incluindo títulos, resumos, datas de publicação e IDs de referências.
• Estrutura do Grafo: Os artigos foram representados como um grafo de citações direcionado armazenado em formato esparso CSR. As referências foram filtradas para incluir apenas artigos presentes no corpus do arXiv para garantir que o grafo permanecesse autocontido para o cálculo do PageRank.
• Campos: O conjunto de dados é fortemente inclinado para Ciência da Computação, Matemática e Física.

Definição de Rótulos (Labels)

Para garantir uma comparação justa entre artigos de diferentes idades, os autores definiram rótulos de impacto baseados em horizontes de tempo fixos ($n$-anos pós-publicação):

1. Contagem de Citações: Definida como o número de citações recebidas nos primeiros $n$ anos. A variável alvo é a contagem log-transformada: $\ln(1 + C_n)$.
2. PageRank: Computado no subgrafo de citações em horizontes de tempo fixos. Para corrigir a diluição do tamanho do grafo (onde o PageRank bruto diminui conforme o grafo cresce), os autores utilizaram a transformação $\ln(N \times \text{PageRank})$, onde $N$ é o número de artigos no subgrafo da coorte. Esta métrica captura melhor a influência de longo prazo e o status de marco (milestone).

Arquitetura do Modelo (MIRAI)

MIRAI (Multi-year Inference of Research trends and Academic Impact) é um framework de aprendizado profundo projetado para prever pontuações de impacto de 1 a 5 anos pós-publicação.

• Entrada:
  • Texto: Título e resumo concatenados ("{title}\n{abstract}") e incorporados (embedded) usando llama-embed-nemotron-8b (vetor de 4096 dimensões).
  • Dados Temporais: Data de publicação convertida em ano fracionário e normalizada via z-score.
• Rede: Uma rede neural feedforward (FFNN) com quatro camadas ocultas (2048, 1024, 512, 256 dimensões), utilizando LayerNorm, ativação ReLU e dropout de 0.3.
• Saída: Um vetor de 5 elementos de pontuações de impacto previstas correspondentes aos horizontes de 1 a 5 anos.
• Treinamento: O modelo é treinado conjuntamente em todos os horizontes usando perda de Erro Quadrático Médio (MSE). A perda é calculada pela média sobre os horizonts para garantir que o termo de 5 anos receba peso igual, apesar de possuir menos rótulos disponíveis. A otimização utiliza AdamW com uma taxa de aprendizado de $3 \times 10^{-4}$.

Pipeline de Geração de Pesquisa

Um pipeline foi desenvolvido para gerar ideias de pesquisa de alto impacto, sintetizando trabalhos estabelecidos com desenvolvimentos recentes:

1. Semeio (Seeding): Pares de artigos são selecionados: um artigo "antigo" (top 1% de PageRank real, 2016–2021) e um artigo "novo" (top 5% de PageRank previsto pelo MIRAI, 2026).
2. Síntese: Um LLM (Claude Haiku 4.5) gera um título e um resumo candidatos combinando as principais contribuições do par semente.
3. Seleção: O pipeline gera $N=32$ candidatos. O candidato com a maior pontuação MIRAI é selecionado como o output final.
4. Variantes: O estudo compara o pipeline guiado pelo MIRAI (Variante A) contra um pipeline guiado por LLM (Variante B) e um baseline aleatório (Variante C).

Resultados Principais

Desempenho de Predição de Impacto

Avaliado em artigos publicados em 2021 (o ano de teste mais recente totalmente resolvido), o MIRAI alcançou:

• Predição de Citação de 5 Anos: Spearman's $\rho$ de 0,6192.
• Predição de PageRank de 5 Anos: Spearman's $\rho$ de 0,4686.

Tendências Principais:

• Efeito de Horizonte: O desempenho aumenta monotonicamente com o horizonte de predição. Horizontes mais longos fornecem rótulos mais estáveis, superando a dificuldade de prever períodos mais distantes no futuro.
• Comparação de Métricas: Modelos de contagem de citações superam os modelos de PageRank, provavelmente porque o PageRank depende recursivamente da centralidade dos artigos que citam, um sinal menos inferível apenas pelo texto.
• Estabilidade Temporal: O desempenho é estável até 2019, mas declina para os anos de teste 2020–2023. Isso é atribuído a um descompasso de distribuição impulsionado pela rápida expansão das submissões de Ciência da Computação no arXiv, o qual o modelo lida bem, enquanto o desempenho cai em Física e Matemática.

Comparação com LLMs Zero-Shot

O MIRAI foi comparado contra o prompting zero-shot de LLMs de fronteira (GPT-4o e Hermes 3) para ranquear artigos pelo impacto de citação de 2 anos:

• Ranking Global: O MIRAI alcançou $\rho = 0,581$, superando significativamente o GPT-4o ($\rho = 0,336$) e o Hermes 3 ($\rho = 0,305$).
• Recuperação de Alto Impacto: O MIRAI alcançou uma Precisão Média (AP) de 0,426 para o top 5% dos artigos, comparado a 0,179 para o GPT-4o e 0,151 para o Hermes 3.
• Conclusão: O treinamento supervisionado em dados de citação produz um desempenho de ranking substancialmente mais forte do que o prompting zero-shot de LLMs.

Avaliação da Geração de Pesquisa

Em um estudo de 300 tentativas comparando o pipeline guiado pelo MIRAI (A), o pipeline guiado por LLM (B) e o baseline aleatório (C):

• Juiz LLM (GPT-5.4): Preferiu o pipeline guiado por LLM (B) sobre o pipeline guiado pelo MIRAI (A) em 62,0% das tentativas. No entanto, ambos os pipelines curados (A e B) superaram significativamente o baseline não curado (C).
• Juiz MIRAI: Naturalmente preferiu seu próprio pipeline (A) em 96,3% das comparações A-vs-B.
• Análise de Rubrica: O juiz LLM encontrou que a seleção do MIRAI (A vs. C) melhorou a Significância (+0,82) e a Clareza (+0,24), mas não melhorou significativamente a Novidade ou a Solidez Técnica. Por outro lado, a seleção por LLM (B vs. C) melhorou todos os quatro critérios.
• Interpretação: O MIRAI captura um sinal real, porém parcial, correlacionado com significância e clareza, enquanto os juízes LLM parecem capturar uma gama mais ampla de dimensões de qualidade, incluindo novidade e solidez técnica.

Significância e Alegações

O artigo posiciona o MIRAI como um passo em direção à avaliação escalável e baseada em conteúdo do impacto científico que opera com baixa latência, independente de histórico de citações. Suas principais contribuições são:

1. Demonstração de Viabilidade: Mostrar que pesquisas de alto impacto podem ser previstas no momento da publicação usando apenas texto e data, alcançando um desempenho que supera LLMs zero-shot.
2. Aplicação Generativa: Propor um pipeline que utiliza sinais preditivos para guiar a ideação de novas direções de pesquisa.
3. Avaliação Equitativa: Oferecer uma alternativa potencial à revisão por pares tradicional e às métricas de citação defasadas, que são propensas a vieses e efeitos de prestígio.

Os autores concluem modestamente que, embora o MIRAI forneça um sinal poderoso para filtragem e ideação, ele ainda não captura plenamente todas as dimensões da qualidade da pesquisa (como novidade e solidez técnica) tão efetivamente quanto juízes humanos ou LLMs. Eles sugerem que uma abordagem híbrida, combinando o poder preditivo do MIRAI com outros sinais de avaliação, representa um caminho promissor para navegar e contribuir para a rapidamente crescente literatura científica. O modelo de predição de citação de 5 anos é disponibilizado publicamente para facilitar pesquisas futuras.