Demystifying Funding: Reconstructing a Unified Dataset of the UK Funding Lifecycle

1. O Problema

O artigo identifica lacunas críticas na transparência e integridade dos dados sobre financiamento de pesquisa no Reino Unido, especificamente no banco de dados Gateway to Research (GtR) gerido pelo UK Research and Innovation (UKRI). Os principais problemas abordados são:

• Ciclo de Vida Incompleto: O GtR atual foca quase exclusivamente em projetos financiados e seus resultados, sem estabelecer uma ligação pública entre as oportunidades de financiamento, as propostas submetidas (incluindo as não financiadas) e as decisões dos painéis de avaliação. Isso impede a análise do processo de alocação desde o início.
• Qualidade e Inconsistência de Dados: O banco de dados sofre com duplicações, URLs quebradas, classificações inconsistentes e falta de identificadores únicos para organizações.
• Falta de Transparência nas Decisões: As decisões dos painéis de avaliação (que determinam quem recebe financiamento) são publicadas de forma inconsistente (mistura de PDFs, planilhas e dashboards de terceiros com exportação desativada), dificultando o escrutínio sobre viés e equidade no processo de revisão por pares.
• Barreiras ao Acesso: A impossibilidade de exportar dados de painéis de certos conselhos de pesquisa (como EPSRC e MRC em períodos recentes) viola o espírito de transparência e impede pesquisas sobre justiça no financiamento.

2. Metodologia

Os autores desenvolveram um pipeline de engenharia de dados e extração de informação para reconstruir e unificar três fontes de dados anteriormente desconectadas:

A. Coleta e Integração de Dados

O dataset unificado integra:

1. Gateway to Research (GtR): Dados de projetos, pessoas, organizações e resultados.
2. Oportunidades de Financiamento: Metadados completos de oportunidades abertas, pendentes e fechadas.
3. Resultados de Reuniões de Painéis: Registros de decisões competitivas e presença de membros dos painéis.

B. Extração de Metadados de Oportunidades (NLP)

Como as informações sobre valores e durações das oportunidades estão em texto não estruturado (HTML), os autores trataram a extração como uma tarefa de Resposta a Perguntas (QA) em domínio fechado.

• Estrutura Hierárquica: O HTML foi parseado em uma árvore estruturada (resumo como raiz, seções como filhos).
• Recuperação Híbrida: Foi implementado um pipeline de três estágios:
  1. Chunking Hierárquico: Divisão do texto baseada nas seções do documento para preservar o contexto co-ocorrente.
  2. Reranking Híbrido: Combinação de BM25 e similaridade cosena densa (via all-MiniLM-L6-v2) para classificar os trechos mais relevantes.
  3. Reranking Cross-Encoder: Um modelo ms-marco-MiniLM-L-6-v2 reclassificou os top-k candidatos.
• Extração: Um LLM extraiu os valores estruturados (valores de prêmio, porcentagem de contribuição do UKRI, durações) com base nos trechos recuperados.

C. Alinhamento de Entidades (Entity Linking)

Como as três fontes não compartilham identificadores comuns, foram aplicadas estratégias de vinculação conservadoras (priorizando precisão sobre recall):

• Aplicação $\to$ Projeto: Correspondência exata (case-insensitive) entre application_id/award_id e grant_reference.
• Aplicação $\to$ Oportunidade: Correspondência fuzzy de títulos com filtros de conselho, data e faixas de valor.
• Presença no Painel $\to$ Pessoa: Clustering de sobrenome/iniciais dentro de cada conselho, seguido de alinhamento com membros de projetos do GtR baseado em similaridade de organização.

3. Principais Contribuições

• Dataset Unificado: A criação e disponibilização pública de um banco de dados que conecta oportunidades, propostas (financiadas e não financiadas), decisões de painéis e resultados de pesquisa, fechando o ciclo de vida do financiamento.
• Superação de Barreiras de Acesso: O trabalho contorna as restrições de exportação de dados de painéis (como as do Tableau) através de coleta manual e processamento de arquivos públicos, restaurando a acessibilidade a dados críticos para análise de viés.
• Método de Extração Hierárquico: Demonstração de que a extração de metadados baseada em estrutura hierárquica de documentos supera abordagens de sliding window tradicionais, alcançando maior precisão sem necessidade de processar documentos inteiros.
• Inclusão de Propostas Não Financiadas: Pela primeira vez em escala, o dataset inclui dados sobre propostas que não receberam financiamento, permitindo análises de competitividade e viés em todas as etapas.

4. Resultados

• Estatísticas do Dataset: O dataset final contém:
  • 173.220 Projetos
  • 38.862 Aplicações (das quais 27,1% foram vinculadas a projetos GtR financiados; o restante são propostas não financiadas).
  • 2.053 Oportunidades.
  • 1.449 Reuniões de Painéis e 6.951 aparições de membros.
  • 2,6 milhões de resultados vinculados.
• Desempenho de Extração:
  • A configuração de extração hierárquica (com $\alpha=0.25$ e sem re-ranker) alcançou 87,7% de precisão global, superando a linha de base de documento completo (85,3%) e chunkers simples.
  • O campo mais difícil foi o "valor máximo do prêmio" (66,7% de precisão), devido à confusão frequente com o "valor total do financiamento".
  • A maioria dos erros (78%) foram falsos positivos, frequentemente devido a confusão de campos (ex: retornar o total em vez do máximo) ou alucinações.
• Vinculação:
  • 98,0% de precisão estimada na vinculação de aplicações a projetos financiados.
  • 64,4% das presenças em painéis foram vinculadas a pessoas no GtR.

5. Significado e Impacto

• Transparência e Equidade: O dataset permite investigar vieses no processo de financiamento (gênero, raça, prestígio institucional) não apenas nos resultados finais, mas nas etapas de triagem e decisão dos painéis, algo anteriormente impossível devido à opacidade dos dados.
• Política de Pesquisa: Facilita a avaliação de políticas de alocação de recursos e a compreensão da competitividade real das oportunidades de financiamento.
• Reprodutibilidade: Ao liberar o código e os dados, os autores permitem que a comunidade científica escrutine e valide as decisões de financiamento público do Reino Unido, respondendo a relatórios do Escritório Nacional de Auditoria (NAO) que apontam limitações na gestão estratégica de investimentos.

Em suma, o trabalho transforma dados fragmentados e muitas vezes inacessíveis em um recurso unificado e estruturado, essencial para a metapesquisa e para a promoção de um sistema de financiamento mais justo e transparente.