Research Entity Extraction and Topic Detection from UKRI Grant Proposals

Resumo Técnico: Extração de Entidades de Pesquisa e Detecção de Tópicos em Propostas de Subsídios da UKRI

Definição do Problema
A pesquisa financiada publicamente é central para a inovação nacional e o crescimento econômico, levando os governos a buscar métodos para identificar e priorizar áreas de pesquisa emergentes precocemente em seu desenvolvimento. Embora as propostas de financiamento "ex-ante" (pesquisas ainda não financiadas) contenham sinais valiosos de excelência futura e domínios "unicórnios", a extração sistemática desses sinais em escala apresenta desafios técnicos significativos. Os métodos tradicionais dependem frequentemente de vocabulários fixos ou coocorrência de palavras-chave, que têm dificuldade em capturar conceitos novos e terminologias emergentes que ainda não foram formalizadas em taxonomias existentes. Além disso, a confiabilidade e a comparabilidade de diferentes abordagens de Grandes Modelos de Linguagem (LLMs) quando aplicadas a textos de subsídios complexos e específicos de domínio permanecem subexploradas. Este artigo aborda a necessidade de avaliar métodos automatizados para extrair e classificar entidades de pesquisa para informar estratégias de investimento público.

Metodologia
O estudo, parte do projeto financiado pela UKRI "Tracking Stars and Unicorns", utiliza um pipeline modular de três estágios para converter o texto não estruturado das propostas de subsídio em dados estruturados. A avaliação foi conduzida em um conjunto de dados randomizado de 42 propostas financiadas de sete conselhos de pesquisa estatutários do Reino Unido e um centro nacional especializado, garantindo ampla cobertura disciplinar.

1. Extração de Entidades: O pipeline utiliza o modelo de linguagem Mistral, preparado via engenharia de prompt iterativa com instruções estruturadas e orientação baseada em exemplares. Esta abordagem identifica unidades semânticas discretas (entidades de pesquisa), incluindo tópicos temáticos, disciplinas, metodologias, softwares, conjuntos de dados e eventos significativos. O modelo é instruído a preservar as formas superficiais originais e decompor entidades complexas, evitando a extração de elementos não substantivos.
2. Classificação de Tópicos: As entidades extraídas são mapeadas contra a taxonomia de Tópicos do OpenAlex, uma hierarquia de quatro níveis (domínio → campo → subcampo → tópico). O estudo compara um algoritmo personalizado, DSIT-Taxonomies (desenvolvido pelo Innovation Growth Lab e DSIT), com abordagens baseadas em LLM. A ferramenta DSIT-Taxonomies utiliza bibliotecas padrão (ex: DBpedia Spotlight, RAKE, YAKE, KeyBERT) para extração e similaridade semântica para classificação.
3. Refinamento: Para lidar com as inconsistências de granularidade na saída bruta do DSIT-Taxonomies, os autores implementaram um procedimento de refinamento. Este impõe uma restrição obrigatória de travessia descendente, garantindo que cada proposta seja mapeada para um nó de "tópico" folha dentro da hierarquia OpenAlex, proporcionando assim uma resolução uniforme para análise estatística.
4. Estrutura de Avaliação: O estudo compara três abordagens: Mistral, GPT-4o e o algoritmo DSIT-Taxonomies. As métricas de avaliação incluem:
   • Extração de Entidades: Análise de volume estatístico e similaridade Jaccard pareada (usando correspondência semântica via embeddings Sentence-BERT) para medir a sobreposição.
   • Classificação de Tópicos: Taxas de precisão determinadas por avaliação humana manual (human-in-the-loop) de 42 propostas, resolvendo divergências por meio de consenso.

Principais Resultados

• Desempenho de Extração de Entidades: Mistral e GPT-4o produziram conjuntos de entidades de alta qualidade e comparáveis, com uma sobreposição semântica significativa (similaridade Jaccard de 0,374). Em contraste, a abordagem DSIT-Taxonomies gerou um volume significativamente maior de entidades (média de ~25 por proposta vs. ~15 para LLMs), mas apresentou baixa conformidade com as abordagens de LLM (similaridade Jaccard de ~0,19).
• Qualidade e Alucinação: A análise de conteúdo revelou que o DSIT-Taxonomies frequentemente fragmentou substantivos compostos complexos e extraiu elementos não substantivos (verbos, quantificadores), introduzindo ruído. Embora ambos os LLMs tenham exibido alucinações ocasionais, o Mistral foi mais conservador, produzindo menos entidades inexistentes (taxa média de erro de 1,56 por proposta vs. 2,84 para o GPT-4o) e alcançando zero alucinações em 16 de 42 casos.
• Precisão de Classificação de Tópicos: A abordagem baseada em Mistral superou significativamente o pipeline completo do DSIT-Taxonomies na precisão da classificação de tópicos. Ao utilizar entidades extraídas pelo Mistral, a precisão da classificação atingiu 90,5% (38/42 corretos), comparado a 71,4% (30/42 corretos) para o pipeline padrão do DSIT-Taxonomies.

Contribuições Principais e Significância
O artigo contribui com uma avaliação comparativa de abordagens baseadas em LLM versus abordagens algorítmicas tradicionais para analisar dados sensíveis de subsídios. Sua principal significância reside em demonstrar que o Mistral oferece uma solução de alto desempenho, eficiente operacionalmente e segura para análise em larga escala. Diferente do GPT-4o, a arquitetura leve do Mistral permite sua implementação em plataformas governamentais internas seguras, garantindo a soberania dos dados de candidaturas de subsídio confidenciais, mantendo a profundidade analítica.

O estudo conclui que, embora os LLMs (especificamente Mistral e GPT-4o) gerem conjuntos de entidades comparáveis, o pipeline baseado em Mistral, quando acoplado a uma lógica de classificação refinada, fornece precisão superior no mapeamento de propostas para tópicos de pesquisa padronizados. Isso valida o uso de modelos generativos para identificar sinais precoces de áreas de pesquisa emergentes, apoiando o objetivo do projeto de informar o investimento público para catalisar impactos sociais e econômicos significativos a jusante. Os autores observam que estes achados são preliminares e serão aplicados a um corpus maior de 350.000 propostas financiadas e não financiadas para analisar tendências de longo prazo e comparar o progresso doméstico com competidores globais.