Research Entity Extraction and Topic Detection from UKRI Grant Proposals

Resumen Técnico: Extracción de Entidades de Investigación y Detección de Temas de Propuestas de Subvenciones de la UKRI

Declaración del Problema
La investigación financiada con fondos públicos es fundamental para la innovación nacional y el crecimiento económico, lo que impulera a los gobiernos a buscar métodos para identificar y priorizar áreas de investigación emergentes en las primeras etapas de su desarrollo. Si bien las propuestas de financiación "ex-ante" (investigación aún no financiada) contienen señales valiosas de excelencia futura y dominios "unicornio", la extracción sistemática de estas señales a escala presenta desafíos técnicos significativos. Los métodos tradicionales suelen depender de vocabularios fijos o de la coocurrencia de palabras clave, los cuales tienen dificultades para capturar conceptos novedosos y terminología emergente que aún no se ha formalizado en las taxonomías existentes. Además, la fiabilidad y comparabilidad de los diferentes enfoques de Modelos de Lenguaje de Gran Escala (LLM) cuando se aplican a textos de subvenciones complejos y específicos de un dominio sigue sin haber sido explorada suficientemente. Este documento aborda la necesidad de evaluar métodos automatizados para extraer y clasificar entidades de investigación para informar las estrategias de inversión pública.

Metodología
El estudio, parte del proyecto financiado por la UKRI "Tracking Stars and Unicorns", emplea un flujo de trabajo modular de tres etapas para convertir el texto no estructurado de las propuestas de subvención en datos estructurados. La evaluación se llevó a cabo sobre un conjunto de datos aleatorizado de 42 propuestas financiadas de siete consejos de investigación estatutarios del Reino Unido y un centro nacional especializado, asegurando una amplia cobertura disciplinaria.

1. Extracción de Entidades: El flujo de trabajo utiliza el modelo de lenguaje Mistral, preparado mediante ingeniería de prompts iterativa con instrucciones estructuradas y guía basada en ejemplos. Este enfoque identifica unidades semánticas discretas (entidades de investigación) que incluyen temas temáticos, disciplinas, metodologías, software, conjuntos de datos y eventos significativos. Se instruye al modelo para preservar las formas superficiales originales y descomponer entidades complejas, evitando la extracción de elementos no sustantivos.
2. Clasificación de Temas: Las entidades extraídas se mapean contra la taxonomía de Temas de OpenAlex, una jerarquía de cuatro niveles (dominio → campo → subcampo → tema). El estudio compara un algoritmo personalizado, DSIT-Taxonomies (desarrollado por el Innovation Growth Lab y el DSIT), frente a enfoques basados en LLM. La herramienta DSIT-Taxonomies utiliza librerías estándar (por ejemplo, DBpedia Spotlight, RAKE, YAKE, KeyBERT) para la extracción y similitud semántica para la clasificación.
3. Refinamiento: Para abordar las inconsistencias de granularidad en la salida bruta de DSIT-Taxonomies, los autores implementaron un procedimiento de refinamiento. Este impone una restricción obligatoria de trayectoria descendente, asegurando que cada propuesta se mapee a un nodo de "tema" de hoja dentro de la jerarquía de OpenAlex, proporcionando así una resolución uniforme para el análisis estadístico.
4. Marco de Evaluación: El estudio compara tres enfoques: Mistral, GPT-4o y el algoritmo DSIT-Taxonomies. Las métricas de evaluación incluyen:
   • Extracción de Entidades: Análisis de volumen estadístico y similitud de Jaccard por pares (utilizando emparejamiento semántico mediante embeddings de Sentence-BERT) para medir la superposición.
   • Clasificación de Temas: Tasas de precisión determinadas mediante la evaluación humana manual (human-in-the-loop) de 42 propuestas, resolviendo desacuerdos mediante consenso.

Result generales clave

• Rendimiento de la Extracción de Entidades: Mistral y GPT-4o produjeron conjuntos de entidades de alta calidad y comparables con una superposición semántica significativa (similitud de Jaccard de 0.374). En contraste, el enfoque DSIT-Taxonomies produjo un volumen significativamente mayor de entidades (promedio de ~25 por propuesta frente a ~15 para los LLM) pero mostró una baja alineación con los enfoques de LLM (similitud de Jaccard de ~0.19).
• Calidad y Alucinación: El análisis de contenido reveló que DSIT-Taxonomies a menudo fragmentaba sustantivos compuestos complejos y extraía elementos no sustantivos (verbos, cuantificadores), introduciendo ruido. Aunque ambos LLM exhibieron alucinaciones ocasionales, Mistral fue más conservador, produciendo menos entidades inexistentes (tasa de error media de 1.56 por propuesta frente a 2.84 para GPT-4o) y logrando cero alucinaciones en 16 de 42 casos.
• Precisión de la Clasificación de Temas: El enfoque basado en Mistral superó significativamente al flujo de trabajo completo de DSIT-Taxonomies en la precisión de la clasificación de temas. Cuando se utilizaron entidades extraídas por Mistral, la precisión de la clasificación alcanzó el 90.5% (38/42 correctos), en comparación con el 71.4% (30/42 correctos) para el flujo de trabajo estándar de DSIT-Taxonomies.

Contribuciones y Significado Clave
El documento contribuye con una evaluación comparativa de los enfoques algorítmicos tradicionales frente a los basados en LLM para el análisis de datos de subvenciones sensibles. Su principal importancia radica en demostrar que Mistral ofrece una solución de alto rendimiento, eficiente operativamente y segura para el análisis a gran escala. A diferencia de GPT-4o, la arquitectura ligera de Mistral permite su despliegue dentro de plataformas gubernamentales internas seguras, garantizando la soberanía de los datos de las solicitudes de subvención confidenciales manteniendo la profundidad analítica.

El estudio concluye que, si bien los LLM (específicamente Mistral y GPT-4o) generan conjuntos de entidades comparables, el flujo de trabajo basado en Mistral, al combinarse con una lógica de clasificación refinada, proporciona una precisión superior en el mapeo de propuestas hacia temas de investigación estandarizados. Esto valida el uso de modelos generativos para identificar señales tempranas de áreas de investigación emergentes, apoyando el objetivo del proyecto de informar la inversión pública para catalizar impactos sociales y económicos significativos en el largo plazo. Los autores señalan que estos hallazgos son preliminares y se aplicarán a un corpus más amplio de 350,000 propuestas financiadas y no financiadas para analizar tendencias a largo plazo y comparar el progreso nacional frente a los competidores globales.