Integrating knowledge graphs and multilingual scholarly corpora for domain-adaptive LLMs in SSH

Resumen Técnico: Integración de Grafos de Conocimiento y Corpus Eruditos Multilingües para LLMs de Adaptación de Dominio en las SSH

Planteamiento del Problema
La integración de los Modelos de Lenguaje de Gran Escala (LLMs) en los flujos de trabajo de la investigación científica presenta desafíos metodológicos y epistémicos significativos para las Ciencias Sociales y Humanidades (SSH). Las plataformas actuales de descubrimiento potenciadas por IA (por ejemplo, Semantic Scholar, Elicit) están entrenadas predominantemente en corpus en lengua inglesa y priorizan métricas basadas en citas típicas de las ciencias "duras". Este diseño refuerza modelos específicos de producción científica que marginan las prácticas de las SSH, las cuales dependen fuertemente del multilingüismo, la erudición basada en libros, las tradiciones de investigación locales y la evaluación cualitativa. Además, la investigación en las SSH a menudo requiere la interpretación de textos dentro de contextos históricos y teóricos específicos, un matiz que los algoritmos simples de coincidencia de temas no logran capturar. Las infraestructuras existentes, aunque ricas en recursos, suelen carecer de las capacidades generativas para sintetizar la literatura o soportar consultas complejas y translingüísticas manteniendo la trazabilidad y la responsabilidad epistémica requerida por los académicos de las humanidades.

Metodología
El artículo presenta ReSearch_SSH, un caso de uso dentro del proyecto europeo LLMs4EU y la infraestructura ALT-EDIC, diseñado para adaptar los modelos fundacionales a las prácticas de investigación de las SSH. El sistema emplea una arquitectura de Generación Aumentada por Recuperación basada en Grafos de Conocimiento (GraphRAG), estructurada en cuatro etapas principales:

1. Curación de Datos y Alineación de Dominio:

   • Corpus: El corpus de alineación primario es el subconjunto de SSH de la base de datos ISTEX (~3 millones de documentos, más de 60 idiomas), complementado con conjuntos de datos de Humanidades Digitales (DH) italianos y bilingües (actas del congreso AIUCD y la revista Umanistica Digitale). Los datos adicionales incluyen publicaciones de blogs académicos de Hypotheses y datos de investigación de Nakala.
   • Idiomas: El corpus es multilingüe, con un enfoque significativo en francés (el componente dominante no inglés para el ecosistema ISIDORE), italiano e inglés.
   • Pre-entrenamiento: El modelo base se somete a un pre-entrenamiento continuo sobre estos corpus de las SSH para fortalecer la competencia lingüística y terminológica, preservando al mismo tiempo las capacidades de razonamiento general.

2. Optimización de la Recuperación (RAG):

   • Capa de Recuperación: Un modelo de recuperación adaptado al dominio es ajustado (fine-tuned) mediante datos históricos de interacción de consultas de la plataforma ISIDORE. Esta estrategia consciente de la interacción promueve documentos que fueron realmente consultados y clickeados por los académicos, alineando el ranking con las prácticas académicas observadas en lugar de depender únicamente de la similitud textual.
   • Enriquecimiento por Grafos: La contextualización se basa en Wikidata para la desambiguación de entidades y la expansión semántica. Las estructuras relacionales derivadas de metadatos (autores, temas, instituciones, citas) y los grafos semánticos a nivel de documento apoyan la navegación estructurada y la comparación detallada.

3. Adaptación de Tareas Generativas:

   • Ajuste de Instrucciones (Instruction Tuning): El componente generativo es ajustado mediante instrucciones para tareas orientadas a la investigación, específicamente la construcción de síntesis de literatura y de estados de la cuestión (state-of-the-art).
   • Datos Sintéticos: Los datos de ajuste para la comprensión de consultas se generan comparando modelos comerciales (por ejemplo, GPT-5) con modelos europeos abiertos (por ejemplo, EuroLLM). El proyecto prioriza los modelos europeos abiertos para asegurar infraestructuras de IA soberanas y transparentes.
   • Salida (Output): El sistema genera síntesis estructuradas fundamentadas en fuentes explícitamente recuperadas, garantizando la transparencia y la trazabilidad.

4. Evaluación y Cumplimiento:

   • Marco de Trabajo: La evaluación sigue el protocolo LLMs4EU, que involucra a un equipo externo independiente. Incluye benchmarking cuantitativo (recuperación, resumen, trazabilidad, detección de alucinaciones) y evaluación cualitativa por parte de un panel de expertos en Humanidades Digitales de Francia e Italia.
   • Cumplimiento Legal: El sistema está diseñado con "cumplimiento por diseño", adhiriéndose a la Ley de IA de la UE, el RGPD y las regulaciones de derechos de autor. Opera como una modificación descendente de un modelo de Propósito General (GPAI) dentro de un entorno de investigación controlado, evitando la clasificación de alto riesgo al excluir la toma de decisiones automatizada. Los datos personales se minimizan y los textos completos con licencia se procesan bajo estrictas condiciones contractuales.

Contribuciones Clave

• Adaptación de Dominio Específico: El artículo propone un flujo de trabajo para adaptar los LLMs específicamente a los requisitos epistémicos y metodológicos de las SSH, yendo más allá de las interfaces conversacionales genéricas.
• Arquitectura GraphRAG: Demuestra la integración de Grafos de Conocimiento (Wikidata, OpenAIRE, metadatos de ISIDORE) con RAG para mejorar el fundamento de las fuentes, reducir las alucinaciones y permitir un razonamiento relacional complejo entre autores y temas.
• Enfoque Multilingüe e Interdisciplinario: El enfoque aborda explícitamente la pluralidad de los productos académicos (monografías, conjuntos de datos, blogs) y la necesidad de soporte multilingüe (francés, italiano, inglés) dentro de las infraestructuras de investigación europeas.
• Evaluación Participativa: El establecimiento de un panel de expertos en académicos de las SSH asegura que la relevancia, el fundamento factual y la usabilidad del sistema sean evaluados frente a estándares disciplinarios en lugar de benchmarks genéricos.
• Alineación Regulatoria: El proyecto integra las restricciones legales y éticas (transparencia, trazabilidad, protección de datos) como componentes estructurales del sistema en lugar de restricciones post-hoc.

Resultos
El artículo informa sobre un caso de uso en curso que se encuentra actualmente en una fase preparatoria avanzada. Por consiguiente, no presenta resultados cuantitativos finales ni resultados experimentales.

• Estado Actual: El corpus multilingüe se está consolidando, los metadatos se están normalizando y la estrategia de ajuste fino se está finalizando.
• Próximos Pasos Inmediatos: Está programado que el proyecto comience experimentos iniciales centrados en la adaptación controlada de un modelo fundacional abierto al discurso de las SSH y la optimización del pipeline KG-RAG.
• Validación: El marco de evaluación está en desarrollo, con la construcción de conjuntos de datos de benchmark ad hoc adaptados a escenarios de investigación de las SSH.

Significación
El artículo posiciona a ReSearch_SSH como un paso crítico hacia el desarrollo de sistemas generativos multilingües, sensibles al dominio y conformes a la regulación que sean tanto técnicamente factibles como metodológicamente deseables para la comunidad de las SSH.

• Responsabilidad Epistémica: Al integrar la adaptación del modelo dentro de las infraestructuras de investigación (ISIDORE) y un marco legal estructurado, el proyecto explora cómo la IA generativa puede apoyar la erudición preservando la fiabilidad y la responsabilidad epistémica.
• Transferibilidad de Infraestructura: Aunque actualmente está anclado a ISIDORE, el diseño modular de la arquitectura (separando la recuperación, el enriquecimiento por grafos y la generación) tiene como objetivo facilitar la transferibilidad a otros entornos institucionales con variaciones en la calidad de los metadatos.
• Compromiso Comunitario: El proyecto pretende demostrar que involucrar a las comunidades de las Humanidades Digitales en el desarrollo y la evaluación de los LLM es esencial para crear herramientas que reflejen las prácticas disciplinares y eviten la imposición de modelos de relevancia externos.
• Soberanía Europea: Al priorizar los modelos europeos abiertos y las infraestructuras de datos abiertos, el trabajo contribuye al objetivo más amplio de desarrollar tecnologías de IA soberanas, transparentes y alineadas con los valores para la Unión Europea.