Integrating knowledge graphs and multilingual scholarly corpora for domain-adaptive LLMs in SSH

Resumo Técnico: Integração de Grafos de Conhecimento e Corpus Eruditos Multilíngues para LLMs de Adaptação de Domínio em SSH

Problema
A integração de Modelos de Linguagem de Grande Escala (LLMs) nos fluxos de trabalho da pesquisa científica apresenta desafios metodológicos e epistêmicos significativos para as Ciências Sociais e Humanidades (SSH). As atuais plataformas de descoberta auxiliadas por IA (ex.: Semantic Scholar, Elicit) são predominantemente treinadas em corpora de língua inglesa e priorizam métricas baseadas em citações típicas das "ciências duras". Este design reforça modelos específicos de produção científica que marginalizam as práticas de SSH, as quais dependem fortemente do multilinguismo, da erudição baseada em livros, de tradições de pesquisa locais e de avaliação qualitativa. Além disso, a pesquisa em SSH frequentemente exige a interpretação de textos dentro de contextos históricos e teóricos específicos, uma nuance que algoritmos simples de correspondência de tópicos não conseguem capturar. As infraestruturas existentes, embora ricas em recursos, muitas vezes carecem das capacidades generativas para sintetizar literatura ou apoiar consultas complexas e translinguais, mantendo a rastreabilidade e a responsabilidade epistêmica exigidas pelos estudiosos das humanidades.

Metodologia
O artigo apresenta o ReSearch_SSH, um caso de uso dentro do projeto europeu LLMs4EU e da infraestrutura ALT-EDIC, projetado para adaptar modelos de fundação às práticas de pesquisa de SSH. O sistema emprega uma arquitetura de Geração Aumentada por Recuperação baseada em Grafos de Conhecimento (GraphRAG), estruturada em quatro estágios principais:

1. Curadoria de Dados e Alinhamento de Domínio:

   • Corpus: O corpus de alinhamento primário é o subconjunto de SSH da base de dados ISTEX (~3 milhões de documentos, mais de 60 idiomas), suplementado por conjuntos de dados direcionados de Digital Humanities (DH) em italiano e bilíngues (atas da conferência AIUCD e a revista Umanistica Digitale). Dados adicionais incluem postagens de blogs acadêmicos do Hypotheses e dados de pesquisa do Nakala.
   • Idiomas: O corpus é multilíngue, com um foco significativo em francês (o componente não inglês dominante para o ecossistema ISIDORE), italiano e inglês.
   • Pré-treinamento: O modelo de base passa por um pré-treinamento contínuo nestes corpora de SSH para fortalecer a competência linguística e terminológica, preservando as capacidades de raciocínio geral.

2. Otimização de Recuperação (RAG):

   • Camada de Recuperação: Um modelo de recuperação adaptado ao domínio é ajustado (fine-tuned) com base em dados históricos de interação de consultas da plataforma ISIDORE. Esta estratégia consciente da interação promove documentos que foram efetivamente clicados e consultados por estudiosos, alinhando o ranking com as práticas acadêmicas observadas, em vez de depender apenas da similaridade textual.
   • Enriquecimento por Grafo: A contextualização baseia-se no Wikidata para desambiguação de entidades e expansão semântica. Estruturas relacionais derivadas de metadados (autores, temas, instituições, citações) e grafos semânticos de nível de documento suportam a navegação estruturada e a comparação detalhada.

3. Adaptação de Tarefas Generativas:

   • Ajuste de Instrução (Instruction Tuning): O componente generativo é ajustado por instrução para tarefas orientadas à pesquisa, especificamente a construção de visões gerais de estado da arte e sínteses de literatura.
   • Dados Sintéticos: Os dados de ajuste para compreensão de consultas são gerados comparando modelos comerciais (ex.: GPT-5) com modelos europeus abertos (ex.: EuroLLM). O projeto prioriza modelos europeus abertos para garantir infraestruturas de IA soberanas e transparentes.
   • Saída (Output): O sistema gera visões gerais estruturadas fundamentadas em fontes explicitamente recuperadas, garantindo transparência e rastreabilidade.

4. Avaliação e Conformidade:

   • Estrutura (Framework): A avaliação segue o protocolo LLMs4EU, envolvendo uma equipe externa independente. Inclui benchmarking quantitativo (recuperação, sumarização, rastreabilidade, detecção de alucinação) e avaliação qualitativa por um painel de especialistas em Humanidades Digitais da França e da Itália.
   • Conformidade Legal: O sistema é projetado com "conformidade por design", aderindo ao AI Act da UE, ao GDPR e às regulamentações de direitos autorais. Opera como uma modificação de jusante de um Modelo de Propósito Geral (GPAI) dentro de um ambiente de pesquisa controlado, evitando a classificação de alto risco ao excluir a tomada de decisão automatizada. Os dados pessoais são minimizados e os textos completos licenciados são processados sob condições contratuais rigorosas.

Principais Contribuições

• Adaptação Específica de Domínio: O artigo propõe um fluxo de trabalho para adaptar LLMs especificamente aos requisitos epistêmicos e metodológicos de SSH, indo além das interfaces conversacionais genéricas.
• Arquitetura GraphRAG: Demonstra a integração de Grafos de Conhecimento (Wikidata, OpenAIRE, metadados do ISIDORE) com RAG para aumentar o embasamento das fontes, reduzir alucinações e permitir o raciocínio relacional complexo entre autores e temas.
• Foco Multilíngue e Interdisciplinar: A abordagem aborda explicitamente a pluralidade dos resultados acadêmicos (monografias, conjuntos de dados, blogs) e a necessidade de suporte multilíngue (francês, italiano, inglês) dentro das infraestruturas de pesquisa europeias.
• Avaliação Participativa: O estabelecimento de um painel de especialistas em SSH garante que a relevância, o embasamento factual e a usabilidade do sistema sejam avaliados contra padrões disciplinares, e não contra benchmarks genéricos.
• Alinhamento Regulatório: O projeto integra restrições legais e éticas (transparência, rastreabilidade, proteção de dados) como componentes estruturais do sistema, em vez de restrições post-hoc.

Resultados
O artigo relata sobre um caso de uso em andamento, atualmente em uma fase preparatória avançada. Consequentemente, não apresenta resultados quantitativos finais ou resultados experimentais.

• Status Atual: O corpus multilíngue está sendo consolidado, os metadados estão sendo normalizados e a estratégia de ajuste fino está sendo finalizada.
• Próximos Passos Imediatos: O projeto está programado para iniciar experimentos iniciais focados na adaptação controlada de um modelo de fundação aberto ao discurso de SSH e na otimização do pipeline KG-RAG.
• Validação: O framework de avaliação está em desenvolvimento, com a construção de conjuntos de dados de benchmark ad hoc adaptados para cenários de pesquisa em SSH.

Significância
O artigo posiciona o ReSearch_SSH como um passo crítico para o desenvolvimento de sistemas generativos multilíngues, sensíveis ao domínio e em conformidade com as regulamentações que sejam tanto tecnicamente viáveis quanto metodologicamente desejáveis para a comunidade de SSH.

• Responsabilidade Epistêmica: Ao incorporar a adaptação do modelo dentro das infraestruturas de pesquisa (ISIDORE) e de um quadro jurídico estruturado, o projeto explora como a IA generativa pode apoiar a erudição enquanto preserva a confiabilidade e a responsabilidade epistêmica.
• Transferibilidade de Infraestrutura: Embora atualmente ancorado ao ISIDORE, o design modular da arquitetura (separando recuperação, enriquecimento por grafo e geração) visa facilitar a transferibilidade para outros contextos institucionais com diferentes qualidades de metadados.
• Engajamento Comunitário: O projeto visa demonstrar que envolver as comunidades de Humanidades Digitais no desenvolvimento e avaliação de LLMs é essencial para criar ferramentas que reflitam as práticas disciplinares e evitem a imposição de modelos externos de relevância.
• Soberania Europeia: Ao priorizar modelos europeus abertos e infraestruturas de dados abertas, o trabalho contribui para o objetivo mais amplo de desenvolver tecnologias de IA soberanas, transparentes e alinhadas a valores para a União Europeia.