Knowledge Graphs Generation from Cultural Heritage Texts: Combining LLMs and Ontological Engineering for Scholarly Debates

1. O Problema

O artigo aborda um desafio fundamental na área de Humanidades Digitais e Patrimônio Cultural (CH): a dificuldade de converter textos não estruturados e ricos em conhecimento (como artigos acadêmicos, descrições de artefatos e debates históricos) em Grafos de Conhecimento (KGs) estruturados e consultáveis.

• Limitação Atual: Embora existam KGs de metadados (ex: Wikidata, DBpedia), eles frequentemente reduzem debates complexos de autenticidade e interpretação a afirmações categóricas simples (ex: "falsificação" ou "atribuído a X"), perdendo o raciocínio evidencial, as hipóteses concorrentes e as nuances do discurso acadêmico.
• Tensão Epistemológica: Há uma desconexão entre a natureza construtivista do conhecimento nas humanidades (onde o conhecimento é situado e provisório) e a abordagem realista tradicional de dados, que trata a informação como objetiva e independente do contexto.
• Escalabilidade: A extração manual dessas informações complexas é proibitivamente cara e não escalável para instituições de patrimônio cultural.

2. Metodologia: ATR4CH

Os autores propõem o ATR4CH (Adaptive Text-to-RDF for Cultural Heritage), uma metodologia sistemática de cinco passos para coordenar a Extração de Conhecimento (KE) baseada em Grandes Modelos de Linguagem (LLMs) com frameworks ontológicos. A abordagem é iterativa e adaptativa:

1. Análise Fundacional: Análise do corpus (textos) e da ontologia alvo para identificar padrões centrais de conhecimento (COPs) e formular Perguntas de Competência (CQs).
2. Desenvolvimento de Anotação Mínima (MWA): Criação de um esquema de anotação iterativo sobre um pilot corpus para mapear o texto para a ontologia, validando se os dados anotados satisfazem os COPs.
3. Arquitetura do Pipeline: Design de ferramentas computacionais para extração automática. O pipeline utiliza uma abordagem sequencial modular para minimizar a propagação de erros.
4. Integração e Refinamento: Harmonização do esquema de anotação, da ontologia e do pipeline em um sistema de ponta a ponta, refinando algoritmos de mapeamento para RDF.
5. Extração e Avaliação: Validação técnica e por especialistas de domínio, comparando o KG gerado com um "Ground Truth" (verdadeiro) anotado manualmente.

Caso de Estudo:
A metodologia foi validada em debates sobre avaliação de autenticidade (ex: a "Doação de Constantino", o "Diário Póstumo" de Eugenio Montale). O corpus consistiu em 581 artigos da Wikipedia sobre falsificações históricas, hoaxes e controvérsias de autenticidade.

Tecnologias Utilizadas:

• Ontologia: SEBI (Scholarly Evidence Based Interpretation), baseada em RDF-star para representar reivindicações concorrentes e seu contexto.
• Pipeline de Extração:
  1. Extração de metadados do item (o que o item alega ser).
  2. Identificação de "Cognizers" (agentes acadêmicos que expressam opiniões).
  3. Resolução de entidades e ligação com Wikidata.
  4. Extração de opiniões de autenticidade.
  5. Mineração de evidências e avaliação de características (polaridade, confiabilidade).
  6. Extração de hipóteses (autorship, datação, localização).
• Modelos LLM Testados: Claude Sonnet 3.7, Llama 3.3 70B e GPT-4o-mini.

3. Principais Contribuições

1. Metodologia ATR4CH: O primeiro framework sistemático para coordenar extração baseada em LLMs com ontologias de Patrimônio Cultural, permitindo a representação de conhecimento interpretativo complexo.
2. Implementação Prática (SEBI): Demonstração de como conectar a ontologia SEBI a pipelines de extração, utilizando RDF-star para capturar não apenas o fato, mas a proveniência, a evidência e as hipóteses alternativas.
3. Avaliação Abrangente: Estabelecimento de benchmarks de desempenho para múltiplas tarefas de extração (metadados, reconhecimento de entidades, mineração de evidências, extração de hipóteses) e uma avaliação de fidelidade do discurso usando G-EVAL.
4. Viabilidade de Custo: Evidência de que modelos menores (como GPT-4o-mini e Llama 3.3) podem performar competitivamente em pipelines sequenciais, tornando a solução acessível para instituições com orçamentos limitados.

4. Resultados e Desempenho

A avaliação foi realizada em três dimensões principais:

• Extração de Metadados: Desempenho excepcional, com F1-scores entre 0,96 e 0,99 para todos os modelos.
• Reconhecimento de Entidades (Cognizers): Desempenho moderado a bom. O GPT-4o-mini destacou-se com maior recall (77,3% das entidades do Ground Truth), seguido por Llama (58,8%) e Claude (49,5%).
• Extração de Evidências: Alta precisão semântica, com pontuações médias de 95,3% a 96,8% (escala 0-4), indicando que os LLMs conseguem capturar o raciocínio evidencial complexo.
• Extração de Hipóteses: Desafio maior, com F1-scores variando de 0,65 a 0,75. O GPT-4o-mini teve o melhor desempenho geral (0,749), embora tenha tido dificuldades em hipóteses de autoria.
• Fidelidade do Discurso (G-EVAL): O Claude Sonnet 3.7 obteve a melhor pontuação média (0,62), indicando uma representação mais fiel do debate acadêmico, embora modelos menores tenham mostrado potencial competitivo.

Observação sobre Modelos: O estudo desafia a noção de que modelos maiores são sempre superiores. O GPT-4o-mini (modelo menor) demonstrou alta eficiência em recall, enquanto o Claude (modelo maior) foi mais conservador e preciso. O Llama 3.3 70B ofereceu um equilíbrio.

5. Significado e Implicações

• Transformação de Conhecimento: O ATR4CH permite que instituições de patrimônio cultural convertam vastos acervos textuais em KGs consultáveis, enriquecendo metadados automaticamente e facilitando a descoberta de conhecimento.
• Preservação da Complexidade Acadêmica: Ao contrário dos KGs tradicionais que simplificam a verdade, esta abordagem preserva a subjetividade, a incerteza e as múltiplas perspectivas inerentes às humanidades.
• Custo-Efetividade: A demonstração de que pipelines sequenciais podem usar modelos menores e mais baratos sem sacrificar drasticamente a qualidade abre caminho para a adoção generalizada em instituições com recursos limitados.
• Limitações e Futuro: O estudo reconhece que a supervisão humana ainda é necessária no pós-processamento e que o foco atual em inglês (Wikipedia) limita a aplicabilidade multilíngue. Trabalhos futuros visam expandir para literatura primária e melhorar a identificação de agentes acadêmicos (Cognizers).

Em resumo, o artigo apresenta uma solução viável e escalável para um dos problemas mais complexos da Humanidades Digitais: a estruturação de conhecimento interpretativo e debatido em formatos de dados ligados, equilibrando a sofisticação ontológica com a eficiência dos LLMs modernos.