Resumo Técnico: OntoLearner

Definição do Problema

A aprendizagem de ontologias (OL - Ontology Learning) visa construir automaticamente modelos de conhecimento estruturados a partir de texto, mas o campo permanece fragmentado entre métodos, domínios e práticas de avaliação. Apesar de três décadas de pesquisa, há uma carência de infraestrutura compartilhada para avaliação sistemática e acesso a ontologias. Abordagens anteriores, que variaram de padrões lexico-sintáticos a sistemas semissupervisonados de larga escala, frequentemente produziam ontologias frágeis ou inconsistentes. Mais recentemente, os Modelos de Linguagem de Grande Escala (LLMs) introduziram novas capacidades para extração de conceitos e indução de taxonomias; no entanto, eles sofrem com inconsistências lógicas, deriva semântica (semantic drift) e estreiteza de domínio. Crucialmente, não houve um framework unificado para avaliar, comparar ou construir sobre essas capacidades em diversos domínios. O desafio central permanece: transformar linguagem natural heterogênea em modelos conceituais estruturados e interpretáveis por máquinas que permitam o raciocínio e a interoperabilidade.

Metodologia

Os autores apresentam o OntoLearner, uma biblioteca Python modular e cross-domain projetada para unificar o acesso a ontologias, pipelines de aprendizagem impulsionados por LLMs e benchmarking padronizado. A metodologia é estruturada em torno de três componentes principais:

1. Ontologizer: Um módulo fundamental para a modularização de ontologias. Ele analisa diversos formatos de arquivo (OWL, RDF, XML, TTL) em objetos Python, gerencia metadados (ID, domínio, versão, licença) e computa métricas ontológicas. Suporta o carregamento de arquivos locais, repositórios externos (ex: HuggingFace) e fornece acesso programático às estruturas das ontologias.
2. Tarefas de Aprendizagem (Learning Tasks): O framework padroniza três tarefas centrais de OL, originalmente definidas na iniciativa LLMs4OL:
   • Tipagem de Termos (Term Typing): Descobrir tipos generalizados para termos lexicais.
   • Descoberta de Taxonomia (Taxonomy Discovery): Identificar relações hierárquicas (is-a) entre tipos.
   • Extração de Relações Não-Taxonômicas: Extrair relações semânticas além da hierarquia (ex: part-of, causes).
   • Adicionalmente, um módulo Text2Onto está em desenvolvimento para gerar corpora de treinamento sintéticos a partir de ontologias existentes usando Linguagem Natural Controlada (CNL) e parafraseamento por LLM, abordando a falta de corpora de referência (gold-standard).
3. Modelos de Aprendizado (Learner Models): Uma camada de orquestração que suporta os módulos AutoRetriever, AutoLLM e AutoLearner. Implementa a divisão de treino/dev/teste livre de vazamento (leakage-aware), estratificada por tipos de termos e relações taxonômicas, para evitar o vazamento de dados (data leakage). O pipeline suporta Geração Aumentada de Recuperação (RAG), onde recuperadores (léxicos, baseados em embeddings ou híbridos) selecionam candidatos, e os LLMs atuam como reclassificadores (rerankers) ou verificadores.

Para quantificar a dificuldade do benchmark, os autores propõem um Score de Complexidade de Ontologia ($C_{score}$). Esta métrica agrega características de grafo, cobertura, hierarquia, amplitude e do dataset normalizados, utilizando uma agregação ponderada seguida de um mapeamento sigmoide para o intervalo [0, 1]. A análise de robustez confirma que o score é estável contra perturbações de pesos e variações de parâmetros sigmoides.

Principais Contribuições

O OntoLearner oferece quatro contribuições primárias:

1. Interface Unificada: Um mecanismo para transformar ontologias de diversos repositórios (ex: BioPortal, OBO Foundry) em formatos legíveis por máquina e prontos para pipelines adequados para aplicações de LLM.
2. Biblioteca Modular e Benchmarking: Uma biblioteca que suporta as três tarefas centrais de OL com divisões padronizadas de treino/dev/teste e métricas de avaliação (Precisão, Recall, F1). Isso permite a comparação rigorosa entre métodos clássicos, neurais e híbridos.
3. Integração de IA/LLM: Frameworks para o uso de LLMs como componentes assistivos fundamentados em vocabulários curados, suportando sugestão de conceitos, completude de hierarquia e geração de definições.
4. Plataforma Extensível: Um ecossistema de código aberto (licença MIT) hospedado no GitHub e HuggingFace, aderindo aos princípios FAIR, com 180 ontologias legíveis por máquina abrangendo 22 domínios.

Resultados Experimentais

Os autores conduziram um estudo empírico de larga escala utilizando 22 modelos de recuperação e 12 LLMs através das 26 ontologias selecionadas para o benchmark (representando a diversidade da coleção de 180 ontologias).

• Desempenho de Recuperação: A recuperação isolada é insuficiente para OL. Embora a tipagem de termos alcance alto recall (>95%) com modelos de embedding, a descoberta de taxonomia continua sendo difícil (os melhores modelos alcançam apenas ~37% de recall). Modelos específicos de domínio (ex: BiomedBERT) frequentemente generalizam mal para outros domínios.
• Recuperação Aumentada por LLM: Combinar recuperação com geração de candidatos e verificação baseada em LLM melhora significativamente a descoberta de taxonomia, elevando o recall médio em 14–16% (ex: Qwen3-8B alcançando ~69% de recall).
• Dificuldade da Tarefa e Escalonamento:
  • Tipagem de Termos é efetivamente um problema de classificação local onde o escalonamento de modelos (de 0.6B a 14B de parâmetros) gera melhorias dramáticas.
  • Descoberta de Taxonomia requer raciocínio (fecho transitivo, subsunção) que os modelos atuais não codificam nativamente em escala; o escalonamento gera ganhos negligenciáveis.
  • RE Não-Taxonômica mostra alta variabilidade, dependendo fortemente da cobertura do domínio e do tipo de relação.
• Modos de Falha: A análise da Gene Ontology (GO) e da Materials Data Science Ontology (MDSOnto) revela que os modos de falha são determinados pela ontologia e não pelo modelo.
  • Embeddings sofrem de anisotropia e hubness, onde conceitos semanticamente relacionados colapsam em regiões vetoriais similares, tornando impossível distinguir o envolvimento hierárquico de uma relação geral.
  • O viés de erro (sobre-predição vs. sub-predição) e as taxas de alucinação correlacionam-se com a complexidade ontológica (ex: composicionalidade de rótulos, densidade de classes) em vez do tamanho do modelo.
  • Modelos ajustados por instrução (instruction-tuned) superam consistentemente variantes de "pensamento" (otimizadas para raciocínio) para extração estruturada, sugerindo que a disciplina de saída é mais crítica do que a profundidade bruta de raciocínio.

Significância

O artigo argumenta que o gargalo central na aprendizagem de ontologias não é a capacidade do modelo, mas um descompasso estrutural entre como os modelos codificam o conhecimento (via embeddings que capturam a relação) e como as ontologias o organizam (via rigorosa implicação lógica e hierarquia).

A significância do OntoLearner reside em fornecer a primeira infraestrutura unificada para tornar esse descompasso visível, reprodutível e comparável. Ao estabelecer benchmarks padronizados através de 22 domínios e 180 ontologias, o framework desloca o campo da prototipagem exploratória para a engenharia de ontologias confiável e assistida por IA. Os achados sugerem que uma OL eficaz requer arquiteturas híbridas que combinem recuperação com geração, fundamentadas em vocabulários curados, em vez de depender apenas do escalonamento de modelos de fundação. Os autores posicionam o OntoLearner como um recurso fundamental para a comunidade neuro-simbólica para unir representações de conhecimento formais com a IA generativa moderna.