Resumo Técnico: Microserviço Híbrido KG-First, LLM-Fallback para Busca de Competências Fundamentada

1. Declaração do Problema

A educação baseada em competências depende do alinhamento de resultados de aprendizagem com estruturas autoritativas como ESCO, ROME e O*NET. No entanto, a adoção prática desses recursos por educadores é dificultada por três fatores principais:

• Heterogeneidade Estrutural: As estruturas variam significativamente em granularidade, estrutura e cobertura multilíngue.
• Complexidade Técnica: O acesso a esses recursos frequentemente exige navegar em endpoints SPARQL complexos ou lidar com APIs rígidas que são difíceis de explorar para não especialistas.
• Descompasso de Vocabulário: Educadores descrevem frequentemente competências usando linguagem natural ou sinônimos que não correspondem à terminologia oficial dos padrões, levando a uma baixa descoberta via busca por palavras-chave tradicional.

Soluções atuais frequentemente dependem de buscas por palavras-chave ad hoc ou rotulagem manual, o que obscurece estruturas de pré-requisitos e dificulta o design de percursos de aprendizagem transparentes. Além disso, embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam interfaces em linguagem natural, sua tendência a alucinar os torna inadequados para contextos educacionais onde a precisão factual e a proveniência são primordiais.

2. Metodologia e Arquitetura

O artigo introduz o SkillGraph-Service, um microserviço interoperável projetado para unificar essas estruturas distintas em um único Grafo de Conhecimento (KG) que preserva a proveniência. O sistema adota uma arquitetura "KG-First, LLM-Fallback", priorizando o rigor simbólico sobre a flexibilidade generativa.

Camadas Arquiteturais Principais

1. Camada de Padrões de Referência: Ingesta exportações do ESCO e ROME (e potencialmente O*NET) em uma representação RDF/SKOS comum. Crucialmente, os links entre estruturas são modelados como arestas de mapeamento explícitas, em vez de fusões destrutivas, para garantir reversibilidade e auditabilidade.
2. Camada de Conhecimento e Representação: Utiliza uma Ontologia de Gestão de Competências (CMO) para harmonizar conceitos como Competências, Competências e Ocupações. Esta camada suporta relações como hasPrerequisite (tem pré-requisito), hasSubSkill (tem subcompetência) e isRelevantForOccupation (é relevante para ocupação).
3. Camada de Recuperação e Raciocínio: Implementa um motor de recuperação híbrido leve combinando:
   • Busca Lexical: SQLite FTS5 para correspondência exata de terminologia.
   • Busca Semântica: Grafos HNSW (Hierarchical Navigable Small World) para recuperação de vetores densos usando embeddings Sentence-BERT.
   • Fusão Híbrida: Uma combinação convexa de pontuações lexicais e semânticas normalizadas para lidar com descompassos de vocabulário enquanto preserva a precisão.
4. Superfície de API: Expõe uma API REST mínima para busca, travessia de pré-requisitos/subcompetências e geração de explicações.

Estratégia LLM-Fallback

Os LLMs não são usados para recuperação primária ou geração não estruturada. Em vez disso, são invocados estritamente para tarefas restritas:

• Classificação Restrita: Reordenar pequenos conjuntos de candidatos quando links explícitos do grafo estão ausentes.
• Explicação Consciente do Público: Gerar resumos em linguagem natural restritos por esquemas JSON estritos para garantir que cada afirmação cite IDs de evidência específicos do KG.
• Mecanismo de Fallback: Se o LLM falhar em aderir às restrições (por exemplo, citações ausentes), o sistema reverte para modelos determinísticos.

3. Contribuições Principais

• Unificação que Preserva Proveniência: Um método para unificar estruturas de competências heterogêneas (ESCO, ROME) em um único KG sem perda de dados ou deriva semântica, mantendo identificadores estáveis para auditabilidade.
• Recuperação Híbrida Leve: Uma demonstração de que a fusão de busca vetorial SQLite FTS5 e HNSW alcança eficácia de recuperação superior em comparação com baselines unimodais, sem a sobrecarga computacional de clusters distribuídos ou codificadores cruzados pesados.
• Explicações Generativas Controladas: Uma análise empírica do trade-off entre fluência e fidelidade em explicações geradas por LLM, mostrando que, embora a geração restrita a JSON garanta precisão de citação, ela frequentemente sofre de cobertura de evidência reduzida em comparação com a geração de livre forma.
• Eficiência Operacional: Uma implementação protótipo em Python (FastAPI) que alcança latência sub-200ms, tornando-a adequada para plataformas educacionais interativas.

4. Resultados Experimentais

O sistema foi avaliado em um conjunto de dados multilíngue composto por 14.257 nós ESCO e 10.319 nós ROME, utilizando 100 consultas formuladas por educadores.

Eficácia de Recuperação (RQ1)

• Linha de Base: A busca apenas lexical (BM25) performou mal (nDCG@5 = 0,474), confirmando o problema de descompasso de vocabulário.
• Recuperação Densa: A busca apenas semântica melhorou o desempenho significativamente (nDCG@5 = 0,875).
• Abordagem Híbrida: A fusão de sinais lexicais e semânticos alcançou a maior eficácia (nDCG@5 = 0,948).
• Latência: O sistema Híbrido manteve latências interativas (mediana de 187,5 ms).
• Reclassificação: Contrariando expectativas, adicionar uma etapa de reclassificação com codificador cruzado degradou o desempenho (nDCG@5 caiu para 0,814) e aumentou a latência em uma ordem de magnitude (>2s), sugerindo que é desnecessária para este domínio.

Qualidade da Explicação (RQ2)

• Modelos (C1): Alcançaram cobertura de evidência perfeita (1,0) e latência quase instantânea (<5 ms), mas careciam de fluência em linguagem natural.
• LLM Restrito (C2): Produziu texto fluente, mas mostrou uma queda significativa na cobertura de evidência (0,32), significando que o modelo frequentemente "esqueceu" de citar fontes apesar de estar restrito por esquema. No entanto, quando citava, a precisão era perfeita (1,0).
• LLM de Livre Forma (C3): Altamente fluente, mas completamente infiel (precisão de citação 0,0), confirmando sua inadequação para contextos educacionais verificáveis.

5. Significado e Alegações

O artigo alega que o SkillGraph-Service oferece uma solução prática, escalável e auditável para integrar dados complexos de competências em ecossistemas de aprendizagem digital. Seu significado principal reside em demonstrar que:

1. A recuperação híbrida é suficiente: Uma combinação leve de busca lexical e densa pode superar pipelines neurais complexos sem a necessidade de reclassificação cara.
2. IA Fundamentada é viável: Ao restringir estritamente os LLMs para atuarem como "augmentadores de fallback" em vez de geradores primários, os sistemas podem fornecer explicações em linguagem natural enquanto mitigam riscos de alucinação.
3. Trade-offs são gerenciáveis: Os autores defendem uma interface de usuário híbrida onde modelos determinísticos fornecem insights imediatos e verificáveis, enquanto resumos opcionais de LLM oferecem legibilidade, desde que claramente rotulados como conteúdo gerado.

O trabalho posiciona-se como uma ponte entre padrões rígidos de competência e as necessidades flexíveis dos educadores, priorizando correção e velocidade sobre as capacidades criativas da IA generativa.