Resumo Técnico: RAGEAR – Recomendador Acadêmico Aprimorado por Grafos e Aumentado por Recuperação

Declaração do Problema

Sistemas de recomendação de cursos acadêmicos enfrentam um desafio significativo: os estudantes frequentemente expressam interesses de aprendizado por meio de consultas em linguagem natural que não se alinham com a terminologia formal encontrada nos metadados oficiais dos cursos (títulos, resumos, programas). Os recomendadores tradicionais, que dependem exclusivamente de metadados no nível do curso, conseguem capturar similaridades temáticas amplas, mas falham em identificar evidências conceituais de alta granularidade presentes apenas nos materiais instrucionais reais. Embora universidades online possuam recursos ricos, como aulas completas em vídeo e transcrições, explorar esses dados exige ir além de representações grosseiras no nível do curso, avançando para uma recuperação de alta granularidade, seguida de um mecanismo para agregar essa evidência fragmentada de volta em classificações significativas no nível do curso.

Metodologia

O RAGEAR (Recomendador Acadêmico Aprimorado por Grafos e Aumentado por Recuperação) é um sistema neurosimbólico híbrido projetado para abordar essas limitações. Ele integra um componente de recuperação neural com um Grafos de Conhecimento (GC) simbólico para preencher a lacuna entre o conteúdo não estruturado das aulas e as restrições acadêmicas estruturadas.

1. Arquitetura do Sistema

O sistema opera por meio de quatro componentes principais:

• Interface do Usuário: Coleta consultas em linguagem natural sobre interesses acadêmicos ou objetivos de aprendizado.
• Grafo de Conhecimento (Componente Simbólico): Um GC baseado em ontologia modela o domínio acadêmico, incluindo estudantes, planos de estudo, cursos, aulas, créditos, pré-requisitos e disciplinas acadêmicas. Crucialmente, ele representa a hierarquia instrucional: Curso $\rightarrow$ Aula $\rightarrow$ Fragmento de Transcrição. Essa estrutura permite filtragem simbólica determinística (por exemplo, por créditos ou pré-requisitos) e fornece a espinha dorsal estrutural para agregar evidências de recuperação.
• Módulo de Recuperação Densa (Componente Neural): Este módulo realiza recuperação densa sobre transcrições de aulas segmentadas. Utilizando o modelo de transformador de sentenças multilingual-e5-large, ele codifica tanto a consulta do estudante quanto os fragmentos de transcrição (unidades textuais coerentes alinhadas com os timestamps do vídeo). Ele retorna os $k$ fragmentos superiores (especificamente os 200 primeiros) com base em pontuações de similaridade semântica.
• Algoritmo de Recomendação: Este componente propaga as pontuações de similaridade no nível de fragmento para o nível do curso usando uma função de agregação consciente de grafos inovadora.

2. A Função de Agregação RAGEAR

A contribuição metodológica central é uma função de pontuação, $RS(C, q)$, que calcula uma pontuação de recomendação no nível do curso multiplicando três componentes distintos:

$$RS(C, q) = GE(C, q) \cdot RE(C, q) \cdot LC(C, q)$$

• Evidência Global ($GE$): Mede a parcela da similaridade total recuperada atribuída a fragmentos pertencentes a um curso específico $C$. Trata-se de uma agregação SumP normalizada, representando o volume basal de evidência.
• Evidência Classificada ($RE$): Pesa os fragmentos com base em sua posição na lista de recuperação. Fragmentos mais bem classificados (aqueles mais similares à consulta) contribuem de forma mais significativa. Este componente utiliza um parâmetro de suavização $t_q$ para garantir que evidências altamente classificadas dominem a pontuação.
• Cobertura de Aulas ($LC$): Avalia a distribuição da evidência relevante através das aulas do curso. Recompensa cursos onde os fragmentos relevantes estão distribuídos por múltiplas aulas, em vez de concentrados em um único fragmento. Isso é normalizado pelo número total de aulas para evitar viés em direção a cursos mais longos.

Essa abordagem multiplicativa favorece cursos que não apenas possuem um alto volume de conteúdo relevante, mas também apresentam evidências altamente classificadas distribuídas estruturalmente ao longo do currículo.

Principais Contribuições

1. Arquitetura Neurosimbólica Híbrida: O artigo apresenta um sistema que combina de forma única a recuperação densa sobre transcrições completas de aulas com um Grafo de Conhecimento baseado em ontologia. Isso permite que o sistema aproveite o conteúdo instrucional de alta granularidade, ao mesmo tempo em que respeita restrições acadêmicas estruturadas (por exemplo, planos de estudo, pré-requisitos).
2. Função de Agregação Consciente de Grafos: Os autores propõem um método inovador para propagar pontuações de recuperação no nível de fragmento para recomendações no nível do curso. Diferentemente de métodos simples de soma, esta função leva explicitamente em conta a força de classificação dos fragmentos recuperados e sua distribuição através da hierarquia de aulas.
3. Avaliação Empírica: O estudo fornece uma avaliação rigorosa comparando três abordagens:
   • Recuperação densa baseada apenas em metadados.
   • Agregação SumP normalizada baseada em transcrições (uma linha de base usando as mesmas pontuações de recuperação, mas com agregação mais simples).
   • A agregação completa do RAGEAR.

Resultados

O sistema foi avaliado em 152 consultas semelhantes às de estudantes, utilizando uma combinação de avaliação humana (em um subconjunto) e uma avaliação de relevância em grande escala baseada em LLM (usando GPT-4.1 nano, validada para alta concordância com avaliadores humanos).

• Transcrições vs. Metadados: O uso de transcrições completas de aulas superou significativamente a recuperação baseada apenas em metadados em todas as métricas (Precisão@1, nDCG@5, MAP@5), demonstrando que o conteúdo instrucional de alta granularidade contém informações valiosas não capturadas nas descrições dos cursos.
• RAGEAR vs. Linha de Base SumP: A agregação completa do RAGEAR melhorou ainda mais a qualidade da classificação em relação à linha de base SumP Normalizada baseada em Transcrições.
  • A Precisão@1 aumentou 10,69% em relação à linha de base de metadados e 2,8% em relação à linha de base SumP.
  • O nDCG@1 melhorou 7,21% em relação à linha de base de metadados.
  • O MAP@5 registrou uma melhoria de 17,09% em relação à linha de base de metadados.
• Desempenho nos Topos: Os ganhos foram mais pronunciados para as recomendações de topo (k=1, 3, 5), indicando que a função de agregação proposta é particularmente eficaz em colocar os cursos mais relevantes no topo da lista.

Significado e Alegações

O artigo afirma que o RAGEAR demonstra a viabilidade de combinar modelagem estrutural simbólica com recuperação semântica de alta granularidade para orientação acadêmica. Os autores afirmam que sua contribuição principal não é apenas o uso de transcrições, mas a específica estratégia de agregação consciente de grafos que sintetiza efetivamente evidências no nível de fragmento em classificações no nível do curso.

Os resultados sugerem que:

1. As transcrições de aulas fornecem uma base mais sólida para recomendação do que apenas metadados.
2. Agregar evidências considerando tanto a classificação dos fragmentos recuperados quanto sua distribuição entre as aulas produz qualidade de classificação superior em comparação com métodos simples de soma.

Os autores mantêm uma postura modesta em relação à avaliação, observando que a avaliação baseada em LLM serve como um proxy controlado para comparação em grande escala, em vez de um substituto para estudos longitudinais com usuários reais com estudantes. Eles enfatizam que o componente de filtragem simbólica é determinístico e que a avaliação focou especificamente na capacidade do componente de classificação de melhorar a relevância. Trabalhos futuros estão direcionados para integrar o sistema em serviços operacionais e expandir as avaliações para programas acadêmicos mais amplos.