Resumo Técnico: Um Sistema de Aconselhamento Acadêmico Baseado em RAG Implementado Localmente para Seleção de Disciplinas

Declaração do Problema

Os alunos frequentemente enfrentam dificuldades para construir sequências de disciplinas ideais devido à sobrecarga de informações, limitações de reconhecimento e à complexidade dos pré-requisitos encontrados em extensos programas de ensino (syllabi). Inversamente, as instituições de ensino enfrentam desafios para fornecer aconselhamento acadêmico adequado e personalizado devido aos recursos limitados e às pesadas cargas de trabalho dos orientadores humanos. Embora os chatbots baseados em IA ofereçam uma solução potencial, os modelos padrão de IA Generativa carecem de acesso a dados institucionicos específicos e atualizados, e o treinamento de modelos dedicados exige recursos computacionais além do alcance de muitas organizações. Além disso, os sistemas de Geração Aumentada por Recuperação (RAG) existentes frequentemente empregam estratégias de fragmentação (chunking) de tamanho fixo que falham em preservar a integridade semântica de documentos de programas de ensino semiestruturados (ex: tabelas, metadados, títulos de seções), levando a uma degradação na qualidade da recuperação.

Metodologia

Os autores propõem o Syllabot, um sistema RAG implementado localmente projetado para auxiliar estudantes na seleção de disciplinas utilizando informações de programas de ensino, preservando a privacidade dos dados.

Arquitetura do Sistema

O sistema opera em um fluxo de trabalho de quatro estágios:

1. Pré-processamento: Os documentos dos programas de ensino são convertidos em fragmentos baseados em cabeçalhos, enriquecidos com metadados (caminho da fonte e informações concisas do programa).
2. Indexação: Os fragmentos são indexados para recuperação.
3. Recuperação: Dada uma consulta do estudante, o sistema recupera fragmentos relevantes usando uma de três estratégias:
   • BM25: Recuperação lexical usando Janome para tokenização em japonês.
   • Recuperação Semântica: Recuperação baseada em embeddings usando multilingual-e5-large e Pinecone.
   • Recuperação Híbrida: Uma combinação de resultados lexicais e semânticos fundidos via Reciprocal Rank Fusion (RRF).
4. Geração: Um Grande Modelo de Linguagem (LLM) executado localmente, especificamente o RakutenAI-7B-instruct, gera respostas baseando-se apenas no contexto recuperado. A temperatura é definida em 0.0 para garantir consistência.

Estrutura de Avaliação

Para avaliar rigorosamente o desempenho, o estudo introduz uma taxonomia de consultas orientada à recuperação baseada na complexidade da recuperação (definida pelo número de "fragmentos de ouro" [gold chunks] necessários e sobreposição lexical):

• Consultas de Correspondência Lexical: Fragmento de ouro único, alta sobreposição de palavras-chave.
• Consultas de Paráfrase Semântica: Fragmento de ouro único, baixa sobreposição de palavras-chave.
• Consultas de Síntese de Múltiplas Evidências: Necessário múltiplos fragmentos de ouro.
• Consultas Fora do Escopo: Nenhum fragmento de ouro (usadas para testar o comportamento de recusa).

As consultas de avaliação foram geradas automaticamente a partir de fragmentos de ouro predefinidos usando um LLM. O sistema foi avaliado usando:

• Métricas de Recuperação: Precisão@K (Precision@K) e Revocação@K (Recall@K) de Fragmentos de Ouro.
• Métricas de Geração: Fidelidade (fundamentação no contexto) e Relevância da Resposta.
• Métrica de Fronteira: Taxa de Recusa em consultas fora do escopo.

Principais Contribuições

1. Implementação do Sistema: Um sistema RAG implementado localmente e focado em privacidade para aconselhamento acadêmico que reduz a dependência de APIs externas em nuvem.
2. Taxonomia e Geração: Uma nova taxonomia de consultas orientada à recuperação e um método automatizado para gerar consultas de avaliação com rótulos de fragmentos de ouro, permitindo uma análise granular da complexidade da recuperação.
3. Métricas de Avaliação: A proposta de Precisão@K e Revocação@K de Fragmentos de Ouro para medir diretamente a capacidade do recuperador de coletar evidências necessárias.
4. Análise Empírica: Uma avaliação abrangente demonstrando que a eficácia da estratégia de recuperação varia significamente de acordo com o tipo e a complexidade da consulta.

Resultados Experimentais

O estudo utilizou um corpus de 97 cursos de universidades japonesas e um conjunto de avaliação de 100 consultas.

• Baseline: Um baseline de apenas LLM (sem RAG) recusou 93,3% das consultas passíveis de resposta, confirmando a necessidade de dados externos de programas de ensino para este domínio.
• Desempenho de Recuperação:
  • Correspondência Lexical: A recuperação densa (semântica) apresentou desempenho competitivo, alcançando a maior Precisão@K, desafiando a suposição de que o BM25 é superior para consultas ricas em palavras-chave neste corpus.
  • Paráfrase Semântica: Como esperado, a recuperação densa e a híbrida superaram significativamente o BM25.
  • Síntese de Múltiplas Evidências: A recuperação híbrida não mostrou vantagem clara sobre a densa; ambas superaram o BM25 em Revocação, embora a Precisão do BM25 tenha caído rapidamente conforme o Top-k aumentava.
  • Limitação Híbrida: A fusão híbrida de peso fixo (RRF) não superou consistentemente a recuperação densa, sugerindo que fragmentos não pertencentes ao "ouro" de uma estratégia podem diluir a outra.
• Qualidade de Geração: À medida que o número de fragmentos recuperados (Top-k) aumentava, a Fidelidade diminuía após o Top-10, indicando que o excesso de contexto introduz ruído que degrada o desempenho do LLM leve e local.
• Capacidade de Fronteira: As taxas de recusa para consultas fora do escopo diminuíram conforme o Top-k aumentava. O modelo tornou-se mais propenso a alucinar respostas plausíveis, mas não sustentadas, quando fornecido com contextos maiores e potencialmente relacionados superficialmente.

Significância e Alegações

O artigo afirma que o Syllabot demonstra com sucesso a viabilidade de sistemas RAG implementados localmente para aconselhamento acadêmico, oferecendo uma alternativa consciente da privacidade em relação às soluções baseadas em nuvem. O estudo destaca que a complexidade da recuperação dita a eficácia da estratégia; uma abordagem de recuperação de "tamanho único" é suboptimal. Especificamente, os autores argumentam que, embora a recuperação densa tenha tido bom desempenho em seu corpus de programas de ensino, estratégias híbridas de peso fixo podem não ser necessárias ou otimizadas.

Os autores reconhecem modestamente as limitações, observando que a recuperação lexical (BM25) retém vantagens para documentos com termos distintos e que métricas de avaliação atuais como "Relevância da Resposta" podem penalizar recusas corretas ou recompensar respostas plausíveis, porém incorretas. Consequentemente, o artigo conclui que trabalhos futuros devem focar em recuperação orientada a evidências (identificando fragmentos que contribuem com evidências em vez de apenas similaridade semântica) e avaliação de geração baseada em evidências para reduzir ainda mais os riscos de alucinação em sistemas de aconselhamento acadêmico.