SortingHat: Redefining Operating Systems Education with a Tailored Digital Teaching Assistant

Resumo Técnico: SortingHat

Problema
O ensino de Sistemas Operacionais (SO) enfrenta desafios significativos devido à complexidade inerente ao assunto, que abrange gerenciamento de processos, alocação de memória e desenvolvimento de kernel em diversas arquiteturas de hardware. Os métodos de ensino tradicionais lutam para acomodar os variados históricos educacionais, velocidades de aprendizado e necessidades práticas dos alunos. Recursos atuais, como materiais de aula estáticos e horários de atendimento limitados, são insuficientes para fornecer a orientação imediata e sensível ao contexto necessária para a experimentação prática. Além disso, as ferramentas educacionais baseadas em IA existentes carecem frequentemente de engajamento emocional, dependem de interações textuais unimodais e falham em manter conhecimentos específicos do domínio atualizados sem esforços impraticáveis de retreinamento.

Metodologia
O SortingHat é um assistente de ensino digital personalizado projetado para abordar essas lacunas por meio de três componentes técnicos integrados:

1. Interface de Humano Digital Customizada:

   • Arquitetura: O sistema utiliza um humano digital 3D impulsionado por Grandes Modelos de Linguagem (LLMs) para fornecer interações multimodais (visuais, auditivas, emocionais).
   • Base de Conhecimento: Para garantir a precisão do domínio, o sistema emprega uma estrutura de Geração Aumentada de Recuperação (RAG) baseada em GraphRAG. Isso aproveita um corpus de mais de 60.000 documentos relacionados a SO, incluindo código-fonte e documentação técnica sobre arquiteturas emergentes, juntamente com 10.000 instruções geradas.
   • Personalização: Um agente extrai perfis de estudantes (progresso de aprendizagem, lacunas de conhecimento) de um banco de dados para ajustar dinamicamente o tom, a profundidade e a expressão emocional das respostas do assistente. Um servidor de Text-to-Speech (TTS) converte texto em fala apropriada ao contexto.

2. Geração Adaptativa de Exercícios:

   • Fluxo de Trabalho: Uma estrutura multiagente gera exercícios personalizados com base nos históricos e desempenhos individuais dos alunos.
   • Processo: O fluxo de trabalho envolve a seleção de materiais relevantes para o nível do aluno, seguida por uma discussão multiagente onde agentes de geração criam exercícios e agentes de avaliação os revisam criticamente quanto à precisamente, clareza e relevância. Essa colaboração iterativa garante que os exercícios sejam coerentes e educacionalmente eficazes.

3. Pipeline de Avaliação Baseado em MARL:

   • Desafio: A avaliação tradicional é tendenciosa e ineficiente, enquanto os LLMs padrão sofrem com restrições de comprimento de contexto, decaimento de atenção e alucinações.
   • Solução: O SortingHat implementa um sistema de Aprendizado por Reforço Multiagente (MARL) aprimorado com RAG.
   • Processo: Submissões longas de alunos são segmentadas em partes gerenciáveis. Agentes de Extração de Informação (IE) processam essas seções, armazenando o contexto na memória. Esses agentes então participam de discussões colaborativas com agentes avaliadores seguindo uma estrutura MARL. A avaliação é dividida em 20 objetivos específicos. Por fim, um gerador de feedback sintetiza esses insights com o nível acadêmico e o histórico do aluno para produzir um feedback acionável e personalizado.
   • Atualizações Dinâmicas: O sistema utiliza a API do Arxiv para rastrear, avaliar e recomendar semanalmente novos artigos sobre "Sistemas Operacionais", garantindo que a base de conhecimento permaneça atualizada.

Principais Contribuições

• Assistente Digital Humano 3D Realista: A introdução de um humano digital multimodal e emocionalmente envolvente que fornece orientação de nível especialista e consciente do contexto, indo além das limitações das interfaces apenas de texto.
• Exercícios Personalizados Impulsionados por LLM: Um sistema que gera materiais de aprendizagem customizados visando áreas de fraqueza específicas e conceitos avançados com base em dados em tempo real do aluno.
• Sistema de Avaliação MARL: Uma abordagem inovadora para a correção que garante consistência e justiça ao utilizar discussões colaborativas entre múltiplos agentes para mitigar alucinações e instabilidade, fornecendo simultaneamente feedback detalhado e personalizado.

Resultados e Demonstração
O artigo demonstra as capacidades do sistema através de várias visualizações:

• Interface: O humano digital fornece orientação adaptada ao nível acadêmico do aluno (Figura 5).
• Geração de Exercícios: O sistema gera com sucesso exercícios que refletem a posição acadêmica específica de um aluno (Figura 6).
• Consistência de Avaliação: Para demonstrar estabilidade, a estrutura avaliou três artigos de qualidades variadas 100 vezes cada. Os resultados (Figura 9) mostraram pontuações de avaliação consistentes, com variações que refletem com precisão as diferenças inerentes de qualidade entre as submissões, em vez de instabilidade do sistema.
• Feedback: O sistema fornece pontuação abrangente e raciocínio adaptado ao histórico de submissão do aluno (Figura 8).

Significância
O SortingHat representa um avanço na educação personalizada ao oferecer uma solução escalável para currículos de SO. Ao integrar um humano digital customizável, agentes de raciocínio baseados em LLM e um banco de dados de alunos, o sistema aborda limitações críticas da educação tradicional, incluindo exercícios desatualados, falta de suporte individual e avaliação inconsistente. Os autores postulam que esta estrutura estabelece uma base para futuros avanços em tecnologias de aprendizagem adaptativa, transformando o ensino de SO em uma experiência envolvente, imersiva e escalável.