Resumo Técnico: Recomendação Automatizada de Conteúdo de Aprendizagem de Programação Usando Componentes de Conhecimento Baseados em Padrões

Declaração do Problema

O ensino introdutório de programação depende fortemente da prática prática e de atividades de aprendizagem curtas, tais como "exemplos resolvidos" (soluções corretas com explicações) e tarefas orientadas à prática (por exemplo, completamento de código ou rearranjo). Embora existam abundantes recursos, organizar esses recursos em vínculos instrucionalmente significativos é um desafio sem a curadoria intensiva de especialistas. O vínculo manual tradicional não escala, e as abordagens automatizadas iniciais baseadas em sinais superficiais (palavras-chave, n-gramas) frequentemente falham em distinguir entre códigos que são lexicalmente semelhantes, mas conceitualmente diferentes, ou conceitualmente semelhantes, mas sintaticamente distintos. Além disso, as abordagens existentes baseadas em conhecimento (por exemplo, vinculação baseada em ontologia) geralmente exigem modelos de domínio extensamente construídos à mão e anotação por especialistas. Há uma necessidade de um método escalável e automatizado para identificar e vincular recursos de aprendizagem com base nos padrões e conceitos de programação subjacentes que eles visam, sem depender de uma pesada curadoria manual.

Metodologia

Os autores propõem um framework de recomendação fundamentado em Componentes de Conhecimento (KCs) baseados em padrões. Esses KCs são definidos como padrões estruturais recorrentes e semanticamente significativos extraídos de Árvores de Sintaxe Abstrata (ASTs) de programas. A metodologia procede através de quatro etapas principais:

1. Descoberta de KC baseada em Padrões:

   • Extração de Subárvore: Os programas são convertidos em ASTs. Uma Rede Neural de Atenção baseada em Subárvores (SANN) modificada atribui pesos de atenção às subárvores para identificar fragmentos estruturais que representam a lógica relevante ao tópico.
   • Normalização: As subárvores selecionadas são abstraídas através da anonimização de identificadores e valores literais e da canonicalização de alternativas sintáticas (ex: operadores comutativos) para garantir a similaridade conceitual em vez da similaridade lexical.
   • Codificação Sensível ao Contexto: As subárvores normalizadas são codificadas usando um Autoencoder Variacional $\beta$ ($\beta$-VAE) com LSTM. Isso captura como os padrões coocorrem dentro de programas completos, aprendendo um espaço latente onde padrões estrutural e semanticamente similares são próximos.
   • Agrupamento (Clustering): As subárvores retidas são agrupadas usando K-means para formar o conjunto final de KCs baseados em padrões.

2. Construção do Vetor de Conhecimento:

   • Cada atividade de aprendizagem (amostra de código) é mapeada para um vetor de incidência binária indicando a presença de KCs específicos.
   • Um esquema de ponderação de Frequência Inversa de Documento (IDF) é aplicado para enfatizar padrões discriminativos e reduzir o peso de padrões ubíquos.
   • Os vetores resultantes são normalizados em L2 para facilitar os cálculos de similaridade de cosseno.

3. Mecanismo de Recomendação:

   • Dado um item alvo (desafio ou exemplo resolvido), os itens candidatos são classificados pela similaridade de cosseno de seus vetores de conhecimento.
   • O sistema recupera itens que instanciam padrões de programação subjacentes similares em vez daqueles que são meramente lexicalmente ou sintaticamente similares.

4. Explicabilidade:

   • O framework projeta os KCs de maior contribuição de volta ao código-fonte. Ao rastrear subárvores de alta atenção associadas a um KC até seus intervalos de código específicos, o sistema fornece justificativas ao nível de linha para o motivo pelo qual uma recomendação foi feita.

Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Uma Abordagem de Recomendação baseada em KC: Um método que deriva a similaridade entre atividades de programação usando vetores de conhecimento baseados em KCs de padrões, permitindo a recuperação direcionada entre exemplos resolvidos e atividades de prática.
2. Um Modelo de KC baseado em Padrões Explicável: Um modelo que descobre e identifica padrões de programação diretamente do código, permitindo a geração de explicações ao nível de linha para as recomendações.
3. Avaliação Abrangente: Uma avaliação demonstrando como diferentes modelos de KC melhoram a precisão da recomendação e o alinhamento com agrupamentos (bundles) definidos por especialistas, comparando a abordagem proposta contra vários baselines.

Resultados Experimentais

A abordagem foi avaliada em um conjunto de dados Python do sistema PCEX, contendo 123 programas organizados por especialistas em 49 bundles (grupos de desafios e exemplos que visam os mesmos construtos). A avaliação tratou a participação em bundles definida por especialistas como a verdade fundamental (ground truth).

• Alinhamento com a Organização de Especialistas: A análise de compacidade (tightness) mostrou que itens dentro do mesmo bundle definido por especialistas formaram clusters significativamente mais compactos (distância de cosseno média de 0,51) do que itens que compartilhavam apenas um tópico (0,81), indicando que a representação captura similaridade instrucional refinada.
• Agrupamento Não Supervisionado: O agrupamento hierárquico nos vetores de conhecimento recuperou a estrutura de bundles definida pelos especialistas com um Índice Rand Ajustado (ARI) de 0,605 e um V-measure de 0,933, sugerindo que o espaço latente organiza naturalmente os itens por similaridade conceitual sem rótulos manuais.
• Desempenho de Recuperação: A abordagem baseada em KCs de padrões superou vários baselines, incluindo code2vec, embeddings SANN, KCs baseados em ontologia e KCs gerados por LLM (KCGen-KT e LLM-KCI).
  • Recuperação de exemplos resolvidos: Alcançou precisão Top-5 de 0,89, MRR de 0,81 e mAP de 0,82.
  • Recuperação de desafios: Alcançou precisão Top-5 de 0,90, MRR de 0,80 e mAP de 0,79.
  • A abordagem superou consistentemente o code2vec, métodos baseados em ontologia e embeddings SANN. Estudos de ablação confirmaram que a ponderação IDF melhorou significativamente o desempenho (ex: ganho de +10% em mAP para a recuperação de exemplos resolvidos).
• Explicabilidade: O sistema destacou com sucesso regiões específicas de código (ex: estruturas condicionais, predicados de módulo) responsáveis pelas correspondências, fornecendo justificativas transparentes tanto para estudantes quanto para instrutores.

Significância e Alegações

O artigo alega que este framework oferece uma alternativa escalável à curadoria manual para organizar conteúdo de aprendizagem de programação. Ao alinhar as recomendações com KCs baseados em padrões, o sistema suporta:

• Orientação Direcionada: Fornecendo recursos contextualmente apropriados que correspondem às habilidades específicas que um aluno precisa praticar.
• Redução do Encargo do Especialista: Automatizando a descoberta de vínculos instrucionais sem exigir ontologias extensamente construídas à mão ou agrupamentos manuais.
• Transparência: Oferecendo explicações ao nível de linha que permitem aos instrutores auditar recomendações e ajudar os alunos a focar em padrões estruturais específicos.

Os autores posicionam este trabalho como um passo para preencher a lacuna entre grandes repositórios de materiais de programação e o suporte personalizado orientado a conceitos. Eles observam que, embora o conjunto de dados atual seja pequeno, a capacidade do método de recuperar estruturas definidas por especialistas sugere potencial de generalização para repositórios maiores e não rotulados. A abordagem é apresentada como uma forma de apoiar a organização, o agrupamento e a recomendação de conteúdo instrucional em escala, complementando trabalhos anteriores sobre o valor pedagógico de agrupar atividades de aprendizagem relacionadas.