CodeGENCAT: Generative Computerized Adaptive Testing for Open-ended Coding Problems

Resumo Técnico: CodeGENCAT

Declaração do Problema
As estruturas existentes de Teste Adaptativo Computadorizado (CAT) dependem predominantemente da Teoria de Resposta ao Item (TRI) para selecionar perguntas com base na probabilidade prevista de um aluno responder corretamente. Neste paradigma, as respostas dos alunos são comprimidas em rótulos binários de correção (correto/incorreto). Essa abstração descarta informações diagnósticas ricas inerentes a respostas abertas, uma limitação particularmente aguda na educação em programação. Em tarefas de codificação, dois alunos podem falhar ambos em uma questão, mas suas submissões de código podem revelar níveis de compreensão vastamente diferentes — um pode exibir um erro de sintaxe menor, enquanto o outro demonstra uma lacuna conceitual fundamental. Tratar ambos como simplesmente "incorretos" ignora a natureza específica do erro, prejudicando a capacidade do sistema de modelar com precisão a compreensão conceitual e a habilidade de codificação.

Metodologia
Os autores propõem o CodeGENCAT (Teste Adaptativo Computadorizado Generativo para Problemas de Codificação Abertos), uma estrutura que utiliza Modelos de Linguagem de Grande Escala (LLMs) para selecionar perguntas com base em respostas de código de aluno abertas previstas, em vez de resultados binários. A metodologia consiste em três componentes principais:

1. Modelo de Teoria de Resposta ao Item Generativa (GIRT):

   • Representação do Conhecimento: O conhecimento do aluno é representado como um vetor latente $z_i$ projetado em níveis de domínio explícitos ($\theta_i$) para Componentes de Conhecimento (KCs) específicos por meio de uma Rede Neural Multicamada (MLP).
   • Geração de Código: Um LLM gera respostas de código previstas condicionadas ao texto da pergunta e ao conhecimento estimado do aluno. Para fechar a lacuna entre níveis de domínio escalares e entradas de LLM, os autores empregam uma técnica de "soft prompting". Os níveis de domínio são interpolados linearmente entre embeddings pré-treinados de "VERDADEIRO" e "FALSO" para criar embeddings contínuos injetados no prompt.
   • Estratégia de Treinamento: O modelo passa por um processo de treinamento em duas etapas:
     • Ajuste Fino Supervisionado (SFT): O modelo aprende a gerar código condicionado ao conhecimento, minimizando a log-verossimilhança negativa. Uma perda auxiliar alinha o domínio médio previsto com a pontuação de correção real (ground-truth).
     • Otimização Direta de Preferência (DPO): Para abordar o colapso de modo (onde o modelo gera código idêntico independentemente do conhecimento de entrada), uma etapa de aprendizado por reforço é introduzida. Pares de preferência são formados comparando respostas reais de alunos com respostas de outros alunos que são menos prováveis dado o conhecimento atual do aluno. O DPO refina o modelo para garantir que as respostas geradas variem semanticamente com base no estado de conhecimento de entrada.

2. Algoritmos de Seleção de Perguntas:
   O CodeGENCAT utiliza o modelo GIRT para amostrar $N$ respostas de código potenciais para perguntas candidatas. Três critérios de seleção são propostos para determinar a próxima pergunta:

   • Baseado em Incerteza: Seleciona a pergunta onde a pontuação média de correção prevista está mais próxima de 0,5, maximizando o ganho de informação sobre a probabilidade de correção.
   • Baseado em Diversidade: Seleciona a pergunta onde as respostas de código amostradas exibem a maior diversidade semântica (medida via similaridade de cosseno em pares de embeddings CodeBERT), indicando alta incerteza sobre como o aluno pode responder.
   • Baseado em Informação de Fisher: Seleciona a pergunta que maximiza o traço da matriz de Informação de Fisher, visando reduzir mais significativamente a incerteza sobre o vetor de conhecimento latente do aluno.

3. Ciclo de Teste Adaptativo:
   O sistema inicializa o conhecimento latente de um aluno usando uma priora de população. Em cada etapa, ele amostra respostas do modelo GIRT para perguntas candidatas, pontua-as usando o algoritmo de seleção, administra a pergunta de maior pontuação e atualiza o conhecimento latente do aluno via descida de gradiente com base na resposta real.

Principais Contribuições

• Estrutura CAT Generativa: A primeira estrutura CAT especificamente projetada para problemas de codificação abertos que utiliza respostas de código de aluno previstas para seleção de perguntas, indo além da correção binária.
• Modelo GIRT: Um modelo inovador que combina representação de conhecimento latente com geração de código orientada por LLM, treinado com SFT e DPO para garantir que as respostas geradas estejam alinhadas com o conhecimento estimado do aluno.
• Algoritmos de Seleção Inovadores: Três algoritmos distintos (Incerteza, Diversidade, Informação) que aproveitam capacidades generativas para avaliar a informatividade da pergunta no contexto de respostas abertas.

Resultados Experimentais
A estrutura foi avaliada em dois conjuntos de dados do mundo real: CodeWorkout (submissões em Java) e ProgFeed (submissões em Python).

• Desempenho: O CodeGENCAT superou consistentemente bases fortes (TRI 1PL, BOBCAT, NCAT, LACAT) na estimativa do conhecimento do aluno, medido pela Área sob a Curva (AUC) e Precisão.
• Ganhos em Estágio Inicial: As melhorias mais significativas ocorreram nos estágios iniciais do teste ($t=1$ a $t=7$). No CodeWorkout, o algoritmo de seleção baseado em Diversidade alcançou uma melhoria de 4,32% na AUC sobre a base mais forte no primeiro estágio.
• Variância do Algoritmo: O algoritmo de seleção ótimo variou conforme o conjunto de dados e o estágio do teste. A Diversidade performou melhor nos estágios iniciais no CodeWorkout, enquanto a seleção baseada em Informação foi consistentemente superior no ProgFeed e em estágios posteriores no CodeWorkout.
• Segurança do Teste: O CodeGENCAT manteve métricas competitivas de segurança do teste (taxas de exposição e sobreposição de perguntas), demonstrando que pode equilibrar eficiência com requisitos de segurança.
• Estudos de Ablação: O estudo confirmou que o alinhamento DPO é crítico para que o modelo gere respostas diversas e condicionadas ao conhecimento. Modelos base maiores (3B vs. 1B) mostraram benefícios dependentes do conjunto de dados, e reduzir o número de respostas amostradas ($N$) de 10 para 3 ofereceu economias de tempo significativas com perda mínima de precisão.

Significado e Afirmações
O artigo afirma que o CodeGENCAT representa um avanço significativo no teste adaptativo para educação em programação, explorando a informação rica contida em código aberto. Ao mudar o foco de "se um aluno falhará" para "como um aluno pode falhar", a estrutura captura erros específicos e concepções equivocadas que modelos binários perdem. Os autores afirmam que essa abordagem leva a uma estimativa de conhecimento mais precisa e eficiente, particularmente durante as fases críticas iniciais do teste. Eles observam que, embora a avaliação atual esteja confinada à ciência da computação introdutória, a estrutura é teoricamente adaptável a outros domínios abertos, desde que conjuntos de dados adequados estejam disponíveis. O trabalho destaca o potencial dos modelos generativos de aprimorar a modelagem psicométrica sem descartar a nuance do conteúdo gerado pelo aluno.