Exploring the Value of Diverse LLM Explanations in Introductory Programming

Resumo Técnico: Explorando o Valor de Explicações Diversas de LLM em Programação Introdutória

Definição do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem a capacidade de gerar explicações de código que frequentemente superam a qualidade gerada por pares, permanece uma lacuna crítica na compreensão de como a apresentação de múltiplas explicações com ênfases semânticas intencionalmente distintas afeta programadores iniciantes. Pesquisas existentes estabeleceram que os LLMs podem gerar formatos diversos, mas não está claro se variar o foco conceitual dessas explicações (por exemplo, função, conceito, objetivo) melhora a compreensão dos estudantes em comparação com explicações genéricas e de uso geral. Baseando-se na Teoria da Variação e em insights da criatividade computacional, os autores hipotetizam que expor os alunos a variações sistemáticas na ênfase da explicação pode ajudá-los a discernir características críticas de conceitos de programação, promovendo assim uma compreensão mais profunda do que uma única explicação de alta qualidade ou genérica poderia alcançar.

Metodologia
Os autores conduziram um estudo de grande escala, entre sujeitos, envolvendo 971 estudantes de primeiro ano de computação matriculados em um curso de programação C em uma grande universidade pública de pesquisa.

• Design Experimental: Os participantes foram designados aleatoriamente para receber ou explicações Genéricas (três prompts idênticos solicitando um resumo em texto simples) ou explicações Diversas (três prompts distintos visando dimensões específicas: função, conceito e objetivo) para dois exercícios de programação.
• Materiais: Três trechos de código foram preparados (sumArray, randomizeString, countChar), embora cada estudante tenha visualizado apenas dois para limitar a carga cognitiva. As explicações foram geradas usando o GPT-4o.
• Procedimento: Após visualizar as explicações para cada trecho, os alunos responderam:
  1. Uma Questão de Múltipla Escolha (MCQ) testando conceitos centrais.
  2. Uma questão de Resposta Aberta (OE) exigindo comparação conceitual ou explicação.
  3. Itens de escala Likert sobre utilidade percebida e carga de informação.
  4. Reflexões abertas sobre a utilidade e o uso das explicações.
• Análise:
  • Desempenho: A precisão das MCQs foi analisada quantitativamente. As respostas das OEs foram codificadas qualitativamente para correção usando uma rubrica, com a confiabilidade inter-avaliador estabelecida pelo Kappa de Fleiss ($\kappa = 0,75$).
  • Percepção: Os dados de Likert foram analisados por meio de testes de Kruskal-Wallis H.
  • Análise Temática: As reflexões abertas foram codificadas seguindo as diretrizes de Braun e Clarke, agrupadas em temas compostos (ex.: "Compreensão Engajada", "Monitoramento Ativo", "Sobrecarga/Frustração").

Principais Resultados

• Desempenho (RQ1):
  • MCQs: A precisão foi consistentemente alta (>87%) em todas as condições. Testes qui-quadrado revelaram nenhuma diferença estatisticamente significativa entre os grupos de explicações diversas e genéricas.
  • Questões de Resposta Aberta (OE): Os alunos que receberam explicações diversas mostraram uma melhoria consistente de desempenho de aproximadamente 7,7% em todos os três trechos de código em comparação com a condição genérica. No entanto, quando modelado via regressão logística com ajuste de Bonferroni, o efeito da condição não atingiu significância estatística ($z = 2,15, p = 0,095$).
• Carga Cognitiva Percebida e Utilidade (RQ2):
  • Não houve diferenças estatisticamente significativas na utilidade percebida ou na carga de informação percebida entre os grupos diverso e genérico.
  • Os alunos geralmente avaliaram a quantidade de informação como apropriada (notas médias de ~3,3–3,4 em uma escala de 5 pontos), indicando que a condição diversa não induziu sobrecarga de informação.
• Reflexões dos Alunos:
  • A análise temática das respostas abertas indicou que os alunos na condição "Diverse-Diverse" (DD) foram mais propensos a relatar "Compreensão Engajada" e menos propensos a relatar "Sobrecarga/Frustração" em comparação com os outros grupos, embora esses padrões não tenham atingido significância estatística nos testes qui-quadrado.
  • "Uso Estratégico" (usar explicações para auxiliar na leitura do código) foi o tema mais comum em todas as condições.

Principais Contribuições

1. Investigação Empírica da Diversidade Semântica: O estudo fornece um dos primeiros testes empíricos de grande escala sobre se variar a ênfase semântica (função vs. conceito vs. objetivo) das explicações geradas por LLM melhora os resultados de aprendizagem em comparação com explicações genéricas.
2. Dados Escaláveis sobre Engajamento de Estudantes: Com 971 participantes, o estudo oferece dados robustos sobre como estudantes iniciantes interagem com múltiplas explicações geradas por IA, abordando especificamente o equilíbrio entre quantidade/diversidade de explicações e carga cognitiva.
3. Métricas de Desempenho Matizadas: O artigo destaca uma discrepância entre o desempenho em MCQ (onde nenhuma diferença foi encontrada) e o desempenho em OE (onde um ganho consistente de ~7,7% foi observado para explicações diversas), sugerindo que as explicações diversas podem apoiar uma articulação conceitual mais profunda, mesmo que não alterem imediatamente a precisão de múltipla escolha.

Significância e Alegações
Os autores alegam modestamente que, embora as explicações diversas não tenham produzido ganhos estatisticamente significativos na compreensão neste contexto específico, elas foram associadas a um desempenho consistentemente superior (ganho de aprox. 7,7% na precisão de OE) e a respostas de alunos mais engajadas através de múltiplas medidas.

O artigo argumenta que a falta de significância estatística pode ser devida a um "efeito de teto" (alto desempenho basal) ou que as dimensões específicas de variação utilizadas não estavam perfeitamente alinhadas com as características críticas que os alunos precisavam discernir. No entanto, os achados sugerem que fornecer múltiplas perspectivas concisas é uma estratégia promissora que não aumenta a carga cognitiva. Os autores concluem que, em vez de repetir explicações genéricas, educadores e sistemas de tutoria automatizados podem utilizar LLMs para gerar perspectivas variadas, permitindo que os alunos selecionem o ângulo mais útil para sua aprendizagem, apoiando assim a instrução diferenciada em escala. O trabalho futuro sugere explorar a retenção a longo prazo e o impacto de variar os tipos de explicação com base na expertise do aluno.