The comparative evaluation of explanations for algorithmic programming problems provided by a Human vs. ChatGPT: an exploratory online user study

Na sala de aula, a relação entre um aluno e um professor tem sido definida há muito tempo pela troca de conhecimento, onde um guia humano decompõe ideias complexas em etapas compreensíveis. Hoje, um novo tipo de guia entrou na sala: a inteligência artificial. Esses sistemas podem gerar texto, resolver problemas matemáticos e escrever código de computador com uma velocidade que rivaliza com a de especialistas humanos. Mas uma questão crítica permanece para educadores e pais: quando um aluno está tentando aprender, importa quem está fazendo a explicação? Existe uma diferença fundamental entre uma solução elaborada por uma pessoa e uma gerada por uma máquina, e um aprendiz consegue perceber a diferença? Esta investigação está no cerne de um estudo recente que explora como os alunos percebem explicações para tarefas de programação difíceis, especificamente quando essas explicações são entregues por um personagem digital em vez de uma pessoa viva.

Os pesquisadores, uma equipe de cientistas de universidades do Cazaquistão, propuseram-se a testar os limites desta tecnologia emergente com um grupo de trinta e sete alunos do ensino médio. Estes não eram iniciantes; os participantes tinham entre quinze e dezessete anos e vinham de uma escola especializada conhecida por treinar alunos em competições de matemática e ciências. Eles já passavam anos aprendendo a programar, com muitos tendo começado ainda no ensino primário. O objetivo era ver se esses jovens programadores experientes conseguiam distinguir entre soluções escritas por um instrutor humano e aquelas produzidas por um modelo de linguagem de grande escala, um tipo de inteligência artificial capaz de gerar texto e código. Para tornar o teste justo e remover qualquer viés baseado na voz ou aparência de uma pessoa, os pesquisadores utilizaram um personagem animado em 3D, ou avatar, para entregar as explicações. Esta figura digital falava com uma voz gerada por computador, garantindo que os alunos não pudessem confiar em pistas humanas como tom ou emoção para adivinhar a origem da resposta.

O experimento foi estruturado como uma série de desafios. Os alunos foram apresentados a cinco problemas de programação diferentes, cada um acompanhado de uma solução e uma explicação. Estes problemas foram retirados de uma plataforma online popular utilizada por programadores competitivos. Para cada problema, a explicação era entregue pelo mesmo avatar 3D, mas a origem do código variava. Em alguns casos, o código e a explicação vinham de um especialista humano que havia resolvido o problema no site. Em outros, o código era gerado por um sistema de inteligência artificial. Os alunos assistiam ao avatar explicar a solução e, em seguida, eram submetidos a uma série de perguntas. Eles tinham que avaliar o quão bem entendiam o material, adivinhar se o código fora escrito por um humano ou por uma máquina e avaliar o próprio avatar. Os pesquisadores também verificaram se a experiência prévia dos alunos com programação ou suas interações anteriores com avatares digitais influenciavam sua capacidade de detectar a diferença.

Os resultados do estudo ofereceram uma percepção surpreendente sobre como os alunos interagem com esta tecnologia. Quando questionados sobre identificar a origem do código, os dados revelaram um padrão matizado: os participantes selecionaram "fornecido pelo ChatGPT" com mais frequência e determinação para tarefas que eram, de fato, fornecidas pelo ChatGPT. No entanto, para tarefas fornecidas por humanos, eles foram mais hesitantes e selecionaram a origem de forma mais equânime entre humano e IA. Isso sugere que, embora os alunos pudessem identificar o conteúdo gerado por IA com um certo grau de confiança, distinguir soluções humanas era mais desafiador, levando a uma mistura de acertos e erros em vez de uma habilidade clara e consistente de diferenciá-los. Os alunos avaliaram sua compreensão das soluções de forma semelhante, independentemente de o código vir de uma pessoa ou de uma máquina. Além disso, o estudo descobriu que o histórico de um aluno não alterou o resultado. Se o aluno havia começado a programar no ensino primário ou no ensino médio, ou se havia interagido com assistentes digitais antes, não afetou significativamente sua capacidade de distinguir a origem ou seu nível de engajamento.

Embora os alunos não conseguissem distinguir facilmente as duas fontes, o feedback deles sobre o método de entrega foi mais crítico. O avatar 3D, que serviu como narrador para ambas as soluções (humana e de máquina), recebeu avaliações mistas. Muitos alunos notaram que a voz do personagem era monótona e carecia do ritmo natural da fala humana. Eles apontaram que os movimentos do avatar eram por vezes repetitivos e nem sempre correspondiam às palavras sendo ditas, o que tornava mais difícil focar na lógica complexa do código. Alguns alunos sentiram que a natureza robótica do personagem tornava a experiência de aprendizagem menos pessoal e mais difícil de acompanhar. Apesar dessas críticas, o sentimento geral foi otimista. A maioria dos alunos acreditava que tal tecnologia poderia ser útil no futuro, particularmente como uma ferramenta para explicar conceitos difíceis quando um professor não está disponível. Eles reconheceram que, embora a versão atual do avatar tivesse falhas, melhorias na voz e na animação poderiam torná-lo uma adição valiosa à educação.

O estudo conclui que, embora a inteligência artificial esteja rapidamente se tornando capaz de produzir explicações indistinguíveis das humanas em termos de clareza e precisão, o meio de entrega ainda importa. Os alunos estavam dispostos a aceitar a tecnologia como um auxílio à aprendizagem, mas foram rápidos em identificar as limitações dos atuais avatares digitais. A pesquisa sugere que, à medida que estas ferramentas evoluem, o foco deve mudar não apenas para a qualidade do código que geram, mas para a qualidade da interação que proporcionam. Para os educadores, as descobertas implicam que os alunos poderão em breve aprender efetivamente a partir de conteúdo gerado por máquinas, mas o toque humano de um professor permanece único em sua capacidade de conectar, adaptar e engajar de uma forma que um avatar estático e monótono ainda não consegue replicar. O futuro da educação poderá envolver uma parceria entre professores humanos e máquinas inteligentes, mas o caminho para essa parceria exige o refinamento das ferramentas digitais para que sejam tão envolventes quanto as pessoas que pretendem auxiliar.