Revisiting the Performance of Generative Artificial Intelligence on Introductory Object-Oriented Programming Assessments: Insights from 2026

Nas salas de aula onde os jovens aprendem pela primeira vez a construir software, um novo tipo de ajudante chegou. Estes não são tutores humanos, mas modelos de linguagem de grande escala: programas de computador treinados em vastas bibliotecas de texto e código que podem ler uma pergunta e escrever um programa em resposta. Durante anos, os educadores observaram a evolução destas ferramentas, questionando-se se elas poderiam realmente compreender a lógica da programação ou se estavam apenas a imitar padrões. A questão é importante porque a programação é frequentemente ensinada através de um estilo específico chamado programação orientada a objetos, onde o código é organizado em unidades autónomas que contêm dados e realizam ações, tal como um objeto do mundo real possui tanto propriedades como comportamentos. Se estes sistemas artificiais conseguirem resolver os mesmos problemas que os estudantes, isso altera a forma como ensinamos, como testamos e como pensamos sobre o futuro da aprendizagem de código.

Investigadores da Universidade de Tartu, na Estónia, decidiram colocar cinco dos sistemas de inteligência artificial mais populares à prova num ambiente universitário real. Não pediram às máquinas para resolverem enigmas abstratos ou escreverem código no vácuo. Em vez disso, utilizaram exatamente os mesmos testes de programação e questões de exames finais usados num curso introdutório para alunos do primeiro ano e forneceram-nos diretamente às máquinas. As tarefas foram escritas em estoniano, a língua local, e os investigadores não deram às máquinas instruções especiais ou dicas. Simplesmente pediram às máquinas que resolvessem os problemas como um estudante faria, utilizando as mesmas regras de avaliação que os professores aplicam ao trabalho humano. O objetivo era ver se estas ferramentas conseguiam acompanhar o aluno médio e, mais importante, ver onde elas ainda tropeçam.

Os resultados mostraram que os sistemas de inteligência artificial são notavelmente capazes, superando frequentemente os estudantes humanos com quem foram comparados. No primeiro teste de programação, que exigia a construção de um programa completo com múltiplas partes, todos os sistemas, exceto um, pontuaram acima da média do estudante. Um sistema, uma ferramenta integrada no Microsoft Office, falhou ao produzir um programa funcional num caso devido a um pequeno erro de sintaxe, mas os outros obtiveram consistentemente notas máximas. Num segundo teste, ligeiramente mais difícil e envolvendo manipulação de dados mais complexos, as máquinas dominaram novamente, com a maioria a alcançar pontuações perfeitas ou quase perfeitas. Mesmo no exame final, que cobria todo o curso e incluía questões conceptuais complexas, as máquinas pontuaram geralmente bem acima da média da turma.

No entanto, as máquinas não são perfeitas, e os seus erros revelam onde a sua compreensão ainda é superficial. Embora conseguissem escrever programas longos e complexos que funcionavam sem falhas, ocasionalmente perdiam detalhes específicos que um professor humano detetaria. Por exemplo, alguns sistemas falharam ao formatar texto adequadamente ou esqueceram-se de incluir uma instrução necessária para fazer o código funcionar, levando a erros que impediam a execução do programa. Também tiveram dificuldades com certos conceitos avançados, tais como a forma como diferentes partes de um programa devem comunicar entre si através de regras específicas chamadas interfaces. Nestas áreas, as máquinas por vezes produziram código que parecia correto, mas que não fazia efetivamente o que a questão pedia. Adicionalmente, o estudo notou que o desempenho foi limitado em questões relacionadas com gráficos envolvendo interpretação de imagem, refletindo um desafio mais amplo que a IA enfrenta ao lidar com informação não textual.

Os investigadores descobriram que estes sistemas melhoraram significamente em comparação com as avaliações de apenas um ano antes. Onde as versões mais antigas destas ferramentas poderiam ter falhado ao passar no curso, os modelos mais recentes estão agora a pontuar consistentemente no intervalo superior do desempenho dos estudantes. Contudo, surgiu um padrão claro: as máquinas destacam-se em seguir instruções para construir estruturas padrão, mas podem vacilar quando uma tarefa exige um raciocínio profundo sobre como diferentes peças de um sistema se encaixam conceptualmente. Elas frequentemente adicionam funcionalidades extras que não foram solicitadas ou utilizam técnicas avançadas que os estudantes ainda não tinham aprendido, sugerindo que estão a recorrer a um conjunto de conhecimentos muito mais vasto do que o currículo do curso.

Em última análise, o estudo traça o retrato de uma ferramenta que é poderosa, mas ainda não totalmente fiável para todas as necessidades educativas. Os sistemas de inteligência artificial conseguem gerar código funcional que muitas vezes supera o estudante médio, provando que dominaram a mecânica da programação. Mas ainda cometem erros específicos e recorrentes que indicam uma falta de compreensão real da lógica subjacente. Para os educadores, isto significa que, embora estas ferramentas possam ser usadas para apoiar a aprendizagem, elas ainda não podem substituir a necessidade de supervisão humana ou o desenho cuidadoso de avaliações que testem a compreensão conceptual profunda em vez de apenas a capacidade de produzir código. As máquinas estão a melhorar a cada ano, mas ainda têm um longo caminho a percorrer antes de conseguirem verdadeiramente pensar como um programador.