Can AI be a Teaching Partner? Evaluating ChatGPT, Gemini, and DeepSeek across Three Teaching Strategies

Este estudo compara o desempenho pedagógico dos modelos de linguagem ChatGPT, Gemini e DeepSeek como parceiros de ensino, revelando que, embora apresentem padrões de interação semelhantes ao fornecer exemplos e explicações, o ChatGPT e o Gemini superaram o DeepSeek, especialmente na aplicação da metodologia socrática.

O essencial

Imagine que você tem três novos assistentes de estudo muito inteligentes, mas que nunca deram uma aula de verdade. Eles são como chefes de cozinha que leram milhões de receitas, mas nunca cozinhou para um cliente real. A pergunta que os autores deste estudo queriam responder era: "Será que esses robôs sabem ensinar de verdade, ou eles apenas respondem?"

Para descobrir, eles colocaram três "chefes" famosos (ChatGPT, Gemini e DeepSeek) para cozinhar uma lição de Culinária (neste caso, programação em C) para iniciantes. Eles testaram três receitas diferentes de ensino:

1. A Receita dos Exemplos: O professor mostra um prato pronto (um código simples) para o aluno entender o tempero, mas não dá a receita completa do prato final. O aluno tem que tentar fazer o seu próprio.
2. A Receita das Explicações e Analogias: O professor explica o conceito usando comparações do dia a dia (ex: "uma variável é como uma caixa de sapatos") para ajudar o aluno a entender.
3. O Método Socrático (O Mestre do "Por quê?"): O professor não dá a resposta. Ele faz perguntas, provoca o aluno, diz "tente de novo" se errar, e guia o aluno a descobrir a resposta sozinho, como um detetive.

O Grande Show de Talentos

Os pesquisadores usaram 6 juízes (que eram especialistas em programação, mas fingiam ser alunos iniciantes) para testar os robôs. Eles deram notas de 0 a 5 para ver quem era o melhor professor.

Aqui está o resumo do que aconteceu, com algumas analogias:

1. Os Exemplos e as Explicações (A "Cozinha Aberta")

Nessa parte, os robôs ChatGPT e Gemini foram muito parecidos. Eles sabiam mostrar exemplos e explicar coisas de forma clara.

• O Vencedor: O ChatGPT foi um pouco mais claro e direto, como um professor que sabe exatamente o que dizer.
• O Desafiante: O DeepSeek foi o mais problemático. Ele tendia a entregar a resposta pronta (o "prato completo") em vez de deixar o aluno cozinhar. É como se o aluno pedisse ajuda para cortar a cebola e o robô entregasse o bolo pronto. Isso não ajuda o aluno a aprender a cortar cebola!
• O Gemini: Foi muito bom em conectar o mundo abstrato (código) com coisas concretas do dia a dia, como um professor que usa metáforas brilhantes.

2. O Método Socrático (O "Detetive")

Aqui a coisa ficou mais interessante. O método Socrático é difícil para um robô, porque exige que ele pense: "O aluno errou, por que errou? Que pergunta eu faço para ele perceber o erro?"

• ChatGPT e Gemini: Eles agiram como mestres de xadrez. Fizeram perguntas inteligentes, não entregaram a resposta fácil e guiaram o aluno passo a passo. O ChatGPT foi o mais consistente.
• DeepSeek: Ele se perdeu um pouco. Às vezes, em vez de fazer uma pergunta para guiar o aluno, ele simplesmente dava a resposta ou fazia perguntas muito básicas e repetitivas, como um detetive que esquece de investigar e apenas lê o manual.

A Lição Principal (O Veredito)

Pense nos robôs como ferramentas de construção:

• ChatGPT e Gemini são como engenheiros experientes. Eles sabem que não podem apenas entregar a casa pronta; eles sabem como guiar o aprendiz a colocar os tijolos no lugar certo, usando exemplos, explicações claras e perguntas inteligentes.
• DeepSeek (neste estudo específico) agiu mais como um entregador de pizza. Ele é rápido e traz a resposta, mas não ensina o aluno a fazer a massa. Ele tende a "resolver o problema" em vez de "ensinar a resolver".

Por que isso importa?

O estudo mostra que, embora os robôs sejam incríveis em saber o que responder, eles ainda precisam ser bem instruídos (com os "prompts" certos) para saber como ensinar.

• Se você quer apenas a resposta, qualquer um serve.
• Se você quer aprender, o ChatGPT e o Gemini foram os melhores "tutores" neste teste, especialmente quando usados com o método de perguntas (Socrático).
• O DeepSeek precisa de um ajuste fino para não "pular a etapa" e entregar a resposta pronta, o que é ruim para o aprendizado de verdade.

Em resumo: A Inteligência Artificial pode ser um ótimo parceiro de ensino, mas ela precisa de um "professor humano" (ou um comando muito bem feito) para garantir que ela esteja ensinando a pescar, e não apenas entregando o peixe.

Resumo técnico

Resumo Técnico: Avaliação de Modelos de Linguagem Grande (LLMs) como Parceiros de Ensino

1. Problema e Contexto

A adoção rápida de Modelos de Linguagem Grande (LLMs) como ChatGPT, Gemini e DeepSeek no contexto educacional trouxe promessas de suporte personalizado ao aprendizado. No entanto, existe uma lacuna crítica na literatura: a maioria das avaliações foca na precisão factual ou em benchmarks gerais de conhecimento, ignorando a capacidade pedagógica desses modelos.

O problema central abordado é a incerteza sobre se os LLMs podem não apenas fornecer respostas corretas, mas sim adotar estratégias pedagógicas específicas (como exemplos, analogias e o método socrático) para facilitar a aprendizagem ativa, especialmente em cenários de ensino de programação para iniciantes. Há uma necessidade urgente de entender se essas ferramentas podem atuar como tutores eficazes, adaptando-se ao nível do aluno e evitando a entrega imediata de soluções, o que prejudicaria o processo de aprendizado.

2. Metodologia

O estudo empregou um protocolo de avaliação comparativa rigoroso, focado no ensino da linguagem de programação C para iniciantes.

• Modelos Avaliados:
  • ChatGPT (versão 4.1-mini)
  • Gemini (versão 2.5 flash)
  • DeepSeek (versão V3)
• Estratégias Pedagógicas Testadas:
  1. Exemplos: O modelo deve fornecer exemplos de código que ilustrem conceitos sem resolver o exercício completo imediatamente.
  2. Explicações e Analogias: O modelo deve explicar conceitos e utilizá-los com analogias concretas para conectar conhecimento prévio ao novo conteúdo.
  3. Método Socrático: O modelo deve guiar o aluno através de uma sequência de perguntas estruturadas (questionamento, hipótese, refutação/elencus, conclusão), sem dar respostas diretas.
• Protocolo Experimental:
  • Participantes: 6 juízes com conhecimento avançado em programação, simulando o papel de alunos iniciantes.
  • Tarefa: Os juízes interagiram com cada modelo em 25 exercícios de C (operadores, decisões, loops, arrays, funções).
  • Interação: Cada interação consistiu em 5 a 10 turnos. Os juízes simularam comportamentos de alunos (ex: "não sei responder", "resposta errada", "peça nova explicação").
  • Prompting: Utilizou-se a estratégia de "role prompting" (papel de professor otimista e encorajador) com instruções explícitas para não fornecer soluções prontas.
• Critérios de Avaliação:
  • Escala de 0 a 5 para critérios específicos de cada estratégia (ex: Relevância, Correção, Nível de Detalhe, Variedade, Conexões Abstrato-Concreto, Adaptação de Nível, Promoção de Pensamento Crítico).
  • Métrica binária crítica: O modelo forneceu uma solução imediata (comportamento indesejado)?
  • Percepção geral dos juízes (Satisfatório, Parcialmente Satisfatório, Insatisfatório).
• Análise Estatística:
  • Teste de Shapiro-Wilk (normalidade) indicou violação da normalidade.
  • Utilizou-se o teste Kruskal-Wallis para comparar os três modelos.
  • Para diferenças significativas, aplicou-se o teste Dunn com correção de Bonferroni.
  • Para variáveis categóricas (percepção e fornecimento de solução imediata), utilizou-se o teste Qui-quadrado.

3. Contribuições Principais

1. Protocolo de Avaliação Pedagógica: Desenvolvimento de um protocolo reprodutível que avalia LLMs não apenas pela precisão do código, mas pela qualidade da interação pedagógica e adaptação ao nível do aluno.
2. Análise Comparativa de Estratégias: Evidência empírica de como diferentes modelos se comportam sob estratégias pedagógicas distintas, destacando que a eficácia varia drasticamente dependendo da estratégia (ex: Socrático vs. Exemplos).
3. Identificação de Limitações Específicas: Revelação de que modelos tendem a generalizar estratégias (ex: dar explicações quando deveriam dar apenas exemplos) e a falhar na manutenção de diálogos socráticos longos sem fornecer respostas diretas.
4. Dados Públicos: Disponibilização de datasets, scripts e notebooks para reprodutibilidade, preenchendo uma lacuna na transparência de benchmarks educacionais de IA.

4. Resultados Chave

• Desempenho Geral:

  • ChatGPT e Gemini obtiveram pontuações consistentemente mais altas e foram classificados como "Satisfatórios" na percepção geral dos juízes.
  • DeepSeek obteve pontuações significativamente mais baixas em quase todos os critérios e foi classificado como "Parcialmente Satisfatório", com maior tendência a fornecer soluções imediatas indevidamente.

• Por Estratégia:

  • Exemplos: Todos os modelos tiveram desempenho similar em correção e detalhe. No entanto, o Gemini destacou-se na conexão entre conceitos abstratos e concretos. O DeepSeek teve menor desempenho em relevância. Todos os modelos falharam em fornecer "Variedade" de exemplos (pontuação mais baixa geral).
  • Explicações e Analogias: O ChatGPT superou os demais em clareza, foco em partes críticas e utilidade. O DeepSeek novamente teve desempenho inferior em adaptação ao nível do aluno. Todos os modelos tiveram dificuldade em conectar o conteúdo ao conhecimento prévio do aluno.
  • Método Socrático: Foi a estratégia onde as diferenças foram mais acentuadas.
    • ChatGPT e Gemini seguiram bem a estrutura de perguntas, promovendo pensamento crítico.
    • DeepSeek lutou para manter a linha de investigação, frequentemente fornecendo respostas diretas ou perdendo o foco do exercício (ex: começando com conceitos muito básicos demais).
    • O ChatGPT foi o único a não fornecer nenhuma solução imediata ("sim") em 100% dos casos, enquanto o DeepSeek falhou em 30% dos casos.

• Comportamento Indesejado (Solução Imediata):

  • O Gemini e o ChatGPT demonstraram maior disciplina em não entregar a resposta completa, mantendo-se no papel de tutor.
  • O DeepSeek mostrou a maior tendência a "quebrar o personagem" e entregar o código completo, violando o princípio pedagógico de scaffolding (andaime).

5. Significância e Conclusão

O estudo conclui que os LLMs têm potencial para atuar como parceiros de ensino, mas sua eficácia é altamente dependente da estratégia pedagógica escolhida e do modelo específico.

• Implicações Práticas: Educadores podem confiar no ChatGPT e no Gemini para simular tutores que guiam o aprendizado, especialmente usando o Método Socrático. O DeepSeek, na versão testada, requer ajustes mais finos no prompt ou supervisão humana mais próxima para evitar a entrega de soluções prontas.
• Desafios Identificados: Os modelos ainda têm dificuldade em variar exemplos, conectar-se ao conhecimento prévio do aluno e manter diálogos socráticos longos sem desviar do objetivo.
• Equidade e Acesso: O artigo destaca a importância de avaliar esses modelos em contextos de recursos limitados (AIED Unplugged), sugerindo que, embora os modelos atuais sejam eficazes, sua dependência de infraestrutura de nuvem pode exacerbar desigualdades digitais. O trabalho aponta para a necessidade futura de avaliar Modelos de Linguagem Pequenos (SLMs) locais para democratizar o acesso a tutores de IA.

Em suma, a pesquisa avança o campo da IA na Educação (AIED) ao mover o foco da "precisão da resposta" para a "qualidade da interação pedagógica", fornecendo uma base empírica para o uso responsável e eficaz de LLMs como ferramentas de ensino.