Resumo Técnico: Um Confronto entre ChatGPT e DeepSeek na Resolução de Tarefas de Programação

Declaração do Problema

O avanço rápido dos Modelos de Linguagem de Grande Escala (LLMs) criou um cenário competitivo para ferramentas de programação assistida por IA, particularmente em contextos de desenvolvimento educacional e profissional. Embora modelos como o ChatGPT se tenham estabelecido como ferramentas padrão para geração de código, novos concorrentes como o DeepSeek-R1 emergiram, reivindicando desempenho comparável em tarefas de raciocínio lógico e dedutivo com custos de treinamento significativamente menores. No entanto, persiste uma falta de avaliações empíricas abrangentes que comparem estes modelos específicos — ChatGPT o3-mini e DeepSeek-R1 — especificamente no domínio da programação competitiva. Este estudo aborda a lacuna na compreensão de como estes modelos diferem em precisão, eficiência de execução, uso de memória e na sua capacidade de lidar com tarefas de complexidade variável (fácil, médio e difícil) sem intervenção humana.

Metodologia

O estudo empregou um desenho experimental controlado utilizando 29 tarefas de programação provenientes do Codeforces, uma plataforma líder de programação competitiva. As tarefas foram categorizadas em três níveis de dificuldade: fácil, médio e difícil, com base nas taxas de sucesso dos utilizadores e na complexidade dos problemas.

• Modelos Avaliados: ChatGPT o3-mini e DeepSeek-R1.
• Linguagem de Programação: C++ foi selecionado para todos os prompts devido à sua prevalência na programação competitiva e à velocidade rápida de compilação.
• Ambiente de Execução: Para garantir uniformidade, todo o código gerado foi compilado e testado utilizando o compilador GNU G++20 13.2 (64-bit, winlib) no Codeforces.
• Estratégia de Prompting: Um prompt zero-shot consistente foi utilizado: "Resolva a seguinte questão e retorne código C++, que seja compilável pelo g++ 20. Preste atenção aos limites de memória e tempo," seguido da declaração específica do problema e exemplos de entrada/saída.
• Métricas de Avaliação:
  • Taxa de Aceitação: Determinada pelo feedback do Codeforces (Aceito vs. Resposta Errada, Limite de Tempo Excedido, Limite de Memória Excedido, Erro de Compilação).
  • Eficiência de Recursos: Medida através do uso de memória (KB) e tempo de execução (ms).
  • Pontuação Ponderada: Uma fórmula personalizada foi aplicada para calcular uma pontuação ponderada ($S$) para cada modelo, equilibrando a aceitação ($X$), a dificuldade ($D$) e penalidades para o tempo de execução ($\alpha$) e uso de memória ($\beta$). Ambos os fatores de penalidade foram definidos como 0,5 para garantir ponderação igual.

Resultados Principais

O estudo produziu diferenças distintas de desempenho entre os dois modelos através dos níveis de dificuldade:

1. Precisão da Solução

• Tarefas Fáceis: Ambos os modelos performaram de forma semelhante, com o ChatGPT a alcançar uma taxa de aceitação de 100% e o DeepSeek a alcançar 88,8%.
• Tarefas Médias: Ocorreu uma divergência significativa. O ChatGPT alcançou uma taxa de sucesso de 54,5% (6 de 11 tarefas), enquanto o DeepSeek lutou com apenas uma taxa de sucesso de 18,1% (2 de 11 tarefas).
• Tarefas Difíceis: Ambos os modelos enfrentaram desafios substanciais. O ChatGPT conseguiu uma taxa de sucesso de 11,1% (1 de 9 tarefas), enquanto o DeepSeek alcançou uma taxa de sucesso de 0%.

2. Consumo de Recursos (Memória e Tempo)

• Tempo de Execução: O ChatGPT geralmente demonstrou tempos de execução mais curtos em comparação com o DeepSeek. O DeepSeek exibiu um outlier significativo no tempo de execução para uma tarefa difícil (Questão 21), excedendo 4000 ms.
• Uso de Memória: O ChatGPT mostrou maior consumo de memória em tarefas de nível médio (média ~3250 KB) em comparação com o DeepSeek (média ~1650 KB). No entanto, o menor uso de memória do DeepSeek não se correlacionou com maior correção; ele encontrou frequentemente estados de "Resposta Errada" e "Erro de Compilação". Por outro lado, o maior uso de recursos do ChatGPT em tarefas médias coincidiu com as suas pontuações ponderadas mais altas.
• Modos de Falha: O DeepSeek falhou frequentemente devido a erros de compilação e excedimentos de limite de memória, particularmente em tarefas difíceis. As falhas do ChatGPT foram mais frequentemente atribuídas a "Resposta Errada" ou "Limite de Tempo Excedido".

3. Pontuações Ponderadas

Com base na fórmula de pontuação ponderada:

• ChatGPT: Alcançou a pontuação ponderada mais alta em tarefas médias (11,64), seguida por fácil (8,86) e difícil (2,95).
• DeepSeek: Alcançou a sua pontuação mais alta em tarefas fáceis (7,87), caiu significativamente em tarefas médias (3,72) e pontuou 0 em tarefas difíceis.

Contribuições Principais

Este estudo fornece uma comparação quantitativa entre o ChatGPT o3-mini e o DeepSeek-R1 num cenário de programação competitiva, oferecendo os seguintes insights:

1. Disparidade de Desempenho: Identifica que, embora ambos os modelos sejam capazes de resolver problemas diretos, o ChatGPT o3-mini supera significativamente o DeepSeek-R1 em tarefas lógicas e algorítmicas de complexidade média.
2. Limiar de Complexidade: A pesquisa destaca um limiar crítico onde os LLMs atuais, independentemente da arquitetura, lutam com problemas de programação de alta complexidade (difíceis), com taxas de sucesso a cair para perto de zero para o DeepSeek e para dígitos únicos para o ChatGPT.
3. Compensação entre Eficiência e Correção: Os dados sugerem que um menor consumo de memória (observado no DeepSeek) não equivale necessariamente a melhor qualidade de código ou correção, uma vez que as soluções do DeepSeek foram frequentemente ineficientes ou logicamente falhas, apesar de menores pegadas de recursos.

Significado e Reivindicações

Os autores afirmam que estas descobertas oferecem insights valiosos para desenvolvedores e investigadores que visam avançar ferramentas de programação impulsionadas por IA. Especificamente:

• Seleção de Ferramentas: Para tarefas de codificação de dificuldade média, o ChatGPT o3-mini apresenta atualmente uma opção mais fiável do que o DeepSeek-R1 para gerar código correto e executável.
• Implicações Educacionais: Os resultados sugerem que, embora os LLMs sejam eficazes para o aprendizado de iniciantes em tarefas simples, eles ainda não podem substituir a expertise humana para problemas algorítmicos complexos. O estudo implica que o prompting zero-shot é insuficiente para tarefas médias e difíceis, necessitando de técnicas de prompting avançadas ou intervenção humana.
• Direções Futuras: O artigo nota que o mau desempenho em tarefas difíceis indica a necessidade de otimização adicional das arquiteturas de LLM para lidar com raciocínio de alta complexidade. Também sugere que a investigação futura deve explorar o prompting multi-shot, diferentes linguagens de programação (por exemplo, Python) e modelos de codificação especializados (por exemplo, DeepSeek-Coder) para compreender melhor o potencial total destas ferramentas de IA.

O estudo conclui com uma avaliação modesta: embora os LLMs estejam a transformar a educação e o desenvolvimento de programação, desafios significativos permanecem na obtenção de soluções autônomas e de alta precisão para problemas complexos de programação competitiva.