Resumen Técnico: Un Enfrentamiento entre ChatGPT y DeepSeek en la Resolución de Tareas de Programación

Enunciado del Problema

El avance rápido de los Modelos de Lenguaje Grande (LLM) ha creado un panorama competitivo para las herramientas de programación asistida por IA, particularmente en contextos de desarrollo educativo y profesional. Mientras que modelos como ChatGPT se han establecido como herramientas estándar para la generación de código, nuevos contendientes como DeepSeek-R1 han surgido, reclamando un rendimiento comparable en tareas de razonamiento lógico y deductivo con costos de entrenamiento significativamente menores. Sin embargo, persiste una falta de evaluaciones empíricas integrales que comparen estos modelos específicos—ChatGPT o3-mini y DeepSeek-R1—específicamente dentro del dominio de la programación competitiva. Este estudio aborda la brecha en la comprensión de cómo difieren estos modelos en precisión, eficiencia de ejecución, uso de memoria y su capacidad para manejar tareas de complejidad variable (fácil, media y difícil) sin intervención humana.

Metodología

El estudio empleó un diseño experimental controlado utilizando 29 tareas de programación obtenidas de Codeforces, una plataforma líder de programación competitiva. Las tareas se categorizaron en tres niveles de dificultad: fácil, media y difícil, basándose en las tasas de éxito de los usuarios y la complejidad del problema.

• Modelos Evaluados: ChatGPT o3-mini y DeepSeek-R1.
• Lenguaje de Programación: Se seleccionó C++ para todos los prompts debido a su prevalencia en la programación competitiva y su rápida velocidad de compilación.
• Entorno de Ejecución: Para garantizar la uniformidad, todo el código generado se compiló y probó utilizando el compilador GNU G++20 13.2 (64 bits, winlib) en Codeforces.
• Estrategia de Prompting: Se utilizó un prompt consistente de cero disparos (zero-shot): "Resuelve la siguiente pregunta y devuelve código C++ que sea compilable por g++ 20. Presta atención a los límites de memoria y tiempo," seguido de la declaración específica del problema y ejemplos de entrada/salida.
• Métricas de Evaluación:
  • Tasa de Aceptación: Determinada por la retroalimentación de Codeforces (Aceptado vs. Respuesta Incorrecta, Tiempo Límite Excedido, Límite de Memoria Excedido, Error de Compilación).
  • Eficiencia de Recursos: Medida a través del uso de memoria (KB) y el tiempo de ejecución (ms).
  • Puntuación Ponderada: Se aplicó una fórmula personalizada para calcular una puntuación ponderada ($S$) para cada modelo, equilibrando la aceptación ($X$), la dificultad ($D$) y las penalizaciones por tiempo de ejecución ($\alpha$) y uso de memoria ($\beta$). Ambos factores de penalización se establecieron en 0.5 para asegurar una ponderación igual.

Resultados Clave

El estudio arrojó diferencias de rendimiento distintas entre los dos modelos a través de los niveles de dificultad:

1. Precisión de la Solución

• Tareas Fáciles: Ambos modelos se desempeñaron de manera similar, con ChatGPT logrando una tasa de aceptación del 100% y DeepSeek alcanzando el 88.8%.
• Tareas Medias: Ocurrió una divergencia significativa. ChatGPT logró una tasa de éxito del 54.5% (6 de 11 tareas), mientras que DeepSeek luchó con solo una tasa de éxito del 18.1% (2 de 11 tareas).
• Tareas Difíciles: Ambos modelos enfrentaron desafíos sustanciales. ChatGPT logró una tasa de éxito del 11.1% (1 de 9 tareas), mientras que DeepSeek alcanzó una tasa de éxito del 0%.

2. Consumo de Recursos (Memoria y Tiempo)

• Tiempo de Ejecución: ChatGPT generalmente demostró tiempos de ejecución más cortos en comparación con DeepSeek. DeepSeek exhibió un valor atípico significativo en el tiempo de ejecución para una tarea difícil (Pregunta 21), excediendo los 4000 ms.
• Uso de Memoria: ChatGPT mostró un mayor consumo de memoria en tareas de nivel medio (media ~3250 KB) en comparación con DeepSeek (media ~1650 KB). Sin embargo, el menor uso de memoria de DeepSeek no se correlacionó con una mayor corrección; frecuentemente encontró estados de "Respuesta Incorrecta" y "Error de Compilación". Por el contrario, el mayor uso de recursos de ChatGPT en tareas medias coincidió con sus puntuaciones ponderadas más altas.
• Modos de Fallo: DeepSeek falló frecuentemente debido a errores de compilación y excedimientos de límite de memoria, particularmente en tareas difíciles. Los fallos de ChatGPT se atribuyeron más a menudo a "Respuesta Incorrecta" o "Tiempo Límite Excedido".

3. Puntuaciones Ponderadas

Basado en la fórmula de puntuación ponderada:

• ChatGPT: Logró la puntuación ponderada más alta en tareas medias (11.64), seguida de fácil (8.86) y difícil (2.95).
• DeepSeek: Logró su puntuación más alta en tareas fáciles (7.87), cayó significativamente en tareas medias (3.72) y obtuvo 0 en tareas difíciles.

Contribuciones Clave

Este estudio proporciona una comparación cuantitativa de ChatGPT o3-mini y DeepSeek-R1 en un entorno de programación competitiva, ofreciendo las siguientes perspectivas:

1. Disparidad de Rendimiento: Identifica que, aunque ambos modelos son capaces de resolver problemas sencillos, ChatGPT o3-mini supera significativamente a DeepSeek-R1 en tareas lógicas y algorítmicas de complejidad media.
2. Umbral de Complejidad: La investigación destaca un umbral crítico donde los LLM actuales, independientemente de su arquitectura, luchan con problemas de programación de alta complejidad (difíciles), con tasas de éxito que caen a casi cero para DeepSeek y a un dígito para ChatGPT.
3. Compensación entre Eficiencia y Corrección: Los datos sugieren que un menor consumo de memoria (observado en DeepSeek) no equivale necesariamente a una mejor calidad o corrección del código, ya que las soluciones de DeepSeek a menudo fueron ineficientes o lógicamente defectuosas a pesar de tener menores huellas de recursos.

Significado y Afirmaciones

Los autores afirman que estos hallazgos ofrecen perspectivas valiosas para desarrolladores e investigadores que buscan avanzar en herramientas de programación impulsadas por IA. Específicamente:

• Selección de Herramientas: Para tareas de codificación de dificultad media, ChatGPT o3-mini actualmente presenta una opción más confiable que DeepSeek-R1 para generar código correcto y ejecutable.
• Implicaciones Educativas: Los resultados sugieren que, aunque los LLM son efectivos para el aprendizaje de novatos en tareas simples, aún no pueden reemplazar la experiencia humana en problemas algorítmicos complejos. El estudio implica que el prompting de cero disparos es insuficiente para tareas medias y difíciles, haciendo necesarias técnicas de prompting avanzadas o intervención humana.
• Direcciones Futuras: El artículo señala que el bajo rendimiento en tareas difíciles indica la necesidad de una mayor optimización de las arquitecturas de LLM para manejar el razonamiento de alta complejidad. También sugiere que la investigación futura debería explorar el prompting de múltiples disparos, diferentes lenguajes de programación (por ejemplo, Python) y modelos de codificación especializados (por ejemplo, DeepSeek-Coder) para comprender mejor el potencial completo de estas herramientas de IA.

El estudio concluye con una evaluación modesta: aunque los LLM están transformando la educación y el desarrollo de programación, persisten desafíos significativos para lograr soluciones autónomas y de alta precisión para problemas complejos de programación competitiva.