기술 요약: 프로그래밍 과제 해결을 위한 ChatGPT 대 DeepSeek의 대결

문제 제기

대형 언어 모델 (LLM) 의 급속한 발전은 교육 및 전문 개발 맥락에서 특히 AI 지원 프로그래밍 도구를 위한 경쟁 구도를 조성했습니다. ChatGPT 와 같은 모델이 코드 생성의 표준 도구로 자리 잡은 반면, DeepSeek-R1 과 같은 새로운 도전자들이 등장하여 논리적 추론 및 추론 과제에서 비교 가능한 성능을 보이며 훈련 비용을 대폭 절감했다고 주장합니다. 그러나 ChatGPT o3-mini 와 DeepSeek-R1 이라는 특정 모델들을 경쟁 프로그래밍 영역 내에서 정확성, 실행 효율성, 메모리 사용량, 그리고 인간의 개입 없이 다양한 난이도 (쉬움, 보통, 어려움) 의 과제를 처리하는 능력 측면에서 비교하는 포괄적이고 실증적인 평가는 여전히 부재합니다. 본 연구는 이러한 모델들이 정확성, 실행 효율성, 메모리 사용량, 그리고 인간의 개입 없이 다양한 난이도 (쉬움, 보통, 어려움) 의 과제를 처리하는 능력 측면에서 어떻게 다른지에 대한 이해의 공백을 해소합니다.

방법론

본 연구는 선도적인 경쟁 프로그래밍 플랫폼인 Codeforces 에서 제공된 29 개의 프로그래밍 과제를 활용한 통제된 실험 설계를 사용했습니다. 과제는 사용자 성공률과 문제 복잡도에 기반하여 쉬움, 보통, 어려움의 세 가지 난이도 수준으로 분류되었습니다.

• 평가된 모델: ChatGPT o3-mini 및 DeepSeek-R1.
• 프로그래밍 언어: 경쟁 프로그래밍에서의 보편성과 빠른 컴파일 속도를 고려하여 모든 프롬프트에 C++ 를 선택했습니다.
• 실행 환경: 균일성을 보장하기 위해 생성된 모든 코드는 Codeforces 에서 GNU G++20 13.2(64 비트, winlib) 컴파일러를 사용하여 컴파일 및 테스트되었습니다.
• 프롬프팅 전략: 일관된 제로샷 (zero-shot) 프롬프트를 사용했습니다: "다음 질문을 해결하고 g++ 20 으로 컴파일 가능한 C++ 코드를 반환하세요. 메모리 및 시간 제한에 유의하세요." 그 뒤로 구체적인 문제 진술과 입력/출력 예시가 따랐습니다.
• 평가 지표:
  • 수용률 (Acceptance Rate): Codeforces 피드백 (Accepted vs. Wrong Answer, Time Limit Exceeded, Memory Limit Exceeded, Compilation Error) 에 의해 결정됨.
  • 자원 효율성: 메모리 사용량 (KB) 및 실행 시간 (ms) 을 통해 측정됨.
  • 가중 점수: 수용도 ($X$), 난이도 ($D$), 실행 시간 ($\alpha$) 및 메모리 사용량 ($\beta$) 에 대한 페널티를 균형 있게 고려하여 각 모델에 대한 가중 점수 ($S$) 를 계산하기 위해 맞춤형 공식을 적용했습니다. 두 페널티 인자는 모두 동등한 가중치를 보장하기 위해 0.5 로 설정되었습니다.

주요 결과

연구는 난이도 수준에 따라 두 모델 간에 뚜렷한 성능 차이를 보여주었습니다:

1. 솔루션 정확도

• 쉬운 과제: 두 모델 모두 유사하게 수행되었으며, ChatGPT 는 100% 수용률을 달성했고 DeepSeek 은 88.8% 를 달성했습니다.
• 보통 과제: 큰 차이가 발생했습니다. ChatGPT 는 11 개 과제 중 6 개로 **54.5%**의 성공률을 보인 반면, DeepSeek 은 11 개 과제 중 2 개로 **18.1%**의 성공률에 그쳤습니다.
• 어려운 과제: 두 모델 모두 상당한 도전에 직면했습니다. ChatGPT 는 9 개 과제 중 1 개로 11.1% 의 성공률을 기록한 반면, DeepSeek 은 **0%**의 성공률을 보였습니다.

2. 자원 소비 (메모리 및 시간)

• 실행 시간: ChatGPT 는 일반적으로 DeepSeek 에 비해 더 짧은 실행 시간을 보여주었습니다. DeepSeek 은 한 개의 어려운 과제 (질문 21) 에서 4000ms 를 초과하는 실행 시간의 유의미한 이상치를 보였습니다.
• 메모리 사용량: ChatGPT 는 보통 난이도 과제에서 평균 약 3250KB 로 DeepSeek(평균 약 1650KB) 보다 높은 메모리 소비를 보였습니다. 그러나 DeepSeek 의 낮은 메모리 사용량이 더 높은 정확도와 상관관계가 있는 것은 아니었습니다. DeepSeek 은 빈번히 '오답 (Wrong Answer)' 및 '컴파일 오류 (Compilation Error)' 상태를 겪었습니다. 반면, ChatGPT 의 보통 과제에서의 높은 자원 사용량은 더 높은 가중 점수와 일치했습니다.
• 실패 모드: DeepSeek 은 특히 어려운 과제에서 컴파일 오류 및 메모리 제한 초과로 인해 빈번히 실패했습니다. ChatGPT 의 실패는 더 자주 '오답' 또는 '시간 제한 초과'로 귀결되었습니다.

3. 가중 점수

가중 점수 공식을 기반으로:

• ChatGPT: 보통 과제에서 가장 높은 가중 점수 (11.64) 를 달성했으며, 이어 쉬움 (8.86) 과 어려움 (2.95) 순이었습니다.
• DeepSeek: 쉬운 과제에서 가장 높은 점수 (7.87) 를 달성했으나, 보통 과제에서는 크게 하락하여 3.72 를 기록했고, 어려운 과제에서는 0 점을 받았습니다.

주요 기여

본 연구는 경쟁 프로그래밍 환경에서 ChatGPT o3-mini 와 DeepSeek-R1 의 정량적 비교를 제공하며, 다음과 같은 통찰을 제시합니다:

1. 성능 격차: 두 모델 모두 단순한 문제를 해결할 수 있지만, ChatGPT o3-mini 는 보통 복잡도의 논리적 및 알고리즘적 과제에서 DeepSeek-R1 보다 현저히 우수함을 확인했습니다.
2. 복잡도 임계값: 이 연구는 현재 LLM 이 아키텍처와 관계없이 고복잡도 (어려움) 프로그래밍 문제에서 어려움을 겪는 임계점을 강조합니다. DeepSeek 의 성공률은 거의 0 에 수렴하고 ChatGPT 는 한 자릿수로 떨어집니다.
3. 효율성 대 정확성 트레이드오프: 데이터는 낮은 메모리 소비 (DeepSeek 에서 관찰됨) 가 반드시 더 나은 코드 품질이나 정확성을 의미하지는 않음을 시사합니다. DeepSeek 의 솔루션은 낮은 자원 사용량에도 불구하고 종종 비효율적이거나 논리적 결함이 있었습니다.

중요성 및 주장

저자들은 이러한 발견이 AI 기반 프로그래밍 도구를 발전시키려는 개발자와 연구자에게 가치 있는 통찰을 제공한다고 주장합니다. 구체적으로:

• 도구 선택: 보통 난이도의 코딩 과제의 경우, ChatGPT o3-mini 는 현재 정확하고 실행 가능한 코드를 생성하는 데 있어 DeepSeek-R1 보다 더 신뢰할 수 있는 옵션입니다.
• 교육적 함의: 결과는 LLM 이 간단한 과제에 대한 초보 학습에는 효과적이지만, 복잡한 알고리즘 문제에서는 아직 인간의 전문성을 대체할 수 없음을 시사합니다. 본 연구는 보통 및 어려운 과제의 경우 제로샷 프롬프팅만으로는 부족하며 고급 프롬프팅 기법이나 인간의 개입이 필요함을 내포합니다.
• 미래 방향: 논문은 어려운 과제에서의 저조한 성능이 고복잡도 추론을 처리하기 위한 LLM 아키텍처의 추가 최적화가 필요함을 나타낸다고 지적합니다. 또한 향후 연구는 멀티샷 프롬프팅, 다른 프로그래밍 언어 (예: Python), 그리고 전문 코딩 모델 (예: DeepSeek-Coder) 을 탐구하여 이러한 AI 도구의 잠재력을 더 잘 이해해야 한다고 제안합니다.

본 연구는 겸손한 평가로 마무리됩니다: LLM 이 프로그래밍 교육과 개발을 변화시키고 있지만, 복잡한 경쟁 프로그래밍 문제에 대한 자율적이고 고정밀 솔루션을 달성하는 데에는 여전히 상당한 과제가 남아 있습니다.