技術概要：プログラミング課題解決における ChatGPT と DeepSeek の対決

問題定義

大規模言語モデル（LLM）の急速な発展は、特に教育および職業開発の文脈において、AI 支援プログラミングツールの競争環境を創出しました。ChatGPT のようなモデルがコード生成の標準ツールとして確立される一方で、DeepSeek-R1 などの新たな挑戦者が登場し、大幅に低いトレーニングコストで論理的推論や演繹タスクにおいて同等のパフォーマンスを主張しています。しかし、競合プログラミングの分野において、ChatGPT o3-mini と DeepSeek-R1 という特定のモデルを比較する包括的な実証評価が不足したままです。本研究は、これらのモデルが人間の介入なしに、精度、実行効率、メモリ使用量、および異なる難易度（易、中、難）のタスクを処理する能力においてどのように異なるかという理解のギャップを埋めることを目的としています。

手法

本研究は、主要な競合プログラミングプラットフォームである Codeforces から提供された 29 のプログラミングタスクを用いた、統制された実験デザインを採用しました。タスクは、ユーザーの成功率と問題の複雑さに基づき、易、中、難の 3 つの難易度レベルに分類されました。

• 評価対象モデル: ChatGPT o3-mini および DeepSeek-R1。
• プログラミング言語: 競合プログラミングにおける普及度と高速なコンパイル速度を理由に、すべてのプロンプトで C++ が選択されました。
• 実行環境: 均一性を確保するため、生成されたすべてのコードは Codeforces 上の GNU G++20 13.2 (64-bit, winlib) コンパイラを用いてコンパイルおよびテストされました。
• プロンプト戦略: 一貫したゼロショットプロンプトが使用されました：「以下の質問を解き、g++ 20 でコンパイル可能な C++ コードを返してください。メモリ制限と時間制限に注意してください。」これに、具体的な問題文と入力/出力例が続きます。
• 評価指標:
  • 承認率: Codeforces のフィードバック（Accepted 対 Wrong Answer、Time Limit Exceeded、Memory Limit Exceeded、Compilation Error）によって決定されました。
  • リソース効率: メモリ使用量（KB）と実行時間（ms）を通じて測定されました。
  • 重み付けスコア: 各モデルの重み付けスコア（$S$）を計算するために独自の式が適用され、承認（$X$）、難易度（$D$）、および実行時間（$\alpha$）とメモリ使用量（$\beta$）に対するペナルティをバランスさせました。両方のペナルティ因子は、均等な重み付けを確保するために 0.5 に設定されました。

主要な結果

本研究は、難易度レベルを超えて 2 つのモデル間で明確なパフォーマンスの差異をもたらしました：

1. 解の精度

• 易しいタスク: 両モデルは同様に機能し、ChatGPT は 100% の承認率を達成し、DeepSeek は 88.8% を達成しました。
• 中程度のタスク: 大きな乖離が発生しました。ChatGPT は 54.5%（11 課題中 6 課題）の成功率を達成したのに対し、DeepSeek は 18.1%（11 課題中 2 課題）の成功率にとどまり、苦戦しました。
• 難しいタスク: 両モデルは大きな課題に直面しました。ChatGPT は 11.1% の成功率（9 課題中 1 課題）を達成しましたが、DeepSeek は 0% の成功率でした。

2. リソース消費（メモリと時間）

• 実行時間: ChatGPT は一般的に DeepSeek よりも短い実行時間を示しました。DeepSeek は、ある難しいタスク（質問 21）において実行時間の著しい外れ値を示し、4000 ms を超えました。
• メモリ使用量: ChatGPT は中程度のタスクにおいて、DeepSeek（平均約 1650 KB）と比較して高いメモリ消費（平均約 3250 KB）を示しました。しかし、DeepSeek の低いメモリ使用量は高い正確性と相関していませんでした。これは、DeepSeek が頻繁に「Wrong Answer」および「Compilation Error」の状態に陥ったためです。対照的に、中程度のタスクにおける ChatGPT の高いリソース使用量は、より高い重み付けスコアと一致していました。
• 失敗モード: DeepSeek は、特に難しいタスクにおいて、コンパイルエラーとメモリ制限超過のために頻繁に失敗しました。ChatGPT の失敗は、より頻繁に「Wrong Answer」または「Time Limit Exceeded」に起因していました。

3. 重み付けスコア

重み付けスコアリング式に基づくと：

• ChatGPT: 中程度のタスクで最も高い重み付けスコア（11.64）を達成し、次いで易（8.86）、難（2.95）となりました。
• DeepSeek: 易しいタスクで最高スコア（7.87）を達成しましたが、中程度のタスクで大幅に低下し（3.72）、難しいタスクでは 0 点でした。

主要な貢献

本研究は、競合プログラミングの環境における ChatGPT o3-mini と DeepSeek-R1 の定量的比較を提供し、以下の示唆を与えます：

1. パフォーマンスの格差: 両モデルとも単純な問題を解決する能力を持っているが、ChatGPT o3-mini は中程度の複雑さを持つ論理的およびアルゴリズム的タスクにおいて DeepSeek-R1 を大幅に凌駕していることが特定されました。
2. 複雑さの閾値: この研究は、現在の LLM がアーキテクチャに関わらず、高複雑さ（難しい）のプログラミング問題に苦戦する重要な閾値を浮き彫りにしています。成功率は DeepSeek ではほぼゼロ、ChatGPT でも一桁台まで低下します。
3. 効率性と正確性のトレードオフ: データは、低いメモリ消費（DeepSeek で観察された）が必ずしも優れたコードの品質や正確性を意味しないことを示唆しています。DeepSeek の解は、リソースフットプリントが低いにもかかわらず、非効率的または論理的に欠陥のあるものであったためです。

意義と主張

著者らは、これらの知見が AI 駆動型プログラミングツールの発展を目指す開発者および研究者にとって貴重な洞察を提供すると主張しています。具体的には：

• ツール選択: 中程度の難易度のコーディングタスクにおいて、ChatGPT o3-mini は現在、正確で実行可能なコードを生成する上で DeepSeek-R1 よりも信頼性の高い選択肢です。
• 教育的含意: 結果は、LLM が単純なタスクにおける初心者学習には効果的であるが、複雑なアルゴリズム的問題に対しては人間の専門知識をまだ代替できないことを示唆しています。本研究は、中程度および難しいタスクにはゼロショットプロンプトでは不十分であり、高度なプロンプト技術または人間の介入が必要であることを示唆しています。
• 今後の方向性: 論文は、難しいタスクでのパフォーマンス不足が、高複雑さの推論を処理するための LLM アーキテクチャのさらなる最適化の必要性を示していることに言及しています。また、今後の研究は、マルチショットプロンプト、異なるプログラミング言語（例：Python）、および専門的なコーディングモデル（例：DeepSeek-Coder）を探求し、これらの AI ツールの潜在能力をよりよく理解すべきであると提案しています。

本研究は、LLM がプログラミング教育および開発を変革しつつある一方で、複雑な競合プログラミング問題に対する自律的で高精度な解決策を実現するには依然として重大な課題が残っているという、控えめな評価で締めくくられます。