Technische Samenvatting: Een Showdown van ChatGPT versus DeepSeek bij het Oplossen van Programmeertaken

Probleemstelling

De snelle vooruitgang van Large Language Models (LLM's) heeft een competitief landschap gecreëerd voor AI-ondersteunde programmeertools, met name in educatieve en professionele ontwikkelingscontexten. Hoewel modellen zoals ChatGPT zich hebben gevestigd als standaardtools voor codegeneratie, zijn nieuwe uitdagers zoals DeepSeek-R1 opgedoken, die vergelijkbare prestaties claimen in logisch redeneren en deductieve taken met aanzienlijk lagere trainingskosten. Er blijft echter een gebrek aan uitgebreide, empirische evaluaties die deze specifieke modellen—ChatGPT o3-mini en DeepSeek-R1—vergelijken, specifiek binnen het domein van competitief programmeren. Deze studie adresseert het gat in het begrip van hoe deze modellen verschillen in nauwkeurigheid, uitvoeringsefficiëntie, geheugengebruik en hun vermogen om taken van variërende complexiteit (makkelijk, gemiddeld en moeilijk) zonder menselijke tussenkomst te hanteren.

Methodologie

De studie hanteerde een gecontroleerd experimenteel ontwerp met 29 programmeertaken afkomstig van Codeforces, een toonaangevend platform voor competitief programmeren. De taken werden gecategoriseerd in drie moeilijkheidsgraden: makkelijk, gemiddeld en moeilijk, gebaseerd op gebruikerssuccespercentages en probleemcomplexiteit.

• Geëvalueerde Modellen: ChatGPT o3-mini en DeepSeek-R1.
• Programmeertaal: C++ werd geselecteerd voor alle prompts vanwege de prevalentie in competitief programmeren en de snelle compilatiesnelheid.
• Uitvoeringsomgeving: Om uniformiteit te waarborgen, werd alle gegenereerde code gecompileerd en getest met de GNU G++20 13.2 (64-bit, winlib) compiler op Codeforces.
• Prompt-strategie: Een consistente zero-shot prompt werd gebruikt: "Beantwoord de volgende vraag en retourneer C++-code die compileerbaar is met g++ 20. Let op geheugen- en tijdslimieten," gevolgd door de specifieke probleemstelling en voorbeelden van invoer/uitvoer.
• Evaluatiemetrics:
  • Acceptatiepercentage: Bepaald door Codeforces-feedback (Geaccepteerd versus Fout antwoord, Tijdslimiet overschreden, Geheugenlimiet overschreden, Compilatiefout).
  • Ressourcenefficiëntie: Gemeten via geheugengebruik (KB) en uitvoeringstijd (ms).
  • Gewogen Score: Een aangepaste formule werd toegepast om een gewogen score ($S$) te berekenen voor elk model, waarbij acceptatie ($X$), moeilijkheid ($D$) en straffen voor uitvoeringstijd ($\alpha$) en geheugengebruik ($\beta$) in evenwicht werden gebracht. Beide straffactoren werden ingesteld op 0,5 om gelijke weging te waarborgen.

Belangrijkste Resultaten

De studie leverde duidelijke prestatieverschillen op tussen de twee modellen over de verschillende moeilijkheidsgraden:

1. Oplossingsnauwkeurigheid

• Makkelijke Taken: Beide modellen presteerden vergelijkbaar, waarbij ChatGPT een acceptatiepercentage van 100% behaalde en DeepSeek 88,8%.
• Gemiddelde Taken: Er trad een significante divergentie op. ChatGPT behaalde een 54,5% succespercentage (6 van de 11 taken), terwijl DeepSeek worstelde met slechts een 18,1% succespercentage (2 van de 11 taken).
• Moeilijke Taken: Beide modellen stonden voor aanzienlijke uitdagingen. ChatGPT haalde een succespercentage van 11,1% (1 van de 9 taken), terwijl DeepSeek een 0% succespercentage behaalde.

2. Resourceverbruik (Geheugen en Tijd)

• Uitvoeringstijd: ChatGPT vertoonde over het algemeen kortere uitvoeringstijden in vergelijking met DeepSeek. DeepSeek vertoonde een significante uitschieter in uitvoeringstijd voor één moeilijke taak (Vraag 21), die de 4000 ms overschreed.
• Geheugengebruik: ChatGPT vertoonde een hoger geheugengebruik bij taken van gemiddeld niveau (gemiddeld ~3250 KB) in vergelijking met DeepSeek (gemiddeld ~1650 KB). Het lagere geheugengebruik van DeepSeek correleerde echter niet met een hogere correctheid; het kwam vaak "Fout antwoord" en "Compilatiefout"-toestanden tegen. Omgekeerd viel het hogere resourceverbruik van ChatGPT bij taken van gemiddeld niveau samen met zijn hogere gewogen scores.
• Foutpatronen: DeepSeek faalde vaak door compilatiefouten en het overschrijden van geheugenlimieten, met name bij moeilijke taken. De fouten van ChatGPT werden vaker toegeschreven aan "Fout antwoord" of "Tijdslimiet overschreden".

3. Gewogen Scores

Op basis van de formule voor gewogen scores:

• ChatGPT: Behaalde de hoogste gewogen score bij taken van gemiddeld niveau (11,64), gevolgd door makkelijk (8,86) en moeilijk (2,95).
• DeepSeek: Behaalde zijn hoogste score bij makkelijke taken (7,87), daalde significant bij taken van gemiddeld niveau (3,72) en scoorde 0 bij moeilijke taken.

Belangrijkste Bijdragen

Deze studie biedt een kwantitatieve vergelijking van ChatGPT o3-mini en DeepSeek-R1 in een setting voor competitief programmeren, met de volgende inzichten:

1. Prestatieverschil: Het identificeert dat hoewel beide modellen in staat zijn om rechttoe-rechtaan problemen op te lossen, ChatGPT o3-mini DeepSeek-R1 significant overtreft bij logische en algoritmische taken van gemiddelde complexiteit.
2. Complexiteitsdrempel: Het onderzoek benadrukt een kritieke drempel waarbij huidige LLM's, ongeacht de architectuur, worstelen met programmeerproblemen van hoge complexiteit (moeilijk), met succespercentages die dalen tot bijna nul voor DeepSeek en eencijferige aantallen voor ChatGPT.
3. Trade-off tussen Efficiëntie en Correctheid: De data suggereert dat een lager geheugengebruik (waargenomen bij DeepSeek) niet noodzakelijk gelijkstaat aan betere codekwaliteit of correctheid, aangezien de oplossingen van DeepSeek vaak inefficiënt of logisch gebrekkig waren ondanks een kleiner resourceverbruik.

Betekenis en Claims

De auteurs beweren dat deze bevindingen waardevolle inzichten bieden voor ontwikkelaars en onderzoekers die AI-gedreven programmeertools willen verbeteren. Specifiek:

• Toolselectie: Voor programmeertaken van gemiddelde moeilijkheidsgraad presenteert ChatGPT o3-mini momenteel een betrouwbaardere optie dan DeepSeek-R1 voor het genereren van correcte, uitvoerbare code.
• Educatieve Implicaties: De resultaten suggereren dat LLM's weliswaar effectief zijn voor beginnersleren bij eenvoudige taken, maar nog niet het menselijke expertise kunnen vervangen voor complexe algoritmische problemen. De studie impliceert dat zero-shot prompting ontoereikend is voor taken van gemiddelde en hoge moeilijkheidsgraad, waardoor geavanceerde prompttechnieken of menselijke tussenkomst noodzakelijk zijn.
• Toekomstige Richtingen: Het artikel merkt op dat de onderprestatie bij moeilijke taken aangeeft dat er verdere optimalisatie van LLM-architecturen nodig is om redeneren van hoge complexiteit te hanteren. Het suggereert ook dat toekomstig onderzoek multi-shot prompting, verschillende programmeertalen (bijv. Python) en gespecialiseerde coderingsmodellen (bijv. DeepSeek-Coder) moet verkennen om het volledige potentieel van deze AI-tools beter te begrijpen.

De studie concludeert met een bescheiden beoordeling: hoewel LLM's programmeeronderwijs en -ontwikkeling transformeren, blijven aanzienlijke uitdagingen bestaan bij het bereiken van autonome, hoog-nauwkeurige oplossingen voor complexe problemen in competitief programmeren.