🤖 AI

A Showdown of ChatGPT vs DeepSeek in Solving Programming Tasks

Questo studio confronta ChatGPT 03-mini e DeepSeek-R1 su compiti di programmazione di Codeforces, rivelando che, sebbene entrambi i modelli si comportino in modo simile sui problemi facili e abbiano difficoltà con quelli difficili, ChatGPT supera significativamente DeepSeek-R1 nelle sfide di difficoltà media.

Autori originali: Ronas Shakya, Sam Urmian, Mohammad Khalil

Pubblicato 2026-05-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ronas Shakya, Sam Urmian, Mohammad Khalil

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina due studenti brillanti ma molto diversi seduti per una serie di esami di programmazione. Uno è ChatGPT (nello specifico la versione o3-mini), uno studente ben noto e altamente addestrato che ha letto quasi ogni libro della biblioteca. L'altro è DeepSeek-R1, una nuova sfidante open-source proveniente dalla Cina, nota per il suo intenso focus sul ragionamento logico e sui puzzle matematici.

I ricercatori dell'Università di Bergen hanno deciso di metterli alla prova utilizzando una "palestra" per programmatori chiamata Codeforces. Hanno assegnato a entrambi gli studenti 29 problemi, che spaziavano da semplici esercizi di riscaldamento a maratone estenuanti, chiedendo loro di scrivere codice C++ per risolverli.

Ecco come si è svolta la sfida, suddivisa per difficoltà:

1. Il Riscaldamento (Compiti Facili)

Pensa a questi come a semplici problemi aritmetici o puzzle logici di base.

Il Risultato: Entrambi gli studenti hanno fatto un ottimo lavoro. Erano come due atleti di alto livello che corrono una gara di 100 metri; entrambi hanno completato la gara con successo.
Il Rovescio della Medaglia: Sebbene entrambi abbiano ottenuto le risposte corrette, DeepSeek a volte è stato leggermente più lento e ha utilizzato un po' più di "energia" (memoria) rispetto a ChatGPT, ma entrambi hanno attraversato il traguardo.

2. La Mezza Distanza (Compiti Medi)

È qui che la gara è diventata interessante. Questi problemi richiedevano un po' più di strategia e pianificazione.

ChatGPT: Questo studente è stato il chiaro vincitore qui. Ha risolto correttamente circa il 55% di questi problemi. Era come un maratoneta esperto che sa esattamente come gestire il proprio ritmo.
DeepSeek: Questo studente ha faticato significativamente, risolvendo solo circa il 18% dei problemi di difficoltà media. Era come se si fosse confuso a metà gara, inciampato nei propri piedi o dimenticato le regole.
Perché? Il documento suggerisce che ChatGPT potrebbe aver avuto più pratica con questo specifico tipo di dati di "programmazione competitiva" durante il suo addestramento, dandogli un vantaggio iniziale.

3. L'Ultra-Maratona (Compiti Difficili)

Questi erano le sfide più ardue, che richiedevano logica complessa e multi-step.

Il Risultato: Entrambi gli studenti hanno incontrato un muro.
- ChatGPT è riuscito a risolvere solo 1 su 9 problemi difficili.
- DeepSeek non è riuscito a risolvere nessuno dei problemi difficili (0%).
La Metafora: Immagina di chiedere a entrambi gli studenti di costruire un grattacielo da zero senza un progetto. Entrambi si sono bloccati. ChatGPT ha provato a costruire alcuni piani prima che la struttura crollasse (errori di runtime), mentre DeepSeek spesso non è riuscito nemmeno a iniziare le fondamenta (errori di compilazione) o ha esaurito l'energia (limiti di memoria) prima di finire.

Il Consumo di "Energia" (Memoria e Tempo)

I ricercatori hanno anche esaminato quanto "carburante" (memoria del computer) e tempo ogni studente ha utilizzato.

ChatGPT è stato generalmente più veloce ed efficiente con le sue risorse sui compiti facili e medi.
DeepSeek a volte ha utilizzato una quantità enorme di memoria o ha impiegato molto tempo per pensare, specialmente sui compiti difficili. In un caso, DeepSeek ha impiegato così tanto tempo a pensare a un problema da andare incontro a un timeout completo.

La Conclusione

Il documento conclude che, sebbene DeepSeek-R1 sia un nuovo contendente potente in grado di gestire bene i compiti semplici, ChatGPT o3-mini è attualmente il "allenatore" migliore per le sfide di programmazione di difficoltà media. Tuttavia, quando i problemi diventano davvero difficili, entrambi i modelli hanno bisogno di aiuto umano. Non sono ancora pronti a risolvere i puzzle più difficili da soli.

Nota Importante dallo Studio:
I ricercatori hanno chiesto a ogni studente di provare il problema una sola volta (un tentativo "single-shot"). Non hanno permesso loro di riprovare se fallivano o di chiedere suggerimenti. Il documento nota che se agli umani fosse stato permesso di guidarli o se avessero utilizzato una versione diversa e più specializzata di DeepSeek (chiamata DeepSeek-Coder), i risultati sarebbero potuti essere diversi. Ma basandosi su questo test specifico, ChatGPT è uscito avanti nel terreno di mezzo, mentre entrambi hanno faticato al livello più alto.

Riepilogo Tecnico: Uno Scontro tra ChatGPT e DeepSeek nella Risoluzione di Compiti di Programmazione

Enunciato del Problema

Il rapido avanzamento dei Modelli Linguistici di Grande Dimensione (LLM) ha creato un panorama competitivo per gli strumenti di programmazione assistiti dall'intelligenza artificiale, in particolare nei contesti di sviluppo educativo e professionale. Sebbene modelli come ChatGPT si siano affermati come strumenti standard per la generazione di codice, sono emersi nuovi contendenti come DeepSeek-R1, che rivendicano prestazioni comparabili nel ragionamento logico e nei compiti deduttivi con costi di addestramento significativamente inferiori. Tuttavia, permane una carenza di valutazioni empiriche complete che confrontino questi specifici modelli—ChatGPT o3-mini e DeepSeek-R1—nello specifico dominio della programmazione competitiva. Questo studio colma il vuoto nella comprensione di come questi modelli differiscano in termini di accuratezza, efficienza di esecuzione, utilizzo della memoria e capacità di gestire compiti di diversa complessità (facile, medio e difficile) senza intervento umano.

Metodologia

Lo studio ha adottato un disegno sperimentale controllato utilizzando 29 compiti di programmazione tratti da Codeforces, una piattaforma leader nella programmazione competitiva. I compiti sono stati categorizzati in tre livelli di difficoltà: facile, medio e difficile, basandosi sui tassi di successo degli utenti e sulla complessità del problema.

Modelli Valutati: ChatGPT o3-mini e DeepSeek-R1.
Linguaggio di Programmazione: È stato selezionato il C++ per tutti i prompt a causa della sua prevalenza nella programmazione competitiva e della velocità di compilazione.
Ambiente di Esecuzione: Per garantire uniformità, tutto il codice generato è stato compilato e testato utilizzando il compilatore GNU G++20 13.2 (64-bit, winlib) su Codeforces.
Strategia di Prompting: È stato utilizzato un prompt zero-shot coerente: "Risolvi la seguente domanda e restituisci codice C++, compilabile con g++ 20. Presta attenzione ai limiti di memoria e tempo," seguito dall'enunciato specifico del problema e dagli esempi di input/output.
Metriche di Valutazione:
- Tasso di Accettazione: Determinato dal feedback di Codeforces (Accettato vs. Risposta Errata, Tempo Limite Superato, Memoria Limite Superata, Errore di Compilazione).
- Efficienza delle Risorse: Misurata tramite utilizzo di memoria (KB) e tempo di esecuzione (ms).
- Punteggio Ponderato: È stata applicata una formula personalizzata per calcolare un punteggio ponderato ( $S$ ) per ciascun modello, bilanciando l'accettazione ( $X$ ), la difficoltà ( $D$ ) e le penalità per il tempo di esecuzione ( $\alpha$ ) e l'utilizzo della memoria ( $\beta$ ). Entrambi i fattori di penalità sono stati impostati a 0,5 per garantire un peso uguale.

Risultati Chiave

Lo studio ha prodotto differenze di prestazioni distinte tra i due modelli attraverso i livelli di difficoltà:

1. Accuratezza della Soluzione

Compiti Facili: Entrambi i modelli hanno performato in modo simile, con ChatGPT che ha raggiunto un tasso di accettazione del 100% e DeepSeek un 88,8%.
Compiti Medi: Si è verificata una significativa divergenza. ChatGPT ha raggiunto un tasso di successo del 54,5% (6 su 11 compiti), mentre DeepSeek ha faticato con un tasso di successo del solo 18,1% (2 su 11 compiti).
Compiti Difficili: Entrambi i modelli hanno affrontato sfide sostanziali. ChatGPT ha gestito un tasso di successo dell'11,1% (1 su 9 compiti), mentre DeepSeek ha raggiunto un 0% di successo.

2. Consumo di Risorse (Memoria e Tempo)

Tempo di Esecuzione: ChatGPT ha generalmente dimostrato tempi di esecuzione più brevi rispetto a DeepSeek. DeepSeek ha mostrato un valore anomalo significativo nel tempo di esecuzione per un compito difficile (Domanda 21), superando i 4000 ms.
Utilizzo della Memoria: ChatGPT ha mostrato un consumo di memoria più elevato nei compiti di livello medio (media ~3250 KB) rispetto a DeepSeek (media ~1650 KB). Tuttavia, il minor utilizzo di memoria di DeepSeek non si è correlato a una maggiore correttezza; ha frequentemente incontrato stati di "Risposta Errata" ed "Errore di Compilazione". Al contrario, il maggior utilizzo di risorse di ChatGPT nei compiti medi coincideva con i suoi punteggi ponderati più elevati.
Modalità di Fallimento: DeepSeek ha fallito frequentemente a causa di errori di compilazione e superamenti del limite di memoria, in particolare nei compiti difficili. I fallimenti di ChatGPT sono stati più spesso attribuiti a "Risposta Errata" o "Tempo Limite Superato".

3. Punteggi Ponderati

Sulla base della formula di punteggio ponderato:

ChatGPT: Ha raggiunto il punteggio ponderato più alto nei compiti medi (11,64), seguito da facile (8,86) e difficile (2,95).
DeepSeek: Ha raggiunto il suo punteggio più alto nei compiti facili (7,87), è sceso significativamente nei compiti medi (3,72) e ha ottenuto 0 nei compiti difficili.

Contributi Chiave

Questo studio fornisce un confronto quantitativo tra ChatGPT o3-mini e DeepSeek-R1 in un contesto di programmazione competitiva, offrendo le seguenti intuizioni:

Disparità di Prestazioni: Identifica che, sebbene entrambi i modelli siano capaci di risolvere problemi semplici, ChatGPT o3-mini supera significativamente DeepSeek-R1 nei compiti logici e algoritmici di complessità media.
Soglia di Complessità: La ricerca evidenzia una soglia critica in cui gli attuali LLM, indipendentemente dall'architettura, faticano con problemi di programmazione ad alta complessità (difficili), con tassi di successo che scendono a quasi zero per DeepSeek e a una cifra singola per ChatGPT.
Compromesso tra Efficienza e Correttezza: I dati suggeriscono che un minor consumo di memoria (osservato in DeepSeek) non equivale necessariamente a una migliore qualità o correttezza del codice, poiché le soluzioni di DeepSeek erano spesso inefficienti o logicamente difettose nonostante i minori consumi di risorse.

Significato e Affermazioni

Gli autori affermano che questi risultati offrono intuizioni preziose per sviluppatori e ricercatori che mirano a far progredire gli strumenti di programmazione guidati dall'IA. Nello specifico:

Selezione degli Strumenti: Per compiti di codifica di difficoltà media, ChatGPT o3-mini attualmente presenta un'opzione più affidabile rispetto a DeepSeek-R1 per generare codice corretto ed eseguibile.
Implicazioni Educative: I risultati suggeriscono che, sebbene gli LLM siano efficaci per l'apprendimento dei principianti su compiti semplici, non possono ancora sostituire l'esperienza umana per problemi algoritmici complessi. Lo studio implica che il prompting zero-shot è insufficiente per compiti medi e difficili, rendendo necessarie tecniche di prompting avanzate o intervento umano.
Direzioni Future: Il documento nota che le prestazioni inferiori nei compiti difficili indicano la necessità di un'ulteriore ottimizzazione delle architetture LLM per gestire il ragionamento ad alta complessità. Suggerisce inoltre che la ricerca futura dovrebbe esplorare il prompting multi-shot, diversi linguaggi di programmazione (ad esempio Python) e modelli di codifica specializzati (ad esempio DeepSeek-Coder) per comprendere meglio il pieno potenziale di questi strumenti di IA.

Lo studio conclude con una valutazione modesta: sebbene gli LLM stiano trasformando l'educazione e lo sviluppo della programmazione, rimangono sfide significative nel raggiungere soluzioni autonome e ad alta accuratezza per problemi complessi di programmazione competitiva.