Can AI be a Teaching Partner? Evaluating ChatGPT, Gemini, and DeepSeek across Three Teaching Strategies

Questo studio compara le capacità pedagogiche di ChatGPT, DeepSeek e Gemini nell'insegnamento del linguaggio C, rivelando che mentre i modelli mostrano prestazioni simili nelle strategie di esempi e spiegazioni, ChatGPT e Gemini ottengono punteggi superiori rispetto a DeepSeek, specialmente nell'uso del metodo socratico.

L'essenziale

Immagina di avere tre nuovi assistenti personali molto intelligenti, pronti a diventare i tuoi tutor privati per imparare a programmare in C. Ma c'è un problema: non sappiamo ancora se sono bravi a insegnare o se si limitano a rispondere alle domande come un dizionario parlante.

Questo articolo scientifico è come una grande gara di cucina tra questi tre chef (ChatGPT, Gemini e DeepSeek) per vedere chi è il migliore nel preparare un pasto educativo, e non solo nel servire il piatto già pronto.

Ecco la storia di come è andata, spiegata in modo semplice.

🍳 I Protagonisti: Tre Chef, Tre Stili

I ricercatori hanno messo alla prova tre modelli di Intelligenza Artificiale:

1. ChatGPT: Il classico chef esperto, molto popolare.
2. Gemini: Il chef versatile e veloce, spesso molto preciso.
3. DeepSeek: Il nuovo arrivato, potente ma con qualche intoppo nella pedagogia.

Hanno chiesto loro di insegnare a dei "principianti" (in realtà, giudici esperti che fingevano di essere principianti) come risolvere esercizi di programmazione. Per farlo, hanno usato tre ricette didattiche diverse:

🎨 Le Tre Ricette Didattiche

1. La Ricetta degli "Esempi" (Il Menu Degustazione)

Invece di dare la soluzione completa, l'AI deve mostrare un esempio simile per far capire il concetto.

• L'analogia: È come se uno chef ti dicesse: "Non ti do la ricetta del tiramisù completo, ma ti mostro come montare i tuorli e come preparare il caffè, così tu provi a fare il dolce".
• Il risultato: ChatGPT e Gemini sono stati ottimi, molto simili tra loro. DeepSeek è stato un po' meno preciso nel variare gli esempi. Tutti hanno avuto difficoltà a non "rovinare il gioco" dando subito la soluzione completa, ma Gemini è stato il più bravo a trattenersi.

2. La Ricetta delle "Spiegazioni e Analogie" (Il Traduttore di Concetti)

Qui l'AI deve spiegare un concetto difficile usando un paragone con la vita reale.

• L'analogia: Se devi spiegare un "array" (una lista di dati), un buon insegnante dice: "Immagina un cassetto con 8 scomparti, dove ogni scomparto è un numero".
• Il risultato: ChatGPT ha vinto questa categoria! È stato il più chiaro, ha usato le analogie migliori e si è adattato meglio al livello del principiante. DeepSeek è risultato un po' più confuso e meno adatto al livello di chi impara.

3. Il Metodo Socratico (L'Interrogatorio Gentile)

Questa è la parte più difficile. L'AI non deve dare risposte, ma fare solo domande per guidare lo studente a trovare la soluzione da solo.

• L'analogia: È come un detective che non ti dice chi è il colpevole, ma ti fa domande: "Dov'eri alle 8?", "Hai visto qualcuno?", finché non capisci tu la verità.
• Il risultato: Qui la differenza è stata enorme.
  • ChatGPT e Gemini hanno giocato bene la partita, facendo domande intelligenti e guidando lo studente passo dopo passo.
  • DeepSeek ha fatto fatica. Spesso, invece di fare domande, ha "ceduto" e ha dato la risposta diretta, rompendo la magia dell'apprendimento. È come se il detective, stanco di fare domande, ti dicesse direttamente: "È stato il maggiordomo!".

🏆 Il Verdetto Finale

Se dovessimo riassumere la gara con un semplice punteggio:

• ChatGPT e Gemini sono i Tutor d'Oro. Sono bravi a spiegare, a usare esempi e a guidare con domande. Sembrano veri insegnanti che vogliono farti capire, non solo macchine che scaricano informazioni.
• DeepSeek è il Tutor d'Argento/Bronzo. Ha molta conoscenza tecnica (sa programmare benissimo), ma fatica a insegnare. Tende a essere troppo diretto, a saltare i passaggi o a dare la risposta prima di tempo, come un amico impaziente che fa i compiti al posto tuo invece di aiutarti a studiarli.

💡 Cosa significa per noi?

Questo studio ci dice che l'Intelligenza Artificiale può essere un fantastico compagno di studio, ma non tutti sono uguali.

• Se vuoi un AI che ti aiuti a capire e a pensare, ChatGPT e Gemini sono le scelte migliori.
• Se usi un AI che ti dà sempre la risposta pronta (come è successo spesso con DeepSeek in questo test), rischi di imparare a memoria senza capire davvero come funziona il cervello dietro al codice.

In sintesi: l'AI è un ottimo tutor, ma dobbiamo scegliere quello che sa fare il "metodo Socratico" (farti pensare) invece di quello che fa solo il "motore di ricerca" (dirti la risposta). E, come in tutte le cose, la pazienza e la capacità di adattare la spiegazione al livello dello studente fanno la differenza tra un buon assistente e un grande insegnante.

Sommario tecnico

1. Il Problema e il Contesto

Nonostante la rapida adozione dei Modelli Linguistici di Grande Dimensione (LLM) come ChatGPT, Gemini e DeepSeek in ambito educativo, esiste una carenza di evidenze empiriche sulle loro abilità pedagogiche. La maggior parte delle valutazioni attuali si concentra sulla correttezza delle risposte o sulla conoscenza generale, trascurando la capacità del modello di insegnare attivamente.

Il problema centrale è distinguere tra un modello che fornisce semplicemente la risposta corretta e uno che facilita l'apprendimento attraverso strategie didattiche specifiche. In contesti con risorse limitate o disuguaglianze educative, dove gli AI potrebbero agire come risorse complementari, è cruciale capire se questi strumenti possono adattarsi a strategie come l'uso di esempi, analogie e il metodo socratico per supportare gli studenti principianti.

2. Metodologia

Lo studio ha sviluppato un protocollo di valutazione comparativa per analizzare il comportamento di tre modelli LLM (ChatGPT 4.1-mini, DeepSeek V3 e Gemini 2.5 flash) in un contesto specifico: l'insegnamento del linguaggio di programmazione C a principianti.

• Strategie Pedagogiche Valutate:

  1. Esempi (Examples): Il modello deve fornire snippet di codice che illustrano concetti chiave senza dare la soluzione completa, permettendo allo studente di generalizzare.
  2. Spiegazioni e Analogie (Explanations and Analogies): Il modello deve spiegare i concetti collegandoli a conoscenze pregresse o situazioni familiari (es. usare l'analogia dei "cassetti" per gli array).
  3. Metodo Socratico (Socratic Method): Il modello deve guidare lo studente attraverso una serie di domande guidate, ipotesi e confutazioni, evitando di fornire risposte dirette.

• Procedura Sperimentale:

  • Giudici: 6 giudici esperti in programmazione hanno simulato il ruolo di studenti principianti.
  • Interazioni: Ogni giudice ha interagito con ciascun modello per 25 esercizi diversi (totali 1.350 valutazioni), seguendo un protocollo di 5-10 turni di conversazione per esercizio.
  • Prompting: È stata utilizzata una strategia di "role prompting" per configurare i modelli come insegnanti ottimisti e incoraggianti, con vincoli rigorosi per evitare di fornire soluzioni immediate.
  • Criteri di Valutazione: I giudici hanno assegnato punteggi da 0 a 5 su aspetti specifici (es. rilevanza, correttezza, livello di dettaglio, adattamento al livello dello studente, promozione del pensiero critico) e hanno valutato la percezione complessiva (soddisfacente, parzialmente soddisfacente, insoddisfacente).
  • Analisi Statistica: Sono stati utilizzati test non parametrici (Kruskal-Wallis e test di Dunn con correzione di Bonferroni) per confrontare le distribuzioni dei punteggi tra i modelli, data la non normalità dei dati.

3. Risultati Chiave

A. Approccio degli Esempi

• Prestazioni Generali: ChatGPT e Gemini hanno ottenuto punteggi medi simili e superiori rispetto a DeepSeek.
• Punti di Forza: Tutti i modelli hanno mostrato alta correttezza e rilevanza.
• Punti Deboli: Il criterio "Varietà" ha ottenuto i punteggi più bassi per tutti i modelli, indicando una mancanza di diversità contestuale negli esempi forniti.
• Comportamento Indesiderato: DeepSeek ha fallito più frequentemente nel rispettare il vincolo di non fornire soluzioni immediate (70,7% dei casi ha fornito la soluzione completa o parziale), mentre Gemini e ChatGPT sono stati più disciplinati.

B. Spiegazioni e Analogie

• Prestazioni Generali: ChatGPT ha ottenuto i punteggi più alti in termini di chiarezza, coerenza, utilità e adattamento al livello dello studente.
• Differenze Significative: ChatGPT è risultato significativamente superiore a DeepSeek nella "focalizzazione sulle parti critiche" e nell'"adattamento al livello".
• Analogie: Sebbene tutti i modelli abbiano fornito spiegazioni, l'uso effettivo di analogie è stato meno frequente rispetto alle spiegazioni dirette, suggerendo che questa strategia è più difficile da implementare per gli LLM.
• Percezione: ChatGPT e Gemini sono stati valutati come "soddisfacenti", mentre DeepSeek come "parzialmente soddisfacente".

C. Metodo Socratico

• Variabilità: Questa strategia ha mostrato la maggiore variabilità nelle prestazioni tra i modelli.
• Leader: ChatGPT ha eccelto nella promozione del pensiero critico e nella formulazione di domande ben strutturate.
• Criticità di DeepSeek: DeepSeek ha mostrato difficoltà nel mantenere una linea di indagine coerente, fornendo spesso risposte dirette invece di domande guida e fallendo nel fornire controesempi adeguati.
• Comportamento di Gemini: Sebbene efficace, Gemini tendeva a iniziare con concetti troppo fondamentali (es. variabili) anche quando l'esercizio riguardava argomenti avanzati (es. array), rendendo le interazioni potenzialmente lunghe e tediose.

4. Contributi Principali

1. Protocollo di Valutazione Pedagogica: Introduzione di un framework dinamico che valuta non solo la correttezza del contenuto, ma l'efficacia delle strategie didattiche (scaffolding, domande guidate, analogie) in interazioni multi-turno reali.
2. Analisi Comparativa Empirica: Fornisce dati concreti sulle differenze pedagogiche tra modelli LLM di diverse origini (ChatGPT/Gemini occidentali vs DeepSeek orientale) in un contesto di programmazione.
3. Distinzione tra Risposta e Insegnamento: Dimostra che la capacità di un LLM di "insegnare" è altamente sensibile al design del prompt e alla strategia adottata, evidenziando che non tutti i modelli sono ugualmente capaci di adottare il ruolo di tutor.

5. Significato e Implicazioni

Lo studio conferma che gli LLM possono agire come partner di insegnamento efficaci, ma con limitazioni significative.

• ChatGPT e Gemini si sono dimostrati più affidabili nel mantenere il ruolo di tutor, adattando le risposte e rispettando i vincoli pedagogici (specialmente nel metodo socratico).
• DeepSeek, pur avendo buone capacità di contenuto, ha mostrato carenze nell'adattamento pedagogico e nella disciplina nel non fornire soluzioni immediate.
• Implicazioni Etiche: L'articolo sottolinea la necessità di valutare questi strumenti non solo per la loro accuratezza, ma per la loro capacità di ridurre il divario educativo senza aggravare le disuguaglianze (es. costi, accesso a internet). Si raccomanda l'uso di questi modelli come strumenti di augmentation (supporto) per gli insegnanti umani, non come sostituti.

In conclusione, il paper suggerisce che per un'implementazione efficace dell'IA nell'educazione (AIED), è necessario sviluppare benchmark specifici per le abilità pedagogiche e considerare attentamente la scelta del modello e la progettazione dei prompt in base alla strategia didattica desiderata.