Using ChatGPT for Data Science Analyses

Questo articolo valuta il potenziale di ChatGPT come co-pilota nei flussi di lavoro di data science, esaminando le sue capacità nell'esplorazione dei dati, nella visualizzazione e nelle attività di modellazione supervisionata e non supervisionata, pur sottolineando la necessità di considerare attentamente i suoi limiti nell'analisi empirica.

L'essenziale

Immagina di avere un assistente personale super intelligente, capace di leggere, capire e analizzare enormi quantità di dati in pochi secondi, ma che a volte ha bisogno di una guida esperta per non fare confusione. Questo è il cuore del paper "USING CHATGPT PER LE ANALISI DI DATA SCIENCE" scritto da Ozan Evkaya e Miguel de Carvalho dell'Università di Edimburgo.

Ecco una spiegazione semplice, con qualche metafora per rendere tutto più chiaro.

1. Il Contesto: Dalle Macchine Calcolatrici all'Intelligenza Artificiale

Fino a poco tempo fa, per analizzare i dati (come il censimento della popolazione negli anni '80), servivano macchine enormi e anni di lavoro. Oggi, con l'Intelligenza Artificiale (AI), abbiamo fatto un salto di qualità. Gli autori hanno testato un nuovo "superpotere" di ChatGPT chiamato Data Analysis (DA).

Pensa a questo strumento come a un co-pilota per un aereo. Tu sei il capitano (l'analista umano), e ChatGPT è il primo ufficiale che ti aiuta a leggere le mappe, controllare il carburante e suggerire rotte. Ma ricorda: il capitano deve sempre tenere le mani sul timone. Non puoi lasciare che l'aereo voli da solo senza supervisione, perché l'AI può commettere errori o "allucinazioni" (inventare cose).

2. Cosa hanno fatto? (Il Test sul Campo)

Gli autori hanno messo alla prova questo co-pilota con due scenari reali, come se fossero due viaggi diversi:

• Viaggio 1: Esplorare un nuovo territorio (Analisi Esplorativa)
  Hanno usato un elenco di prezzi di laptop.

  • Cosa ha fatto bene: ChatGPT è stato bravissimo a "fare i compiti a casa". Ha caricato i dati, ha fatto grafici a barre, ha calcolato medie e ha risposto a domande semplici come "Quali sono i brand più comuni?". È stato veloce e preciso nel creare visualizzazioni colorate.
  • Dove ha inciampato: A volte ha letto male i grafici. Per esempio, ha detto che i prezzi erano su una scala "logaritmica" (una scala matematica complessa) quando invece erano normali. È come se un navigatore GPS ti dicesse che sei in montagna quando sei in pianura. Inoltre, quando ha creato grafici complessi (come i "mosaici" per confrontare categorie), i colori e le etichette erano spesso disordinati e difficili da leggere.

• Viaggio 2: Prevedere il futuro (Modelli Supervisionati)
  Hanno usato dati sulle case di una foresta (Duke Forest) per prevedere i prezzi.

  • Cosa ha fatto bene: Ha suggerito ottimi punti di partenza. Ha detto: "Proviamo una regressione lineare" (una linea retta che collega le variabili) o "Proviamo alberi decisionali". Ha anche creato i grafici giusti per controllare se il modello funzionava.
  • Dove ha inciampato:
    • Il problema della "Causa ed Effetto": A volte ha confuso la correlazione (due cose che vanno insieme) con la causalità (una cosa che causa l'altra).
    • Il problema dei "Numeri Negativi": In un modello per prevedere i prezzi delle case, il modello ha suggerito che una casa potesse costare meno di zero (un prezzo negativo!). È un errore matematico che un umano esperto avrebbe subito notato.
    • Modelli troppo complessi: Ha provato a usare reti neurali (cervelli artificiali molto complessi) su un dataset troppo piccolo, come se cercassi di insegnare a un bambino a fare il calcolo integrale con solo 5 minuti di lezione. Non è stato possibile eseguirlo direttamente, ma ChatGPT ha dato il codice per farlo altrove.

3. Il Verdetto: Un Assistente, non un Sostituto

La conclusione degli autori è chiara e importante:

• È un ottimo "Co-pilota": Se sei un principiante o hai fretta, ChatGPT può farti risparmiare ore di lavoro. Può scrivere il codice, fare grafici e suggerire quali domande fare.
• Non è un "Pilota Automatico": Non puoi fidarti ciecamente di tutto ciò che dice. Se non hai una conoscenza di base, potresti accettare conclusioni sbagliate.
• Il fattore umano è cruciale: L'AI è come un motore potente, ma serve un meccanico esperto (l'analista umano) per assicurarsi che il motore non si surriscaldi e che la direzione sia quella giusta.

In sintesi

Immagina il Data Science come la costruzione di una casa.
ChatGPT con il plugin Data Analysis è un bravissimo muratore e architetto junior. Può portare i mattoni, misurare le pareti e disegnare i piani molto velocemente. Tuttavia, se non c'è un capocantiere esperto che controlla i calcoli, verifica che le fondamenta siano solide e corregge gli errori di prospettiva, la casa potrebbe crollare o essere costruita male.

Il futuro della Data Science non è sostituire gli umani con l'AI, ma unire le forze: l'intelligenza artificiale per la velocità e l'automazione, e l'intelligenza umana per la critica, la supervisione e la saggezza.

Sommario tecnico

Titolo: Utilizzo di ChatGPT per Analisi di Data Science: Una Valutazione Tecnica

1. Problema e Contesto

Il campo della Data Science sta subendo una trasformazione radicale a causa degli avanzamenti nell'Intelligenza Artificiale Generativa, in particolare dei Large Language Models (LLM). Sebbene strumenti come il plugin "Data Analysis" (DA) di OpenAI offrano un potente supporto come "co-pilota" quantitativo, esiste un vuoto nella letteratura accademica riguardo alla loro efficacia empirica, ai limiti operativi e alla necessità di supervisione umana.
Il problema centrale affrontato dagli autori è determinare se questi strumenti possano essere considerati sostituti completi degli analisti professionisti o se, al contrario, richiedano un rigoroso controllo umano per evitare errori, allucinazioni e interpretazioni statistiche errate, specialmente per utenti inesperti.

2. Metodologia

Gli autori hanno condotto una valutazione empirica "hands-on" del plugin Data Analysis di ChatGPT, utilizzando un approccio iterativo basato su prompt (incluso il zero-shot prompting e il repeated prompting).

• Dataset Utilizzati:
  • Un dataset pubblico di prezzi di laptop (da Kaggle) per l'analisi esplorativa e la visualizzazione.
  • Il dataset duke_forest (dal pacchetto R openintro) per compiti di apprendimento supervisionato e non supervisionato.
• Processo Sperimentale:
  • Gli autori hanno interagito con il DA chiedendo di eseguire flussi di lavoro completi: caricamento dati, pulizia, statistica descrittiva, visualizzazione, modellazione supervisionata (regressione lineare, alberi decisionali, Random Forest, SVM, reti neurali) e non supervisionata (clustering K-means).
  • È stato utilizzato un sistema di valutazione a stelle (da 1 a 5) per giudicare la qualità delle affermazioni e delle analisi generate dal modello.
  • L'analisi si è concentrata sulla capacità del modello di scrivere ed eseguire codice Python in un ambiente sandbox, sulla correttezza statistica dei risultati e sulla coerenza tra i grafici generati e le interpretazioni testuali.

3. Contributi Chiave

Il paper offre una panoramica critica delle capacità attuali del plugin DA, evidenziando:

• Capacità di Automazione Parziale: Il DA funziona efficacemente come un assistente per la generazione di codice, la pulizia dei dati (CSV, XLSX) e la creazione di visualizzazioni di base.
• Limitazioni nei Formati di Dati: Il modello fatica con formati specifici come RDATA, SAV (SPSS) e SASHDAT (SAS), richiedendo conversioni manuali.
• Vulnerabilità alle Allucinazioni Statistiche: Il modello può generare interpretazioni che non corrispondono ai dati reali (es. scala logaritmica errata, valori di correlazione discordanti tra grafico e testo).
• Necessità di Supervisione Umana: L'articolo dimostra che l'uso di LLM per compiti statistici complessi senza un esperto che verifichi i risultati può portare a conclusioni errate, specialmente nella scelta dei modelli e nell'interpretazione delle metriche (es. uso improprio di $R^2$ per modelli non lineari).

4. Risultati Sperimentali

• Analisi Esplorativa e Visualizzazione:

  • Il DA eccelle nel generare statistiche descrittive e grafici di base (istogrammi, boxplot).
  • Criticità: Ha commesso errori nell'etichettatura degli assi (es. scala logaritmica non dichiarata) e nella scelta di visualizzazioni inappropriate (es. grafici a barre per distribuzioni che richiedono boxplot). I grafici a mosaico e le mappe di calore hanno mostrato problemi di leggibilità e discrepanze tra i valori numerici visualizzati e le interpretazioni testuali fornite.

• Apprendimento Supervisionato (Regressione):

  • Regressione Lineare: Il modello ha proposto un roadmap corretto per la regressione lineare multipla, ma ha omesso diagnosi fondamentali (es. plot dei residui) nella fase iniziale e non ha avvertito del rischio di previsioni di prezzi negativi.
  • Modelli Complessi: Ha suggerito modelli come Random Forest e SVM. Tuttavia, ha utilizzato la metrica $R^2$ per valutare modelli non lineari (SVR), ottenendo un valore negativo e interpretandolo correttamente come "peggiore della media", ma senza criticare l'uso inappropriato di tale metrica per modelli non lineari.
  • Reti Neurali: Il modello ha riconosciuto che la libreria TensorFlow non era disponibile nell'ambiente sandbox, fornendo invece codice di esempio per un ambiente esterno. Ha mostrato lacune nella guida su architetture, funzioni di attivazione e ottimizzatori.
  • Regressione Bayesiana: Il tentativo di adattare un modello bayesiano è fallito a causa della complessità computazionale e dei tempi di esecuzione eccessivi.

• Apprendimento Non Supervisionato (Clustering):

  • Il DA ha implementato correttamente il metodo del "gomito" (Elbow Method) per determinare il numero di cluster $k$ nel dataset duke_forest.
  • L'interpretazione del grafico è stata ragionevole, riconoscendo l'assenza di un "gomito" chiaro e suggerendo l'uso di conoscenza di dominio per la decisione finale.

5. Significato e Conclusioni

Il paper conclude che il plugin Data Analysis di ChatGPT rappresenta un passo significativo verso l'automazione dei flussi di lavoro di Data Science, agendo efficacemente come un co-pilota piuttosto che come un pilota autonomo.

• Impatto Pratico: Strumenti come il DA possono democratizzare l'accesso all'analisi dati, permettendo anche a non programmatori di eseguire codice e ottenere analisi complesse.
• Avvertenze: L'uso di questi strumenti richiede una supervisione umana critica. Gli autori sottolineano che l'automazione completa è ancora prematura; il rischio di errori sottili (bias, allucinazioni, scelta errata di metriche) è alto, specialmente per i principianti che potrebbero non avere le competenze per validare i risultati.
• Prospettive Future: Il futuro della Data Science aumentata dall'AI richiederà l'integrazione di framework multi-agente e sistemi di AutoML, ma sempre mantenendo un controllo esperto. Il lavoro suggerisce la necessità di sviluppare benchmark specifici e metriche di performance per valutare sistematicamente i plugin LLM in ambito statistico.

In sintesi, mentre il DA è uno strumento potente per l'esplorazione e la prototipazione rapida, non deve essere considerato un sostituto delle competenze di un analista dati professionista.