Using ChatGPT for Data Science Analyses

Ce papier évalue le potentiel de ChatGPT, en particulier via son plugin d'analyse de données, comme copilote quantitatif capable d'assister les praticiens en science des données dans l'exploration, la visualisation et la modélisation, tout en soulignant la nécessité de considérer ses limites pour une utilisation empirique rigoureuse.

L'essentiel

🤖 ChatGPT : Le Nouveau Copilote du Data Scientist (ou le Risque de se Perdre)

Imaginez que vous êtes un capitaine de navire (le Data Scientist) qui doit naviguer à travers une mer immense remplie de données (les données). Autrefois, vous deviez tout faire vous-même : lire les cartes, calculer les courants, ajuster les voiles. C'était long et difficile.

Aujourd'hui, avec l'arrivée de l'Intelligence Artificielle (IA), vous avez un nouveau copilote à bord : le plugin "Data Analysis" de ChatGPT. Cet article de recherche, écrit par deux professeurs de l'Université d'Édimbourg, teste ce copilote pour voir s'il est un véritable allié ou un danger pour votre navigation.

Voici ce qu'ils ont découvert, expliqué avec des métaphores simples :

1. Le Copilote est un Super-Organisateur (mais un peu étourdi)

L'expérience : Les auteurs ont donné à ChatGPT un fichier de données sur des ordinateurs portables (prix, marques, processeurs).
Ce que ça donne :

• Le positif : Dès qu'on lui donne le fichier, le copilote est très rapide. Il sait dire : "Regardons les moyennes, faisons des graphiques, comparons les marques". C'est comme un assistant de cuisine qui prépare instantanément tous les ingrédients et les outils dont vous avez besoin.
• Le négatif : Parfois, il fait des erreurs d'interprétation. Par exemple, il a dessiné un graphique en disant que les prix étaient sur une "échelle logarithmique" (une échelle spéciale), alors qu'en réalité, ils étaient sur une échelle normale. C'est comme si votre copilote vous disait : "On est à 100 km/h" alors que le compteur indique 50 km/h. Il faut toujours vérifier les instruments !

2. Le Dessinateur de Cartes (Visualisation)

L'expérience : Ils ont demandé à ChatGPT de créer des cartes visuelles (des graphiques) pour voir les tendances.
Ce que ça donne :

• Le positif : Il est excellent pour créer des barres de couleurs, des camemberts et des nuages de points. C'est comme un artiste qui peint votre paysage en quelques secondes.
• Le négatif : Parfois, le tableau est mal rangé. Les étiquettes se chevauchent, les couleurs sont difficiles à lire, ou le message est faux. Pour un graphique complexe (comme une "mosaïque"), le copilote a besoin qu'on lui dise : "Non, mets les étiquettes ici, change cette couleur". Sans cette supervision humaine, le tableau devient illisible.

3. Le Prévisionniste (Modélisation et Prédiction)

L'expérience : Ils ont changé de jeu de données pour prédire les prix de maisons dans une forêt (le dataset duke_forest).
Ce que ça donne :

• Le positif : Si on lui demande "Quel modèle utiliser ?", il propose une liste intelligente : régression linéaire, forêts aléatoires, réseaux de neurones. C'est comme un mécanicien qui vous dit : "Pour ce bruit, on peut essayer de changer les bougies ou la courroie".
• Le négatif :
  • L'oubli des règles : Il propose parfois des modèles trop simples qui pourraient prédire des prix de maisons négatifs (ce qui est impossible !).
  • La confusion : Il utilise des outils de mesure (comme le $R^2$) qui ne fonctionnent pas bien pour certains modèles complexes. C'est comme essayer de mesurer la température d'un four avec un thermomètre à glace.
  • L'arrêt technique : Quand ils ont demandé un modèle très avancé (réseau de neurones), le copilote a dit : "Désolé, l'outil nécessaire n'est pas installé dans cette pièce". Il a dû donner les instructions pour le faire ailleurs, comme un guide qui vous dit "Allez chercher la clé dans le garage".

4. Le Détective de Groupes (Apprentissage non supervisé)

L'expérience : Ils ont demandé à ChatGPT de regrouper les maisons similaires sans savoir à l'avance ce qu'il cherchait (clustering).
Ce que ça donne :

• Le copilote a bien compris la logique : "Regardons les données, cherchons des groupes". Il a utilisé une méthode appelée "méthode du coude" pour décider combien de groupes créer.
• Le verdict : Il a bien analysé le graphique, mais il a avoué honnêtement : "Le graphique n'est pas très clair, il n'y a pas de 'coude' évident". C'est un bon signe : il sait quand il ne sait pas, mais il faut que l'humain prenne la décision finale.

🏁 La Conclusion : Un Outil Puissant, mais pas un Remplaçant

L'article conclut avec une image très forte : ChatGPT est un "copilote", pas le capitaine.

• Pour les débutants : C'est formidable pour apprendre, explorer et voir des choses rapidement.
• Le danger : Si vous laissez le copilote conduire seul sans vérifier, vous risquez de vous perdre, de faire des erreurs de calcul ou de tirer des conclusions fausses. L'IA peut "halluciner" (inventer des faits) ou être biaisée.

En résumé :
Imaginez que vous construisez une maison. ChatGPT est un excellent maçon qui peut poser des briques très vite, mélanger le ciment et même suggérer des plans. Mais vous devez rester l'architecte. Vous devez vérifier que les murs sont droits, que le ciment est bon et que la maison ne va pas s'effondrer.

L'avenir de la science des données ne sera pas "l'IA contre l'humain", mais "l'IA + l'humain". L'IA fait le gros œuvre, l'humain apporte le jugement critique et la responsabilité.

Résumé technique

Titre de l'étude

Utilisation de ChatGPT pour les analyses en Science des Données : Évaluation du plugin Data Analysis (DA)

1. Problématique

L'article aborde l'impact des avancées récentes en Intelligence Artificielle Générative (IAg) sur le domaine de la Science des Données. Bien que les outils comme le plugin « Data Analysis » (DA) d'OpenAI pour ChatGPT offrent un potentiel considérable pour automatiser les flux de travail et servir de « copilote » quantitatif, leur fiabilité, leurs limites et leur capacité à remplacer l'expertise humaine restent à évaluer rigoureusement.

Les auteurs soulignent le risque que ces modèles de langage (LLM) génèrent des résultats erronés (hallucinations, biais, interprétations incorrectes) sans une supervision humaine adéquate. L'objectif est de déterminer dans quelle mesure ce nouvel outil peut être intégré de manière fiable dans les processus d'analyse statistique, de l'exploration de données à la modélisation avancée.

2. Méthodologie

Les auteurs ont mené une évaluation empirique et itérative du plugin DA de ChatGPT en utilisant deux jeux de données publics :

• Jeu de données « Laptop » (Kaggle) : Utilisé pour l'analyse exploratoire des données (EDA), la visualisation et la compréhension des distributions.
• Jeu de données « Duke Forest » (package R openintro) : Utilisé pour les tâches d'apprentissage supervisé (régression) et non supervisé (clustering).

Approche expérimentale :

• Prompting : Les auteurs ont utilisé des invites (prompts) simples et directs, souvent en suivant les suggestions générées par le modèle lui-même, pour simuler un utilisateur novice ou intermédiaire.
• Tâches évaluées :
  • Chargement et prétraitement des données (formats CSV, XLSX, etc.).
  • Visualisation (histogrammes, boîtes à moustaches, cartes de chaleur, mosaïques).
  • Apprentissage supervisé : Régression linéaire, modèles non linéaires (Random Forest, Gradient Boosting, SVM, Réseaux de neurones), et approche bayésienne.
  • Apprentissage non supervisé : Clustering (K-means) et réduction de dimensionnalité.
• Évaluation : Chaque sortie du modèle a été notée sur une échelle d'étoiles (de 1 à 5) et analysée pour sa précision technique, la justesse des interprétations statistiques et la qualité du code Python généré.

3. Contributions Clés

• Cartographie des capacités et limites du plugin DA : L'article fournit l'une des premières évaluations systématiques de la capacité d'un LLM à agir comme un moteur d'analyse statistique autonome.
• Analyse du flux de travail « Homme-en-boucle » : L'étude démontre que l'outil fonctionne mieux en mode « copilote » (assistance) qu'en mode d'automatisation complète, nécessitant une validation constante de l'utilisateur.
• Identification des risques spécifiques : Mise en évidence de problèmes récurrents tels que l'interprétation erronée des échelles (ex: échelle log vs linéaire), l'inadéquation des métriques pour certains modèles (ex: $R^2$ pour les modèles non linéaires), et l'incapacité à gérer certaines complexités computationnelles (ex: modèles bayésiens ou réseaux de neurones dans l'environnement sandbox).
• Guide pratique pour les praticiens : Fourniture d'exemples concrets de prompts et de réactions du modèle, servant de référence pour les utilisateurs souhaitant intégrer ces outils dans leur workflow.

4. Résultats Principaux

A. Exploration et Visualisation

• Points forts : Le plugin excelle dans le chargement rapide des données (CSV, XLSX), la génération de statistiques descriptives et la création de visualisations de base (histogrammes, diagrammes en barres). Il propose naturellement des étapes d'analyse pertinentes.
• Points faibles :
  • Incohérences visuelles : Le modèle a parfois mal étiqueté les axes (ex: suggérer une échelle logarithmique alors que les données sont linéaires).
  • Choix de graphiques inappropriés : Utilisation de diagrammes en barres pour représenter des distributions continues au lieu de boîtes à moustaches.
  • Interprétation erronée : Dans les cartes de chaleur de corrélation, les valeurs numériques affichées ne correspondaient pas toujours aux commentaires textuels du modèle (ex: corrélation RAM/Price rapportée à 0.74 alors que le graphique montrait 0.68).
  • Limites de format : Difficultés avec les formats RDATA, SAV (SPSS) ou SASHDAT (SAS) nécessitant une conversion manuelle.

B. Apprentissage Supervisé (Régression)

• Régression Linéaire : Le modèle propose des étapes logiques (prétraitement, split train/test, évaluation). Cependant, il omet souvent les diagnostics critiques (résidus, normalité) sauf si explicitement demandé. Il ne signale pas le risque de prédictions de prix négatives avec un modèle linéaire simple.
• Modèles Complexes :
  • Le modèle suggère correctement des alternatives (Random Forest, Gradient Boosting) mais l'interprétation des résultats reste superficielle.
  • Problème de métrique : L'utilisation de $R^2$ pour évaluer des modèles non linéaires (comme le SVM) a conduit à des valeurs négatives, que le modèle a reconnues mais n'a pas contextualisées correctement (l'usage de $R^2$ est inapproprié pour les modèles non linéaires selon la littérature).
  • Réseaux de Neurones : L'environnement sandbox de ChatGPT ne supporte pas TensorFlow, empêchant l'exécution directe. Le modèle a dû fournir du code pour un environnement externe, avec peu de guidance sur l'architecture.
  • Bayésien : L'approche bayésienne a échoué en raison de la complexité computationnelle et des limites de temps d'exécution.

C. Apprentissage Non Supervisé (Clustering)

• Le modèle a correctement implémenté l'algorithme K-means et la méthode du coude (Elbow method) pour déterminer le nombre de clusters.
• L'interprétation du graphique du coude était raisonnable, notant l'absence de point de coude clair et suggérant l'ajout de connaissances métier pour le choix final.

5. Signification et Conclusion

L'article conclut que le plugin Data Analysis de ChatGPT représente une avancée majeure pour l'assistance en science des données, rendant l'analyse de données accessible aux non-programmeurs. Cependant, il ne doit pas être considéré comme un substitut complet à l'analyste de données professionnel.

• Rôle du copilote : L'outil est efficace pour l'exploration initiale et la génération de code de base, mais il nécessite une supervision humaine rigoureuse pour valider les hypothèses, choisir les métriques appropriées et interpréter les résultats.
• Risque pour les novices : L'utilisation sans supervision pourrait entraver l'apprentissage des étudiants ou des débutants, car le modèle peut valider des approches statistiquement incorrectes.
• Avenir : Les auteurs suggèrent que l'avenir de l'automatisation en science des données réside dans des cadres hybrides intégrant des agents multiples et des systèmes d'AutoML, mais toujours avec une surveillance experte (human-in-the-loop).

En résumé, bien que le plugin DA ouvre de nouvelles perspectives pour l'automatisation partielle des flux de travail, sa fiabilité statistique n'est pas encore suffisante pour une utilisation autonome, et son potentiel réside dans son intégration comme outil d'aide à la décision plutôt que comme décideur autonome.