Spreadsheet Modeling Experiments Using GPTs on Small Problem Statements and the Wall Task
Ce document évalue les capacités des outils basés sur GPT, notamment Excel AI, à générer des modèles de tableurs réutilisables, en constatant que, bien qu'ils puissent produire des ébauches bien structurées, leur incohérence, leur manque de reproductibilité et la nécessité qui en découle d'une vérification par un utilisateur qualifié limitent actuellement leur fiabilité pour une utilisation professionnelle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'enseigner à un assistant robot très intelligent, mais parfois distrait, comment créer un tableur. Vous lui donnez une description simple d'un problème mathématique, et vous espérez qu'il vous rende un fichier Excel parfaitement organisé que vous pourrez utiliser indéfiniment.
Ce document est un bulletin de notes évaluant la performance réelle de cet assistant robot. Les chercheurs, Thomas Grossman et son équipe, ont soumis cinq « assistants IA » différents à l'épreuve pour déterminer lequel pouvait construire le meilleur modèle de tableur réutilisable. Ils ont désigné le gagnant, un outil appelé Excel AI, puis l'ont soumis à une série de tests de résistance.
Voici la répartition de leurs résultats, illustrée par quelques analogies du quotidien :
1. L'Objectif : Construire un « Set de Lego », et non un « Château de Sable »
Les chercheurs voulaient que l'IA construise un tableur réutilisable.
- La Mauvaise Façon (Château de Sable) : Imaginez que l'IA écrive directement les nombres dans les cellules (comme « 10 » et « 12 »). Si vous souhaitez modifier la taille de la pièce plus tard, vous devez tout effacer et tout réécrire. C'est comme construire un château de sable ; il a l'air bien un instant, mais vous ne pouvez pas le reconstruire facilement.
- La Bonne Façon (Set de Lego) : Les chercheurs voulaient que l'IA place les nombres dans des cases « entrée » spéciales et utilise des formules (comme
=A1*B1) pour le reste. C'est comme un set de Lego. Vous pouvez échanger les briques (les nombres d'entrée), et toute la structure se met à jour automatiquement. C'est ce qu'ils appellent les ERFR (Exigences Essentielles de Réutilisabilité).
2. Le Dépistage : Trouver le Meilleur Assistant
L'équipe a testé cinq outils d'IA différents. C'était comme embaucher cinq entrepreneurs différents pour construire un abri de jardin.
- Certains entrepreneurs ont rendu des plans défectueux.
- D'autres leur ont donné une photo d'un abri au lieu de l'abri lui-même.
- Un entrepreneur, Excel AI, s'est révélé le plus constant. Il a généralement remis un fichier propre et téléchargeable avec la bonne structure. Les chercheurs ont donc décidé de concentrer tous leurs futurs tests sur celui-ci.
3. Les Expériences : Comment le Robot a Géré Différentes Tâches
Les chercheurs ont donné à Excel AI huit problèmes mathématiques simples différents à résoudre, tels que « Calculez la surface d'une pièce » ou « Déterminez le coût des pommes sur un mois ». Ils ont testé trois aspects spécifiques :
Le Test « Recette » (Données vs Variables) :
- Scénario A : « Voici les nombres : 10 et 12. »
- Scénario B : « Voici les noms des nombres : Longueur et Largeur. »
- Résultat : Le robot a géré les deux parfaitement. Il savait laisser des cases vides pour que l'utilisateur les remplisse plus tard si aucun nombre n'était fourni.
Le Test « Calendrier » (30 Jours vs Un Mois) :
- Scénario A : « Faites cela pour 30 jours. »
- Scénario B : « Faites cela pour un mois. »
- Résultat : C'est là que le robot a trébuché. Lorsqu'on lui disait « 30 jours », il construisait une liste parfaite de 30 lignes. Mais lorsqu'on lui disait « un mois », il se perdait. Parfois, il construisait une liste pour le mois en cours (qui a 31 jours ou moins), et parfois il insérait des nombres réels dans les cellules au lieu de formules. C'était comme un chef qui peut suivre parfaitement une recette pour « 30 minutes », mais qui se perd quand vous dites « une heure » et commence à deviner.
Le Test « Mot Absurde » :
- Ils ont utilisé un mot inventé (comme « Zorp ») au lieu d'un objet réel (comme « Pomme »).
- Résultat : Le robot s'en fichait éperdument. Il traitait « Zorp » exactement comme « Pomme ». C'était un succès.
4. Le Grand Problème : L'Effet « Boule de Cristal Magique »
Le plus gros problème découvert par les chercheurs est la reproductibilité.
- Si vous posez exactement la même question au robot deux fois, vous pourriez obtenir deux réponses différentes.
- Analogie : Imaginez demander à un assistant humain : « Fais-moi un sandwich. » La première fois, il vous donne un parfait sandwich à la dinde. La deuxième fois, vous demandez exactement la même chose, et il vous donne un sandwich au beurre de cacahuète avec les croûtes coupées.
- Dans la « Tâche Mur » (un problème légèrement plus complexe concernant la construction d'un mur), le robot a parfois construit un modèle parfait, de qualité professionnelle. D'autres fois, il a construit un modèle cassé avec des formules manquantes qui faisaient planter Excel. On ne savait jamais quelle version on allait obtenir.
5. Les Problèmes de « Confiance » et de « Flux de Travail »
Le document conclut avec deux maux de tête majeurs pour quiconque tente d'utiliser cette technologie :
Le Problème de Confiance :
Si un robot vous remet un tableur, comment savez-vous qu'il est juste ?- Analogie : Si un élève vous remet un test de mathématiques, vous pouvez vérifier les réponses. Mais si l'élève est un robot susceptible d'halluciner, vous devez être vous-même un expert en mathématiques pour vérifier son travail. Vous ne pouvez pas simplement lui faire confiance. Le document indique qu'il faut un humain qualifié pour vérifier le travail du robot, ce qui annule l'objectif d'utiliser le robot pour gagner du temps.
Le Problème de Flux de Travail :
Certains argumentent : « Peut-être que le robot devrait simplement nous donner une « ébauche » que nous pouvons corriger. »- Analogie : C'est comme demander à un robot d'écrire une première ébauche d'un roman. Si l'ébauche est pleine de trous dans l'intrigue et de fautes de frappe, est-il plus rapide de la corriger ou d'écrire le livre à partir de zéro ? Les chercheurs ont constaté que pour les tableurs complexes, corriger l'ébauche désordonnée du robot prend souvent autant de temps (voire plus) que de le faire soi-même.
Le Verdict Final
La conclusion du document est prudente.
- Le Bon : L'IA peut parfois construire de magnifiques tableurs à l'apparence professionnelle à partir d'instructions simples.
- Le Mauvais : Elle est inconstante, peu fiable et souvent imprévisible.
- La Réalité : Pour l'instant, ces outils ne sont pas prêts pour une utilisation professionnelle. Ils ne sont pas assez fiables pour un usage professionnel où les erreurs peuvent coûter de l'argent. Ils sont mieux vus comme un « assistant de brouillon » qui nécessite un humain qualifié pour superviser, vérifier et corriger le travail.
En bref : le robot est un apprenti talentueux qui construit parfois un chef-d'œuvre et parfois une maison de cartes. Jusqu'à ce qu'il apprenne à être constant, vous avez toujours besoin d'un maître d'œuvre (un humain) pour tenir le presse-papiers.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.