Imaginez que vous appreniez à un robot à cuisiner. Vous pourriez lui montrer une lasagne terminée et délicieuse et lui dire : « Fais ceci », mais le robot pourrait simplement fixer le fromage et essayer de deviner la recette. Ou bien, vous pourriez lui donner une liste d'instructions très longue et ennuyeuse : « Prenez 200 grammes de fromage, coupez-les en cubes de 1 centimètre, placez-les dans la couche 3... » Mais les humains ne parlent pas ainsi ; nous disons : « Fais une lasagne », et nous nous attendons à ce que le chef sache ce que cela signifie. C'est le défi des « Grands Modèles de Langage » (LLM) — des programmes informatiques super intelligents capables de lire et d'écrire du texte. Les scientifiques essaient d'apprendre à ces modèles à être des assistants utiles, non seulement pour écrire des histoires, mais pour accomplir un travail réel, comme gérer des feuilles de calcul. Les feuilles de calcul sont ces programmes sous forme de grille (comme Excel) que les gens utilisent pour suivre l'argent, planifier des fêtes ou analyser des données. La grande question est la suivante : un ordinateur peut-il lire une feuille de calcul désordonnée du monde réel et parvenir à la construire de toutes pièces, simplement en écoutant la demande d'un humain ?

Ce document présente une astuce ingénieuse appelée le « Workbook Time Machine » (la Machine à Remonter le Temps des Cahiers de Travail) pour résoudre un problème majeur : nous n'avions pas de bon moyen de tester si ces chefs IA pouvaient réellement cuisiner. Les chercheurs ont construit un pipeline qui fonctionne à l'envers. Imaginez prendre une feuille de calcul complexe et terminée, puis enlever tous les graphiques sophistiqués, les formules et le codage couleur jusqu'à ce qu'il ne reste que les chiffres bruts. Ensuite, le système demande à une IA d'écrire un ensemble d'instructions qui transformerait ces chiffres bruts en la feuille de calcul sophistiquée d'origine. Ce faisant, ils ont créé une immense bibliothèque d'exemples « avant et après » avec des instructions allant du super détaillé au très vague. Ils ont utilisé cela pour construire un test appelé WTM-BENCH, qui évalue la capacité de différents modèles d'IA à créer des feuilles de calcul.

Les résultats étaient un mélange de « pas mal » et de « oh non ». L'étude a révélé que la performance de l'IA dépend fortement de la manière dont vous lui parlez et des outils que vous lui donnez. Si vous donnez à l'IA une recette très spécifique, étape par étape (comme « mettez cette formule en cellule D2 »), elle s'en sort plutôt bien. Mais si vous lui donnez une requête vague (comme « fais un graphique des données »), elle se perd souvent. De plus, les « outils » que l'IA utilise pour interagir avec la feuille de calcul comptent beaucoup ; certains outils sont comme un couteau suisse capable de tout faire, tandis que d'autres sont comme un couteau à beurre qui peine face à des tâches complexes comme les tableaux croisés dynamiques. Le document suggère que, bien que l'IA s'améliore pour suivre des ordres détaillés, elle éprouve encore des difficultés avec la réflexion complexe et multi-étapes requise pour l'automatisation des feuilles de calcul dans le monde réel, surtout lorsque les instructions sont courtes et les tâches complexes.

La Machine à Remonter le Temps dans la Cuisine

Pour comprendre comment les chercheurs ont construit leur test, pensez à une machine à remonter le temps qui ne voyage pas à travers le temps, mais à travers l'histoire d'une feuille de calcul. Habituellement, quand nous voulons tester un robot, nous lui donnons une tâche et regardons s'il réussit. Mais pour les feuilles de calcul, il est difficile de savoir à quoi ressemble une tâche « parfaite » car le travail humain réel est désordonné.

Ainsi, les auteurs ont fait l'inverse. Ils ont commencé par des classeurs terminés — de vraies feuilles de calcul que des gens avaient déjà créées, remplies de formules, de graphiques et de tableaux croisés dynamiques. Ils ont appelé cela l'étape « Arrière » (Backward). La machine à remonter le temps a dépouillé tous les objets « dérivés » (le contenu sophistiqué comme les graphiques et les formules) pour révéler les données « Brutes » (Raw) en dessous. C'était comme prendre un gâteau entièrement décoré et retirer le glaçage et les pépites pour voir la génoise nature.

Vint ensuite l'étape « Avant » (Forward). Le système a demandé à une IA de regarder la génoise nature et le gâteau fini, puis d'écrire une recette pour passer de l'un à l'autre. Mais voici le twist : ils n'ont pas écrit qu'une seule recette. Ils en ont écrit trois versions différentes :

1. Niveau 1 (Le Manuel du Chef) : « En cellule D2, tapez =10000*C2/(B2*B2), étirez vers le bas jusqu'à D7, puis créez un diagramme de dispersion en utilisant les colonnes A et D. »
2. Niveau 2 (L'Assistant Utile) : « Calculez l'IMC pour tout le monde et faites un graphique montrant l'IMC par rapport à l'âge. »
3. Niveau 3 (Le Patron Vague) : « Trace l'évolution de l'IMC. »

Cela a créé un immense jeu de données appelé WTM-CORPUS comprenant près de 9 000 instructions. À partir de cet énorme tas, ils ont sélectionné un ensemble de test équilibré de 150 tâches appelé WTM-BENCH. Cet ensemble de test a été soigneusement sélectionné pour s'assurer qu'il ne soit pas uniquement composé de tâches de formules faciles (qui constituaient 67 % des données originales) mais qu'il inclue un mélange équitable de graphiques, de tableaux croisés dynamiques et de mise en forme conditionnelle, tout comme ce dont un bureau réel pourrait avoir besoin.

Le Grand Duel des Feuilles de Calcul

Les chercheurs ont ensuite soumis 6 modèles d'IA « frontières » (les plus intelligents disponibles auprès d'entreprises comme Anthropic et OpenAI) à ce test. Ils ne se sont pas contentés de laisser l'IA deviner ; ils lui ont donné une « boîte à outils » pour réellement interagir avec la feuille de calcul. Ils ont testé trois boîtes à outils différentes :

• Python (OpenPyXL) : Une bibliothèque de programmation qui lit les fichiers comme un document texte.
• VBA : Le langage de macro intégré d'Excel, qui est puissant mais à l'ancienne.
• Office.js : Une méthode moderne basée sur le web pour communiquer avec Excel.

Ils ont également testé différentes méthodes d'« orchestration ». Certaines méthodes permettent à l'IA d'écrire du code et de croiser les doigts (one-shot/en une seule fois). D'autres permettent à l'IA d'écrire du code, de voir le résultat, de faire une erreur, de la corriger et de réessayer (multi-turn/multi-tours).

Les conclusions ont été révélatrices :

1. La boîte à outils compte plus que le cerveau : Le type d'outil utilisé par l'IA pour contrôler la feuille de calcul a fait une énorme différence. Par exemple, créer un « Tableau Croisé Dynamique » (un tableau récapitulatif complexe) était incroyablement difficile pour l'outil Python, qui devait jongler avec de multiples étapes. Mais avec VBA ou Office.js, qui possèdent des commandes intégrées pour cela, l'IA s'en est beaucoup mieux sortie. Le papier suggère que l'« interface » est tout aussi importante que l'intelligence du modèle.
2. La spécificité est reine (pour l'instant) : Lorsque les instructions étaient extrêmement détaillées (Niveau 1), les modèles d'IA performaient de manière raisonnable. Mais à mesure que les instructions devenaient plus courtes et plus vagues (Niveau 3), la performance chutait drastiquement. Les modèles peinent à « remplir les blancs » comme le ferait un humain.
3. Le problème du Tableau Croisé Dynamique : Bien que l'IA soit devenue assez bonne pour créer des formules et des graphiques, elle a presque totalement échoué à créer des Tableaux Croisés Dynamiques. Le « Soft Score » (une mesure de la proximité du résultat avec la perfection) pour les Tableaux Croisés Dynamiques était proche de zéro pour presque tous les modèles. Cela suggère une lacune fondamentale dans la capacité de l'IA à gérer la synthèse de données complexe et multi-étapes.
4. Ne faites pas confiance au message de « Succès » : Le papier a révélé que de nombreux modèles d'IA prétendaient avoir terminé même lorsqu'ils avaient échoué. Par exemple, chez les modèles Claude, plus de 80 % du temps où le modèle disait « J'ai terminé », il avait en réalité commis une erreur structurelle (comme placer le graphique au mauvais endroit ou l'avoir complètement manqué). C'est ce qu'on appelle la « réussite hallucinée », et c'est un obstacle majeur pour une utilisation réelle.

Ce que cela signifie pour l'avenir

Le document conclut que, bien que l'IA s'améliore pour suivre des instructions strictes et détaillées, elle n'est pas encore prête à être un assistant de feuille de calcul totalement autonome. Le « Workbook Time Machine » a prouvé que la façon dont nous testons l'IA importe autant que l'IA elle-même. Si nous ne testons qu'avec des invites (prompts) faciles et détaillées, nous pourrions penser que l'IA est plus intelligente qu'elle ne l'est réellement.

Les chercheurs suggèrent que, pour s'améliorer, nous pourrions enseigner à ces modèles en utilisant un « curriculum » — en commençant par les instructions détaillées du Niveau 1 pour passer progressivement aux instructions plus vagues du Niveau 3, les aidant ainsi à apprendre à combler les lacunes. Ils notent également que le pipeline qu'ils ont construit pourrait être étendu pour gérer d'autres tâches de feuilles de calcul, comme la suppression ou la modification de données, et pas seulement leur création.

En fin de compte, l'étude montre que nous sommes sur la bonne voie, mais que la route vers un agent de feuille de calcul véritablement autonome est encore longue. L'IA peut suivre une recette, mais elle a encore besoin qu'un humain lui tienne la main lorsque les instructions deviennent vagues ou que la tâche se complique. La « Machine à Remonter le Temps » a fourni une meilleure carte de ce que l'IA maîtrise et de ce qu'elle doit encore apprendre, garantissant que les tests futurs soient justes, équilibrés et ancrés dans la réalité désordonnée de l'utilisation humaine des feuilles de calcul.