An Error Taxonomy for AI-Copilot Assisted Spreadsheet and Analytics Work

Depuis des décennies, le tableur est le moteur silencieux du monde moderne, le registre numérique où les entreprises calculent leurs profits, suivent leurs stocks et planifient leurs budgets. C'est un outil si omniprésent que la plupart des gens l'utilisent sans réfléchir à son fonctionnement, pourtant les chercheurs savent depuis longtemps qu'il est fragile. Des études remontant aux années 1990 ont montré que la grande majorité de ces feuilles de calcul contiennent au moins une erreur grave, souvent cachée dans une seule formule qui semble correcte mais calcule un mauvais chiffre. Pendant des années, l'hypothèse était simple : ces erreurs surviennent parce qu'un humain a fait un faux mouvement ou une erreur de logique, comme taper un mauvais chiffre ou faire glisser une formule vers la mauvaise cellule. La solution, aux yeux des experts, consistait toujours en une révision humaine — demander à une autre personne de vérifier le travail pour détecter l'erreur avant qu'elle ne cause des dommages.

Mais le paysage de la construction de ces feuilles de calcul a radicalement changé ces dernières années. Depuis environ 2023, un nouveau genre d'assistant est apparu à l'intérieur de ces outils : un assistant d'intelligence artificielle capable d'écrire des formules et de construire des rapports complexes simplement en écoutant la requête d'un humain en langage naturel. Cette technologie promet d'accélérer le travail, mais elle introduit une nouvelle incertitude. Nous savons que ces systèmes d'IA font des erreurs, parvenant parfois à se tromper dans les calculs même lorsque le résultat semble plausible. La question cruciale restée sans réponse est de savoir si un réviseur humain peut repérer une erreur d'IA aussi facilement qu'une erreur humaine. Si une IA génère un chiffre légèrement erroné mais qui semble raisonnable, un employé fatigué le remarquera-t-il, ou fera-t-il confiance au résultat poli et laissera passer une erreur dangereuse ?

Une nouvelle étude propose un moyen de répondre à cette question en traitant le réviseur humain non pas seulement comme un filet de sécurité, mais comme le sujet même de l'expérience. Les chercheurs, travaillant de l'Université nationale du Bangladesh et de l'Université East West, ont conçu une comparaison contrôlée pour voir si la source d'une erreur modifie la probabilité qu'elle soit détectée. Ils ne demandent pas simplement à des ordinateurs de résoudre des problèmes mathématiques pour voir combien de fois ils échouent ; au contraire, ils proposent un scénario où de véritables analystes construisent des feuilles de calcul de deux manières différentes. Un groupe construirait son travail manuellement, en tapant lui-même chaque formule. L'autre groupe utiliserait un assistant d'IA pour générer les mêmes formules sur la base de ses instructions. Les deux groupes recevraient des tâches identiques, telles que la création d'un rapport budgétaire ou la synthèse de données de ventes, garantissant que la difficulté du travail est exactement la même pour tous.

Une fois les feuilles de calcul construites, les chercheurs prévoient de procéder à un audit rigoureux. Ils examineront chaque fichier pour trouver des erreurs, en les classant par types spécifiques. Ils chercheront des erreurs « bruyantes », qui sont des fautes évidentes comme un lien brisé ou un total qui ne correspond manifestement pas, et des erreurs « silencieuses », qui sont plus délicates. Une erreur silencieuse est une erreur où l'ordinateur produit un chiffre qui semble parfaitement normal mais qui est en réalité faux parce qu'il a utilisé les mauvaises données ou mal interprété une règle. Les chercheurs émettent l'hypothèse que, bien que les assistants d'IA puissent être doués pour éviter les fautes de frappe évidentes, ils produisent fréquemment ces erreurs silencieuses. Ils parviennent souvent à respecter la structure d'une formule, mais interprètent mal les relations subtiles entre les différentes parties des données, ce qui aboutit à un résultat plausible mais incorrect.

La partie la plus significative de l'étude est la seconde couche de test, qui se concentre sur les réviseurs humains. Un panel distinct d'analystes, qui ignorent quels fichiers ont été construits par des humains et lesquels par une IA, examinera les fichiers dans des conditions normales de pression temporelle. On ne leur dira pas que des erreurs sont présentes ; on leur demandera simplement de vérifier le travail comme ils le feraient dans un emploi réel. Les chercheurs veulent voir si les réviseurs sont plus susceptibles de manquer une erreur si elle provient d'une IA. L'hypothèse qui sous-tend cette partie de l'étude est que les humains souffrent d'une sorte de biais de confiance lorsqu'ils examinent un résultat automatisé. Parce que le travail généré par l'IA paraît souvent propre et professionnel, un réviseur pourrait se sentir plus confiant dans ce résultat et passer moins de temps à scruter les détails, ce qui l'amènerait à négliger des erreurs qu'il aurait facilement repérées s'il savait qu'un humain en était l'auteur.

L'étude n'a pas encore de chiffres définitifs, car elle expose la méthode d'une expérience contrôlée plutôt que de rapporter des résultats achevés. Cependant, le dispositif est conçu pour tester une possibilité spécifique et inquiétante : que les erreurs introduites par l'IA soient plus difficiles à détecter que les erreurs commises par les humains, même lorsque les erreurs sont de même gravité. Si l'étude le confirme, cela suggère que la manière dont les entreprises vérifient actuellement leur travail est insuffisante. Cela implique que le simple fait qu'un humain regarde l'écran ne suffit pas si cet humain fait inconsciemment plus confiance à la machine qu'à une personne. Les chercheurs soutiennent que si les erreurs d'IA sont effectivement plus difficiles à détecter, les organisations adoptant ces outils pourraient augmenter leur risque de prendre de mauvaises décisions, même si l'IA est techniquement plus rapide ou plus précise sur le papier.

Cette recherche vise à combler un fossé entre deux domaines qui se sont rarement adressé la parole. D'un côté, il y a des décennies de recherche sur les erreurs de feuilles de calcul, qui ont établi une carte claire de la manière dont les humains commettent des erreurs. De l'autre, il y a un flot de nouvelles données montrant comment les modèles d'IA échouent lors de ces mêmes tâches. Ce qui manquait, c'était une comparaison directe mesurant la réaction humaine face aux deux. En utilisant le même système de classification pour les erreurs humaines et mécaniques, et en mesurant la fréquence à laquelle ces erreurs sont trouvées par un tiers, l'étude cherche à fournir une réponse claire et fondée sur des preuves. Elle dépasse la question « à quelle fréquence l'IA se trompe-t-elle ? » pour poser la question plus pratique : « à quelle fréquence l'IA s'en tire-t-elle ? »

Les implications de ce travail dépassent largement le cadre de la simple feuille de calcul. Cela touche à une question plus large sur la façon dont les humains interagissent avec les machines intelligentes dans des environnements à enjeux élevés. Si l'étude démontre que nous sommes moins vigilants lors de la révision du travail de l'IA, cela suggère que les outils que nous utilisons pour prendre des décisions peuvent créer un angle mort dans notre propre jugement. Les chercheurs prévoient de mesurer non seulement si les erreurs sont trouvées, mais aussi le degré de confiance des réviseurs lorsqu'ils affirment qu'un fichier est correct. Ce « calibrage » est essentiel ; si les réviseurs sont tout aussi confiants dans le travail de l'IA que dans le travail humain, mais qu'ils sont en réalité moins précis dans leur jugement, cela pointe vers un changement fondamental dans la manière dont nous devons vérifier l'information.

En fin de compte, ce document est une proposition pour une expérience nécessaire dans un monde qui change plus vite que nos habitudes de sécurité. Il reconnaît que les anciennes règles de vérification du travail peuvent ne plus s'appliquer lorsque le travail est écrit par une machine. En mettant en place un test équitable et contrôlé, les auteurs espèrent donner aux entreprises et aux analystes une image claire des risques auxquels ils sont confrontés. Ils ne disent pas que l'IA est inutile ou qu'elle doit être interdite ; ils suggèrent plutôt que nous devons comprendre la nature spécifique de ses défaillances avant de lui confier nos chiffres les plus importants. L'objectif est de s'assurer qu'en confiant davantage de rédaction aux machines, nous ne perdions pas la capacité de voir la vérité lorsqu'elle est cachée à la vue de tous.