SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks

Ce papier présente SpreadsheetArena, une plateforme d'évaluation par comparaison aveugle conçue pour analyser les performances des modèles de langage dans la génération de classeurs Excel, révélant que les préférences varient considérablement selon les cas d'usage et que les modèles actuels peinent encore à respecter systématiquement les meilleures pratiques de domaine.

L'essentiel

🏆 L'Arena des Tableaux : Le Championnat des Tableurs IA

Imaginez que vous êtes dans une arène de combat, mais au lieu de super-héros ou de boxeurs, ce sont des Intelligences Artificielles (IA) qui s'affrontent. Leur terrain de jeu ? Les tableurs (comme Excel).

Le but du jeu n'est pas de faire le meilleur code informatique, mais de créer le meilleur tableau de bord pour répondre à une demande humaine.

1. Le Défi : Demander à une IA de faire un "Excel"

Jusqu'à présent, on testait les IA sur leur capacité à écrire des poèmes ou à coder des logiciels. Mais dans la vraie vie, des millions de gens utilisent des tableurs pour gérer leur argent, faire des prévisions ou organiser des données.

Les chercheurs ont créé SPREADSHEETARENA, une plateforme où :

• Un humain donne une consigne (ex: "Crée un modèle financier pour un hôtel").
• Deux IA différentes génèrent chacune un fichier Excel.
• Des humains (les juges) regardent les deux résultats à l'aveugle et votent pour le meilleur.

C'est comme un concours de cuisine où les juges goûtent deux plats différents sans savoir qui est le chef, pour décider lequel est le plus délicieux.

2. La Révélation : Ce qui plaît aux gens n'est pas toujours ce qui est "juste"

C'est ici que l'étude devient fascinante. Les chercheurs ont découvert que les préférences des humains sont trompeuses.

• L'illusion de la beauté : Les IA qui gagnent le plus souvent sont celles qui font des tableaux très colorés, avec beaucoup de texte, des bordures et des polices en gras. C'est comme un gâteau très décoré : il a l'air magnifique, mais est-ce qu'il est bon à manger ?
• Le problème de la structure : Parfois, une IA gagne parce que son tableau est joli, même si les formules de calcul sont un peu bancals. À l'inverse, une IA qui fait un tableau "moche" mais parfaitement exact peut perdre.

L'analogie du restaurant :
Imaginez deux restaurants.

• Le Restaurant A a une décoration somptueuse, des nappes en soie et un menu écrit en calligraphie, mais la nourriture est parfois froide ou mal cuite.
• Le Restaurant B a des murs blancs, des chaises en plastique, mais la nourriture est parfaite et les prix sont justes.
  Dans l'arène, les gens votent souvent pour le Restaurant A juste parce que c'est beau. L'étude montre que les IA actuelles sont excellentes pour le "décor" (le style), mais moins fiables pour la "cuisine" (la logique financière précise).

3. Le "Filtre de la Vérité" : Quand on enlève le maquillage

Les chercheurs ont utilisé un outil mathématique (un peu comme un filtre photo qui enlève le maquillage) pour voir comment les IA se classeraient si on ne regardait que la qualité réelle du travail, et non pas la quantité de couleurs ou de texte.

Résultat surprenant :

• Les champions incontestés (comme Claude Opus) ont perdu beaucoup de points une fois qu'on a retiré l'effet "joli tableau".
• D'autres modèles, moins connus, ont grimpé dans le classement car ils faisaient des tableaux plus "sérieux" et précis, même s'ils étaient moins flashy.

Cela prouve que la longueur et le style ne sont pas synonymes de qualité.

4. Le Cas Spécial : Les Experts Financiers

Pour tester la vraie compétence, les chercheurs ont demandé à des experts financiers (des gens qui travaillent dans la banque) de noter les tableaux générés par les IA.

Le verdict est sévère :

• Les IA ont souvent oublié les règles d'or de la finance. Par exemple, dans un tableau financier pro, on code en bleu les chiffres que l'on modifie, en noir les formules, et en vert les liens entre les feuilles.
• Les IA ont souvent mélangé les couleurs (un "arc-en-ciel" désordonné) ou mis des formules directement dans les cellules au lieu de les lier proprement.
• Conclusion : Même si un tableau IA semble parfait pour un humain moyen, un expert financier le rejetterait car il ne respecte pas les normes professionnelles. C'est comme si un architecte dessinait une maison magnifique sur papier, mais que les murs ne tenaient pas debout.

5. Pourquoi c'est important ?

Cette étude nous apprend deux choses cruciales :

1. Attention aux apparences : Quand on demande à une IA de faire un travail technique, elle a tendance à "en faire trop" pour plaire (trop de couleurs, trop de texte), au détriment de la précision.
2. Le besoin d'experts : Pour des tâches complexes comme la finance, on ne peut pas se fier uniquement aux votes du public. Il faut des experts pour valider que le travail est solide, pas juste joli.

En résumé

SPREADSHEETARENA est un grand laboratoire qui nous dit : "Les IA sont devenues très douces pour faire de beaux tableaux, mais elles ont encore du mal à être des comptables ou des analystes fiables."

C'est un appel à ne pas se laisser aveugler par le "bling-bling" numérique et à continuer d'améliorer la logique profonde de ces intelligences artificielles.

Résumé technique

1. Problématique et Contexte

La génération de fichiers structurés par les grands modèles de langage (LLM) est un domaine en pleine expansion, allant de la génération de code à la création de tables JSON. Cependant, la génération de feuilles de calcul complètes (spreadsheet workbooks) présente des défis uniques qui la distinguent des tâches de chat ou de génération de code standard :

• Complexité structurelle multidimensionnelle : Contrairement au texte linéaire, une feuille de calcul encode des dépendances en graphe denses entre les cellules, les formules et les feuilles.
• Critères d'évaluation subjectifs et contextuels : La qualité d'une feuille de calcul dépend non seulement de la justesse mathématique, mais aussi de la mise en forme, de la lisibilité, de l'interactivité et de l'adhésion aux conventions de domaine (ex: normes financières).
• Insuffisance des vérifications programmatiques : Une simple exécution de code ne suffit pas à détecter les erreurs subtiles (comme des références cassées ou une logique de modèle trompeuse) ni à évaluer l'utilité fonctionnelle pour l'utilisateur.
• Manque de benchmarks : Il n'existe pas de plateforme standardisée pour évaluer les préférences humaines sur des artefacts de feuilles de calcul générés par des LLM.

L'objectif de l'article est de combler ce vide en introduisant SPREADSHEETARENA, une plateforme d'évaluation basée sur des votes de préférence aveugles, et d'analyser comment les préférences humaines se décomposent par rapport aux caractéristiques techniques des modèles.

2. Méthodologie

SPREADSHEETARENA : Plateforme d'Évaluation

Les auteurs ont créé une plateforme où les utilisateurs soumettent des prompts en langage naturel (ex: « Créez un modèle de flux de trésorerie pour une entreprise hôtelière »).

• Processus : Pour chaque prompt, le système génère des paires de feuilles de calcul produites par différents LLM anonymes.
• Voting : Les utilisateurs votent pour la feuille de calcul préférée, indiquent un égalité, ou jugent les deux comme insatisfaisantes.
• Données : L'étude repose sur 4 357 votes issus de batailles par paires entre 16 modèles (incluant Claude, Gemini, GPT, Grok, Llama, etc.) couvrant 6 catégories de prompts (Finance, Recherche académique, Creative, etc.).

Modélisation Statistique (Bradley-Terry)

Pour établir un classement (Leaderboard), les auteurs utilisent le modèle de Bradley-Terry, converti en scores Elo (ancrés à 1000 pour GPT-4o).

• Approche standard : Estimation de la force latente ($\theta$) de chaque modèle basée uniquement sur les résultats des victoires/défaites.
• Approche enrichie (Feature-Augmented) : Les auteurs étendent le modèle pour inclure des covariables de caractéristiques extraites programmatically des feuilles de calcul (ex: taux d'erreur de formule, densité de texte, respect des conventions de couleurs).
  • Formule : $P(A \succ B) = \sigma(\theta_A - \theta_B + \sum \beta_k(X_{Ak} - X_{Bk}))$
  • Cela permet de « contrôler » l'effet des caractéristiques visibles pour isoler la compétence intrinsèque du modèle.

Taxonomie des Échecs et Évaluation d'Experts

• Taxonomie des échecs : Une analyse des raisons de défaillance (via un juge LLM) a permis de catégoriser les erreurs en 7 buckets (ex: Non-fonctionnel, Non-conformité au prompt, Échec d'intégrité, Erreur de calcul, Problèmes de présentation).
• Étude d'experts (Finance) : Une évaluation en aveugle par 5 experts financiers a été menée sur 52 batailles pour comparer les préférences de la foule (Arena) avec les normes professionnelles (règles FAST, codage couleur, séparation inputs/calculs).

3. Contributions Clés

1. SPREADSHEETARENA : La première plateforme de type « Arena » dédiée à la génération de feuilles de calcul, fournissant un dataset public de prompts, de fichiers générés et de votes.
2. Décomposition des Préférences : Démonstration que les classements globaux masquent des dynamiques complexes. L'ajustement des scores Elo pour tenir compte des caractéristiques observables (mise en forme, structure) modifie significativement le classement.
3. Analyse par Domaine : Mise en évidence que les critères de succès varient radicalement selon le domaine (ex: la mise en forme est cruciale en finance, mais moins en recherche académique où la transparence des données brutes prime).
4. Écart Expert vs Foule : Identification d'un décalage significatif entre les préférences des utilisateurs généraux et les standards professionnels, notamment dans le domaine financier.

4. Résultats Principaux

Classement Global et Ajustement

• Leaderboard de base : Les modèles Claude Opus 4.5 et Claude Sonnet 4.5 dominent le classement initial.
• Compression des scores : Après ajustement pour les caractéristiques (comme la densité de texte ou le remplissage de cellules), l'écart entre les modèles se réduit considérablement.
  • Exemple : Claude Opus 4.5 perd 217 points Elo (de 1550 à 1333) une fois les effets de style contrôlés.
  • Exemple : Gemini 3 Pro grimpe de la 4ème à la 2ème place, suggérant que ses performances brutes étaient moins dépendantes de caractéristiques superficielles que celles de Claude.
• Facteurs influents : Les caractéristiques ayant le plus d'impact sur la victoire sont la densité de texte, les remplissages de fond (couleurs) et le contenu numérique. Paradoxalement, la sophistication des formules (utilisation de fonctions de recherche complexes) n'est pas un facteur significatif de préférence.

Comportements par Modèle

• Famille Claude : Bien que très bien classée, elle présente un profil d'échec distinctif. Ses pertes sont moins dues à des problèmes de présentation ou d'incomplétude, mais davantage à des échecs d'intégrité (modèles structurellement non fiables) et des erreurs de calcul numérique (74% de ses pertes). Ces erreurs sont plus difficiles à détecter pour un non-expert mais critiques.
• Modèles plus faibles (ex: Qwen, Llama) : Souvent pénalisés par une non-conformité au prompt (manque de sections requises) et des erreurs fonctionnelles massives.

Spécificités des Domaines

• Recherche Académique : Les modèles avec beaucoup de mise en forme (couleurs, formats de nombres) sont pénalisés. La préférence va aux sorties minimalistes et transparentes.
• Finance Professionnelle : Le respect des conventions de codage couleur (bleu pour les entrées, noir pour les formules) est un facteur significatif de victoire.

Évaluation d'Experts en Finance

• Performance globale médiocre : Les feuilles de calcul générées par les LLM obtiennent une note moyenne de 2,87/5 par les experts.
• Faiblesse majeure : La dimension « Codage couleur et mise en forme » est la plus faible (1,95/5). Aucun modèle ne respecte systématiquement les normes professionnelles (ex: règles FAST).
• Décalage Arena-Expert : L'accord entre les votes de l'Arena et les jugements des experts n'est que de 42,3 %. Les préférences de la foule ne capturent pas adéquatement les exigences de rigueur et de convention du domaine financier.

5. Signification et Implications

• Limites des données de préférence actuelles : L'entraînement par préférence (RLHF/DPO) basé sur des données de foule risque d'optimiser les modèles pour des caractéristiques superficielles (mise en forme, longueur) au détriment de la justesse fonctionnelle et de l'adhésion aux normes de domaine.
• Nécessité d'évaluations hybrides : Pour des tâches complexes comme la génération de feuilles de calcul, l'évaluation ne peut reposer uniquement sur des métriques programmatiques ou des votes de foule. Elle nécessite une combinaison de préférences humaines, d'analyses de caractéristiques structurelles et d'évaluations d'experts.
• Avenir de la recherche : L'article appelle à développer des stratégies de post-entraînement spécifiques aux artefacts structurés, à améliorer la représentation des données tabulaires et à créer des benchmarks plus rigoureux intégrant les normes de domaine.

En conclusion, SPREADSHEETARENA révèle que la génération de feuilles de calcul par les LLM est une tâche hautement contextuelle où la « qualité » est multidimensionnelle. Les modèles actuels, bien que capables de produire des structures valides, échouent souvent à respecter les subtilités des conventions professionnelles, soulignant un fossé important entre la capacité de génération brute et l'utilité pratique réelle.