SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks

Dit paper introduceert SpreadsheetArena, een platform voor de evaluatie van grote taalmodellen bij het genereren van volledige spreadsheetwerkboeken via blinde paarvergelijkingen, waarbij wordt vastgesteld dat voorkeuren sterk variëren en zelfs geavanceerde modellen moeite hebben met het naleven van domeinspecifieke beste praktijken.

De kern

SPREADSHEETARENA: Een Strijdtuin voor Excel-robots

Stel je voor dat je een enorme, levende arena hebt, zoals een gladiatorgevecht, maar dan in plaats van zwaarden en schilden, vechten kunstmatige intelligenties (AI) met Excel-spreadsheets. Dat is precies wat dit paper, getiteld SPREADSHEETARENA, beschrijft.

Hier is het verhaal, vertaald naar gewoon Nederlands, met een paar creatieve vergelijkingen om het duidelijk te maken.

1. Het Probleem: Waarom is dit lastig?

Vroeger vroegen we AI alleen om een verhaal te schrijven of een vraag te beantwoorden. Dat is als een kok die een soep maakt: of hij is lekker, of hij is niet lekker.

Maar nu vragen we AI om spreadsheets te maken. Een spreadsheet is geen simpel verhaal; het is meer als het bouwen van een kleine, interactieve stad.

• Er zijn straten (rijen) en gebouwen (cellen).
• Alles moet met elkaar verbonden zijn (formules).
• Als je één steen verplaatst (een getal aanpast), moet de hele stad reageren.

Het probleem is dat er niet één "perfecte" stad is. Voor een boekhouder moet de stad er strak en formeel uitzien. Voor een leraar moet hij duidelijk en simpel zijn. Voor een creatieve kunstenaar mag hij gek en kleurrijk zijn. Hoe meet je dus wie de beste AI is, als iedereen andere eisen stelt?

2. De Oplossing: De Strijdtuin (The Arena)

De auteurs hebben SPREADSHEETARENA gebouwd. Dit is een platform waar mensen hun eigen "opdrachten" (prompts) kunnen geven, zoals: "Maak een spreadsheet voor een hotelbudget voor 5 jaar" of "Maak een spelletje Dambord in Excel".

Vervolgens laten ze twee verschillende AI-modellen (bijv. Claude vs. GPT-5) deze opdracht uitvoeren.

• De Blinden Test: De mensen die stemmen zien niet welke AI welke spreadsheet heeft gemaakt. Ze zien alleen twee spreadsheets naast elkaar.
• De Stem: Ze zeggen: "Deze is beter" of "Beide zijn slecht".
• Het Resultaat: Na duizenden van deze gevechten krijgen de AI's een Elo-rating (net als bij schaken of e-sports). De huidige kampioen is Claude Opus 4.5, maar de ranglijst verandert snel.

3. De Grote Ontdekking: "Uiterlijk bedriegt"

Dit is het meest interessante deel van het paper. De onderzoekers keken niet alleen naar wie won, maar waarom ze wonnen. Ze gebruikten een soort "X-ray bril" om te zien wat de spreadsheets precies bevatten.

Vergelijking: Stel je voor dat je twee auto's vergelijkt. De ene heeft een glimmende lak en grote wielen (mooi uiterlijk), de andere is wat stoffig maar heeft een supersterke motor (goede techniek).

• Wat de mensen zagen: Mensen houden van mooie spreadsheets. Spreadsheets met veel kleur, vetgedrukte tekst, en nette randjes wonnen vaker. Het was alsof de AI's die de "glimmende lak" (formatting) goed konden aanbrengen, automatisch meer stemmen kregen.
• Wat er echt belangrijk was: Als je de "glimmende lak" er digitaal afhaalt en alleen kijkt naar de techniek (de formules), verandert de ranglijst drastisch!
  • Sommige AI's die hoog stonden, zakten naar beneden omdat hun spreadsheets eigenlijk vol stonden met fouten, maar ze waren zo mooi opgemaakt dat mensen het niet zagen.
  • Andere AI's, die minder mooi opgemaakte spreadsheets maakten, bleken eigenlijk veel slimmer en nauwkeuriger te zijn.

De les: Mensen worden vaak beïnvloed door hoe iets eruitziet, niet altijd door hoe het werkt.

4. De Expert vs. De Menigte

Om dit te testen, vroegen ze echte financiële experts (mensen die dagelijks met complexe financiële modellen werken) om de spreadsheets te beoordelen.

• De Menigte (Arena): Vond spreadsheets met veel kleuren en nette lijntjes het mooist.
• De Experts: Zeiden: "Wacht even, deze spreadsheet is mooi, maar de cijfers kloppen niet!" of "Deze AI heeft getallen in de formule gezet in plaats van in een invoercel, wat een groot fout is voor een professional."

De conclusie: De "menigte" in de arena was het vaak niet eens met de experts. De AI's die de menigte leuk vond, voldeden vaak niet aan de strenge regels van de financiële wereld. Het is alsof een AI een prachtig geschilderd huis bouwt, maar de fundering is van karton. De menigte zegt "Wat een mooi huis!", maar de expert zegt "Dit huis stort in als je erin loopt."

5. Wat betekent dit voor de toekomst?

Dit paper is een waarschuwing en een uitdaging voor de makers van AI:

1. AI moet niet alleen "mooi" doen: Als we AI's trainen om alleen te winnen in een arena, leren ze misschien om "mooie schijn" te creëren in plaats van "echte kwaliteit". Ze leren de "glimmende lak" aanbrengen, maar vergeten de motor te repareren.
2. Context is koning: Een spreadsheet voor een schoolproject is anders dan een spreadsheet voor een miljardair. AI moet leren wat de specifieke regels zijn van het vakgebied.
3. Mensen zijn niet altijd objectief: Als we AI willen verbeteren, kunnen we niet alleen vertrouwen op "wie ziet er het mooist uit?". We hebben experts nodig om te zeggen: "Deze is technisch perfect, ook al is hij saai."

Kortom: SPREADSHEETARENA is een prachtige testomgeving die laat zien dat het maken van een spreadsheet door een AI veel moeilijker is dan het lijkt. Het is niet alleen rekenen; het is ook begrijpen wat mensen nodig hebben, en soms moet je de "mooie verpakking" negeren om te zien of de inhoud wel klopt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SPREADSHEETARENA: Decomposing Preference in LLM Generation of Spreadsheet Workbooks", vertaald en samengevat in het Nederlands.

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor het genereren en manipuleren van gestructureerde kunstmatige objecten (zoals code en tabellen). Echter, het genereren van volledige spreadsheet-werkboeken (workbooks) vanuit natuurlijke taalprompten blijft een complex en onderbelicht probleem.

De uitdagingen zijn uniek vergeleken met chat of code-generatie:

• Structuur en Complexiteit: Spreadsheets bevatten een dicht, graf-gebaseerd netwerk van afhankelijkheden tussen cellen en formules.
• Multi-dimensionale kwaliteit: Succes hangt niet alleen af van numerieke juistheid, maar ook van lay-out, leesbaarheid, interactie en domeinspecifieke conventies (bijv. financiële modellering).
• Moeilijk formaliseerbaar: Kwaliteitscriteria variëren sterk per use-case (van creatieve taken tot professionele financiële rapportage) en zijn vaak subjectief of contextafhankelijk, wat automatische validatie bemoeilijkt.
• Huidige lacune: Bestaande benchmarks focussen vaak op syntactische juistheid of code, maar missen een holistische evaluatie van de bruikbaarheid en voorkeur voor spreadsheets.

2. Methodologie: SPREADSHEETARENA

De auteurs introduceren SPREADSHEETARENA, een platform voor "arena-style" evaluaties waarbij gebruikers blind stemmen op de voorkeur tussen twee door LLM's gegenereerde spreadsheets.

• Datacollectie: Er zijn 4.357 paar-voor-paar stemmen verzameld over 16 verschillende LLM-modellen (waaronder Claude, Gemini, GPT-5, Grok, Llama, etc.).
• Prompt-categorisatie: Prompts worden ingedeeld in zes categorieën: Academisch & Onderzoek, Corporate Finance & FP&A, Creatief & Generatief, Operaties & Supply Chain, Professionele Finance, en KMO & Persoonlijk.
• Generatieproces: Modellen genereren een JSON-representatie van een spreadsheet (volgens een specifiek schema, SheetSpec), die vervolgens deterministisch wordt gerenderd in de browser van de gebruiker.
• Statistische Analyse:
  • Bradley-Terry Model: Gebruikt om winstkansen en Elo-ratings te schatten op basis van de stemmen.
  • Feature-Augmented Model: Het Bradley-Terry model wordt uitgebreid met 29 programmeerbaar afgeleide kenmerken (zoals foutpercentages, tekstdichtheid, opmaak, structuur) om te bepalen welke factoren de voorkeur beïnvloeden.
  • Fouttaxonomie: Een datagedreven taxonomie van 7 foutcategorieën (bijv. "Niet-functioneel", "Integriteitsfout", "Presentatie-tekortkoming") wordt ontwikkeld en toegepast door een LLM-judge om verliezende spreadsheets te analyseren.
  • Expert Evaluatie: Voor de financiële domein-categorie wordt een blinded expert-studie uitgevoerd met een rubric gebaseerd op professionele financiële modelleringstandaarden (bijv. FAST-standaarden).

3. Belangrijkste Bijdragen

1. SPREADSHEETARENA Platform: Een live platform voor het evalueren van end-to-end spreadsheet-generatie via menselijke voorkeursstemmingen.
2. Stabiele Rankings: Etablering van een ranking van 16 LLM-modellen, waarbij Claude-modellen over het algemeen het beste presteren.
3. Decompositie van Voorkeur: Het aantonen dat de Elo-rangschikkingen sterk worden beïnvloed door waarneembare kenmerken van de output. Wanneer men corrigeert voor deze kenmerken, krimpt de ranglijst aanzienlijk ("Leaderboard Compression").
4. Domeinspecifieke Inzichten: Het onthullen dat voorkeursfactoren per domein verschillen (bijv. academische prompts prefereren minder opmaak, terwijl financiële prompts strikte kleurconventies vereisen).
5. Expert vs. Crowd Discrepantie: Een studie die laat zien dat crowd-voorkeuren slechts matig overeenkomen met expert-beoordelingen in de financiële sector, vooral op het gebied van professionele conventies.

4. Resultaten en Analyse

A. Algemene Prestaties en Feature-Effecten

• Leaderboard: Claude Opus 4.5 staat bovenaan (Elo ~1550), gevolgd door andere Claude- en Gemini-modellen.
• Leaderboard Compression: Na aanpassing voor kenmerken (feature-adjusted Elo) daalt de kloof tussen modellen. Claude Opus 4.5 daalt bijvoorbeeld 217 punten, terwijl modellen zoals Qwen3 en Llama 4 Maverick stijgen. Dit suggereert dat een deel van hun "overwinning" te danken was aan oppervlakkige kenmerken (zoals meer tekst of opmaak) in plaats van fundamentele kwaliteit.
• Significante Kenmerken:
  • Positief: Tekstdichtheid, achtergrondvulling (fills), en numerieke inhoud correleren sterk met winstkansen.
  • Negatief: Foutpercentages in formules zijn de sterkste negatieve predictor.
  • Verrassend: Complexiteit van formules (zoals het gebruik van lookup-functies) correleert niet significant met voorkeur, terwijl visuele opmaak dat wel doet.

B. Domeinspecifieke Patronen

• Academisch & Onderzoek: Hier wordt zware opmaak (zoals getalopmaak) negatief beoordeeld. Claude-modellen, die vaak veel opmaak gebruiken, zakken hier sterk in de ranglijst (van 1e naar 9e plaats).
• Financieel: Professionele conventies zijn cruciaal. Het kenmerk finance_color_convention (blauw voor inputs, zwart voor formules) is hier een sterke positieve predictor, maar niet significant in het totaal.

C. Foutanalyse (Failure Taxonomy)

• Presentatie-tekortkomingen zijn de meest voorkomende fout (57-96% van alle verliezen), wat aangeeft dat gebruikers vaak kiezen op basis van visuele kwaliteit.
• Integriteitsfouten (bijv. harde waarden in formules, niet-gekoppelde drivers) en Numerieke Fouten zijn minder vaak de oorzaak van verlies voor top-modellen, maar wel kritiek.
• Claude-modellen tonen een uniek profiel: ze verliezen minder vaak door onvolledigheid of slechte presentatie, maar vaker door diepere integriteits- en rekenfouten die voor leken minder zichtbaar zijn.

D. Expert Evaluatie (Financieel Domein)

• Slechte Overeenstemming: Expert-ratings komen slechts in 42,3% van de gevallen overeen met de arena-uitslag.
• Kwaliteitsniveau: De gemiddelde score van LLM-generaties door experts is 2,87/5 (net onder "Acceptabel").
• Grootste Tekortkoming: Kleurgebruik en Opmaak. 77,6% van de spreadsheets scoort hier een 1 of 2. Modellen volgen zelden de strikte professionele conventies (bijv. blauwe inputs, zwarte formules).
• Conclusie: Hoewel crowdsourcing nuttig is, mislukt het vaak om de strenge eisen van professionele financiële modellering te vangen.

5. Betekenis en Conclusie

Het paper concludeert dat spreadsheet-generatie een uitdagende taak blijft, zelfs voor de meest geavanceerde LLM's. Hoewel modellen vaak syntactisch correcte werkboeken produceren, falen ze vaak in het voldoen aan domeinspecifieke best practices en functionele bruikbaarheid.

Belangrijke implicaties:

1. Post-training: Voorkeursdata (RLHF/DPO) moet zorgvuldig worden geoptimaliseerd, omdat naieve voorkeursdata modellen kan belonen voor oppervlakkige kenmerken (zoals opmaak) in plaats van fundamentele juistheid of domeinconventies.
2. Evaluatie: Er is een behoefte aan evaluaties die zowel crowdsourcing als expert-rubrics combineren, vooral voor kritieke domeinen zoals finance.
3. Toekomstig werk: Er is ruimte voor verbetering in het leren van representaties van spreadsheets, data-curatie voor specifieke taken, en het ontwikkelen van inferentie-algoritmen die expliciet rekening houden met structuur en domeinkennis.

SPREADSHEETARENA biedt een waardevol kader om deze complexiteit te ontrafelen en streeft naar verdere vooruitgang in het genereren van gestructureerde, bruikbare kunstmatige objecten door AI.