Stel je voor dat je een robot leert koken. Je zou het een afgewerkte, heerlijke lasagne kunnen laten zien en zeggen: "Maak dit," maar de robot zou er misschien alleen naar staren en de kaas proberen te raden. Of je zou het een zeer lange, saaie lijst met instructies kunnen geven: "Neem 200 gram kaas, snijd het in blokjes van 1 centimeter, plaats ze in laag 3..." Maar echte mensen praten niet zo; wij zeggen: "Maak een lasagne," en verwachten dat de chef weet wat dat betekent. Dit is de uitdaging van "Large Language Models" (LLM's)—superintelligente computerprogramma's die tekst kunnen lezen en schrijven. Wetenschappers proberen deze modellen te leren om behulpzame assistenten te zijn, niet alleen voor het schrijven van verhalen, maar ook voor het doen van echt werk, zoals het beheren van spreadsheets. Spreadsheets zijn die rasterachtige programma's (zoals Excel) die mensen gebruiken om geld bij te houden, feesten te plannen of gegevens te analyseren. De grote vraag is: Kan een computer een rommelige, echte spreadsheet lezen en begrijpen hoe hij er vanaf nul een moet opbouwen, simpelweg door te luisteren naar de vraag van een mens?

Dit artikel introduceert een slimme truc genaamd de "Workbook Time Machine" om een groot probleem op te lossen: we hadden geen goede manier om te testen of deze AI-chefs daadwerkelijk konden koken. De onderzoekers bouwden een pijplijn die achteruit werkt. Stel je voor dat je een voltooide, complexe spreadsheet neemt en alle mooie grafieken, formules en kleurcoderingen verwijdert totdat alleen de ruwe cijfers overblijven. Vervolgens vraagt het systeem aan een AI om een reeks instructies te schrijven die die ruwe cijfers weer zouden veranderen in de mooie spreadsheet. Door dit te doen, creëerden ze een enorme bibliotheek van "voor en na"-voorbeelden met instructies die variëren van supergedetailleerd tot zeer vaag. Ze gebruikten dit om een test te bouwen genaamd WTM-BENCH, die evalueert hoe goed verschillende AI-modellen spreadsheets kunnen maken.

De resultaten waren een mix van "niet slecht" en "oh nee." De studie vond dat de prestaties van de AI sterk afhangen van hoe je erover praat en welke tools je het geeft. Als je de AI een zeer specifiek, stapsgewijs recept geeft (zoals "zet deze formule in cel D2"), doet het vrij goed zijn werk. Maar als je een vage vraag geeft (zok als "maak een grafiek van de gegevens"), raakt het vaak de weg kwijt. Bovendien doen de "tools" die de AI gebruikt om met de spreadsheet te communiceren er veel toe; sommige tools zijn als een Zwitsers zakmes dat alles kan, terwijl andere als een bot bot mes zijn die worstelt met complexe taken zoals draaitabellen. Het artikel suggereert dat hoewel AI beter wordt in het opvolgen van gedetailleerde bevelen, het nog steeds moeite heeft met het rommelige, meerstaps-denken dat nodig is voor echte spreadsheet-automatisering, vooral wanneer de instructies kort zijn en de taken complex.

De Tijdmachine in de Keuken

Om te begrijpen hoe de onderzoekers hun test hebben gebouwd, denk aan een tijdmachine die niet door de tijd reist, maar door de geschiedenis van een spreadsheet. Normaal gesproken, wanneer we een robot willen testen, geven we het een taak en kijken we of het slaagt. Maar voor spreadsheets is het moeilijk om te weten wat een "perfecte" taak is, omdat echt menselijk werk rommelig is.

Daarom deden de auteurs iets achterstevoren. Ze begonnen met voltooide werkboeken—echte spreadsheets die mensen al hadden gemaakt, vol met formules, grafieken en draaitabellen. Ze noemden dit de "Backward"-stap. De tijdmachine stripte alle "afgeleide" objecten (de mooie dingen zoals grafieken en formules) weg om de "Raw" data eronder te onthullen. Het was alsoals het weghalen van de glazuur en de sprinkles van een volledig gedecoreerde taart om de kale sponscake eronder te zien.

Toen kwam de "Forward"-stap. Het systeem vroeg een AI om naar de kale spons en de voltooide taart te kijken en een recept te schrijven om van de één naar de ander te gaan. Maar hier is de twist: ze schreven niet slechts één recept. Ze schreven drie verschillende versies:

1. Niveau 1 (Het Handboek van de Chef): "Typ in cel D2 =10000*C2/(B2*B2), sleep het naar beneden naar D7, en maak vervolgens een spreidingsdiagram met kolommen A en D."
2. Niveau 2 (De Behulpzame Assistent): "Bereken de BMI voor iedereen en maak een grafiek die de BMI versus leeftijd laat zien."
3. Niveau 3 (De Vage Baas): "Plot de BMI-trend."

Dit creëerde een enorme dataset genaamd WTM-CORPUS met bijna 9.000 instructies. Van deze enorme stapel kozen ze een gebalanceerde testset van 150 taken genaamd WTM-BENCH. Deze testset werd zorgvuldig samengesteld om ervoor te zorgen dat het niet alleen vol zat met gemakkelijke formule-taken (die 67% van de oorspronkelijke data vormden), maar ook een eerlijke mix bevatte van grafieken, draaitabellen en voorwaardelijke opmaak, precies zoals een echt kantoor dat nodig zou hebben.

De Grote Spreadsheet Showdown

De onderzoekers lieten vervolgens 6 verschillende "frontier" AI-modellen (de slimste die beschikbaar zijn van bedrijven zoals Anthopoic en OpenAI) deze test doorlopen. Ze lieten de AI niet gewoon gokken; ze gaven het een "gereedschapskist" om daadwerkelijk met de spreadsheet te interageren. Ze testten drie verschillende gereedschapskisten:

• Python (OpenPyXL): Een programmeerbibliotheek die bestanden leest als een tekstdocument.
• VBA: De ingebouwde macrotaal van Excel, die krachtig maar ouderwets is.
• Office.js: Een moderne, webgebaseerde manier om met Excel te communiceren.

Ze testten ook verschillende "orkestratie"-stijlen. Sommige methoden laten de AI code schrijven en hopen op het beste (one-shot). Anderen laten de AI code schrijven, het resultaat bekijken, een fout maken, de fout herstellen en het opnieuw proberen (multi-turn).

De bevindingen waren onthullend:

1. De Toolbelt is belangrijker dan het Brein: Het type tool dat de AI gebruikte om de spreadsheet te besturen, maakte een enorm verschil. Bijvoorbeeld, het maken van een "Draaitabel" (een complexe samenvattende tabel) was extreem moeilijk voor de Python-tool, die meerdere stappen moest managen. Maar met VBA of Office.js, die ingebouwde commando's hiervoor hebben, deed de AI het veel beter. Het artikel suggereert dat de "interface" net zo belangrijk is als de intelligentie van het model.
2. Specificiteit is Koning (voor nu): Wanneer de instructies supergedetailleerd waren (Niveau 1), presteerden de AI-modellen redelijk goed. Maar naarmate de instructies korter en vager werden (Niveau 3), daalde de prestatie drastisch. De modellen hadden moeite om de "gaten in te vullen" zoals een mens dat zou doen.
3. Het Draaitabel-probleem: Terwijl de AI redelijk werd in het maken van formules en grafieken, faalde het bijna volledig bij het maken van draaitabellen. De "Soft Score" (een maatstaf voor hoe dicht het resultaat bij perfectie lag) voor draaitabellen was bijna nul bij bijna alle modellen. Dit suggereert een fundamentele kloof in het vermogen van de AI om complexe, meerstaps datasamenvattingen te verwerken.
4. Vertrouw de "Succes"-melding niet: Het onderzoek vond dat veel AI-modellen beweerden klaar te zijn, zelfs als ze gefaald hadden. Bijvoorbeeld, bij de Claude-modellen gaf de AI in meer dan 80% van de gevallen waarin het zei "Ik ben klaar", eigenlijk een structurele fout aan (zoals de grafiek op de verkeerde plek zetten of de hele grafiek missen). Dit wordt "gehallucineerd succes" genoemd, en het is een grote hindernis voor echt wereldgebruik.

Wat dit betekent voor de toekomst

Het artikel concludeert dat hoewel AI beter wordt in het opvolgen van strikte, gedetailleerde instructies, het nog niet klaar is om een volledig autonome spreadsheet-wizard te zijn. De "Workbook Time Machine" bewees dat de manier waarop we AI testen net zo belangrijk is als de AI zelf. Als we alleen testen met gemakkelijke, gedetailleerde prompts, denken we misschien dat de AI slimmer is dan hij werkelijk is.

De onderzoekers suggereren dat we deze modellen beter kunnen leren via een "curriculum": beginnen met de gedetailleerde Niveau 1-instructies en langzaam overgaan naar de vage Niveau 3-instructies, om hen te helpen de gaten in te vullen. Ze merken ook op dat de pijplijn die ze hebben gebouwd kan worden uitgebreid om ook andere spreadsheet-taken aan te pakken, zoals het verwijderen of wijzigen van gegevens, en niet alleen het creëren ervan.

Uiteindelijk laat de studie zien dat we op de goede weg zijn, maar dat de weg naar een echt autonome spreadsheet-agent nog lang is. De AI kan een recept volgen, maar heeft nog steeds een mens nodig om de hand vast te houden wanneer de instructies vaag worden of de taak ingewikkeld wordt. De "Tijdmachine" heeft ons een betere kaart gegeven van waar de AI sterk is en waar hij nog moet leren, zodat toekomstige tests eerlijk, gebalanceerd en geworteld zijn in de rommelige realiteit van hoe mensen spreadsheets daadwerkelijk gebruiken.