Plans Work in Mysterious Ways: Evaluating a Plan Mode for Spreadsheet Agents
Dit artikel evalueert een Plan Mode-prototype voor spreadsheet-agenten via een gebruikersstudie, waarbij wordt vastgesteld dat het, hoewel het de taakresultaten niet verbetert, effectief de noodzaak tot verfijning vermindert en de perceptie van gebruikers met betrekking tot creatieve ondersteuning en mens-machinecollaboratie versterkt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een enorm, complex Lego-kasteel te bouwen. Je hebt een superintelligente robotassistent die blokjes aan elkaar kan klikken sneller dan jij kunt knipperen. Maar hier zit de adder onder het gras: de robot is zo enthousiast om te helpen dat hij misschien een toren bouwt precies waar jij een gracht wilde hebben, of hij gebruikt misschien rode blokjes terwijl jij stiekem blauwe wilde. In de wereld van "agentic" AI — tools die zelfstandig handelen om problemen op te lossen — is dit een veelvoorkomend hoofdpijndossier. Om dit op te lossen, hebben sommige tools een "Plan Mode" geïntroduceerd. Denk aan dit als een blauwdruk-sessie voordat de constructie begint. In plaats van dat de robot direct een hamer grijpt en begint te slaan, pauzeert hij, laat je een tekening zien van wat hij denkt dat je wilt, en vraagt: "Bedoelde je dit?" Dit geeft je de kans om te zeggen: "Nee, ik wilde eigenlijk een ophaalbrug hier," voordat er ook maar één blokje is gelegd. Maar helpt deze extra stap gewone mensen, die gewoon snel dingen willen afkristen, echt, of vertraagt het hen alleen maar? Dat is de grote vraag waar onderzoekers van Microsoft zich op wilden richten.
Het artikel, getiteld "Plans Work in Mysterious Ways," duikt in de vraag of deze "Plan Mode" werkt voor spreadsheetgebruikers. Spreadsheets zijn een beetje anders dan professioneel programmeren; mensen die spreadsheets gebruiken, houden er vaak van om gaandeweg te knutselen, hun mening te veranderen en dingen ter plekke aan te passen, in plaats van eerst een perfect handboek te schrijven. De onderzoekers vroegen zich af: Als we een spreadsheetgebruiker dwingen om eerst een gedetailleerd plan te maken met een AI, zullen ze dan eindigen met een betere spreadsheet, of zullen ze het gewoon voelen als tijdverspilling?
Om dit te ontdekken, bouwde het team een speciale versie van een AI-spreadsheetassistent die twee dingen kon doen. Ten eerste had het een "Act Mode", waarbij het simpelweg naar je verzoek luistert en direct aan de slag gaat met het bouwen van de spreadsheet, zodat je het later kunt aanpassen. Ten tweede had het een "Plan Mode", waarbij de AI stopt, je verhelderende vragen stelt (zoals "Hoeveel maanden moet dit budget beslaan?"), een stapsgewijs plan opstelt en je dat plan laat bewerken voordat het de spreadsheet aanraakt. Ze nodigden vervolgens 24 mensen uit om beide modi te proberen bij taken zoals het maken van een persoonlijk budget of het plannen van een vakantie.
De resultaten waren een beetje verrassend, alsof je ontdekt dat een luxe GPS je niet sneller op de bestemming brengt, maar de rit wel veel comfortabeler maakt. De onderzoekers ontdekten dat de uiteindelijke spreadsheets die in beide modi werden gemaakt, bijna identiek waren. Of gebruikers nu eerst planten of gewoon meteen beginnen, het eindresultaat zag er qua grafieken, tabellen en gegevens zeer vergelijkbaar uit. De "Plan Mode" produceerde niet magisch meer creatieve of complexe spreadsheets.
Echter, de ervaring was totaal anders. Mensen die de Plan Mode gebruikten, voelden zich veel meer in controle en voelden zich meer aan het samenwerken met een partner dan alleen het aansturen van een machine. Het feit dat de AI verhelderende vragen stelde, hielp gebruikers om dieper na te denken over wat ze eigenlijk wilden voordat het werk begon. Hoewel de gebruikers zelden daadwerkelijk op de knoppen klikten om het plan te bewerken of het proces halverwege te stoos, zorgde het feit dat ze het plan konden zien en de optie hadden om het te wijzigen ervoor dat ze zich veiliger en tevredener voelden. Het was alsof je een co-piloot had die de kaart met je controleert; zelfs als je de route niet verandert, geeft het weten dat ze gecontroleerd hebben je een beter gevoel over de reis.
Interessant genoeg suggereerde de studie dat deze "plannende" aanpak het beste werkt voor mensen die graag zaken uitdenken voordat ze handelen, of voor langere, complexere taken. Voor mensen die er de voorkeur aan geven om gewoon te beginnen en dingen te repareren terwijl ze bezig zijn, voelde de planningsstap aan als een drempel. Maar over het algwoord suggereert de studie dat hoewel de Plan Mode het eindproduct misschien niet verandert, het de relatie tussen de mens en de AI verandert, waardoor de samenwerking meer voelt als een teaminspanning en minder als een command-and-control situatie. De onderzoekers concludeerden dat dit gevoel van controle en duidelijkheid op zichzelf waardevol is, zelfs als de uiteindelijke spreadsheet hetzelfde is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.