"When to Hand Off, When to Work Together": Expanding Human-Agent Co-Creative Collaboration through Concurrent Interaction

Dit paper introduceert CLEO, een systeem dat mens-agent samenwerking verbetert door real-time interpretatie van gezamenlijke acties, en presenteert een beslismodel dat aangeeft wanneer designers delegatie, richting of concurrente samenwerking moeten kiezen.

De kern

Stel je voor dat je samenwerkt met een zeer slimme, maar soms wat stijve robot-ontwerper. In het verleden was de samenwerking met zo'n robot als een ouderwetse postdienst: jij schreef een briefje met een opdracht ("Maak een knop"), stuurde het op, en wachtte dan stilzittend tot de robot de hele brief terugstuurde met het eindresultaat. Als je tussendoor dacht: "Hé, die knop is wel mooi, maar hij staat een beetje scheef", was het te laat. De robot had al zijn werk gedaan en je moest alles opnieuw laten doen.

Deze paper, getiteld "Wanneer overdragen, wanneer samenwerken?", onderzoekt hoe we die samenwerking kunnen veranderen naar iets veel dynamischer: samenwerken terwijl de robot nog aan het werk is.

Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Blinde" Robot

In de eerste proef (Study 1) bouwden de onderzoekers een systeem dat de robot een beetje menselijker maakte. In plaats van alleen het eindresultaat te tonen, liet het zien hoe de robot werkte. Je zag de robot een lijntje trekken, dan een kleur kiezen, dan een tekstje typen.

• De vergelijking: Het was alsof je niet meer alleen het eindproduct van een bakker ziet, maar door het raam naar de keuken kijkt terwijl hij de taart maakt.
• Het resultaat: Ontwerpers vonden dit geweldig. Ze konden zien wat de robot aan het doen was en hadden het gevoel dat ze samenwerkten. Maar er was een groot probleem: als de ontwerper zelf ook iets aan de taart deed (bijvoorbeeld een bloem erop zetten) terwijl de robot nog aan het bakken was, werd de robot verward. Hij dacht: "Oh, de klant heeft de taart aangepast, misschien wil hij dat ik mijn hele plan herzie?" of "Oh, de klant heeft iets anders gedaan, ik ga dat negeren." De robot kon niet onderscheiden of de wijziging een feedback was ("Dit vind ik leuk, ga zo door") of gewoon eigen werk van de klant ("Ik doe hier even mijn eigen ding").

2. De Oplossing: Cleo, de Slimme Robot

Om dit op te lossen, bouwden ze Cleo (de tweede proef). Cleo is als een meesterkok die echt luistert.

• Als jij terwijl hij kookt een kruidje toevoegt, denkt Cleo niet: "Oh nee, mijn plan is verbroken." Hij denkt: "Ah, de chef vindt dit kruidje goed, ik ga dat ook in de rest van de saus doen."
• Als jij intussen zelf een ander gerecht begint te snijden, denkt Cleo: "Oké, de chef doet zijn eigen ding, ik ga gewoon verder met mijn eigen taart."
  Cleo kan dus zien wat jij doet, begrijpen waarom je het doet, en zich daar direct op aanpassen zonder te blokkeren.

3. Wat hebben ze ontdekt? (De 5 Manieren van Samenwerken)

De onderzoekers keken naar 214 momenten waarop mensen met Cleo werkten. Ze ontdekten dat mensen niet alleen maar "wachten" of "bevelen geven". Ze wisselen voortdurend tussen vijf manieren van samenwerken, afhankelijk van de situatie:

1. De "Laat maar" (Hands-off): "Jij doet het wel, ik ga even koffie drinken." (Je vertrouwt de robot volledig).
2. De "Kijkend" (Observational): "Ik kijk mee hoe je het doet, maar ik doe nog niets." (Je bouwt vertrouwen op).
3. De "Directie" (Directive): "Hé, stop even, die kleur is verkeerd, maak hem blauw." (Je geeft een mondelinge opdracht).
4. De "Samenwerken" (Concurrent): Dit is het nieuwe! Je werkt tegelijkertijd met de robot.
   • Voorbeeld: De robot maakt een achtergrond, en jij pakt die achtergrond even vast om de randjes netjes te maken, terwijl de robot verder gaat met de rest. Of je pakt een stukje dat de robot al gemaakt heeft en gebruikt het voor een ander project, terwijl de robot doorgaat.
5. De "Stop" (Terminating): "Nee, dit werkt niet, stop maar." (Je breekt de samenwerking af).

4. De Beslissingsboom: Waarom doen mensen wat ze doen?

De onderzoekers maakten een model (een soort "keuzekaart") om te begrijpen waarom mensen op een bepaald moment kiezen voor samenwerken of juist voor "laat maar". Het hangt af van vier dingen:

• Vertrouwen: Ken je de robot al? Als je hem nog niet kent, kijk je eerst even mee (Observation). Als je hem kent, vertrouw je hem meer.
• Prioriteit: Heb jij zelf iets belangrijks te doen? Dan laat je de robot maar alleen werken (Hands-off).
• Hoe je het liever zegt: Vind je het makkelijker om iets mondeling te zeggen ("Maak dat groter") of om het zelf even aan te raken (Direct manipulation)?
• Verwachting: Denk je dat de robot je wel begrijpt als je iets zelf doet? Zo ja, dan ga je samenwerken. Zo nee, dan geef je een duidelijke opdracht of stop je het.

5. De Grootste Les: Het is een Dans, geen Lijn

De belangrijkste conclusie is dat samenwerking met AI niet moet zijn als een lijntje (ik doe A, dan jij B, dan ik C). Het moet zijn als een dans.

• Soms leidt de mens (de danser), soms de robot.
• Soms draaien ze om elkaar heen (samenwerken aan hetzelfde).
• Soms maakt de mens een stapje opzij om de robot ruimte te geven.

De paper stelt voor dat toekomstige robots (AI-agenten) niet alleen moeten wachten op commando's, maar moeten kijken naar wat de mens doet. Als ze zien dat de mens naar hun werk kijkt en met de muis dichterbij komt, moeten ze misschien even pauzeren om te zien wat de mens wil. Als ze zien dat de mens ergens anders aan het werk is, moeten ze gewoon doorgaan.

Kortom:
De toekomst van werken met AI is niet "ik geef opdracht, jij werkt", maar "wij werken samen, terwijl we allebei iets doen, en we begrijpen elkaar zonder dat we hoeven te praten." Het gaat om het vinden van het juiste moment om de bal over te nemen en het juiste moment om de ander te laten spelen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "When to Hand Off, When to Work Together" in het Nederlands.

Probleemstelling

In mens-menselijke creatieve samenwerking (bijvoorbeeld in tools zoals Figma of Google Slides) is proceszichtbaarheid en werkruimtebewustzijn fundamenteel voor effectieve coördinatie. Mensen kunnen elkaars voortgang zien, anticiperen op volgende stappen en taken dynamisch verdelen.

Huidige AI-agenten voor creatieve taken opereren echter voornamelijk volgens een sequentieel "beurt-taken" (turn-taking) paradigma:

1. De gebruiker geeft een opdracht.
2. De agent werkt (vaak onzichtbaar) en levert pas aan het einde een resultaat op.
3. De gebruiker kan niet tussentijds ingrijpen of samenwerken aan hetzelfde artefact.

Zelfs als agenten hun redeneerprocessen tonen (bijv. tekstuele planning), ontbreekt het vaak aan collaboratieve contextbewustzijn. Agenten kunnen niet onderscheiden of een gebruiker die tussentijds ingrijpt, feedback geeft op de agent's werk, of dat de gebruiker onafhankelijk aan een ander deel van het project werkt. Dit leidt tot conflicten en beperkt de agent tot een passieve assistent in plaats van een actieve, adaptieve partner.

Methodologie

De auteurs voerden twee studies uit met professionele ontwerpers om dit probleem te onderzoeken en een oplossing te ontwikkelen.

Study 1: Initieel Technologie-probe (N=10)

• Doel: Onderzoeken hoe proceszichtbaarheid (het zien van de stap-voor-stap uitvoering van de agent) de samenwerking beïnvloedt.
• Systeem: Een Figma-plugin met een agent die via spraak communiceert, zijn werk stap-voor-stap uitvoert (zichtbare cursorbewegingen, tool-gebruik) en een visuele aanwezigheid heeft op het canvas.
• Resultaat: Ontwerpers waardeerden de zichtbaarheid om tussentijds in te grijpen, maar het systeem faalde omdat het niet kon onderscheiden tussen feedback op de agent en onafhankelijk werk. Dit creëerde conflicten en blokkeerde echte concurrente samenwerking.

Study 2: Uitgebreide Technologie-probe met Cleo (N=10)

• Doel: Ontwikkelen van een agent die collaboratieve contextbewustzijn bezit en analyse van wanneer en waarom ontwerpers kiezen voor delegeren, aansturen of samenwerken.
• Systeem (Cleo): "Collaborative Linked Executive Operator".
  • Technische Innovatie: Cleo introduceert drie nieuwe modules in de agent-pijplijn:
    1. User Change Detection Module: Detecteert wijzigingen door de gebruiker terwijl de agent inactief is.
    2. Attribution Change Module: Onderscheidt tussen acties van de agent en acties van de gebruiker.
    3. Plan Update Module: Past het uitvoeringsplan dynamisch aan op basis van de gebruikerstijdingen (bijv. als de gebruiker een kleur wijzigt, past de agent dit toe in toekomstige stappen).
• Procedure: Een twee-daagse studie met gestimuleerde recall-interviews.
  • Dag 1: Ontwerpers voerden twee ontwerptaken uit (gesloten en open) met Cleo. Alle interacties werden gelogd en opgenomen.
  • Dag 2: Deelnemers bekijkten gevisualiseerde logs van hun interacties en legden uit waarom ze bepaalde acties ondernamen.
• Data-analyse: Kwalitatieve codering van 214 interactie-omwentelingen (turns). Er werd geanalyseerd naar actiepatronen, triggers (aanleidingen) en faciliterende factoren.

Key Contributions & Resultaten

1. Vijf Actiepatronen (User Action Patterns)
De studie identificeerde vijf manieren waarop gebruikers reageren tijdens de uitvoering van de agent:

• Hands-off (70,1%): Volledige delegering; de gebruiker doet iets anders.
• Observational (68,7%): De gebruiker kijkt toe zonder in te grijpen (vaak om het gedrag van de agent te leren).
• Concurrent (31,8%): Gelijktijdig werken aan hetzelfde artefact. Dit omvat:
  • In-situ co-editing: Samenwerken aan dezelfde subtaak.
  • Opportunistic takeover: De gebruiker neemt een lopende subtaak over terwijl de agent een andere doet.
  • Artifact takeover: Het kopiëren van het werk-in-uitvoering om het onafhankelijk te bewerken.
• Directive (28,5%): Verbaal sturen of het toewijzen van een nieuwe taak.
• Terminating (8,9%): Het stoppen van de agent.

2. Triggers en Faciliterende Factoren
De auteurs identificeerden 6 triggers die leiden tot ingrijpen (zoals "Idee-ontsteking door tussentijdse resultaten" of "Foutieve taakinterpretatie") en 4 faciliterende factoren die bepalen hoe er wordt ingegrepen:

• Mentaal model: Heeft de gebruiker vertrouwen in de agent?
• Taakprioriteit: Is de eigen taak belangrijker dan die van de agent?
• Interventiemodus: Is verbaal sturen of direct manipuleren makkelijker?
• Verwachting van succes: Gelooft de gebruiker dat zijn ingreep het resultaat zal verbeteren?

3. Beslissingsmodel (Decision Model)
Er werd een model ontwikkeld dat zes interactielussen beschrijft. Dit model toont hoe gebruikers dynamisch schakelen tussen delegeren, observeren en samenwerken op basis van de bovenstaande factoren. Het benadrukt dat delegering geen statische staat is, maar een dynamisch proces waarbij gebruikers terugkeren naar monitoring zodra hun eigen taakprioriteit afneemt.

4. Dataset
De auteurs publiceren een dataset van 214 gelogde interactie-omwentelingen met acties, triggers en redeneringen van ontwerpers.

Significantie en Design Implicaties

Het paper biedt cruciale inzichten voor de ontwikkeling van adaptieve co-creatieve agenten:

1. Temporele Coördinatie: Agenten moeten uitvoeringsmijlpalen zichtbaar maken om gebruikers te helpen het juiste moment voor ingreep te kiezen.
2. Interpretatie van Granulariteit: Agenten moeten het niveau van ingreep interpreteren.
   • Fijne aanpassingen (direct bewerken) betekenen: "Pas dit nu en voortaan toe."
   • Grove overname (kopiëren van werk) betekent: "De richting is goed, ga autonoom verder."
3. Proactief Gedrag: Agenten moeten gedragssignalen (zoals cursorpositie en viewport-focus) gebruiken om te voorspellen of een gebruiker gaat ingrijpen en de uitvoering proactief te pauzeren.
4. Directe Manipulatie van Aanwezigheid: Gebruikers willen de cursor van de agent kunnen verplaatsen om aan te geven waar de agent moet werken (samenwerking) of waar niet (onafhankelijk werken).
5. Lage Sociale Kosten: In tegenstelling tot menselijke samenwerking, kunnen gebruikers agenten zonder schuldgevoel stoppen of overschrijven. Dit stelt een unieke dynamiek open voor experimentele workflows.

Conclusie
De studie bewijst dat het verschuiven van een puur sequentieel model naar een concurrent interactiemodel de samenwerking tussen mens en AI fundamenteel verbetert. Door agenten in staat te stellen concurrente gebruikersacties te interpreteren en aan te passen, kunnen ze evolueren van simpele uitvoerders naar responsieve partners die de creatieve flow versterken in plaats van verstoren.