"When to Hand Off, When to Work Together": Expanding Human-Agent Co-Creative Collaboration through Concurrent Interaction

Die Studie stellt CLEO vor, ein System, das menschliche und KI-Agenten durch die Echtzeit-Interpretation paralleler Aktionen auf gemeinsamen Artefakten befähigt, dynamisch zwischen Delegation, Steuerung und gleichzeitiger Zusammenarbeit zu wechseln, um so die Grenzen der aktuellen Mensch-Agenten-Kollaboration zu überwinden.

Das Wesentliche

Stell dir vor, du arbeitest an einem riesigen Puzzle mit einem sehr schnellen, aber etwas sturen Roboter-Helfer.

In der alten Art, mit KI zu arbeiten, war es so: Du sagst dem Roboter, was er tun soll, setzt dich dann auf die Couch, trinkst einen Kaffee und wartest, bis er das ganze Puzzle fertig gelegt hat. Erst dann siehst du das Ergebnis. Wenn dir aber währenddessen einfällt, dass ein rotes Teil eigentlich blau sein sollte, ist es zu spät – der Roboter hat schon alles fertig. Du musst alles wegwerfen und von vorne anfangen. Das ist frustrierend und fühlt sich nicht wie echte Zusammenarbeit an.

Die Forscher von dieser Studie haben sich gefragt: Was wäre, wenn der Roboter nicht nur das Endergebnis zeigt, sondern wir gleichzeitig am selben Puzzle arbeiten könnten?

Hier ist die Geschichte ihrer Entdeckungen, einfach erklärt:

1. Der erste Versuch: "Ich sehe, was du tust"

Die Forscher bauten einen ersten Prototypen (nennen wir ihn "Roboter A"). Dieser zeigte dem Nutzer live, was er gerade macht. Man sah, wie er Teile verschiebt, Farben ändert und Formen erstellt.

• Das Gute: Die Designer konnten endlich sehen, was der Roboter plant. Sie konnten sagen: "Oh, er macht genau das Richtige!" oder "Moment, er geht in die falsche Richtung!"
• Das Problem: Sobald der Nutzer versuchte, währenddessen etwas am Puzzle zu ändern (z. B. ein Teil drehen), wurde der Roboter verwirrt. Er wusste nicht: "Ändert der Nutzer das, weil er mir helfen will? Oder macht er einfach seine eigene Sache?" Der Roboter ignorierte die Änderung oder machte sie rückgängig. Es gab einen "Kampf" um das Puzzle.

2. Die Lösung: "Cleo", der aufmerksame Partner

Daraus lernten sie und bauten Cleo (den zweiten Prototypen). Cleo ist wie ein sehr aufmerksamer Tanzpartner.

• Wie es funktioniert: Wenn du Cleo sagst: "Mach mir eine blaue Wand", fängt er an zu malen. Aber während er malt, kannst du daneben treten, ein Fenster in die Wand malen oder die Farbe ändern.
• Der Clou: Cleo versteht den Unterschied!
  • Wenn du etwas änderst, um ihm zu zeigen, wie es besser sein soll (Feedback), passt er seinen Plan sofort an.
  • Wenn du etwas anderes machst, weil du selbst gerade kreativ bist (eigene Arbeit), ignoriert er das nicht, sondern arbeitet einfach weiter, ohne sich zu stören.
  • Er weiß also: "Ah, der Nutzer korrigiert mich" oder "Ah, der Nutzer macht parallel etwas anderes."

3. Was haben sie gelernt? (Die 3 Arten, wie wir arbeiten)

Die Forscher haben genau beobachtet, wie 10 professionelle Designer mit Cleo gearbeitet haben. Sie haben drei Haupt-Strategien entdeckt, die wir alle intuitiv nutzen:

• Der "Loslassen"-Modus (70% der Zeit): Du gibst dem Roboter eine Aufgabe, schaust zu, wie er anfängt, und machst dann deine eigene Arbeit. Du vertraust ihm, weil du weißt, wie er tickt.
• Der "Beobachter"-Modus: Du stehst daneben und siehst genau zu, wie er arbeitet, ohne einzugreifen. Das machst du, wenn du noch nicht sicher bist, ob er es richtig macht, oder wenn du eine neue Idee hast, die gerade aufblitzt.
• Der "Gemeinsam-Arbeiten"-Modus (ca. 30% der Zeit): Das ist das Neue! Du arbeitest gleichzeitig mit ihm am selben Bild. Vielleicht fügt er den Hintergrund hinzu, während du die Details der Möbel malst. Oder du korrigierst eine Farbe, während er noch andere Teile erstellt.

4. Wann machen wir was? (Die Entscheidungsmaschine)

Die Forscher haben herausgefunden, dass wir nicht zufällig entscheiden, ob wir arbeiten oder zuschauen. Es gibt Auslöser, die uns zum Handeln bewegen:

• Die "Aha!"-Idee: Der Roboter macht etwas, das so cool aussieht, dass du sofort eine neue Idee hast und mitmachen willst.
• Der "Fehler"-Alarm: Der Roboter macht etwas, das nicht zu deinem Plan passt (z. B. er baut ein Haus, du wolltest aber eine Hütte).
• Die "Eile": Du brauchst das Ergebnis schneller, als der Roboter es schafft, also machst du den letzten Schliff selbst.

Und es gibt Faktoren, die bestimmen, wie du eingreifst:

• Vertrauen: Kennst du den Roboter schon gut? Dann vertraust du ihm mehr und arbeitest parallel.
• Dringlichkeit: Hast du selbst etwas Wichtiges zu tun? Dann lässt du ihn allein.
• Kommunikation: Ist es einfacher, etwas zu sagen ("Mach es größer") oder es direkt zu tun (es selbst größer ziehen)?

5. Warum ist das wichtig?

Bisher haben wir KI oft wie einen Befehlsempfänger behandelt: "Tu X, dann warte."
Diese Studie zeigt, dass KI in Zukunft mehr wie ein echter Teamkollege sein sollte. Ein Kollege, der:

1. Versteht, wenn du ihm hilfst, während er arbeitet.
2. Nicht beleidigt ist, wenn du seine Arbeit korrigierst oder überarbeitest.
3. Den Rhythmus der Zusammenarbeit spürt und weiß, wann er allein arbeiten soll und wann er auf deine Eingaben warten muss.

Zusammenfassend:
Stell dir die Zukunft der KI nicht als einen magischen Generator vor, der auf Knopfdruck Perfektion liefert. Stell sie dir als einen Kreativ-Partner vor, mit dem du gleichzeitig am selben Tisch sitzt. Du kannst ihm den Pinsel geben, er malt den Hintergrund, du malst das Gesicht, und wenn er eine Farbe falsch wählt, korrigierst du sie einfach, während er weitermalt. Das ist die Kraft der "gleichzeitigen Zusammenarbeit" (Concurrent Interaction).

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „When to Hand Off, When to Work Together": Expanding Human-Agent Co-Creative Collaboration through Concurrent Interaction" auf Deutsch.

1. Problemstellung und Motivation

Traditionelle Mensch-Agenten-Kollaborationen in kreativen Domänen (z. B. Design) folgen oft einem starren Turn-Taking-Modell (Abwechseln): Der Nutzer gibt einen Befehl, der Agent führt ihn aus und liefert ein Endergebnis. Selbst wenn Agenten ihre internen Denkprozesse (Reasoning) offenlegen, fehlt oft die Prozesssichtbarkeit (Process Transparency) der eigentlichen Ausführungsschritte im gemeinsamen Arbeitsraum.

Das zentrale Problem ist die Abwesenheit von kollaborativer Kontextwahrnehmung (Collaborative Context Awareness).

• Mangelnde Unterscheidung: Herkömmliche Agenten können nicht unterscheiden, ob eine Änderung am gemeinsamen Artefakt (z. B. einem Design-Canvas) vom Nutzer als Feedback (Korrektur des Agenten) oder als unabhängige parallele Arbeit gemeint ist.
• Verlust der Handlungsfähigkeit: Nutzer müssen oft passiv warten oder fürchten, dass ihre Eingriffe den Agenten-Workflow zerstören.
• Fehlende Synchronisation: In menschlich-menschlicher Zusammenarbeit (z. B. in Figma) ist es üblich, gleichzeitig an denselben Artefakten zu arbeiten, sich gegenseitig zu beobachten und sich dynamisch anzupassen. Diese Fähigkeit fehlt aktuellen KI-Agenten.

Die Forschungsfrage lautet: Können Agenten in kreativen Kontexten über reine Prozesssichtbarkeit hinausgehen und echte kollaborative Kontextwahrnehmung erreichen, indem sie parallele Nutzeraktionen interpretieren und ihre Ausführung in Echtzeit anpassen?

2. Methodik

Die Studie besteht aus zwei aufeinanderfolgenden Design-Probe-Studien mit professionellen UI/UX-Designern.

Studie 1: Initiale Technologie-Probe (N=10)

• System: Ein Figma-Plugin, das drei Komponenten bot:
  1. Interaktionsmodalität: Sprachsteuerung mit direkter Objektreferenzierung.
  2. Prozesssichtbarkeit: Der Agent führt Design-Schritte (z. B. Rechtecke erstellen, Farben ändern) schrittweise und sichtbar im Canvas aus, anstatt nur ein Endergebnis zu liefern.
  3. Präsenz-Wahrnehmung: Ein Agenten-Cursor zeigt an, worauf der Agent gerade fokussiert ist.
• Ergebnis: Die Sichtbarkeit des Prozesses ermöglichte es Nutzern, den Agenten zu antizipieren und frühzeitig einzugreifen. Allerdings entstand ein Konflikt: Der Agent konnte nicht zwischen Nutzer-Feedback und eigenständiger Nutzerarbeit unterscheiden, was zu Fehlinterpretationen führte. Dies motivierte die Entwicklung eines kontextbewussten Systems.

Studie 2: Zweitägige Technologie-Probe mit Stimulated Recall (N=10)

• System (Cleo): Ein verbesserter Agent („Collaborative Linked Executive Operator"), der kollaborative Kontextwahrnehmung implementiert.
  • Technische Architektur: Cleo nutzt ein modifiziertes ReAct-Framework mit drei neuen Modulen:
    1. User Change Detection Module: Analysiert Änderungen am Canvas während der Agenten-Inaktivität.
    2. Attribution Change Module: Unterscheidet zwischen Agenten-Operationen und Nutzermodifikationen.
    3. Plan Update Module: Passt den aktuellen Plan dynamisch an, wenn Nutzeränderungen den Plan widersprechen oder neue Richtungen vorgeben.
• Prozedur: Teilnehmer bearbeiteten zwei Design-Aufgaben (geschlossen und offen) über zwei Tage.
  • Tag 1: Interaktion mit Cleo, Protokollierung von Logs und Screen-Recording.
  • Tag 2: Stimulated Recall Interviews. Die Teilnehmer sahen visualisierte Logs ihrer Interaktionen und erklärten ihre Entscheidungen (Warum haben sie eingegriffen? Warum haben sie delegiert?).
• Datenanalyse: Qualitative Kodierung von 214 Interaktions-Turns (Drehpunkten). Es wurden Handlungsmuster, Auslöser (Triggers) und ermöglichende Faktoren (Enabling Factors) identifiziert.

3. Key Contributions (Hauptbeiträge)

1. Charakterisierung gleichzeitiger Interaktion: Identifikation von fünf Nutzeraktionsmustern, die flüssige Kollaboration während der Agenten-Ausführung ermöglichen.
2. Entscheidungsmodell: Ein Modell mit sechs Interaktionsschleifen, das erklärt, wie Nutzer basierend auf sechs Auslösern und vier ermöglichenden Faktoren zwischen Delegierung, Direktive und paralleler Arbeit wechseln.
3. Design-Implications: Konkrete Empfehlungen für adaptive Agenten, die nahtlose Modus-Übergänge und kontextbewusste Anpassungen unterstützen.
4. Datensatz: Veröffentlichung eines annotierten Datensatzes mit 214 Interaktions-Turns (Aktionen, Auslöser, Rationale).

4. Ergebnisse und Erkenntnisse

A. Nutzeraktionsmuster (5 Kategorien)

Die Analyse der 214 Turns ergab folgende Verteilung und Muster:

• Hands-off (70,1%): Vollständige Delegierung; der Nutzer arbeitet an anderen Aufgaben.
• Observational (68,7%): Der Nutzer beobachtet den Agenten ohne Eingriff (oft als Vorstufe zu Intervention).
• Concurrent (31,8%): Der Nutzer arbeitet parallel am selben Artefakt. Dies umfasst:
  • In-situ co-editing: Gleichzeitiges Bearbeiten desselben Unterauftrags.
  • Opportunistic takeover: Der Nutzer übernimmt einen ausstehenden Teil der Agenten-Aufgabe.
  • Artifact takeover: Der Nutzer dupliziert den aktuellen Fortschritt des Agenten, um ihn unabhängig weiterzuarbeiten.
  • Demonstration-based steering: Der Nutzer zeigt durch direktes Editieren, wie es sein soll.
• Directive (28,5%): Verbale Anweisungen oder Aufgabenwechsel.
• Terminating (8,9%): Abbruch der Agenten-Arbeit.

B. Auslöser (Triggers) und ermöglichende Faktoren

Nutzer wechseln zwischen den Modi basierend auf spezifischen Situationen:

• Auslöser (Triggers):
  • Idea Spark: Der Agenten-Fortschritt inspiriert neue Ideen.
  • Need for Early Visibility: Wunsch nach frühen Ergebnissen zur Planung.
  • Readiness for Detailing: Der Nutzer möchte Feinabstimmungen vornehmen.
  • Misaligned Interpretation: Der Agent versteht die Aufgabe falsch.
  • Execution Quality Drop: Die Qualität oder Geschwindigkeit des Agenten sinkt.
  • Emerging New Task: Ein neuer Auftrag entsteht während der Arbeit.
• Ermöglichende Faktoren (Enabling Factors):
  • Mental Model: Hat der Nutzer ein Verständnis der Agenten-Fähigkeiten? (Fehlt es, wird oft nur beobachtet).
  • Task Priority: Wie wichtig ist die eigene Arbeit im Vergleich zur Agenten-Aufgabe?
  • Intervention Preference: Bevorzugt der Nutzer verbale Anweisungen oder direktes Manipulieren?
  • Expectation of Success: Glaubt der Nutzer, dass seine Intervention zum Erfolg führt?

C. Das Entscheidungsmodell

Das Modell beschreibt sechs dynamische Schleifen (z. B. „Full Delegation Loop", „Continuous Observation Loop", „Intervention Loop"). Es zeigt, dass Kollaboration kein linearer Prozess ist, sondern ein dynamischer Fluss, bei dem Nutzer basierend auf Kontextfaktoren ständig zwischen Überwachung, Delegierung und direkter Mitwirkung wechseln.

5. Bedeutung und Design-Implications

Die Studie liefert fundamentale Erkenntnisse für die Gestaltung von KI-Agenten in kreativen Arbeitsabläufen:

1. Temporale Koordination: Agenten sollten „Synchronisationspunkte" (Meilensteine) in ihrer Ausführung sichtbar machen, damit Nutzer den optimalen Zeitpunkt für Eingriffe erkennen können.
2. Granularität der Intervention: Agenten müssen unterscheiden können, ob eine Nutzeränderung eine Korrektur (fein abgestimmt), eine Aufgabenverteilung (mittlere Ebene) oder eine Validierung (grob) ist.
3. Proaktives Verhalten durch Signalerkennung: Agenten sollten Blickrichtung (Viewport) und Cursor-Nähe analysieren, um bevorstehende Eingriffe vorherzusagen und die Ausführung proaktiv zu pausieren, bevor der Nutzer eingreift.
4. Explizite Steuerung der Agenten-Präsenz: Nutzer sollten die Möglichkeit haben, den Agenten-Cursor physisch zu verschieben, um anzuzeigen, wo der Agent arbeiten soll oder wo er sich fernhalten soll.
5. Lernen aus Verhalten: Gleichzeitige Eingriffe (Concurrent Interactions) sind wertvolle Daten für das Preference Learning, da sie oft präziser sind als verbale Anweisungen.
6. Übertragbarkeit: Die Prinzipien der „reifizierten" (greifbaren) Zwischenergebnisse könnten auf andere Domänen wie Coding oder Texterstellung übertragen werden, indem Zwischenschritte als manipulierbare Objekte dargestellt werden.

Fazit:
Die Arbeit beweist, dass die reine Sichtbarkeit von Prozessen nicht ausreicht. Für eine echte co-kreative Partnerschaft müssen Agenten kontextbewusst sein, die Absicht hinter parallelen Nutzeraktionen verstehen und ihre Ausführung dynamisch anpassen. Dies ermöglicht einen Übergang von starren Befehlsketten zu flüssigen, synchronen Arbeitsabläufen, die dem menschlichen Zusammenarbeiten in kreativen Teams ähneln.