Directing the Robot: Scaffolding Creative Human-AI-Robot Interaction

Der Artikel schlägt vor, die Interaktion zwischen Mensch, KI und Robotern neu als „Scaffolding" zu konzeptualisieren, bei dem Menschen als Regisseure ihre kreative Absicht steuern, während die KI als Vermittler zwischen menschlichem Ausdruck und robotischer Ausführung dient, um so menschliche Kreativität und Handlungsfähigkeit in offenen Umgebungen zu unterstützen.

Das Wesentliche

Stell dir vor, du bist ein Filmregisseur. Du hast eine großartige Vision für eine Szene: Ein Roboter soll tanzen, eine Drohne soll wie ein Vogel fliegen oder ein Team von Robotern soll gemeinsam ein Puzzle lösen. Früher war das Problem: Du musstest dem Roboter jeden einzelnen Schritt genau vorschreiben – „Hebe den linken Arm um 15 Grad, dann drehe dich nach rechts". Das war langweilig, mühsam und ließ wenig Raum für Kreativität. Der Roboter war wie ein starrer Schauspieler, der nur Befehle ausführt, und du warst nur sein strenger Vorgesetzter.

Dieser neue Artikel von Jordan Aiko Deja und seinem Team schlägt eine völlig andere Herangehensweise vor. Sie nennen es „Scaffolding" (auf Deutsch: Gerüstbau oder Stützskelett).

Hier ist die Idee einfach erklärt:

1. Der Regisseur und der Assistent

Stell dir vor, du bist der Regisseur (der Mensch). Du hast die kreative Idee. Du sagst: „Ich will, dass der Roboter traurig wirkt und langsam über die Bühne läuft."
Der KI-Assistent (die künstliche Intelligenz) ist wie ein genialer Regieassistent. Er versteht deine grobe Idee. Er weiß: „Aha, Traurigkeit bedeutet langsame Bewegungen, gesenkter Kopf." Er übersetzt deine menschliche Idee in die Sprache des Roboters (die technischen Befehle).

Das Wichtigste dabei: Du behältst die Kontrolle. Der Assistent schlägt vor, aber du entscheidest. Wenn dir die Bewegung nicht gefällt, sagst du: „Nein, mach es noch langsamer, fast wie in Zeitlupe." Der Assistent passt es sofort an. Du bist nicht der Programmierer, der den Code schreibt; du bist der Künstler, der den Stil vorgibt.

2. Warum ist das so wichtig? (Die Analogie)

Bisher haben wir Roboter oft wie Autopiloten in einem Flugzeug behandelt. Du drückst einen Knopf, und das System macht alles perfekt und schnell. Das ist toll, wenn du nur von A nach B willst.

Aber in kreativen Situationen (wie Kunst, Lernen oder sogar bei Katastrophen, wo man improvisieren muss) reicht das nicht.

• Der alte Weg: Der Roboter macht alles allein. Du bist nur ein Zuschauer oder ein Kontrolleur, der auf Fehler wartet.
• Der neue Weg (Scaffolding): Der Roboter ist wie ein Gitarren-Verstärker. Du spielst die Melodie (deine Idee), aber der Verstärker (die KI) sorgt dafür, dass der Klang voll und klar ist, passt den Ton an, wenn du ihn verstellst, und hilft dir, komplexe Riffs zu spielen, die du allein vielleicht nicht hinbekommen würdest. Du bleibst der Musiker.

3. Wo wird das genutzt? (Beispiele aus dem Text)

Die Autoren zeigen vier Szenarien, wie das in der Praxis aussieht:

• Inspiration geben: Du machst eine grobe Geste mit der Hand, und der Roboter ahmt sie nach, aber macht sie flüssiger und schöner, als du es physisch könntest. Du gibst den Impuls, die KI poliert ihn auf.
• Improvisation: Stell dir ein Jazz-Konzert vor. Ein Mensch spielt Klavier, und ein Roboter spielt dazu. Die KI hilft dem Roboter, sofort auf die Musik des Menschen zu reagieren, ohne dass vorher ein festes Skript existiert. Es ist ein echtes Gespräch zwischen Mensch und Maschine.
• Teamwork: Ein Mensch dirigiert eine Gruppe von Drohnen. Er winkt einfach, und die Drohnen verstehen: „Oh, der Chef will, dass wir uns in einer Formation aufstellen." Die KI sorgt dafür, dass sich die Drohnen nicht gegenseitig anstoßen, während der Mensch die Form bestimmt.
• Unter Druck: In einer Notsituation (z. B. bei einem Brand) hat ein Mensch keine Zeit, alles genau zu planen. Er muss „aus dem Bauch heraus" handeln (im Englischen „winging it"). Die KI hilft ihm, schnell Entscheidungen zu treffen und Roboter zu steuern, ohne dass der Mensch in Panik gerät oder die Kontrolle verliert.

4. Das Ziel: Nicht schneller, sondern kreativer

Der Kern der Botschaft ist: Wir sollten Roboter nicht so bauen, dass sie uns ersetzen oder alles perfekt und schnell erledigen. Stattdessen sollten wir sie so bauen, dass sie uns unterstützen, unsere Ideen besser umzusetzen, und uns dabei das Gefühl geben, dass wir die Regie führen.

Es geht nicht darum, wie effizient der Roboter ist (wie viele Fehler er macht), sondern darum, wie gut er dem Menschen hilft, kreativ zu sein und sich als Autor der Handlung zu fühlen.

Zusammengefasst:
Statt Roboter als autonome Maschinen zu sehen, die uns Arbeit abnehmen, sehen wir sie als kreative Partner. Die KI ist das Gerüst, das uns hilft, unsere Ideen zu bauen, damit wir als Menschen weiterhin die Architekten und Regisseure bleiben.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Directing the Robot: Scaffolding Creative Human–AI–Robot Interaction" auf Deutsch:

Titel: Directing the Robot: Scaffolding Creative Human–AI–Robot Interaction

Autoren: Jordan Aiko Deja, Isidro Butaslac III, Nicko Reginio Caluya, Maheshya Weerasinghe
Veranstaltung: The 3rd InterAI Workshop at CHI 2026

---

1. Problemstellung

Roboter dringen zunehmend aus industriellen Umgebungen in kreative, pädagogische und öffentliche Räume vor. In diesen offenen und improvisatorischen Kontexten bleibt die Mensch-KI-Roboter-Interaktion jedoch oft in einem Paradigma gefangen, das Effizienz und Autonomie priorisiert.

• Das Kernproblem: Aktuelle Ansätze positionieren den Menschen meist als Aufsichtsperson (Supervisor) oder Endnutzer, während die Entscheidungsautorität und interpretative Kontrolle zunehmend an das System delegiert werden.
• Die Folge: Dies schränkt die menschliche Autonomie ein, reduziert das aktive Engagement und behindert kreative Zusammenarbeit, insbesondere in expressiven oder improvisatorischen Szenarien. Der Mensch verliert die Rolle des „Regisseurs" zugunsten einer reinen Überwachungsfunktion.

2. Methodik und Konzeptueller Rahmen

Die Autoren schlagen eine fundamentale Neukonzeptionierung vor: Statt KI als Automatisierungswerkzeug zu betrachten, soll sie als Scaffolding (Gerüstbau) verstanden werden.

• Definition von Scaffolding: Eine Infrastruktur, die es Menschen ermöglicht, das Roboter-Verhalten über die Zeit zu formen, während sie die inhaltliche Kontrolle (Agency) behalten.
• Rollenverteilung:
  • Mensch: Agiert als „Exekutiver Regisseur" (Executive Director). Er definiert die Absicht (Intent), trifft interpretative Urteile und steuert iterative Revisionen.
  • Interaktive KI: Dient als Vermittler (Mediator) zwischen menschlichem Ausdruck (Sprache, Gestik, Demonstration) und robotischer Ausführung (Bewegung, Koordination). Sie übersetzt unvollständige menschliche Eingaben in ausführbares Verhalten, ohne die Urheberschaft zu übernehmen.
  • Roboter: Funktioniert als expressiver und physischer Darsteller der vom Menschen definierten Absicht.
• Analyseansatz: Die Methodik basiert auf der Analyse von Use-Cases aus kreativen Praktiken, „Learning-by-Teaching"-Szenarien und körperlicher Interaktion, um zu zeigen, wie diese Rollenverteilung in der Praxis funktioniert.

3. Schlüsselbeiträge

Das Paper liefert drei wesentliche Beiträge:

1. Konzeptueller Rahmen: Eine Neudefinition interaktiver KI als Scaffolding für kreative Mensch-Roboter-Interaktion, die den Menschen als Regisseur und die KI als unterstützende Infrastruktur positioniert.
2. Illustrative Szenarien: Vier konkrete Anwendungsfälle (siehe Abbildung 1 im Paper), die das Konzept veranschaulichen:
   • Scaffolding Inspiration: Roboter-Gesten unterstützen die Ideenfindung.
   • Scaffolding Adlibs: Roboter improvisiert in musikalischen Performances.
   • Synchronizing Performance: Koordination von Boden- und Luftrobotern (Drohnen) auf einer Bühne.
   • Winging Support: Roboter-Unterstützung unter Zeitdruck (z. B. in Notfallszenarien).
3. Implikationen für Design und Evaluation: Ein Leitfaden, der Kreativität, Agency (Handlungsmacht) und „Flow" in den Mittelpunkt stellt.

4. Ergebnisse und Design-Implikationen

Basierend auf den analysierten Szenarien leiten die Autoren drei zentrale „Thoughts" (Leitgedanken) für die Gestaltung solcher Systeme ab:

• Thought 1: Interpretative Kontrolle bewahren.
  Interaktive KI muss menschliche Absichten unterstützen, ohne die Urheberschaft zu verdrängen. Das System sollte in der Lage sein, partielle Demonstrationen zu interpretieren, Übergänge zu glätten und machbare Bewegungsvarianten zu generieren, die die vom Menschen intendierte Struktur bewahren.
• Thought 2: Reaktionsfähigkeit vor Optimierung priorisieren.
  Im Gegensatz zu traditionellen Systemen, die auf eine feste optimale Lösung konvergieren, sollte KI den kreativen Fluss unter sich wandelnden Eingaben aufrechterhalten. Systeme sollten „Reaktionsfähigkeit vor Richtigkeit" priorisieren, um auch bei mehrdeutigen oder sich entwickelnden Eingaben die Interaktion fortzusetzen.
• Thought 3: Agency als primäres Ergebnis messen.
  Die Evaluation muss sich von traditionellen Metriken (Effizienz, Fehlerrate, Zeit) lösen. Stattdessen sollten Metriken wie Flow, wahrgenommene Handlungsmacht (Perceived Agency) und anhaltendes Engagement (z. B. mittels Creativity Support Index) herangezogen werden, um zu bewerten, ob das System als Scaffolding und nicht als reine Automatisierung fungiert.

5. Offene Herausforderungen und Bedeutung

Das Paper identifiziert kritische Herausforderungen für die Zukunft:

• Soziale Interaktion & physische Nähe: Bei natürlicher Steuerung (Gestik, Berührung) können die Grenzen von Kontrolle und Zustimmung verschwimmen. Die KI muss die Grenzen der Handlungsmacht lesbar machen.
• Skalierbarkeit: Wie wird menschliche Absicht bei Schwärmen (Swarm) oder multiplen Robotern erhalten, transformiert oder verteilt, ohne die interpretative Kontrolle des Menschen zu verwässern?
• Mission-Kritische Kontexte: In Zeitdruck-Situationen (z. B. Katastrophenhilfe) muss die KI schnelle Interpretation ermöglichen, ohne die menschliche Intuition und Verantwortung zu untergraben („Winging it" vs. Sicherheit).

Bedeutung:
Dieses Paper verschiebt den Fokus der Mensch-Roboter-Interaktion von der Maximierung der Autonomie hin zur Gestaltung von Systemen, die wissen, wann sie nicht die Kontrolle übernehmen sollten. Es bietet ein konzeptionelles Lens, um Initiative und Kontrolle in der Zusammenarbeit von Mensch, KI und Roboter neu zu denken. Die Autoren fordern die Community auf, automatisierungszentrierte Narrative zu überdenken und KI als dauerhafte Stütze für menschliche Kreativität, Lernen und verantwortungsvolles Handeln zu etablieren.