Directing the Robot: Scaffolding Creative Human-AI-Robot Interaction

Ce papier propose de reconfigurer l'interaction humain-IA-robot comme un processus d'étayage où les humains agissent en tant que directeurs créatifs guidant le comportement robotique, l'IA servant de médiateur pour soutenir l'agence humaine et la créativité plutôt que de se concentrer sur l'autonomie ou l'efficacité.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde.

🎬 Le Robot n'est pas le Chef, c'est votre Acteur

Imaginez que vous êtes le metteur en scène d'une pièce de théâtre. Dans le passé, on pensait que les robots et l'intelligence artificielle (IA) devaient être les chefs d'orchestre : ils faisaient tout le travail, calculaient les mouvements et exécutaient les tâches avec une précision parfaite, tandis que les humains se contentaient de regarder ou de donner des ordres simples.

Les auteurs de ce papier disent : « Stop ! C'est l'inverse qui devrait être vrai. »

Ils proposent de voir l'IA non pas comme un robot autonome qui décide tout, mais comme un échafaudage (un support de construction) ou un assistant de direction très talentueux.

🏗️ L'analogie de l'Échafaudage

Imaginez que vous construisez une sculpture en argile géante.

• Sans échafaudage : Vous devez tout faire seul, c'est dur, vous vous fatiguez, et si vous faites une erreur, tout s'effondre.
• Avec l'échafaudage (la nouvelle vision) : L'IA est l'échafaudage. Elle tient la structure, elle vous aide à atteindre les hauteurs, elle stabilise le tout. Mais c'est vous qui donnez la forme. Vous décidez si la sculpture est triste, joyeuse, rapide ou lente. L'IA ne décide pas de l'histoire ; elle vous aide juste à la réaliser physiquement.

🎭 Trois Scénarios pour Comprendre

Pour illustrer leur idée, les auteurs donnent trois exemples concrets où l'humain reste le « directeur exécutif » :

1. Le Danseur Improvisé (Créativité) :
   Imaginez un robot qui danse avec un humain. L'humain fait un geste un peu flou, comme s'il disait « Je veux quelque chose de triste et lent ». L'IA comprend cette intention, mais ne copie pas bêtement le mouvement. Elle aide le robot à inventer un mouvement fluide et magnifique qui correspond à l'émotion, tout en gardant le style de l'humain. L'humain est le compositeur, le robot est l'instrumentiste.

2. Le Concert de Drones (Synchronisation) :
   Pensez à un spectacle de drones dans le ciel. Au lieu de programmer chaque drone à l'avance (ce qui est rigide), un humain fait un signe de la main ou dit « Plus haut, plus vite ! ». L'IA agit comme un chef d'orchestre invisible qui traduit ce geste en instructions pour des centaines de drones, tout en permettant à l'humain de changer d'idée en temps réel. C'est de l'improvisation guidée.

3. L'Aide d'Urgence (Le « McGyver ») :
   Dans une situation de crise (comme un incendie), il n'y a pas de temps pour programmer un robot. L'humain doit agir vite, « à l'instinct » (comme McGyver). L'IA aide ici en traduisant les ordres rapides et approximatifs de l'humain en actions sûres pour le robot, sans prendre le contrôle à sa place. Elle permet à l'humain de rester le décideur, même sous pression.

🚫 Ce qu'il faut arrêter de faire

Le papier critique l'idée actuelle où l'on cherche à rendre les robots trop autonomes.

• L'ancien modèle : « Fais-le toi-même, robot, je suis trop occupé. » (L'humain perd le contrôle créatif).
• Le nouveau modèle : « Aide-moi à faire ce que j'imagine, robot. » (L'humain garde la main sur le sens et l'émotion).

📏 Comment on mesure le succès ?

D'habitude, on juge un robot par sa vitesse ou s'il fait des erreurs. Les auteurs disent que c'est la mauvaise boussole pour la créativité.
Il faut plutôt mesurer :

• Le sentiment de contrôle : L'humain se sent-il comme le réalisateur de la scène ?
• Le « Flow » (l'inspiration) : Est-ce que l'interaction est fluide et amusante, ou est-ce que l'humain se sent bloqué par la machine ?
• La responsabilité : Si quelque chose de spécial se produit, est-ce que l'humain peut dire « C'est moi qui ai décidé ça » ?

💡 En résumé

Ce papier nous invite à changer notre façon de penser les robots. Au lieu de créer des machines qui remplacent les humains, nous devrions créer des partenaires intelligents qui nous aident à exprimer nos idées les plus folles, nos émotions et notre créativité.

L'IA ne doit pas être le pilote automatique qui nous endort, mais le support invisible qui nous permet de voler plus haut, tout en gardant nos mains sur le manche.

Résumé technique

Voici un résumé technique détaillé de l'article « Directing the Robot: Scaffolding Creative Human–AI–Robot Interaction » (Diriger le robot : Échafaudage pour l'interaction créative Humain–IA–Robot), présenté à l'atelier InterAI 3 de CHI 2026.

1. Problématique

L'article identifie une limitation fondamentale dans les paradigmes actuels d'interaction Humain-Robot (HRI) et Humain-IA-Robot. Bien que les robots s'intègrent de plus en plus dans des environnements créatifs, éducatifs et publics, la conception dominante de l'interaction repose sur l'automatisation et l'optimisation.

• Le problème : Cette approche positionne l'humain comme un simple superviseur ou un utilisateur final, déléguant l'autorité décisionnelle et le contrôle interprétatif au système. Cela réduit l'autonomie humaine, limite l'engagement actif et entrave la collaboration créative, l'improvisation et l'exploration.
• La lacune : Les travaux précédents sur l'improvisation ou les systèmes co-créatifs traitent souvent l'« échafaudage » (scaffolding) comme un mécanisme technique temporaire ou une aide à l'apprentissage, plutôt que comme un principe d'interaction central structurant la répartition de l'agence au fil du temps.

2. Méthodologie et Cadre Conceptuel

Les auteurs ne proposent pas une nouvelle architecture logicielle spécifique, mais un changement de cadre conceptuel (re-framing).

• Concept clé : L'Échafaudage (Scaffolding) : L'IA interactive est redéfinie non pas comme un agent autonome, mais comme une infrastructure qui permet aux humains de façonner le comportement du robot tout en restant maîtres de l'action.
• Rôle de l'Humain : « Directeur Exécutif » : L'humain définit l'intention, prend des jugements interprétatifs et guide les révisions itératives.
• Rôle de l'IA : Elle agit comme un médiateur entre l'expression humaine (langage, geste, démonstration) et l'exécution robotique (mouvement, coordination). Elle traduit les entrées humaines sous-spécifiées en comportements exécutables, gère l'ambiguïté et la coordination sans s'approprier l'auteurship.
• Approche par Cas d'Usage : La méthodologie repose sur l'analyse de scénarios illustratifs (Figure 1) couvrant :
  1. L'inspiration par échafaudage (gestes robotiques soutenant l'idéation).
  2. L'improvisation musicale (robot adaptant sa performance en temps réel).
  3. La synchronisation de performance (collaboration entre robots au sol et aériens).
  4. Le soutien « à l'arrache » (Winging Support) dans des contextes de pression temporelle.

3. Contributions Clés

L'article apporte trois contributions majeures à la communauté HCI et Robotique :

1. Re-cadrage de l'IA Interactive : Proposition de voir l'IA comme un échafaudage pour l'interaction créative, où l'humain conserve l'auteurship et la capacité de rediriger l'action, tandis que l'IA gère la réalisation technique.
2. Scénarios Illustratifs : Présentation de cas concrets (créatifs et critiques) démontrant comment les humains peuvent agir comme directeurs exécutifs, définissant les intentions et guidant les révisions, avec l'IA comme partenaire médiateur.
3. Implications pour la Conception et l'Évaluation :
   • Conception : Prioriser la « réactivité sur la correction » (permettre l'interaction même avec des entrées partielles ou ambiguës) et utiliser des modes d'expression familiers (gestes, langage) pour réduire la charge cognitive.
   • Évaluation : Déplacement des métriques traditionnelles (efficacité, taux d'erreur, temps de tâche) vers des mesures de l'agence perçue, du flux (flow) et de l'engagement soutenu (ex: Creativity Support Index). L'évaluation doit vérifier si l'utilisateur se sent comme le directeur de l'interaction.

4. Résultats et Observations (Synthèse des Scénarios)

Bien qu'il ne s'agisse pas d'une étude empirique quantitative, les auteurs déduisent des résultats conceptuels forts à partir de leurs scénarios :

• Préservation du contrôle interprétatif : L'IA doit soutenir l'intention humaine sans déplacer l'auteurship. Par exemple, dans la démonstration de mouvements (few-shot), l'IA lisse les transitions et génère des variantes réalisables tout en préservant la structure et l'emphase voulues par l'humain.
• Gestion de l'ambiguïté : Dans les contextes de performance (danse, drones), l'IA permet de coordonner des essaims de robots en temps réel via des gestes ou des instructions brèves, permettant une improvisation collective réactive plutôt qu'une exécution pré-scriptée.
• Adaptabilité en situation critique : Dans des contextes de mission critique (secours, urgence), l'échafaudage permet aux humains d'improviser (« wing it ») sous pression, l'IA accélérant l'interprétation et l'exécution sans compromettre la responsabilité humaine.

5. Signification et Défis Ouverts

La signification de ce travail réside dans son appel à abandonner les récits centrés sur l'autonomie totale des robots au profit d'un soutien durable à la créativité humaine.

• Défis Sociaux et Physiques : La frontière entre contrôle et consentement devient floue lors d'interactions proches (gestes, toucher). L'IA doit rendre les limites de l'agence lisibles.
• Passage à l'échelle (Scaling) : Comment préserver le contrôle interprétatif humain lorsqu'on passe d'un robot à un essaim ? Le risque est de diluer le rôle de « directeur » humain.
• Matériaux Robotiques Expressifs : Dans les pratiques artistiques (danse robotique, musique), l'interaction est une négociation continue. L'IA doit soutenir l'exploration sans stabiliser prématurément le comportement.
• Contextes Critiques : Trouver l'équilibre entre l'assistance rapide et le maintien de la transparence et de la responsabilité humaine dans des situations d'urgence.

Conclusion : L'article conclut que la question centrale n'est plus « comment maximiser l'autonomie », mais « comment concevoir des systèmes qui savent quand ne pas prendre le relais ». En positionnant l'humain comme directeur exécutif et l'IA comme partenaire médiateur, ce cadre favorise l'interprétation, l'intervention et la responsabilité comme des préoccupations interactionnelles de premier ordre.