"When to Hand Off, When to Work Together": Expanding Human-Agent Co-Creative Collaboration through Concurrent Interaction

Cet article présente CLEO, un agent collaboratif capable d'interpréter les actions concurrentes des utilisateurs sur des artefacts partagés pour adapter ses réponses en temps réel, et propose un modèle de décision fondé sur deux études avec des designers professionnels pour déterminer quand déléguer, diriger ou travailler simultanément.

L'essentiel

Voici une explication simple de ce papier de recherche, imagée comme si nous parlions d'un chef cuisinier et d'un apprenti dans une cuisine très spéciale.

🎨 Le Titre : "Quand laisser faire, quand travailler ensemble ?"

Imaginez que vous êtes un chef cuisinier (l'humain) et que vous avez un robot apprenti (l'IA) dans votre cuisine.

Jusqu'à présent, la plupart des robots cuisiniers fonctionnaient ainsi :

1. Vous lui donnez une recette (un ordre).
2. Il part dans son coin, ferme la porte, et vous ne le voyez plus.
3. Il revient 10 minutes plus tard avec un plat fini.
4. Si le plat est raté, c'est trop tard : il faut tout jeter et recommencer.

Le problème ? C'est lent, frustrant, et vous ne pouvez pas l'aider s'il coupe les oignons trop gros ou met trop de sel au milieu de la préparation.

🚀 La Grande Découverte : La "Transparence du Processus"

Les chercheurs de cette étude (de l'université KAIST en Corée du Sud) ont voulu changer la donne. Ils ont créé un robot nommé Cleo qui ne ferme jamais la porte de la cuisine.

Au lieu de disparaître, Cleo travaille devant vous, étape par étape. Vous voyez ses mains (le curseur) bouger, vous voyez les ingrédients (les éléments de design) apparaître sur la table de travail.

Cela ressemble à un film en direct de la création. Vous pouvez voir ce qu'il fait avant même qu'il ne finisse.

🤝 Le Vrai Défi : La "Conscience du Contexte"

C'est ici que ça devient intéressant. Dans la première expérience, les chercheurs ont vu quelque chose d'étonnant :

• Les chefs (les designers) voulaient travailler en même temps que le robot.
• Ils voulaient parfois corriger le robot pendant qu'il travaillait (ex: "Attends, ce bleu est trop foncé, change-le tout de suite !").
• Ou alors, ils voulaient prendre un élément que le robot avait commencé à faire pour le finir eux-mêmes, pendant que le robot passait à la tâche suivante.

Le problème initial : Le robot ne comprenait pas la différence entre :

1. Une correction (le chef dit : "Non, ce n'est pas ça, refais-le").
2. Une nouvelle idée (le chef dit : "Tiens, j'ai une autre idée, je vais faire ça de mon côté pendant que tu continues").

Si le chef touchait quelque chose, le robot pensait souvent : "Oh non, le chef a annulé mon travail !" et il repartait de zéro. C'était comme si le robot paniquait à chaque fois que le chef passait près de lui.

💡 La Solution : Cleo, le Robot "Intelligent"

Pour la deuxième étude, ils ont amélioré Cleo. Ce nouveau robot a développé une sorte de sixième sens.

Maintenant, quand le chef touche quelque chose pendant que le robot travaille, Cleo se demande :

• "Est-ce que le chef essaie de me corriger ?" -> Action : Il s'adapte immédiatement et intègre le changement.
• "Est-ce que le chef travaille sur une autre partie du plat ?" -> Action : Il continue son travail sans s'arrêter, en respectant le travail du chef.
• "Est-ce que le chef veut que je m'arrête ?" -> Action : Il s'arrête net.

📊 Ce qu'ils ont appris (Les 3 Modes de Travail)

En observant 10 designers professionnels pendant deux jours, ils ont vu que les humains ne font pas toujours la même chose. Ils passent par trois modes principaux, un peu comme des changements de vitesse dans une voiture :

1. Le mode "Lâche-prise" (70% du temps) :

   • L'analogie : Vous êtes assis à la table, vous buvez un café, et vous regardez le robot travailler. Vous avez confiance, vous ne touchez à rien.
   • Pourquoi ? Vous avez d'autres tâches urgentes ou vous savez que le robot est bon pour cette tâche précise.

2. Le mode "Surveillance" (68% du temps, souvent en même temps) :

   • L'analogie : Vous regardez le robot travailler tout en préparant votre propre assiette. Vous surveillez pour voir s'il fait une erreur.
   • Pourquoi ? Vous voulez être sûr que tout se passe bien avant d'intervenir.

3. Le mode "Co-activité" (32% du temps) :

   • L'analogie : C'est la danse ! Vous et le robot travaillez sur la même assiette en même temps. Vous ajustez la sauce pendant qu'il coupe les légumes.
   • Pourquoi ? Le robot a eu une idée géniale qui vous inspire, ou il a fait une petite erreur que vous voulez corriger tout de suite pour ne pas perdre de temps.

🧠 Le Modèle de Décision : Comment choisir ?

Les chercheurs ont créé une "carte routière" pour expliquer comment les humains choisissent leur mode. Cela dépend de quatre choses :

1. La confiance : Connaissez-vous bien les capacités du robot ? (Si non, vous le surveillez de près).
2. L'urgence : Avez-vous une autre tâche plus importante ? (Si oui, vous laissez le robot seul).
3. La méthode préférée : Préférez-vous parler ("Fais ça") ou toucher directement ("Je le fais moi-même") ?
4. L'attente de succès : Pensez-vous que votre intervention va aider le robot à mieux faire ?

🌟 Pourquoi c'est important pour le futur ?

Ce papier nous dit que l'avenir de l'intelligence artificielle ne sera pas de nous remplacer, mais de danser avec nous.

Au lieu d'être un outil qui attend nos ordres, l'IA doit devenir un partenaire de jeu qui comprend :

• Quand nous voulons qu'elle travaille seule.
• Quand nous voulons la guider du doigt.
• Quand nous voulons travailler côte à côte sur le même projet.

En résumé :
Imaginez un futur où vous ne dites plus à votre IA "Fais-moi un site web" et attendez 10 minutes. Au lieu de cela, vous commencez à dessiner, l'IA commence à coder, et vous vous échangez des idées en temps réel, comme deux amis qui peignent un tableau ensemble, chacun apportant sa touche sans jamais interrompre l'autre. C'est ça, la collaboration simultanée.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche « When to Hand Off, When to Work Together : Expanding Human-Agent Co-Creative Collaboration through Concurrent Interaction », rédigé en français.

1. Problématique et Contexte

La collaboration créative entre humains (par exemple dans Figma ou Google Slides) repose sur la transparence des processus et la conscience de l'espace de travail (savoir qui fait quoi en temps réel). Cela permet une coordination dynamique, incluant le travail simultané et l'intervention en temps réel.

Cependant, les agents IA actuels dans les domaines créatifs fonctionnent principalement selon un paradigme de tour par tour (prompt-réponse) ou ne fournissent que des résultats finaux. Même lorsque le processus d'exécution est visible (par exemple, via des logs textuels), les agents ne peuvent généralement pas :

• Interpréter les actions concurrentes de l'utilisateur sur les mêmes artefacts.
• Distinguer si une modification de l'utilisateur est un feedback (correction) ou un travail indépendant.
• S'adapter en temps réel aux interventions humaines sans interrompre ou rejeter le flux de travail.

Le défi central est de passer d'une simple transparence du processus (lecture seule) à une conscience contextuelle collaborative, permettant une interaction fluide et entrelacée entre l'humain et l'agent.

2. Méthodologie

L'étude se déroule en deux phases distinctes impliquant des designers professionnels :

Étude 1 : Sondage Technologique Initial (N=10)

• Objectif : Évaluer l'impact de la transparence du processus (exécution étape par étape visible sur le canevas) sur la collaboration.
• Système : Un plugin Figma utilisant l'interaction vocale, la transparence du processus (l'agent manipule les outils visuellement) et la conscience de la présence (curseur de l'agent visible).
• Résultat clé : Bien que la transparence ait permis aux designers d'anticiper les actions de l'agent, le système échouait à distinguer les interventions de l'utilisateur du travail de l'agent, créant des conflits. Les designers souhaitaient intervenir pendant l'exécution, mais le système ne le supportait pas.

Étude 2 : Sondage Technologique Avancé avec Cleo (N=10)

• Objectif : Comprendre quand et pourquoi les designers choisissent de déléguer, de diriger ou de travailler simultanément avec l'agent.
• Système (Cleo) : « Collaborative Linked Executive Operator ». C'est une évolution du premier système intégrant une conscience contextuelle collaborative.
  • Fonctionnement technique : Cleo utilise des modules de détection des changements utilisateurs, d'attribution (qui a fait quoi ?) et de mise à jour du plan. Il peut distinguer si une modification sur le canevas est une correction de l'agent ou un travail parallèle, et adapter son exécution en conséquence.
• Protocole : Étude exploratoire sur deux jours.
  • Jour 1 : Tâches de conception web (Figma) avec journalisation des interactions (logs) et enregistrement vidéo.
  • Jour 2 : Entretiens de rappel stimulé (Stimulated Recall Interviews) où les participants analysaient leurs propres logs visualisés pour expliquer leurs décisions.
• Analyse des données : Codage qualitatif inductif de 214 tours d'interaction (turn-level data) pour identifier des motifs d'action, des déclencheurs (triggers) et des facteurs facilitants.

3. Contributions Clés

1. Cleo : Un agent de conception capable d'interpréter les actions concurrentes de l'utilisateur, de distinguer le feedback du travail indépendant, et de s'adapter en temps réel sans rompre le flux de travail.
2. Modélisation des Motifs d'Action : Identification de 5 catégories d'actions et de 10 codes détaillés :
   • Hands-off (Délegation totale)
   • Observational (Surveillance)
   • Terminating (Arrêt)
   • Directive (Guidage par instruction ou changement de tâche)
   • Concurrent (Travail simultané) : Incluant la co-édition in-situ, la reprise opportuniste, l'appropriation de résultats intermédiaires, etc.
3. Modèle de Décision : Un modèle dynamique décrivant comment les utilisateurs naviguent entre ces modes basés sur :
   • 6 Déclencheurs (Triggers) : Ex. « Étincelle d'idée » (Idea Spark), « Besoin de visibilité précoce », « Mauvaise interprétation de la tâche », « Baisse de qualité », etc.
   • 4 Facteurs Facilitants : Ex. Modèle mental de l'agent, priorité de la tâche de l'utilisateur, préférence de modalité d'intervention, attente de réussite.
4. Jeu de Données : Publication d'un ensemble de données annoté de 214 tours d'interaction avec les actions, les déclencheurs et les rationales des designers.

4. Résultats Principaux

L'analyse des 214 tours d'interaction a révélé des statistiques et des dynamiques surprenantes :

• Distribution des modes :
  • Délegation (Hands-off) : 70,1 % des tours.
  • Travail Concurrent : 31,8 % des tours (une proportion significative, montrant que les utilisateurs ne se contentent pas d'attendre).
  • Intervention Directive : 28,5 % des tours.
  • Note : Un seul tour peut contenir plusieurs catégories d'actions (ex. observer puis intervenir).
• Dynamique de l'Observation : L'observation passive (68,7 % des tours) n'est pas de l'inactivité, mais une stratégie active de construction de modèle mental et de synchronisation.
• Boucles d'Interaction : Le modèle de décision identifie 6 boucles d'interaction (ex. Boucle de délegation totale, Boucle d'observation continue, Boucle d'intervention). Les utilisateurs passent fluidement d'une boucle à l'autre en fonction de l'évolution des priorités et de la confiance dans l'agent.
• Rôle de la Transparence : La visibilité des étapes intermédiaires a permis aux utilisateurs de réduire les coûts de clarification et d'intervenir avant la fin de la tâche, transformant la collaboration d'une correction réactive en une coordination proactive.

5. Implications et Signification

L'article propose des implications de conception majeures pour les futurs agents collaboratifs :

• Coordination Temporelle : Les agents doivent révéler des « jalons » d'exécution pour permettre aux utilisateurs de synchroniser leurs interventions (ex. pause automatique avant une étape critique si l'utilisateur s'approche du curseur).
• Granularité de l'Intervention : Les agents doivent interpréter le niveau de détail de l'intervention (co-édition fine vs appropriation grossière) comme des signaux différents (correction immédiate vs validation de la direction).
• Signaux Comportementaux Proactifs : Au lieu de réagir uniquement aux commandes, les agents devraient utiliser les signaux implicites (position du curseur, focus du viewport) pour prédire les interventions et ajuster leur exécution (ex. ralentir, mettre en pause).
• Apprentissage par le Comportement Concurrent : Les interventions directes (co-édition) sont des signaux riches pour l'apprentissage des préférences utilisateur, plus précis que les instructions verbales.
• Extension au-delà du Design : Le concept d'interaction concurrente doit être adapté aux autres domaines (codage, écriture) en rendant les produits intermédiaires de l'agent manipulables (objets réifiés) plutôt que de simples états éphémères.

Conclusion :
Ce travail démontre que la collaboration humain-agent ne doit pas se limiter à un échange tour par tour. En dotant les agents d'une conscience contextuelle collaborative capable de gérer le travail simultané, on permet des flux de travail plus fluides, plus expérimentaux et plus efficaces, où l'humain et l'agent peuvent véritablement « travailler ensemble » sur un même artefact en temps réel.