Toward a Unified Framework for Collaborative Design of Human-AI Interaction

Cet article propose un cadre unifié pour la collaboration humain-IA qui intègre l'alignement multimodal, l'explicabilité centrée sur l'interaction et des mécanismes préservant l'agence afin de garantir la confiance et le contrôle de l'utilisateur à mesure que les interfaces évoluent des systèmes basés sur l'écran vers des systèmes multimodaux.

L'essentiel

Imaginez que vous travaillez avec un assistant très intelligent, mais légèrement télépathe. Cet assistant peut entendre votre voix, voir où vous pointez et même suivre l'endroit où vos yeux regardent. L'objectif est que l'assistant comprenne exactement ce que vous voulez faire.

Cependant, il y a un gros problème : souvent, l'assistant fait une mauvaise hypothèse, et parce qu'il s'agit d'une « boîte noire », vous ne savez pas pourquoi il a fait cette hypothèse. Vous pouvez dire « agrandissez-le », pointer un bouton et regarder une image, mais l'assistant décide d'agrandir l'image au lieu du bouton. Vous vous frustrez, perdez confiance et avez l'impression d'avoir perdu le contrôle.

Ce papier propose une nouvelle façon de construire ces équipes humain-IA. Au lieu de traiter les « hypothèses » de l'assistant, ses « explications » et votre « contrôle » comme trois problèmes séparés, les auteurs affirment qu'il faut les construire ensemble comme un système unifié.

Voici le cadre décomposé en trois parties simples, en utilisant une analogie de Chef et de Sous-Chef :

1. L'« Écoute Parfaite » (Alignement Multimodal)

Le Concept : Le système doit combiner votre voix, vos gestes et votre regard pour saisir la bonne idée.
L'Analogie : Imaginez un chef (l'IA) essayant de deviner ce que le sous-chef (vous) veut. Si le sous-chef dit « hachez les oignons » tout en pointant les carottes, un mauvais système pourrait hacher les carottes. Un bon système (Alignement Multimodal) écoute la voix, observe le doigt et vérifie les yeux pour réaliser : « Ah, ils ont dit oignons mais pointé les carottes ; ils voulaient probablement les oignons. »
La Revendication du Papier : Si l'IA se trompe dès le début sur cette partie « écoute », rien d'autre ne compte. On ne peut pas expliquer une mauvaise hypothèse, et on ne peut pas la corriger si l'on ne sait pas ce qui a été mal compris.

2. La « Carte de Recette Instantanée » (Explicabilité Centrée sur l'Interaction)

Le Concept : L'IA ne doit pas seulement accomplir la tâche ; elle doit immédiatement vous montrer pourquoi elle l'a fait, en utilisant des images, du texte ou du son.
L'Analogie : Au lieu que le chef hache silencieusement le mauvais légume, le chef s'arrête et tient une carte qui dit : « Je hache les carottes parce que vous avez pointé dessus (85 % de correspondance), même si vous avez dit 'oignons'. »
La Revendication du Papier : Cette explication se produit pendant que l'action a lieu, pas après. Elle transforme l'interaction d'un mystère confus en une conversation claire. Si l'IA dit : « Je redimensionne ce bouton parce que vous avez dit 'redimensionner' et que vous l'avez regardé », vous savez instantanément si c'est juste ou faux.

3. Le « Filet de Sécurité » (Mécanismes Préservant l'Agence)

Le Concept : Vous devez toujours avoir le pouvoir de dire « Oui », « Non » ou « Changez cela » immédiatement.
L'Analogie : Même si le chef est un génie, vous êtes le patron. Si le chef commence à hacher des carottes, vous pouvez instantanément dire : « Stop ! Je voulais les oignons ! » Le papier suggère que lorsque vous corrigez le chef, le système ne doit pas seulement obéir ; il doit apprendre de votre correction pour la prochaine fois.
La Revendication du Papier : Cela vous maintient aux commandes. Cela transforme un ordre à sens unique en une négociation à double sens. Si l'IA fait une erreur, vous la corrigez, et l'IA apprend : « Ah, la prochaine fois, s'ils pointent X mais disent Y, je devrais demander des clarifications. »

Comment ils fonctionnent ensemble (Le « Cycle Vicieux vs Vertueux »)

Le papier soutient que ces trois parties sont comme un tabouret à trois pieds. Si une jambe casse, tout s'effondre.

• Si l'« Écoute » est mauvaise : L'IA pense que vous voulez des carottes.
• Si l'« Explication » manque : Vous ne savez pas pourquoi elle hache des carottes, donc vous êtes confus.
• Si le « Contrôle » manque : Vous ne pouvez pas l'arrêter, et vous perdez confiance.

Mais s'ils fonctionnent ensemble : L'IA écoute bien, explique sa logique clairement (« Je hache des carottes à cause de votre doigt ») et vous laisse la corriger (« Non, les oignons ! »). L'IA apprend ensuite de cette correction.

Exemples du Monde Réel du Papier

Les auteurs ont testé cette idée avec deux histoires :

1. Concevoir un Site Web : Un designer dit « agrandissez-le » tout en pointant un bouton. L'IA combine la voix, le pointage et le regard pour redimensionner le bouton, et non toute la page. Elle affiche une petite note : « Redimensionnement du bouton à cause de votre voix et de votre doigt. » Le designer peut ensuite dire : « En fait, faites-le à 120 % », et l'IA met à jour.
2. Robots d'Entrepôt : Un travailleur dans un entrepôt bruyant crie « Stop ! » tout en regardant une zone spécifique. Le robot combine le cri avec le regard du travailleur pour s'arrêter exactement à 2 mètres. Il affiche une note holographique : « Arrêt ici parce que vous avez regardé la zone à 2 m. » Si le travailleur dit « Non, arrêtez à 1 mètre », le robot s'arrête, confirme le changement et se souvient de cette préférence pour la prochaine fois.

Le « Mais... » (Limites)

Les auteurs sont honnêtes sur ce qu'ils n'ont pas encore fait :

• C'est un Plan, Pas une Maison Finie : Ils ont proposé l'idée et montré comment elle devrait fonctionner dans des histoires, mais ils n'ont pas encore construit un système réel et fonctionnel pour le prouver.
• Les Capteurs Peuvent Échouer : Si le soleil est trop brillant, le suivi oculaire peut échouer. Si l'entrepôt est trop bruyant, la reconnaissance vocale peut échouer. Si la partie « écoute » échoue, la partie « explication » pourrait vous mentir, ce qui est dangereux.
• Vitesse vs Clarté : Dans une urgence rapide, s'arrêter pour lire une explication pourrait être trop lent. Le papier admet que ce cadre pourrait ne pas fonctionner pour des décisions à la seconde où la vitesse est plus importante que la compréhension.

En bref : Le papier soutient que pour que l'IA soit un véritable partenaire, elle doit écouter attentivement, expliquer clairement sa pensée sur le moment et nous laisser la corriger instantanément. Nous ne pouvons pas simplement ajouter des « explications » comme un après-pensée ; elles doivent être intégrées au cœur de la façon dont l'IA interagit avec nous.

Résumé technique

Résumé technique : Vers un cadre unifié pour la conception collaborative de l'interaction humain-IA

Énoncé du problème
L'intégration de l'intelligence artificielle (IA) dans les systèmes interactifs fait évoluer l'interaction humain-machine (IHM) des paradigmes basés sur l'écran vers des interfaces multimodales interprétant l'intention de l'utilisateur par la parole, le geste et le regard. Bien que ces systèmes visent à fournir des réponses adaptées au contexte, une opacité critique persiste : les utilisateurs ne comprennent souvent pas comment les systèmes d'IA multimodaux interprètent leurs entrées, pourquoi des décisions spécifiques sont prises, ni quand intervenir. Ce manque de transparence entraîne une rupture de confiance et une perte d'autonomie de l'utilisateur. Les approches actuelles traitent l'alignement multimodal (interprétation précise de l'intention), l'explicabilité (XAI) et l'autonomie humaine (contrôle utilisateur) comme des problèmes techniques distincts. Cette séparation laisse des lacunes critiques là où les ruptures d'interaction surviennent, en particulier lorsque les systèmes génèrent des actions proactives sans raisonnement explicite. Dans des domaines à haut risque comme la robotique d'entrepôt ou la modération de contenu, des interprétations erronées peuvent entraîner des dangers pour la sécurité ou la censure de discours légitimes.

Méthodologie
Cet article adopte une approche conceptuelle et orientée vers la conception plutôt qu'une étude empirique ou une implémentation fixe. Les auteurs proposent un cadre unifié qui traite l'alignement multimodal, l'explicabilité centrée sur l'interaction et les mécanismes de préservation de l'autonomie comme des exigences de conception interdépendantes plutôt que comme des composants isolés. La méthodologie comprend :

1. Intégration conceptuelle : Définition de trois principes mutuellement renforçants où la qualité de l'un impacte directement les autres.
2. Analyche basée sur des scénarios : Validation des implications du cadre à travers deux scénarios illustratifs choisis pour couvrir des différences de pression temporelle et de réversibilité des erreurs :
   • Conception collaborative d'interface utilisateur : Une tâche impliquant une faible pression temporelle où les erreurs sont facilement réversibles.
   • Collaboration humain-robot en entrepôt en réalité étendue (XR) : Une tâche impliquant une forte pression temporelle et des conséquences critiques pour la sécurité, où une interprétation erronée comporte des risques documentés.

Contributions clés : Les trois principes directeurs
Le cadre postule qu'une collaboration humain-IA efficace nécessite l'optimisation simultanée de trois principes :

1. Alignement multimodal : Le système doit capturer et aligner des signaux hétérogènes (parole via la compréhension du langage naturel, gestes via des capteurs de mouvement/caméras de profondeur, et regard comme indicateur probabiliste) en utilisant des techniques de fusion (par exemple, des représentations sémantiques partagées ou des embeddings basés sur des transformateurs). Les auteurs soutiennent que la qualité de l'alignement est le fondement du cadre ; si l'intention est mal interprétée à ce stade, les explications ultérieures ne peuvent pas restaurer la confiance de l'utilisateur.
2. Explicabilité centrée sur l'interaction (XAI) : Contrairement à une justification a posteriori, les explications doivent être générées simultanément aux décisions en temps réel. Le système externalise le raisonnement par le biais de retours visuels, textuels et audio adaptés au contexte (par exemple, « voix='redimensionner' + correspondance du geste à 85 % + confirmation par le regard »). La qualité de ces explications dépend directement de la qualité de l'alignement multimodal.
3. Mécanismes d'autonomie humaine : Les utilisateurs doivent conserver la capacité d'accepter, de rejeter ou de modifier les suggestions de l'IA à tout moment. Crucialement, les corrections de l'utilisateur sont traitées comme des signaux de préférence renvoyés au système, créant une boucle d'apprentissage co-adaptative. Cela garantit que l'autorité décisionnelle reste entre les mains de l'humain tandis que l'IA affine son comportement.

Résultats et constatations
Grâce à l'analyse basée sur des scénarios, l'article démontre comment une approche intégrée répond aux ruptures d'interaction qui surviennent lorsque les principes sont traités de manière isolée. L'analyse produit trois constatations principales :

• L'alignement détermine la transparence : La fusion correcte de la parole, du geste et du regard permet des explications précises. À l'inverse, un alignement défaillant produit des justifications trompeuses sur lesquelles les utilisateurs ne peuvent pas agir.
• Les explications en temps réel permettent une négociation proactive : Un retour immédiat transforme l'interaction d'un débogage réactif en une négociation proactive, permettant aux utilisateurs de corriger les interprétations au moment de la décision.
• Les mécanismes d'autonomie favorisent la co-adaptation : Traiter les corrections comme des signaux de préférence crée des boucles d'apprentissage qui affinent le comportement futur tout en préservant l'autorité humaine.

Dans le scénario d'entrepôt, le cadre prévient les incidents de sécurité en fusionnant la parole avec les données de regard pour ancrer les commandes spatiales, rendant le raisonnement transparent (par exemple, « arrêt de sécurité à 1,5 m ») et permettant des annulations immédiates par l'opérateur qui servent de données d'entraînement. Dans le scénario de conception, il prévient la rupture du flux créatif en clarifiant pourquoi un élément d'interface spécifique a été sélectionné pour modification.

Portée et limites
L'article positionne ce travail comme une étape fondamentale vers une refonte de la collaboration en tant que propriété d'interaction continue. Sa portée réside dans l'argument selon lequel, à mesure que les systèmes d'IA deviennent plus proactifs, la compréhension et le contrôle de l'utilisateur doivent être des « propriétés de conception de premier ordre » plutôt que des fonctionnalités ajoutées a posteriori. Le cadre insiste sur la nécessité de rendre l'ambiguïté visible et gérable par l'explication et l'intervention, plutôt que de tenter d'éliminer l'ambiguïté entièrement.

Les auteurs reconnaissent explicitement les limites de l'article :

• Absence de validation empirique : Aucun système fonctionnel n'a été implémenté et aucune étude utilisateur n'a été menée pour confirmer que les principes se renforcent mutuellement ou que les explications en temps réel améliorent la confiance.
• Contraintes contextuelles : Le cadre privilégie la transparence à l'efficacité, le rendant potentiellement inadapté aux interactions à haute fréquence et à faible enjeu où la rapidité est préférée.
• Fiabilité des capteurs : L'approche suppose une détection multimodale fiable ; les performances se dégradent dans des conditions où le suivi du regard échoue (lumière vive, lunettes) ou où la reconnaissance vocale échoue (bruit industriel), ce qui pourrait corrompre la boucle d'apprentissage co-adaptative.
• Conflits non résolus : Le cadre identifie mais ne résout pas les mécanismes pour gérer les signaux contradictoires (par exemple, lorsqu'un utilisateur pointe du doigt un élément tout en regardant un autre).

En définitive, l'article offre un espace de conception et un fondement théorique pour de futures recherches empiriques sur les systèmes interactifs collaboratifs d'IA, appelant à un passage des solutions techniques isolées vers des conceptions d'interaction holistiques qui soutiennent la négociation et la correction.