Is it Me? Toward Self-Extension to AI Avatars in Virtual Reality

Cet article présente ProxyMe, un prototype de réalité virtuelle explorant l'extension de soi vers des avatars IA où la voix et le contenu parlés sont modifiés par l'IA, afin d'étudier comment ces systèmes influencent l'agence, l'auteur et l'identification de l'utilisateur.

L'essentiel

Voici une explication simple et imagée de l'article de recherche, conçue pour être comprise par tout le monde, même sans expertise technique.

🎭 Le Concept : "ProxyMe", votre double virtuel qui vous aide à parler

Imaginez que vous avez un super-héros qui vit à l'intérieur de votre tête. Ce super-héros est une intelligence artificielle (IA). Mais au lieu de juste vous donner des conseils, ce super-héros peut parler à votre place avec votre propre voix, tout en vous regardant agir dans un monde virtuel. C'est exactement ce que les chercheurs appellent ProxyMe.

L'objectif de cette étude n'est pas de remplacer les humains, mais d'explorer une idée fascinante : l'extension de soi. C'est comme si votre cerveau et votre voix s'étendaient au-delà de votre corps physique pour inclure cette IA.

---

🧩 Comment ça marche ? (L'analogie du "Traducteur Magique")

Pensez à ProxyMe comme à un traducteur magique et un coach vocal qui fonctionne en temps réel dans un jeu vidéo en réalité virtuelle (VR).

1. Vous parlez : Vous dites une phrase simple, par exemple : "Je vais essayer de mon mieux."
2. L'IA écoute et réfléchit : Le système entend votre voix, la transforme en texte, puis l'IA (le cerveau du système) la retravaille. Elle peut :
   • Améliorer le message (le rendre plus confiant).
   • Changer l'opinion (dire le contraire pour tester une idée).
   • Changer le ton (rendre la voix plus robotique ou plus douce).
3. L'avatar parle : Votre avatar dans le monde virtuel parle, mais avec une voix qui vous ressemble (une copie de votre voix) et avec le message modifié par l'IA.

Le résultat ? Vous entendez votre propre voix dire des choses que vous n'avez pas dites exactement ainsi, mais qui viennent de vous. C'est comme si vous aviez un double qui vous aide à exprimer ce que vous ressentez, mais avec plus de clarté ou de courage.

---

🤔 La Grande Question : "Est-ce moi ?"

C'est le cœur du problème. Quand votre avatar dit quelque chose de très intelligent ou de très courageux grâce à l'IA, est-ce toujours vous ?

Les chercheurs posent trois questions principales :

• Qui est l'auteur ? Si l'IA a réécrit votre phrase, est-ce votre idée ou celle de la machine ?
• Qui est responsable ? Si votre avatar dit quelque chose de faux ou de méchant, est-ce votre faute ?
• Est-ce encore moi ? Si la voix est la vôtre mais que les mots sont différents, vous sentez-vous toujours "vous-même" ?

L'article compare cela à des histoires de science-fiction comme Ghost in the Shell (où l'esprit peut habiter un nouveau corps) ou Ergo Proxy (où des agents agissent à la place des humains).

---

🌟 Pourquoi faire ça ? (Les scénarios d'usage)

Les chercheurs imaginent plusieurs façons d'utiliser ce "double" pour nous aider :

1. Le Coach de Confiance (Prise de parole en public) :
   Imaginez que vous êtes très timide. Vous dites : "Je suis un peu nerveux." ProxyMe le transforme en : "Je suis prêt à partager mes idées avec passion." Votre voix reste la vôtre, mais le message est plus fort. Cela vous aide à vous sentir plus confiant, comme un costume de super-héros invisible.

2. L'Explorateur d'Identité (Jouer avec qui on est) :
   Vous voulez savoir comment vous seriez si vous étiez plus assertif ou plus empathique ? ProxyMe peut modifier votre voix pour tester ces nouvelles personnalités sans que vous ayez à "jouer un rôle" complètement faux. C'est comme essayer différents déguisements numériques pour voir comment vous vous sentez à l'intérieur.

3. Le Thérapeute à Distance (Gérer les émotions) :
   Parfois, dire quelque chose de douloureux est trop dur. Avec ProxyMe, vous pouvez entendre vos propres mots prononcés par un "autre" (votre avatar). Cela crée une distance de sécurité, comme regarder un film de votre propre vie, ce qui aide à analyser vos émotions sans être submergé.

---

⚠️ Les Défis et les Risques

Bien que cela semble magique, il y a des pièges :

• Le "Vide de Mémoire" : Si l'IA fait trop de choses pour vous, vous pourriez oublier ce que vous avez vraiment pensé. C'est comme si quelqu'un écrivait votre journal intime à votre place : un jour, vous ne saurez plus ce qui est vrai.
• La Confusion : Entendre sa propre voix dire des choses que vous ne croyez pas peut être déstabilisant. C'est comme si votre reflet dans le miroir vous parlait et vous contredisait.
• La Responsabilité : Si votre avatar fait une erreur, pouvez-vous dire "Ce n'est pas moi, c'est l'IA" ? Les chercheurs s'inquiètent de savoir comment nous allons gérer la responsabilité morale quand nous sommes mélangés avec une machine.

🚀 En résumé

ProxyMe est un prototype qui teste les limites de notre identité. Il pose la question : jusqu'où pouvons-nous laisser l'IA modifier nos paroles et nos actions avant de ne plus nous reconnaître ?

C'est comme apprendre à danser avec un partenaire invisible. Au début, c'est étrange. Mais si vous trouvez le bon rythme, vous pourriez découvrir une nouvelle façon d'exprimer qui vous êtes vraiment, en utilisant la technologie comme une extension de votre propre esprit.

Résumé technique

Voici un résumé technique détaillé de l'article "Is it Me? Toward Self-Extension to AI Avatars in Virtual Reality", rédigé en français.

1. Problématique et Contexte

L'article aborde l'évolution des systèmes d'IA générative et des avatars incarnés dans la réalité virtuelle (RV). Alors que la recherche en Interaction Humain-Machine (HCI) se concentre traditionnellement sur l'IA comme un outil externe, les avancées récentes permettent désormais aux systèmes d'agir comme des proxies (représentants) des utilisateurs, modifiant leur discours et leurs actions en temps réel.

Le problème central identifié est le flou croissant entre l'agentivité humaine et la génération algorithmique. Lorsque l'IA reformule la parole d'un utilisateur ou modifie sa voix pour l'incorporer dans un avatar, cela crée une boucle cognitive et sensorimotrice fermée. Les auteurs s'interrogent sur les conséquences expérientielles de cette assimilation : jusqu'où l'utilisateur perçoit-il ces modifications comme faisant partie de son propre "soi" ? Cela soulève des questions cruciales sur l'identité, l'auteur (authorship), la responsabilité et la continuité de l'agence personnelle dans un contexte où l'IA agit "à la place" de l'utilisateur.

2. Méthodologie et Prototype : ProxyMe

Pour explorer ce concept d'auto-extension (self-extension), les auteurs ont conçu et implémenté un prototype de RV appelé ProxyMe.

• Concept : ProxyMe permet à un utilisateur d'incarner un avatar dont la voix et le contenu parlé sont modifiés par l'IA en temps réel. L'objectif est d'étudier comment l'IA peut étendre l'expression de l'utilisateur tout en brouillant la frontière entre le discours original et le discours médiatisé.

• Architecture Technique :

  • Environnement : Développé sous Unity, utilisant des avatars générés via ReadyPlayerMe et Mixamo.
  • Pipeline de traitement :
    1. Reconnaissance vocale (STT) : Utilisation du modèle Whisper pour transcrire la parole initiale de l'utilisateur.
    2. Traitement du langage (LLM) : Le texte est envoyé à Llama-3.1-8B. Selon des instructions prédéfinies (prompts), le modèle réécrit, étend ou reformule le contenu (ex: améliorer la clarté, changer le ton, contredire la conclusion).
    3. Synthèse vocale (TTS) : Le texte modifié est converti en parole via le modèle IndexTTS. Deux modes de voix sont testés : une voix clonée (imitant l'utilisateur) ou une voix robotique/neutre.
  • Interaction : L'utilisateur parle naturellement, et l'avatar (proxy) répond avec la version modifiée par l'IA lors d'un dialogue avec un agent virtuel.

• Objectifs de Conception :

  • Délégation partielle : L'IA agit sans approbation explicite à chaque étape pour étudier l'impact sur le sentiment d'auteur.
  • Incarnation forte (Strong Embodiment) : Utilisation de la voix clonée et du contrôle moteur visuel pour renforcer l'attribution des actions à soi-même.
  • Perspective observable : Utilisation d'une vue à la troisième personne pour permettre à l'utilisateur d'observer l'IA agir sans se sentir obligé d'intervenir constamment.
  • Alignement des valeurs : Le système est conçu pour éviter les transformations nuisibles ou divergentes des valeurs de l'utilisateur.

3. Contributions Clés

L'article propose plusieurs contributions majeures à la recherche en HCI et en RV :

1. Cadre Conceptuel de l'Auto-Extension : Les auteurs définissent l'« auto-extension » comme un état où les modifications médiatisées par l'IA (voix, contenu) sont vécues comme faisant partie intégrante du comportement expressif de l'utilisateur, s'inscrivant dans la théorie du « Esprit Étendu » (Extended Mind).
2. Implémentation Technique (ProxyMe) : C'est l'un des premiers prototypes fonctionnels combinant clonage vocal, augmentation par LLM et incarnation en RV pour explorer spécifiquement la frontière de l'agence.
3. Scénarios d'Usage Envisagés :
   • Soutien à la prise de parole publique : Amélioration de la fluidité et du ton tout en conservant l'intention sémantique.
   • Exploration d'identité : Permettre à l'utilisateur d'expérimenter des styles expressifs différents (plus assertifs, plus empathiques) sans adopter un personnage fictif complet.
   • Thérapie corps-esprit : Créer une distance psychologique en externalisant la parole émotionnelle via un proxy pour faciliter la réflexion.
4. Analyse des Défis Éthiques et Expérientiels : Le papier met en lumière les risques de confusion entre soi et l'IA (le « trou de mémoire IA »), la dilution de la responsabilité morale, et les questions de propriété intellectuelle sur les données biométriques (voix).

4. Résultats et État d'Avancement

Étant donné qu'il s'agit d'un travail en cours (soumis à CHI '26), les résultats présentés sont principalement conceptuels et préliminaires :

• Performance Technique : Le prototype actuel présente une latence end-to-end d'environ 11,6 secondes (1,2s pour le STT, 2,9s pour le LLM, 7,5s pour le TTS). Les auteurs reconnaissent que cette latence peut perturber le flux d'interaction et le sentiment d'incarnation, et prévoient d'optimiser le système vers une architecture de streaming.
• Plan d'Évaluation : Les auteurs prévoient une étude utilisateur contrôlée avec un design factoriel 2 (Voix : clonée vs robotique) × 3 (Contenu : répétition, amélioration, conclusion contrée).
  • Objectif de l'étude : Mesurer l'impact de ces variables sur le sentiment d'agence, l'auteur (authorship) et l'identification au soi.
  • Hypothèse : Les variations de délégation et de modulation vocale influenceront la perception de l'utilisateur sur ce qui est « lui » ou « l'IA ».

5. Signification et Implications

Ce travail est significatif car il anticipe un futur où l'IA ne sera plus seulement un outil d'assistance, mais un partenaire d'expression intégré à l'identité de l'utilisateur.

• Pour la recherche HCI : Il propose un nouveau paradigme d'étude au-delà de l'outil externe, vers l'intégration homme-machine profonde, nécessitant de nouvelles métriques pour évaluer l'agence et l'attribution.
• Pour l'éthique et la sécurité : Il soulève des questions critiques sur la responsabilité des actions commises par des « proxies » d'IA. Si un utilisateur dit quelque chose de préjudiciable via son avatar modifié par l'IA, qui est responsable ? L'article suggère la nécessité de mécanismes de traçabilité (provenance des énoncés) pour distinguer le soi de l'extension.
• Pour le design futur : Il ouvre la voie à des systèmes capables de gérer dynamiquement les niveaux d'autonomie, permettant aux utilisateurs de naviguer entre l'assistance et l'aliénation, tout en préservant l'alignement avec leurs valeurs humaines.

En résumé, ProxyMe sert de banc d'essai pour comprendre comment nous pourrons vivre avec des extensions numériques de notre propre conscience et de notre voix, et comment concevoir ces systèmes pour qu'ils restent des prolongements de l'humain plutôt que des entités qui le remplacent.