Is it Me? Toward Self-Extension to AI Avatars in Virtual Reality

Este artículo presenta "ProxyMe", un prototipo en realidad virtual que explora la extensión del yo a avatares mediante la clonación de voz y la mediación de IA, investigando cómo la delegación y la capacidad de control en la comunicación generada artificialmente influyen en la percepción de agencia, autoría e identificación personal.

Lo esencial

🎭 ¿Es eso yo? Cuando tu "doble digital" habla por ti en el Metaverso

Imagina que tienes un doble digital en el mundo virtual (como en un videojuego de realidad virtual). Este doble es idéntico a ti: tiene tu cuerpo, tus movimientos y, lo más importante, tu voz.

Pero aquí viene la parte interesante: este doble no solo repite lo que dices. Tiene un "cerebro" artificial (una IA) que lo ayuda a hablar. A veces, la IA toma lo que tú dices y lo mejora, lo hace más claro, o incluso cambia un poco el argumento para que suene más convincente.

El paper "¿Es eso yo?" (Is it Me?) habla sobre un experimento llamado ProxyMe que explora esta idea: ¿Cuándo dejamos de sentir que es "nosotros" hablando y empezamos a sentir que es una máquina?

🧩 La Analogía del "Guionista Fantasma"

Piensa en esto como si fueras un actor en una obra de teatro, pero tienes un guionista fantasma invisible sentado justo detrás de ti.

1. Tú hablas: Dices algo natural, como: "Voy a intentar hacer lo mejor posible".
2. El Guionista (IA) actúa: El guionista escucha y piensa: "Eso está bien, pero suena un poco inseguro. Vamos a darle un poco más de fuerza".
3. El Doble habla: Tu avatar en el mundo virtual no suena exactamente como tú. Suena como tú, pero con una voz un poco más firme y las palabras perfectas: "¡Haré todo lo que esté en mi mano para lograrlo!".

El gran misterio del paper es: Cuando escuchas esa voz mejorada, ¿sientes que es tu propia voz o sientes que es un truco?

🛠️ ¿Qué es ProxyMe? (La Máquina de "Extensión de Uno Mismo")

Los investigadores crearon un prototipo llamado ProxyMe para probar esto. Funciona así:

• El Escenario: Estás en Realidad Virtual (VR) con un avatar que es tu "copia".
• La Magia: Hablas con un robot o un agente virtual.
• El Truco: Mientras tú hablas, el sistema escucha, lo procesa y te devuelve una respuesta modificada. Puede hacer dos cosas principales:
  • Mejorar (Enhance): Si tú dices algo torpe, el sistema lo hace sonar fluido y profesional.
  • Contrarrestar (Counter): Si tú tienes una opinión débil, el sistema puede reformularla para que sea más fuerte o incluso cambiar el argumento ligeramente.

El objetivo no es engañar a nadie, sino ver cómo nos sentimos cuando nuestra propia voz y nuestras ideas son "mejoradas" por una máquina en tiempo real.

🎭 Tres Escenarios de la Vida Real

Los autores imaginan tres formas en las que esto podría ser útil (o extraño) en el futuro:

1. El Orador Nervioso (Ayuda): Imagina que tienes que dar un discurso importante y te pones nervioso. ProxyMe podría escuchar tus palabras titubeantes y convertirlas en un discurso fluido y seguro. Sería como tener un entrenador de voz invisible que te ayuda a sonar como la mejor versión de ti mismo.
2. El Explorador de Identidad (Juego): ¿Alguna vez quisiste ser más valiente o más empático? Podrías usar ProxyMe para "probar" cómo suena una versión más segura de ti mismo. Es como ponerse un disfraz de personalidad que habla por ti, permitiéndote ver cómo te sentirías siendo esa persona.
3. La Terapia de Distancia (Sanación): A veces, decir algo doloroso es muy difícil. Podrías hablar con tu "doble" en lugar de contigo mismo. Al escuchar tus propias palabras dichas por otra voz (aunque sea tu voz clonada), podrías sentirte más tranquilo y analizar tus problemas con más frialdad, como si fueras un terapeuta para ti mismo.

⚠️ El Dilema: ¿Quién es el dueño de la idea?

Aquí es donde se pone filosófico. Si la IA cambia tus palabras para que suenen mejor, ¿sigue siendo tu idea?

• El riesgo de la "Amnesia de la IA": Si usas esto todo el tiempo, podrías empezar a olvidar qué dijiste realmente y qué dijo la máquina. Podrías pensar que siempre fuiste tan elocuente, cuando en realidad fue el sistema.
• La pérdida de control: Si el sistema decide cambiar tu opinión por ti, ¿sigues siendo tú quien toma las decisiones? Es como si tu sombra empezara a caminar antes que tú.

🚀 ¿Qué sigue?

Los investigadores quieren seguir probando esto para ver:

• ¿Cuánto tiempo tarda el sistema? (Ahora tarda unos 11 segundos, lo cual es mucho para una conversación natural).
• ¿Cómo se sienten las personas al escuchar su propia voz modificada? ¿Se sienten extrañas o se sienten "más ellas mismas"?
• ¿Cómo podemos diseñar esto para que la gente no pierda su sentido de responsabilidad sobre lo que dice?

En resumen

Este paper nos invita a imaginar un futuro donde la tecnología no es solo una herramienta que usamos, sino una parte de nosotros mismos. Como si tuvieras un "segundo cerebro" que te ayuda a hablar, pero que a veces hace que te preguntes: "¿Esto que acabo de decir fue realmente yo, o fue mi doble digital?".

Es una mezcla fascinante de magia, psicología y tecnología, preguntándonos hasta dónde podemos llegar extendiendo nuestra identidad en el mundo virtual sin perder quiénes somos.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Is it Me? Toward Self-Extension to AI Avatars in Virtual Reality" (¿Soy yo? Hacia la auto-extensión a avatares de IA en Realidad Virtual), estructurado según los puntos solicitados.

1. El Problema

El avance de la inteligencia artificial generativa, la síntesis de voz y los avatares encarnados ha permitido sistemas que no solo asisten en la comunicación, sino que actúan como proxi (representantes) de los usuarios. Sin embargo, la investigación actual en Interacción Humano-Computadora (HCI) se ha centrado principalmente en ver a la IA como una herramienta externa. Existe una brecha crítica en la comprensión de las consecuencias experienciales cuando las acciones y el habla del usuario se asimilan con la salida generada por la IA, formando un bucle cognitivo o sensoriomotor cerrado.

El problema central es la ambigüedad en la autoría, la agencia y la identidad. Cuando un sistema modifica el discurso de un usuario en tiempo real (reformular, mejorar o contradecir), ¿sigue siendo esa expresión parte del "yo" del usuario? El artículo explora los límites entre la auto-expresión humana y la generación algorítmica, planteando la cuestión de la "auto-extensión": situaciones donde la comunicación modificada por IA se experimenta como parte del propio comportamiento expresivo.

2. Metodología

Los autores presentan ProxyMe, un prototipo en desarrollo de Realidad Virtual (VR) diseñado para investigar la auto-extensión basada en avatares.

• Arquitectura del Sistema:

  • Entorno: Implementado en Unity, donde el usuario encarna un avatar (creado con ReadyPlayerMe y Mixamo) en un entorno VR.
  • Flujo de Procesamiento:
    1. Entrada: El usuario habla naturalmente.
    2. Transcripción: El audio se convierte a texto usando el modelo Whisper.
    3. Modificación: El texto se procesa mediante un LLM (Llama-3.1-8B) que edita, extiende o reformula el contenido según instrucciones predefinidas (ej. "mejorar", "contradecir", "clonar").
    4. Síntesis: El texto modificado se convierte de nuevo a voz usando IndexTTS. Este modelo puede generar una voz clonada del usuario o una voz sintética neutra (tipo Siri).
    5. Salida: El avatar del usuario reproduce la voz modificada en una conversación con un agente virtual.
  • Perspectiva: El sistema utiliza una perspectiva en tercera persona observable, permitiendo al usuario ver a su avatar interactuar sin sentirse obligado a intervenir constantemente, equilibrando la identificación con el avatar y el distanciamiento.

• Diseño Experimental (Planificado):

  • Se propone un diseño de sujetos repetidos 2 (Voz: clonada vs. robótica) × 3 (Contenido: repetición, mejora, conclusión contraria).
  • Los participantes interactuarán en diálogos morales breves con un agente LLM.
  • Se medirán la agencia percibida y la autoría mediante autoinformes tras cada prueba.
  • Métricas técnicas: Se mide la latencia de extremo a extremo (actualmente ~11.6 segundos), buscando reducirla mediante enmascaramiento perceptual y arquitecturas de transmisión (streaming).

3. Contribuciones Clave

• Concepto de Auto-Extensión del Avatar: Definición teórica y práctica de un nuevo modo de comunicación mediada por IA donde el sistema no es una herramienta externa, sino una extensión del propio proceso cognitivo y vocal del usuario.
• Implementación de ProxyMe: Un prototipo funcional que integra clonación de voz, modulación de voz y aumento de discurso en tiempo real dentro de un entorno de VR encarnado.
• Marco de Diseño: Propuesta de objetivos de diseño específicos para sistemas de auto-extensión:
  • Actuar en nombre del usuario: Delegación parcial de acciones comunicativas.
  • Encarnación fuerte: Uso de voz clonada y control motor para reforzar la propiedad del avatar.
  • Perspectiva observable: Balance entre inmersión y conciencia de la intervención de la IA.
  • Alineación de valores: Priorización de transformaciones conservadoras y seguras.
• Escenarios de Uso: Identificación de casos de uso potenciales como asistencia en el habla (público), exploración de identidad (role-playing) y terapia mente-cuerpo (distanciamiento psicológico).

4. Resultados y Estado Actual

Dado que el artículo describe un prototipo en desarrollo ("work-in-progress") y un manuscrito enviado a CHI '26, los resultados se presentan como hallazgos preliminares y desafíos técnicos identificados:

• Latencia: La latencia actual es de aproximadamente 11.6 segundos (1.2s STT + 2.9s LLM + 7.5s TTS). Los autores reconocen que esto puede interrumpir el flujo de interacción y la sensación de agencia, y están trabajando en arquitecturas de streaming para reducir la latencia percibida.
• Desafíos Éticos y Experienciales: Se identifican riesgos de alienación (cuando el usuario no reconoce su propia voz clonada modificada) y confusión sobre la autoría de los argumentos.
• Validación Teórica: El sistema se alinea con el marco "JIZAI Body" (Fusionary, Duplicatory, Possessory/Transformatory), demostrando técnicamente cómo la tecnología puede entrelazarse con la percepción y la acción humana.
• Privacidad: El sistema está diseñado para ejecutarse localmente, evitando el almacenamiento externo de datos biométricos sensibles.

5. Significado e Impacto

Este trabajo es significativo porque traslada la discusión sobre la IA en HCI desde la colaboración externa hacia la integración interna (human-computer integration).

• Reconfiguración de la Agencia: Cuestiona cómo los humanos atribuyen responsabilidad y propiedad intelectual cuando sus expresiones son co-creadas o modificadas por algoritmos en tiempo real.
• Futuro de la Identidad: Abre la puerta a escenarios donde los "doubles digitales" o proxis de IA pueden actuar de forma persistente, desafiando la distinción entre el "yo" biológico y el "yo" digital.
• Implicaciones para el Diseño: Proporciona directrices críticas para diseñar sistemas que equilibren la delegación de tareas con la preservación de la autonomía del usuario, evitando el "vacío de memoria de la IA" (donde los usuarios olvidan qué parte de su pensamiento fue generado por la máquina).
• Aplicaciones Terapéuticas y Sociales: Ofrece un nuevo paradigma para tratar trastornos del habla, ansiedad social y exploración de identidad, permitiendo a los usuarios "escucharse" y "verse" a través de una lente de IA que puede mejorar o modificar su expresión.

En resumen, el artículo establece las bases para una nueva era de interacción donde la frontera entre el usuario y su avatar mediado por IA se vuelve permeable, planteando preguntas fundamentales sobre qué significa ser "uno mismo" en un entorno digital aumentado.