"When to Hand Off, When to Work Together": Expanding Human-Agent Co-Creative Collaboration through Concurrent Interaction

Este artículo presenta CLEO, un sistema de colaboración creativa humano-agente que mejora la conciencia contextual al interpretar las acciones concurrentes de los usuarios en tiempo real, y propone un modelo de decisión basado en estudios empíricos que define cuándo delegar, dirigir o trabajar simultáneamente.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una receta para cocinar juntos con un robot, pero en lugar de comida, estamos creando diseños digitales.

Aquí tienes la explicación de la investigación, contada como si fuera una historia:

🎨 El Problema: El Chef Robot que no te deja tocar la sartén

Imagina que tienes un chef robot (un agente de IA) en tu cocina. En el pasado, la forma de trabajar con él era muy rígida:

1. Le decías: "Hazme una pizza".
2. El robot se encerraba en la cocina, preparaba todo a ciegas y, al final, te traía la pizza lista.
3. Si te dabas cuenta de que le faltaba queso o que la masa estaba quemada, ¡ya era tarde! Tenías que esperar a que terminara todo el proceso para decirle que lo hiciera de nuevo.

Los investigadores de la Universidad KAIST (Corea del Sur) y sus colaboradores se dieron cuenta de que esto no es como trabajar con un humano. Cuando trabajas con un amigo en un diseño, puedes ver lo que él está haciendo en tiempo real, acercarte, mover un ingrediente y decirle: "Oye, pon más sal aquí", mientras él sigue trabajando.

🔍 El Experimento 1: "¡Mira lo que estoy haciendo!"

Primero, crearon un prototipo donde el robot mostraba sus pasos. En lugar de esperar al final, el robot mostraba en pantalla cómo estaba colocando los botones o cambiando los colores, paso a paso.

¿Qué descubrieron?
A los diseñadores les encantó poder ver el proceso. Podían decir: "¡Ah! Está poniendo el botón en el lugar equivocado". Pero surgió un problema: el robot era un poco tonto.
Si el diseñador intentaba corregir el botón mientras el robot lo estaba colocando, el robot se confundía. No sabía si el diseñador estaba ayudando (diciendo "hazlo así") o trabajando en otra cosa (diciendo "déjame hacer esto yo mientras tú sigues"). El robot a veces borraba lo que el humano acababa de hacer porque pensaba que era un error.

🤖 La Solución: "Cleo", el Robot Consciente

Para arreglarlo, crearon a Cleo (el segundo prototipo). Cleo es como un chef que tiene conciencia de lo que tú haces.

• Si tú tocas un elemento mientras él trabaja, Cleo piensa: "¿Está corrigiéndome? ¿O está trabajando en otra parte?".
• Si es una corrección, Cleo se adapta al instante.
• Si es trabajo independiente, Cleo sigue su camino sin molestar.

🧠 El Estudio: ¿Cuándo delegar y cuándo trabajar juntos?

Llamaron a 10 diseñadores expertos para que trabajaran con Cleo durante dos días. Grabaron todo y luego les preguntaron: "¿Por qué decidiste hacer eso?".

Descubrieron que los humanos no siempre hacen lo mismo. Tienen un "interruptor mental" que cambia según la situación. Identificaron 5 formas de trabajar:

1. Delegar totalmente (Hands-off): "Tú hazlo todo, yo voy a tomar un café". (Ocurre el 70% de las veces).
2. Observar (Observational): "Te veo trabajar para aprender cómo lo haces".
3. Dar órdenes (Directive): "Oye, cambia ese color a azul" (sin tocarlo, solo hablando).
4. Trabajar juntos (Concurrent): "Mientras tú pones el fondo, yo ajusto los textos". ¡Esto es lo nuevo! Ocurre el 32% de las veces.
5. Detener (Terminating): "¡Alto! Esto no me gusta, cancela todo".

🚦 El Semáforo de la Colaboración (El Modelo de Decisión)

Los investigadores crearon un mapa mental (un modelo de decisión) que explica cuándo cambiamos de una forma a otra. Funciona como un semáforo con tres luces principales:

1. La "Confianza" (Modelo Mental):
   • ¿Conoces al robot? Si es nuevo, lo observas todo el tiempo para ver si es bueno. Si ya sabes que es experto, le das más libertad.
2. La "Urgencia" (Prioridad):
   • ¿Tienes algo más importante que hacer? Si tu tarea es urgente, delegas al robot. Si no tienes nada que hacer, te pones a trabajar con él.
3. La "Idea Brillante" (El Gatillo):
   • A veces, ves lo que el robot está haciendo y ¡tienes una idea! ("¡Esa combinación de colores es genial, pero déjame añadirle un borde!"). En ese momento, pasas de observar a trabajar juntos.

💡 Las Lecciones para el Futuro

El artículo nos deja tres grandes enseñanzas para diseñar mejores robots en el futuro:

1. No seas ciego: Los robots deben mostrar sus pasos. Si no ves lo que hacen, no puedes confiar en ellos ni corregirlos a tiempo.
2. Lee las señales: El robot debe saber cuándo el humano está mirando fijamente (señal de "voy a intervenir") y cuándo está mirando a otro lado (señal de "sigue trabajando solo").
3. Acepta el "robo" creativo: A diferencia de los humanos, a los robots no les ofende que les cambies el trabajo a la mitad. ¡Es parte del juego! Los humanos pueden apropiarse de lo que el robot hizo y mejorarlo al instante.

En resumen

Este paper nos dice que la colaboración ideal con la IA no es una fila de espera ("yo hablo, tú haces, yo hablo, tú haces"). Es más bien como bailar una danza: a veces el humano lidera, a veces el robot, y a veces se mueven al mismo tiempo, ajustándose el uno al otro en tiempo real. La clave es que el robot entienda el contexto y sepa si lo que estás haciendo es una corrección o simplemente tu propio trabajo.

Resumen técnico

Resumen Técnico: "Cuándo Delegar, Cuándo Trabajar Juntos"

1. El Problema

En la colaboración creativa entre humanos (por ejemplo, en herramientas como Figma), la coordinación dinámica se basa en la visibilidad del proceso y la conciencia del espacio de trabajo compartido. Los humanos pueden observar las acciones en curso de sus compañeros, anticipar pasos y realizar intervenciones simultáneas (trabajo concurrente).

Sin embargo, los agentes de IA actuales en dominios creativos suelen operar bajo un paradigma rígido de "turno por turno" (prompt y espera de salida final) o exponen solo procesos de razonamiento de solo lectura. Esto presenta dos limitaciones críticas:

1. Falta de conciencia contextual colaborativa: Los agentes no pueden distinguir si una acción del usuario sobre un artefacto compartido es una retroalimentación (corrección/intención de colaborar) o trabajo independiente del usuario.
2. Incapacidad de adaptación en tiempo real: Cuando el usuario interviene mientras el agente ejecuta, el agente suele ignorarlo, revertir cambios o entrar en conflicto, impidiendo flujos de trabajo intercalados fluidos.

El objetivo de la investigación es determinar si los agentes pueden lograr una conciencia contextual colaborativa, interpretando acciones concurrentes del usuario en artefactos compartidos y adaptando su ejecución en tiempo real.

2. Metodología

Los autores realizaron dos estudios de sondeo tecnológico (design probes) en el entorno de diseño Figma con diseñadores profesionales.

• Estudio 1 (Sondeo Inicial):

  • Participantes: 10 diseñadores UI/UX profesionales.
  • Sistema: Un agente con transparencia de proceso (mostraba pasos de ejecución, cursor del agente y operaciones de herramientas en tiempo real) pero sin capacidad de interpretar acciones concurrentes del usuario.
  • Hallazgo clave: Aunque la transparencia permitía anticipar acciones, los diseñadores querían intervenir durante la ejecución. El sistema fallaba al no distinguir entre correcciones y trabajo independiente, generando conflictos.

• Estudio 2 (Sondeo Avanzado con Cleo):

  • Sistema: Se desarrolló Cleo (Collaborative Linked Executive Operator), un agente que incorpora conciencia contextual colaborativa.
    • Mejoras técnicas: Módulos de Detección de Cambios del Usuario, Atribución de Cambios (distingue acciones del agente vs. usuario) y Actualización de Planes (adapta la ejecución si el usuario modifica el artefacto).
  • Participantes: 10 diseñadores creativos con +2 años de experiencia.
  • Procedimiento: Estudio de dos días.
    • Día 1: Tareas de diseño (cerradas y abiertas) mientras se registraban logs de interacción y grabaciones de pantalla.
    • Día 2: Entrevistas de recordatorio estimulado (stimulated recall), donde los participantes revisaron visualizaciones de sus interacciones para explicar sus decisiones.
  • Análisis: Se analizaron 214 turnos de interacción (unidades de tiempo desde que el agente inicia una tarea hasta que termina). Se utilizó codificación cualitativa inductiva para identificar patrones de acción, desencadenantes (triggers) y factores habilitantes.

3. Contribuciones Clave

1. Sistema Cleo: Un agente de diseño que no solo ejecuta tareas, sino que monitorea, interpreta y se adapta a las manipulaciones directas del usuario sobre sus artefactos en tiempo real.
2. Modelo de Decisión de Colaboración: Un marco teórico que describe cómo los usuarios navegan dinámicamente entre cinco modos de acción basándose en desencadenantes y factores contextuales.
3. Análisis de Patrones de Interacción Concurrente: Identificación de cinco patrones de acción y seis tipos de bucles de interacción que explican cuándo y por qué los usuarios eligen delegar, dirigir o trabajar simultáneamente.
4. Dataset Anotado: Un conjunto de datos público de 214 turnos de interacción con acciones registradas, desencadenantes y racionalización de los diseñadores.

4. Resultados Principales

A. Patrones de Acción del Usuario (5 Categorías):
Se identificaron cinco modos en los que los usuarios interactúan mientras el agente trabaja:

1. Delegación Total (Hands-off): El usuario se desconecta completamente para trabajar en otras tareas (31.3% de los turnos puros, 70.1% de aparición total).
2. Observación (Observational): El usuario monitorea sin intervenir (68.7% de aparición). A menudo es un paso previo a la intervención.
3. Terminación (Terminating): El usuario detiene la ejecución del agente (8.9%).
4. Dirección (Directive): El usuario da instrucciones verbales o asigna nuevas tareas sin tocar el artefacto directamente (28.5%).
5. Trabajo Concurrente (Concurrent): El usuario interviene directamente en el artefacto mientras el agente sigue trabajando (31.8%). Incluye:
   • Co-edición in situ: Ambos trabajan en la misma subtarea.
   • Apropiación de resultados intermedios: El usuario usa la salida parcial del agente para su propio trabajo.
   • Toma de posesión de artefactos: El usuario duplica el trabajo en curso para editarlo independientemente.

B. Desencadenantes (Triggers) y Factores Habilitantes:

• 6 Desencadenantes que llevan a la intervención:
  • Exclusivos de Concurrente: Chispa de idea (Idea Spark), necesidad de visibilidad temprana, preparación para detalles finos.
  • Genéricos: Interpretación de tarea desalineada, caída en la calidad de ejecución.
  • Exclusivos de Dirección/Terminación: Surgimiento de una nueva tarea para el agente.
• 4 Factores Habilitantes que determinan qué acción se elige:
  1. Modelo Mental: ¿El usuario conoce las capacidades del agente? (Si no, observa más).
  2. Prioridad de Tarea: ¿La tarea del usuario es más urgente que la del agente?
  3. Preferencia de Intervención: ¿Es más fácil explicar verbalmente o editar directamente?
  4. Expectativa de Éxito: ¿Cree el usuario que su intervención mejorará el resultado?

C. El Modelo de Decisión (6 Bucles de Interacción):
Los autores proponen un modelo dinámico donde los usuarios transitan fluidamente entre estados. No es un flujo lineal, sino un sistema de bucles (Delegación Total, Observación Continua, Intervención, Redirección de Tareas) que dependen de la evolución de las prioridades y la confianza en el agente.

5. Significado e Implicaciones de Diseño

El estudio demuestra que la colaboración efectiva humano-agente requiere ir más allá de la simple transparencia de procesos hacia la adaptabilidad contextual.

• Coordinación Temporal: La visibilidad del proceso permite sincronizar el trabajo paralelo. Los agentes deben usar hitos de ejecución como puntos de sincronización para pausar o esperar intervención.
• Granularidad de la Intervención: Los agentes deben interpretar la granularidad de la acción del usuario. Una edición fina (co-edición) es una señal de corrección inmediata, mientras que la apropiación de un resultado parcial es una validación de la dirección.
• Señales Proactivas: Los agentes deberían predecir intervenciones basándose en señales de comportamiento (posición del cursor, enfoque del viewport) y pausar proactivamente antes de que el usuario intervenga, en lugar de reaccionar después.
• Manipulación de la Presencia: Permitir a los usuarios mover el cursor del agente o manipular su presencia en el lienzo como una señal explícita de "trabaja aquí" o "trabaja allá".
• Aprendizaje de Preferencias: Las intervenciones concurrentes (edición directa) son señales ricas de preferencia de diseño que los agentes pueden aprender, superando la necesidad de instrucciones verbales explícitas.

Conclusión:
El trabajo redefine la colaboración humano-agente, pasando de un modelo de "solicitud-respuesta" a uno de co-creación concurrente. La clave para el éxito no es solo que el agente sea visible, sino que sea capaz de interpretar la intención detrás de las acciones simultáneas del usuario y adaptarse en tiempo real, permitiendo flujos de trabajo fluidos e intercalados similares a los de los equipos humanos.