💻 computer science

Measuring Successful Cooperation in Human-AI Teamwork: Development and Validation of the Perceived Cooperativity and Teaming Perception Scales

Este artículo presenta y valida dos nuevas escalas, la Escala de Cooperatividad Percibida (ECP) y la Escala de Percepción de Trabajo en Equipo (EPT), que miden eficazmente la calidad subjetiva del trabajo en equipo humano-IA en diversos contextos a través de tres estudios empíricos.

Autores originales: Christiane Attig, Christiane Wiebel-Herboth, Patricia Wollstadt, Tim Schrills, Mourad Zoubir, Thomas Franke

Publicado 2026-04-28

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Christiane Attig, Christiane Wiebel-Herboth, Patricia Wollstadt, Tim Schrills, Mourad Zoubir, Thomas Franke

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando hornear un pastel con un nuevo asistente robot de alta tecnología. A veces, el robot es increíble: sabe exactamente cuándo mezclar, te dice si el horno está demasiado caliente y sientes que eres un equipo de repostería perfecto. Otras veces, el robot es confuso: quema la masa, ignora tus instrucciones o actúa como si no supiera lo que está haciendo.

Este artículo trata sobre la creación de dos "boletines de calificaciones" especiales (llamadas escalas) para medir exactamente qué tan buena se siente esa asociación de repostería, desde tu perspectiva. Los investigadores, trabajando con Honda y la Universidad de Lübeck, querían ir más allá de simplemente preguntar: "¿Te gusta este robot?" para preguntar: "¿Qué tan bien trabajamos realmente juntos?".

Aquí tienes un desglose de su trabajo utilizando analogías simples:

Los Dos Boletines de Calificaciones

Los investigadores se dieron cuenta de que trabajar con la IA ocurre de dos maneras diferentes, por lo que construyeron dos herramientas de medición distintas:

1. El Boletín de Calificaciones de "Un Solo Momento" (Escala de Cooperatividad Percibida - PCS)

Qué mide: Qué tan bien actuó la IA durante una tarea específica.
La Analogía: Piensa en esto como juzgar un solo movimiento de baile. ¿Lideró claramente tu pareja? ¿Siguió tu liderazgo? ¿Mantuvo el ritmo solo para esta canción?
La Teoría: Se basa en la "Teoría de la Actividad Conjunta". Verifica si la IA fue transparente (sabías qué estaba pensando), confiable (hizo lo que dijo) y receptiva (te escuchó).
El Resultado: Lo probaron en 409 personas en tres escenarios diferentes: jugando un juego de cartas cooperativo, chateando con un bot de texto y usando un planificador de viajes de un automóvil. ¡La tarjeta funcionó genial! Podía distinguir claramente entre un compañero humano (que obtuvo puntuaciones altas), un robot basado en reglas inteligente pero predecible (puntuaciones medias) y un robot que aprendía por prueba y error y se confundía (puntuaciones bajas).

2. El Boletín de Calificaciones de "Equipo a Largo Plazo" (Escala de Percepción de Trabajo en Equipo - TPS)

Qué mide: La sensación de que tú y la IA habéis formado un equipo genuino con el tiempo.
La Analogía: Esto no se trata solo de un movimiento de baile; se trata de si sientes que eres parte de una compañía de baile. ¿Sientes que ambos estáis invirtiendo esfuerzo? ¿Sientes que compartís un objetivo común? ¿Sientes que el robot es un "compañero de equipo" y no solo una herramienta?
La Teoría: Se basa en la "Teoría de la Cooperación Evolutiva". Examina si ambas partes están pagando un "costo" (esfuerzo) para ayudar al otro a tener éxito.
El Resultado: Esta escala tiene tres partes:
- El Equipo: "Somos una unidad".
- El Compañero: "Tú me estás ayudando".
- El Yo: "Yo te estoy ayudando".
- El Giro: La parte del "Yo" fue complicada. La gente tendía a darse puntuaciones altas sin importar lo mal que estuviera el robot. Es como un estudiante que piensa: "¡Estudié mucho!" incluso si en realidad no estudió. Los investigadores descubrieron que esta parte de la escala es sensible a la situación; funciona mejor cuando las personas tienen más libertad para elegir cuánto esfuerzo ponen.

Cómo lo Probaron (Los Tres Estudios)

Para asegurarse de que sus boletines de calificaciones fueran precisos, utilizaron tres "campos de entrenamiento" diferentes:

El Juego de Cartas (Hanabi): Imagina un juego donde no puedes ver tus propias cartas y debes confiar en las pistas de tu compañero.
- La Prueba: La gente jugó con un humano, un robot que seguía reglas estrictas y un robot que aprendía por sí mismo.
- El Hallazgo: Los boletines de calificaciones los clasificaron con éxito: Humano > Robot Basado en Reglas > Robot de Aprendizaje. El robot de aprendizaje a menudo era confuso, por lo que la gente no sentía que estuviera cooperando bien.
El Chatbot (LLM): La gente usó un bot de texto para verificar hechos en artículos.
- La Prueba: Utilizaron bots que eran útiles, bots que eran útiles pero añadían cambios no deseados, y bots que fallaban.
- El Hallazgo: Las escalas detectaron las diferencias en lo "cooperativos" que se sentían los bots.
El Planificador de Viajes del Coche: La gente usó un planificador de viajes de Tesla para encontrar estaciones de carga.
- La Prueba: Este fue un "caso límite". El coche no es realmente un "compañero de equipo"; es solo una herramienta.
- El Hallazgo: La tarjeta de "Un Solo Momento" (PCS) funcionó bien aquí. Sin embargo, la tarjeta de "Equipo a Largo Plazo" (TPS) no se utilizó porque un planificador de viajes de coche no tiene realmente una "mente" o "objetivos" con los que formar equipo. No puedes realmente sentirte como un equipo con un GPS.

Lo Que Aprendieron (Las Conclusiones)

La tarjeta de "Un Solo Momento" es sólida como una roca. Es una forma muy fiable de medir qué tan bien actúa una IA durante una tarea específica. Funciona para todo, desde chatbots hasta bots de juegos.
La tarjeta de "Equipo" es poderosa pero requiere cuidado. Mide la profunda sensación de asociación. Sin embargo, la parte donde las personas califican su propia contribución está un poco sesgada. La gente tiende a pensar que son grandes compañeros de equipo incluso cuando la IA es terrible. Esto sugiere que en situaciones rígidas (como un juego de cartas donde debes cooperar), las autoevaluaciones de las personas no cambian mucho.
El contexto importa. Si solo estás usando una herramienta (como una calculadora o un GPS), la sensación de "equipo" realmente no aplica. Pero si estás trabajando en un proyecto complejo donde tú y la IA necesitáis confiar el uno en el otro, estas escalas te dicen si esa asociación está funcionando.

Por Qué Esto Importa

Antes de esto, principalmente teníamos herramientas para preguntar: "¿Confías en la IA?" o "¿Es esta IA inteligente?". Este artículo nos da una manera de preguntar: "¿Qué tan bien estamos trabajando juntos ahora mismo?" y "¿Nos sentimos como un equipo?".

Esto ayuda a los diseñadores a crear una IA mejor. Si un robot obtiene puntuaciones bajas en "predecibilidad", los diseñadores saben que deben hacer que las acciones del robot sean más claras. Si la puntuación de "Equipo" es baja, saben que el robot necesita mostrar más apoyo y objetivos compartidos.

En resumen: Los investigadores construyeron dos reglas. Una mide qué tan bien baila un robot en una sola canción. La otra mide si sientes que tú y el robot estáis en una compañía de baile juntos. Probaron estas reglas en 409 personas y descubrieron que funcionan bien, aunque la regla de "compañía de baile" debe usarse con cuidado dependiendo de cuánto libertad tenga el humano para moverse.

A continuación se presenta un resumen técnico detallado del artículo "Medición del Éxito en la Cooperación en el Trabajo en Equipo Humano-IA: Desarrollo y Validación de las Escalas de Cooperatividad Percibida y Percepción de Trabajo en Equipo".

1. Planteamiento del Problema

A medida que la Inteligencia Artificial (IA) se integra cada vez más en la vida cotidiana y en entornos de trabajo híbridos, existe una necesidad crítica de instrumentos fiables para evaluar la calidad subjetiva de la cooperación humano-IA. Si bien las escalas existentes miden actitudes generales hacia la IA o la alfabetización en IA, no logran capturar las dinámicas específicas, orientadas al proceso, de las interacciones cooperativas.

Los autores identifican una brecha en la medición de dos dimensiones distintas de la integración humano-IA:

Integración Sincrónica: El grado de interdependencia dentro de una secuencia de tareas única (por ejemplo, una interacción específica).
Integración Diacrónica: La continuidad y estabilidad de la cooperación a través de interacciones repetidas a lo largo del tiempo (por ejemplo, asociaciones a largo plazo).

Las herramientas actuales no diferencian adecuadamente entre la percepción de la capacidad cooperativa de un agente en un solo momento y el sentido emergente de "trabajo en equipo" que se desarrolla con el tiempo. Además, existe una falta de instrumentos validados que permitan una comparación directa entre la cooperación humano-humano y la cooperación humano-IA.

2. Metodología

Marco Teórico

El estudio introduce dos escalas fundamentadas teóricamente:

Escala de Cooperatividad Percibida (PCS): Basada en la Teoría de la Actividad Conjunta. Mide la capacidad percibida y la práctica de un agente dentro de una secuencia de interacción única. Opera ocho características de agentes efectivos: observabilidad, capacidad de supervisión, comunicatividad, autoevaluación, fiabilidad, directibilidad, selectividad y coordinación.
Escala de Percepción de Trabajo en Equipo (TPS): Basada en la Teoría de la Cooperación Evolutiva y marcos de acción compartida. Mide el sentido emergente de trabajo en equipo que surge de la contribución y el apoyo mutuos. Se conceptualiza como teniendo tres facetas:
- Equipo: El sentido emergente del grupo en su conjunto.
- Yo: La propia inversión cooperativa y el apoyo del ser humano.
- Socio: La percepción del ser humano sobre el apoyo y las contribuciones de la IA.

Construcción de la Escala

Generación de Ítems: Los conjuntos iniciales de ítems se derivaron de constructos teóricos. Los ítems se redactaron en un lenguaje accesible (por ejemplo, "Tuve la sensación de que...") para asegurar una respuesta intuitiva.
Adaptación: Ambas escalas se desarrollaron con versiones paralelas para socios de IA (PCS-A, TPS-A) y socios humanos (PCS-H, TPS-H) para permitir comparaciones entre agentes.
Traducción: Se utilizaron procedimientos rigurosos de traducción y retrotraducción para asegurar la equivalencia lingüística entre las versiones en alemán e inglés.

Diseño del Estudio y Muestras

Las escalas se validaron en tres estudios independientes que involucraron a un total de N = 409 participantes con diversas demografías y contextos:

Estudio 1 (Juego de Cartas Hanabi): Un juego cooperativo de alta interdependencia. Los participantes jugaron con un socio humano, un agente de IA basado en reglas (RB) y un agente de IA de aprendizaje por refuerzo (RL). Esto puso a prueba la capacidad de las escalas para diferenciar entre socios con diversos niveles de transparencia y predictibilidad cooperativa.
Estudio 2 (Interacción con LLM): Los participantes verificaron hechos en artículos utilizando cuatro versiones de un chatbot LLM con diversos grados de autonomía y alineación de objetivos (Enfocado, Aumentado, Conflictivo, Fallido). Esto puso a prueba la sensibilidad a diferentes cualidades cooperativas en un contexto de menor interdependencia.
Estudio 3 (Planificador de Viajes de Tesla): Una interacción del mundo real con un sistema de apoyo a la decisión (baja agencia). Esto sirvió como un caso límite para probar la aplicabilidad de la PCS en contextos donde el "socio" es una herramienta en lugar de un agente.

Análisis Psicométrico

Los autores emplearon procedimientos estándar de evaluación de escalas:

Dimensionalidad: Análisis Factorial Exploratorio (EFA) y Análisis Factorial Confirmatorio (CFA) para determinar la estructura factorial.
Fiabilidad: Alfa de Cronbach ( $\alpha$ ) y Omega de McDonald ( $\omega$ ).
Validez: Validez discriminante (correlaciones con SIPA, confianza, calidez, competencia, aceptación) y validez de criterio (capacidad para diferenciar entre tipos de socios).

3. Contribuciones Clave

Desarrollo de Dos Nuevas Escalas: La creación de la PCS (14 ítems tras el refinamiento) y la TPS (9 ítems, 3 subescalas) diseñadas específicamente para el trabajo en equipo humano-IA.
Fundamentación Teórica: Las escalas están explícitamente vinculadas a la Teoría de la Actividad Conjunta (sincrónica) y a la Teoría de la Cooperación Evolutiva (diacrónica), proporcionando una base teórica sólida para futuras investigaciones.
Comparabilidad entre Agentes: La inclusión de versiones para socios humanos permite a los investigadores comparar el rendimiento de la IA directamente con el rendimiento humano utilizando métricas idénticas.
Validación Empírica: Validación exhaustiva en tres contextos distintos (juegos, chat con LLM, navegación en el mundo real) y poblaciones diversas (estudiantes, trabajadores de Prolific, conductores de vehículos eléctricos).

4. Resultados

Dimensionalidad y Análisis de Ítems

PCS: El CFA y el EFA respaldaron una estructura unidimensional. El ítem PCS14 ("Tuve la sensación de que la persona/agente era capaz de darse cuenta de que teníamos enfoques diferentes...") mostró una discriminación deficiente y puntuaciones de confianza bajas en todos los contextos y fue excluido, resultando en una escala final de 14 ítems.
TPS: Aunque los resultados del EFA fueron mixtos, los autores mantuvieron una estructura teórica de tres factores (Equipo, Yo, Socio).
- Las subescalas Equipo y Socio mostraron una consistencia interna fuerte y una buena discriminación de ítems.
- La subescala Yo mostró una fiabilidad deficiente a cuestionable (especialmente en el contexto del juego) y una baja discriminación de ítems. El análisis sugiere que esta subescala puede capturar una autoevaluación estable y sesgada positivamente en lugar de dinámicas específicas de la interacción, particularmente cuando las estructuras de la tarea limitan la variabilidad conductual.

Fiabilidad

PCS: Demostró una consistencia interna excelente ( $\alpha \approx .93$ ) en todas las muestras y contextos.
TPS: La escala compuesta y las subescalas Equipo/Socio mostraron una fiabilidad buena a excelente ( $\alpha \approx .88 - .96$ ). La fiabilidad de la subescala Yo mejoró en contextos distintos al juego (estudio LLM) donde los participantes tenían más agencia.

Validez

Validez de Constructo: Ambas escalas mostraron correlaciones positivas esperadas con la competencia percibida, la confiabilidad del sistema y la conciencia de procesamiento de información subjetiva (SIPA).
Diferenciación (Validez de Criterio): Ambas escalas diferenciaron con éxito entre socios de cooperación de calidad variable:
- Ordenamiento: Socio Humano > IA Basada en Reglas > IA de Aprendizaje por Refuerzo (Estudio 1); LLM Alineado > LLM Desalineado/Fallido (Estudio 2).
- Tamaños del Efecto: Se encontraron tamaños de efecto grandes para las diferencias entre tipos de socios, confirmando la sensibilidad de las escalas a la calidad cooperativa.
Caso Límite: En el Estudio 3 (Planificador de Viajes de Tesla), la PCS siguió siendo significativa incluso con un sistema de baja agencia, aunque la TPS no se administró ya que no se cumplieron las condiciones para el "trabajo en equipo".

5. Significado e Implicaciones

Herramienta de Diagnóstico para el Diseño de IA: Los ítems de la PCS se mapean directamente a capacidades cooperativas específicas (por ejemplo, observabilidad, fiabilidad). Las puntuaciones bajas en ítems específicos pueden proporcionar retroalimentación procesable a los diseñadores sobre qué comportamientos del agente necesitan mejora.
Diferenciación entre "Herramienta" y "Compañero de Equipo": Las escalas ayudan a distinguir entre interacciones donde la IA es meramente una herramienta (bien medida por la PCS) e interacciones donde surge un sentido genuino de trabajo en equipo (medido por la TPS).
Guía para Investigadores: El artículo proporciona recomendaciones específicas para el uso de las escalas, incluyendo:
- Evaluar el grado de integración sincrónica/diacrónica antes de elegir una escala.
- Administrar las escalas inmediatamente después de los episodios de interacción en lugar de retrospectivamente.
- Interpretar la subescala "Yo" de la TPS con precaución debido al posible sesgo de positividad.
Fundamento para Futuras Investigaciones: Las escalas permiten una investigación empírica rigurosa sobre la dinámica de equipos híbridos, la calibración de la confianza y la evolución a largo plazo de las asociaciones humano-IA.

Conclusión: El estudio valida con éxito la Escala de Cooperatividad Percibida y la Escala de Percepción de Trabajo en Equipo como instrumentos robustos y fundamentados teóricamente. Cubren una brecha crítica en la investigación de la interacción humano-IA al proporcionar métricas fiables para evaluar la calidad subjetiva de la cooperación, aplicables en diversos contextos y capaces de distinguir entre diversos niveles de rendimiento cooperativo de la IA.