💻 computer science

Measuring Successful Cooperation in Human-AI Teamwork: Development and Validation of the Perceived Cooperativity and Teaming Perception Scales

본 논문은 세 가지 실증 연구를 통해 다양한 맥락에서 인간과 AI 팀워크의 주관적 품질을 효과적으로 측정하는 새로운 척도인 지각된 협력성 척도 (PCS) 와 팀 구성 인식 척도 (TPS) 를 제시하고 검증한다.

원저자: Christiane Attig, Christiane Wiebel-Herboth, Patricia Wollstadt, Tim Schrills, Mourad Zoubir, Thomas Franke

게시일 2026-04-28

📖 4 분 읽기☕ 가벼운 읽기

원저자: Christiane Attig, Christiane Wiebel-Herboth, Patricia Wollstadt, Tim Schrills, Mourad Zoubir, Thomas Franke

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

고급 기술이 탑재된 새로운 로봇 도우미와 함께 케이크를 굽는다고 상상해 보세요. 때로는 로봇이 놀라울 정도로 훌륭합니다. 언제 반죽을 섞어야 할지 정확히 알고, 오븐이 너무 뜨겁다면 알려주며, 마치 완벽한 베이킹 팀이 된 듯한 기분을 느끼게 해줍니다. 반면, 때로는 로봇이 혼란스럽습니다. 반죽을 태우거나, 당신의 지시를 무시하거나, 자신이 무엇을 하고 있는지 전혀 모르는 것처럼 행동합니다.

이 논문은 바로 그 베이킹 파트너십이 당신의 관점에서 얼마나 좋은지 정확히 측정하기 위한 두 가지 특별한'성적표'(척도) 를 만드는 것에 관한 것입니다. 연구진들은 혼다와 뤼베크 대학과 협력하여 단순히"이 로봇이 마음에 드시나요?"라고 묻는 것을 넘어,"우리가 실제로 얼마나 잘 협력했나요?"라고 묻는 데 초점을 맞추고자 했습니다.

다음은 간단한 비유를 통해 그들의 작업을 정리한 내용입니다:

두 가지 성적표

연구진들은 AI 와 협력하는 방식이 두 가지로 나뉜다는 것을 깨달았고, 이에 따라 두 가지 다른 측정 도구를 개발했습니다:

1. "단순한 순간"성적표 (지각된 협력성 척도 - PCS)

측정 항목: AI 가 특정 단일 작업 동안 얼마나 잘 행동했는지.
비유: 이는 마치 하나의 춤 동작을 평가하는 것과 같습니다. 파트너가 명확하게 리드를 했나요? 당신의 리드를 따랐나요? 이 한 곡 동안만이라도 리듬을 잘 유지했나요?
이론: 이는'공동 활동 이론'에 기반합니다. AI 가 투명했는지 (무엇을 생각하고 있는지 알 수 있었는지), 신뢰할 수 있었는지 (말한 대로 했는지), 그리고 반응성이 있었는지 (당신의 말을 경청했는지) 를 확인합니다.
결과: 이 척도는 409 명의 참가자를 대상으로 세 가지 다른 시나리오에서 테스트되었습니다: 협력 카드 게임, 텍스트 봇과의 대화, 그리고 자동차의 여행 계획기 사용. 이 성적표는 매우 훌륭하게 작동했습니다! 인간 파트너 (높은 점수), 예측 가능하지만 규칙 기반의 스마트한 로봇 (중간 점수), 그리고 시행착오를 통해 학습하다가 혼란을 겪은 로봇 (낮은 점수) 사이의 차이를 명확히 구분해 낼 수 있었습니다.

2. "장기적 팀"성적표 (팀워크 지각 척도 - TPS)

측정 항목: 시간이 지남에 따라 당신과 AI 가 진정한 팀이 되었다는 느낌.
비유: 이는 단순히 하나의 춤 동작에 관한 것이 아닙니다. 이것이 무용단 일원이라는 느낌을 주는지에 관한 것입니다. 당신은 서로가 노력을 기울이고 있다고 느끼나요? 공통된 목표를 공유한다고 느끼나요? 로봇이 단순한 도구가 아닌'팀메이트'라고 느끼나요?
이론: 이는'진화적 협력 이론'에 기반합니다. 양측이 서로의 성공을 돕기 위해'비용'(노력) 을 지불하고 있는지 살펴봅니다.
결과: 이 척도는 세 가지 부분으로 구성됩니다:
- 팀: "우리는 하나의 단위입니다."
- 파트너: "당신은 저를 돕고 있습니다."
- 자신: "저는 당신을 돕고 있습니다."
- 반전: '자신'부분은 까다로웠습니다. 사람들은 로봇이 얼마나 나빴든 상관없이 자신에게 높은 점수를 주는 경향이 있었습니다. 마치 실제로는 공부하지 않았음에도 불구하고"나는 열심히 공부했어!"라고 생각하는 학생과 같습니다. 연구진들은 이 척도의 부분이 상황에 민감하다는 것을 발견했습니다. 사람들이 얼마나 열심히 일할지 선택할 자유가 더 많을 때 더 잘 작동합니다.

테스트 방법 (세 가지 연구)

성적표의 정확성을 확보하기 위해 연구진들은 세 가지 다른'훈련장'을 사용했습니다:

카드 게임 (하나비): 자신의 카드를 볼 수 없고 파트너의 힌트에 의존해야 하는 게임을 상상해 보세요.
- 테스트: 사람들은 인간, 엄격한 규칙을 따르는 로봇, 그리고 스스로 학습하는 로봇과 함께 게임을 플레이했습니다.
- 발견: 성적표는 이들을 성공적으로 순위 매겼습니다: 인간 > 규칙 기반 로봇 > 학습 로봇. 학습 로봇은 종종 혼란스러웠기 때문에 사람들은 잘 협력하고 있다는 느낌을 받지 못했습니다.
챗봇 (LLM): 사람들은 텍스트 봇을 사용하여 기사들의 사실 관계를 확인했습니다.
- 테스트: 그들은 도움이 되는 봇, 도움이 되지만 원치 않는 변경 사항을 추가하는 봇, 그리고 실패한 봇을 사용했습니다.
- 발견: 척도들은 봇들이 얼마나'협력적'으로 느껴지는지 차이를 포착해냈습니다.
자동차 여행 계획기: 사람들은 테슬라 여행 계획기를 사용하여 충전소를 찾았습니다.
- 테스트: 이는'경계 사례'였습니다. 자동차는 진정한'팀메이트'가 아니라 단지 도구일 뿐입니다.
- 발견: "단순한 순간"성적표 (PCS) 는 여기서도 잘 작동했습니다. 그러나"장기적 팀"성적표 (TPS) 는 사용되지 않았는데, 자동차 여행 계획기는 팀을 이루기 위한'마음'이나'목표'가 실제로 없기 때문입니다. GPS 와 팀을 이룬다는 느낌을 받을 수는 없습니다.

배운 점 (핵심 교훈)

"단순한 순간"성적표는 매우 견고합니다. 이는 AI 가 특정 작업 동안 얼마나 잘 행동하는지 측정하는 매우 신뢰할 수 있는 방법입니다. 챗봇부터 게임 봇까지 모든 것에 적용됩니다.
"팀"성적표는 강력하지만 주의가 필요합니다. 이는 파트너십에 대한 깊은 느낌을 측정합니다. 그러나 사람들이 자신의 기여도를 평가하는 부분은 약간 편향되어 있습니다. 사람들은 AI 가 끔찍할지라도 자신이 훌륭한 팀메이트라고 생각하는 경향이 있습니다. 이는 엄격한 상황 (협력해야만 하는 카드 게임 등) 에서 사람들의 자기 평가는 크게 변하지 않는다는 것을 시사합니다.
맥락이 중요합니다. 계산기나 GPS 와 같은 도구를 단순히 사용하고 있다면'팀'느낌은 실제로 적용되지 않습니다. 하지만 당신과 AI 가 서로 의존해야 하는 복잡한 프로젝트에서 일하고 있다면, 이러한 척도들은 그 파트너십이 잘 작동하는지 알려줍니다.

왜 이것이 중요한가

이전까지 우리는 주로"AI 를 신뢰하십니까?"또는"이 AI 는 똑똑합니까?"라고 묻는 도구만을 가지고 있었습니다. 이 논문은"지금 우리가 얼마나 잘 협력하고 있습니까?"와"우리는 팀이라고 느끼십니까?"라고 물을 수 있는 방법을 제공합니다.

이는 설계자들이 더 나은 AI 를 구축하는 데 도움이 됩니다. 로봇이'예측 가능성'에서 낮은 점수를 받으면, 설계자들은 로봇의 행동을 더 명확하게 만들어야 한다는 것을 알게 됩니다.'팀'점수가 낮다면, 로봇이 더 많은 지원과 공유된 목표를 보여줘야 한다는 것을 알게 됩니다.

간단히 말해: 연구진들은 두 자를 만들었습니다. 하나는 로봇이 한 곡의 노래에서 얼마나 잘 춤추는지 측정합니다. 다른 하나는 당신과 로봇이 함께 무용단에 있는 것처럼 느끼는지 측정합니다. 이 두 자를 409 명의 사람들에게 테스트한 결과 잘 작동한다는 것이 밝혀졌지만, '무용단'자치는 인간이 움직일 수 있는 자유도가 얼마나 되는지에 따라 신중하게 사용해야 합니다.

"인간-AI 팀워크에서의 성공적 협력을 측정하기: 지각된 협력성과 팀화 인식 척도의 개발 및 타당화" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

인공지능 (AI) 이 일상생활과 하이브리드 업무 환경에 점점 더 통합됨에 따라, 인간-AI 협력의 주관적 질을 평가할 수 있는 신뢰할 수 있는 도구가 절실히 필요합니다. 기존 척도들은 AI 에 대한 일반적인 태도나 AI 리터러시를 측정하지만, 협력적 상호작용의 구체적이고 과정 지향적인 역동성을 포착하지는 못합니다.

저자들은 인간-AI 통합의 두 가지 뚜렷한 차원을 측정하는 데 있어 공백이 있음을 확인했습니다:

동시적 통합 (Synchronic Integration): 단일 작업 시퀀스 (예: 특정 상호작용) 내에서의 상호의존성 정도.
이시적 통합 (Diachronic Integration): 시간 경과에 따른 반복적 상호작용을 통한 협력의 연속성과 안정성 (예: 장기적 파트너십).

현재의 도구들은 단일 순간의 에이전트 협력 능력에 대한 인식과 시간이 지남에 따라 발현되는 '팀화 (teaming)'의 감각을 명확히 구분하지 못합니다. 또한, 인간 - 인간 협력과 인간-AI 협력 간의 직접적인 비교를 가능하게 하는 검증된 도구가 부족합니다.

2. 방법론

이론적 틀

본 연구는 이론적으로 근거를 둔 두 가지 척도를 도입합니다:

지각된 협력성 척도 (Perceived Cooperativity Scale, PCS): **공동 활동 이론 (Joint Activity Theory)**에 기반합니다. 단일 상호작용 시퀀스 내에서 에이전트의 지각된 능력과 실천을 측정합니다. 이는 관찰 가능성, 모니터링 가능성, 의사소통성, 자기 평가, 신뢰성, 지시 가능성, 선택성, 조정 등 효과적인 에이전트의 여덟 가지 특성을 운영화합니다.
팀화 인식 척도 (Teaming Perception Scale, TPS): **진화적 협력 이론 (Evolutionary Cooperation Theory)**과 공유 행동 틀에 기반합니다. 상호 기여와 지원에서 비롯된 팀화의 발현적 감각을 측정합니다. 이는 세 가지 측면으로 개념화됩니다:
- 팀 (Team): 전체 그룹에 대한 발현적 감각.
- 자아 (Self): 인간의 협력적 투자와 지원.
- 파트너 (Partner): AI 의 지원과 기여에 대한 인간의 인식.

척도 구성

문항 생성: 초기 문항 풀은 이론적 구성에서 도출되었습니다. 직관적인 응답을 보장하기 위해 문항은 접근 가능한 언어로 작성되었습니다 (예: "나는 ~라는 느낌을 받았다").
적용: AI 파트너용 (PCS-A, TPS-A) 과 인간 파트너용 (PCS-H, TPS-H) 병행 버전이 개발되어 교차 에이전트 비교가 가능하도록 했습니다.
번역: 독일어와 영어 버전 간의 언어적 동등성을 보장하기 위해 엄격한 번역 및 역번역 절차가 사용되었습니다.

연구 설계 및 표본

이 척도들은 다양한 인구통계학적 배경과 맥락을 가진 총 N = 409 명의 참가자가 참여한 세 개의 독립적인 연구를 통해 검증되었습니다:

연구 1 (하나비 카드 게임): 협력적이고 상호의존성이 높은 게임입니다. 참가자들은 인간 파트너, 규칙 기반 AI 에이전트 (RB), 그리고 강화 학습 AI 에이전트 (RL) 와 함께 플레이했습니다. 이는 협력의 투명성과 예측 가능성 수준이 다른 파트너들 사이에서 척도가 구별할 수 있는 능력을 검증했습니다.
연구 2 (LLM 상호작용): 참가자들은 자율성과 목표 정렬 정도가 다른 (집중, 증강, 갈등, 실패) 네 가지 버전의 LLM 챗봇을 사용하여 기사들을 사실 확인했습니다. 이는 상호의존성이 낮은 맥락에서 다양한 협력적 질에 대한 민감도를 검증했습니다.
연구 3 (테슬라 여행 플래너): 의사결정 지원 시스템 (낮은 에이전시) 과의 실제 세계 상호작용입니다. 이는 '파트너'가 에이전트가 아닌 도구인 맥락에서 PCS 의 적용 가능성을 테스트하는 경계 사례로 사용되었습니다.

심리측정 분석

저자들은 표준 척도 평가 절차를 적용했습니다:

차원성: 요인 구조를 결정하기 위한 탐색적 요인 분석 (EFA) 및 확인적 요인 분석 (CFA).
신뢰도: 크론바흐의 $\alpha$ 와 맥도널드의 $\omega$ .
타당도: 판별 타당도 (SIPA, 신뢰, 온기, 유능성, 수용과의 상관관계) 및 준거 타당도 (파트너 유형 간 구별 능력).

3. 주요 기여

두 가지 새로운 척도의 개발: 인간-AI 팀워크를 위해 특별히 설계된 PCS(수정 후 14 개 문항) 와 TPS(9 개 문항, 3 개의 하위 척도) 의 창출.
이론적 근거: 척도가 동시적 통합에 대한 공동 활동 이론과 이시적 통합에 대한 진화적 협력 이론과 명시적으로 연결되어 향후 연구를 위한 견고한 이론적 기반을 제공합니다.
교차 에이전트 비교 가능성: 인간 파트너 버전의 포함으로 연구자들이 동일한 지표를 사용하여 AI 성과를 인간 성과와 직접 비교할 수 있게 합니다.
실증적 검증: 세 가지 다른 맥락 (게임, LLM 채팅, 실제 세계 내비게이션) 과 다양한 집단 (학생, Prollic 근로자, 전기차 운전자) 을 통한 포괄적인 검증.

4. 결과

차원성 및 문항 분석

PCS: CFA 와 EFA 는 단일 차원 구조를 지지했습니다. 문항 PCS14("나는 사람/에이전트가 우리가 서로 다른 접근 방식을 가지고 있다는 것을 깨달을 수 있다는 느낌을 받았다") 은 모든 맥락에서 낮은 변별력과 낮은 신뢰도 평가를 보였으며, 제외되어 최종 14 개 문항 척도가 완성되었습니다.
TPS: EFA 결과는 혼재되었으나, 저자들은 **이론적 3 요인 구조 (팀, 자아, 파트너)**를 유지했습니다.
- 팀과 파트너 하위 척도는 강한 내부 일관성과 좋은 문항 변별력을 보였습니다.
- 자아 하위 척도는 (특히 게임 맥락에서) 나쁨에서 의문스러운 수준의 신뢰도를 보였으며 문항 변별력이 낮았습니다. 분석 결과, 이 하위 척도는 상호작용 특유의 역동성보다는 안정적이고 긍정적으로 편향된 자기 평가를 포착할 가능성이 있으며, 특히 작업 구조가 행동 변이를 제한할 때 그렇다는 것이 시사됩니다.

신뢰도

PCS: 모든 표본과 맥락에서 탁월한 내부 일관성 ( $\alpha \approx .93$ ) 을 보였습니다.
TPS: 종합 척도 및 팀/파트너 하위 척도는 좋음에서 탁월한 신뢰도 ( $\alpha \approx .88 - .96$ ) 를 보였습니다. 자아 하위 척도의 신뢰도는 참가자가 더 많은 에이전시를 가진 비게임 맥락 (LLM 연구) 에서 향상되었습니다.

타당도

구성 타당도: 두 척도 모두 지각된 유능성, 시스템 신뢰성, 주관적 정보 처리 인식 (SIPA) 과의 예상된 정적 상관관계를 보였습니다.
구별 (준거 타당도): 두 척도 모두 질이 다른 협력 파트너들을 성공적으로 구별했습니다:
- 순서: 인간 파트너 > 규칙 기반 AI > 강화 학습 AI (연구 1); 정렬된 LLM > 비정렬/실패한 LLM (연구 2).
- 효과 크기: 파트너 유형 간 차이에서 큰 효과 크기가 발견되어 척도가 협력적 질에 민감함을 확인했습니다.
경계 사례: 연구 3(테슬라 여행 플래너) 에서 PCS 는 낮은 에이전시를 가진 시스템에서도 여전히 유의미했으나, '팀화'의 조건이 충족되지 않았기 때문에 TPS 는 시행되지 않았습니다.

5. 중요성 및 함의

AI 설계를 위한 진단 도구: PCS 문항은 관찰 가능성, 신뢰성 등 구체적인 협력 능력에 직접 매핑됩니다. 특정 문항의 낮은 점수는 어떤 에이전트 행동이 개선되어야 하는지에 대한 실행 가능한 피드백을 설계자에게 제공할 수 있습니다.
'도구'와 '팀원'의 구별: 척도는 AI 가 단순히 도구로 작용하는 상호작용 (PCS 로 잘 측정됨) 과 진정한 팀화 감각이 발현되는 상호작용 (TPS 로 측정됨) 을 구별하는 데 도움을 줍니다.
연구자를 위한 지침: 이 논문은 척도 사용에 대한 구체적인 권장 사항을 제공합니다:
- 척도 선택 전에 동시적/이시적 통합의 정도를 평가할 것.
- 상호작용 에피소드 직후에 척도를 시행하고 사후적으로 회상하지 않도록 할 것.
- 잠재적 긍정 편향으로 인해 TPS '자아' 하위 척도를 해석할 때 주의할 것.
미래 연구의 기반: 이 척도들은 하이브리드 팀 역학, 신뢰 보정, 그리고 인간-AI 파트너십의 장기적 진화에 대한 엄격한 실증적 조사를 가능하게 합니다.

결론: 본 연구는 지각된 협력성 척도와 팀화 인식 척도를 견고하고 이론적으로 근거 있는 도구로 성공적으로 타당화했습니다. 이 척도들은 다양한 맥락에 적용 가능하며 다양한 수준의 AI 협력 성과를 구별할 수 있는 신뢰할 수 있는 지표를 제공함으로써 인간-AI 상호작용 연구의 중요한 공백을 메웁니다.