💻 computer science

Can People Distinguish Human and AI Agency in Humanoid Teleoperation? A Preliminary Study of Agency Perception

이 예비 연구는 "고스트 인 더 루프(Ghost-in-the-Loop)" 프레임워크를 도입하여, 참가자들이 휴머노이드 원격 제어 상황에서 인간의 에이전시와 AI의 에이전시를 구분하는 데 종종 어려움을 겪으며, 그들의 판단이 실제 제어의 원천보다는 인지된 자연스러움과 다중 모드 일관성에 의해 주로 좌우된다는 점을 입증한다.

원저자: Xiang Li, Koya Dendo, Keigo Minamida, Yuto Nakamura, Per Ola Kristensson, Jun Rekimoto

게시일 2026-09-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiang Li, Koya Dendo, Keigo Minamida, Yuto Nakamura, Per Ola Kristensson, Jun Rekimoto

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 거실에 서 있는 로봇이 단순히 정해진 스크립트를 따르는 기계가 아니라, 미소 짓고 몸짓을 하며 인간처럼 유연하게 반응하며 대화의 파트너가 되는 미래를 상상해 보십시오. 이 비전은 사람이 멀리 떨어진 곳에 앉아 실시간으로 로봇의 움직임과 목소리를 제어하여, 마치 기계를 원격 신체처럼 사용하는 방식인 텔레오퍼레이션(원격 제어)에 기반합니다. 수년 동안 이 방식은 인간 운영자가 항상 존재해야 했기에, 한 사람이 도울 수 있는 사람의 수나 대화의 길이를 제한해 왔습니다. 그러나 인공지능의 급격한 부상은 새로운 가능성을 도입했습니다. 바로 음성, 얼굴 표정, 몸짓을 스스로 생성하여 인간과 매우 흡사하게 모방하는 시스템입니다. 이는 기계와 상호작나하는 누구에게나 매혹적이면서도 약간은 불안한 질문을 던집니다. 만약 로봇이 연기를 하고 있다면, 당신은 실제 사람이 조종하고 있는지 아니면 알고리즘이 작업을 수행하고 있는지 구별할 수 있겠습니까?

소니 컴퓨터 사이언스 랩(Sony Computer Science Laboratories)과 도쿄 대학의 연구진은 이 질문에 답하기 위해 '고스트 인 더 루프(Ghost-in-the-Loop)'라고 불리는 시스템을 구축했습니다. 이 프레임워크는 휴머노이드 로봇이 인간 운영자에 의해 제어되는 상태와 완전히 인공지능에 의해 구동되는 상태 사이를, 외형과 소리가 완전히 동일하게 유지하면서도 매끄럽게 전환할 수 있도록 합니다. 화면으로 된 얼굴과 주변을 볼 수 있는 카메라를 갖춘 유트리 디(Unitree G1) 모델이 무대 역할을 합니다. 인간이 제어할 때, 운영자는 헤드셋을 착용하여 로봇이 보는 것을 보고 모션 센서를 사용하여 로봇의 손과 얼굴을 유도합니다. 시스템이 AI 모드로 전환되면, 로봇은 대화를 듣고 생성형 모델을 사용하여 인간 제어 버전과 동일한 시각적 및 청각적 스타일을 맞추며 자신의 목소리, 얼굴 움직임, 손짓을 만들어냅니다. 목표는 어느 쪽이 더 나은지를 보는 것이 아니라, 인간 관찰자가 그 차이를 식별할 수 있는지 확인하는 것이었습니다.

이를 테스트하기 위해 연구팀은 로봇이 대화하는 모습을 담은 일련의 짧은 영상 클립들을 제작했습니다. 그들은 일상적인 대화부터 과업 중심의 토론에 이르기까지 각각 5초에서 40초 길이의 8가지 서로 다른 상호작용을 기록했습니다. 이 클립 중 절반은 인간 텔레오퍼레이터가 로봇을 제어했습니다. 나머지 절반은 AI 시스템이 행동을 생성했습니다. 결정적으로, 로봇의 목소리, 얼굴, 몸은 모든 클립에서 일관되게 유지되었으므로, 변수는 오직 제어의 출처뿐이었습니다. 연구진은 50명의 사람들을 온라인으로 초대하여 이 영상들을 시청하게 했습니다. 각 클립을 본 후, 참가자들은 로봇이 인간에 의해 구동되는지 컴퓨터에 의해 구동되는지를 결정하고, 확신도를 -10(확실한 AI)에서 +10(확실한 인간) 사이의 척도로 평가했습니다. 또한 그들은 왜 그렇게 느꼈는지 이유를 설명하도록 요청받았습니다.

결과는 이러한 짧은 순간 동안 인간과 기계 사이의 경계가 놀라울 정도로 모호하다는 것을 시사합니다. 참가자들은 두 제어 출처를 구별하는 데 상당한 어려움을 겪었습니다. 평균적으로 그들의 평가는 인간 제어 클립과 AI 제어 클립 사이에서 거의 변화가 없었으며, 그 차이는 통계적으로 무작위 추측과 구별할 수 없을 정도로 작았습니다. 이 연구는 짧은 상호작용의 경우, 사람들이 로봇이 사람에 의해 조종되는지 아니면 알고리즘에 의해 구동되는지 확실히 알 수 없음을 나타냅니다. 연구진이 참가자들이 실제로 무엇을 생각하고 있었는지 살펴보았을 때, 명확한 패턴이 나타났습니다. 판단을 내릴 수 있다고 느낀 이들은 로봇 행동의 전반적인 자연스러움에 크게 의존했습니다. 그들은 대화의 타이밍, 움직임의 리듬, 그리고 목소리와 얼굴 표정, 손짓이 모두 조화롭게 어우러지는지에 주의를 기울였습니다.

로봇의 움직임이 뻣뻣하거나, 타이밍이 어긋나거나, 신체의 각 부분이 목소리와 조화를 이루지 못한다고 느껴질 때 참가자들은 AI라고 추측할 가능성이 높았습니다. 반대로, 제스처와 표정이 언어와 완벽하게 일치하는 일관된 흐름을 보일 때, 사람들은 인간이 뒤에서 조종하고 있다고 믿을 가능성이 높았습니다. 이것은 AI가 완벽했다는 의미가 아니라, AI 성능의 결함이 빠른 눈길로는 놓칠 만큼 미세했다는 것을 의미합니다. 이 연구는 우리가 에이전시(주체성)를 감지하는 능력이 특정 기술에 달려 있다기보다, 성능의 일관성에 달려 있음을 시사합니다. 로봇이 하나의 통합된 전체로서 행동할 때, 뇌는 그것을 단일한 에이전트로 받아들입니다. 그 에이전트가 살과 피인지 코드인지는 상관없이 말입니다.

이 예비 연구는 미래의 로봇을 설계하는 방식에 있어 새로운 장을 엽니다. 이는 가까운 미래에 사용자가 짧은 대화 중에 로봇이 진짜인지 가짜인지 끊임없이 의심할 필요가 없을 수도 있음을 암시합니다. 대신, 초점은 이러한 시스템이 어떻게 인간 지능과 인공 지능을 결합할 수 있는지로 옮겨갈 수 있습니다. 예를 들어, 대화가 복잡해지면 인간이 개입하고, 일상적인 부분은 AI가 처리하도록 하는 방식입니다. 연구진은 이들의 발견이 이러한 짧고 구조화된 클립에 국한된 것이며, 더 길고 복잡한 상호작용은 다른 패턴을 드러낼 수 있다고 언급했습니다. 현재로서는, 로봇이 말하고, 미소 짓고, 충분한 일관성을 가지고 움직일 때 인간의 정신은 그것을 파트너로 기꺼이 받아들인다는 점을 이 연구가 확인해주고 있으며, 그 에이전시의 진정한 본질은 고요한 미스터리로 남겨둡니다.

기술 요약: 인간은 휴머노이드 텔레오퍼레이션에서 인간과 AI의 에이전시를 구별할 수 있는가?

문제 정의
휴머노이드 텔레오퍼레이션(Teleoperation)은 로봇의 신체를 통해 원격 통신을 가능하게 하여 협업, 고객 서비스, 돌봄 등의 분야를 지원합니다. 그러나 기존의 텔레오퍼레이션은 지속적인 인간의 개입에 의존하므로, 단일 운영자가 여러 상호작용을 동시에 지원할 수 없는 확장성의 병목 현상을 초래합니다. 생성형 AI가 음성 합성, 목소리 클로닝, 제스처 생성 기술을 발전시켜 왔지만, 동일한 체화된 인터페이스(Embodied Interface)를 통해 제시될 때 사용자가 인간이 조종하는 행동과 AI가 생성한 행동을 신뢰성 있게 구별할 수 있는지 여부는 여전히 불분명합니다. 본 연구의 핵심 질문은 통합된 휴머노이드 텔레오퍼레이션 시스템 내에서 관찰자가 에이전시의 출처(인간 대 AI)를 구별할 수 있는지, 그리고 어떤 행동적 단서가 이러한 판단을 유도하는가 하는 것입니다.

방법론: Ghost-in-the-Loop 프레임워크
이를 조사하기 위해 저자들은 일관된 로봇 신체를 유지하면서 인간 조종 모드와 AI 생성 제어 모드 사이를 매끄럽게 전환하도록 설계된 텔레오퍼레이션 프레임워크인 "Ghost-in-the-Loop"를 개발했습니다. 이 시스템은 헤드 마운트 페이셜 디스플레이와 온보드 카메라를 장착한 Unitree G1 휴머노이드 로봇에 구현되었습니다.

이 프레임워크는 세 가지 구성 요소로 통합됩니다:

로컬(Local): 로봇 및 참가자 대상 인터페이스.
리모트(Remote): 텔레오퍼레이션을 위한 인간 운영자 인터페이스.
AI: 자율 제어를 위한 생성 파이프라인.

두 제어 모드는 시각적 및 행동적 일관성을 보장하기 위해 동일한 출력 채널(음성, 얼굴 표정, 상체 움직임)을 공유합니다.

인간 조종 모드(Human-Operated Mode): 음성은 LiveKit을 통해 전송됩니다. 얼굴 표정은 MediaPipe FaceLandmarker를 사용하여 캡처된 후 Apple ARKit 블렌드셰이프로 변환됩니다. 상체 움직임은 Meta Quest 3 설정을 통해 텔레오퍼레이션됩니다.
AI 제어 모드(AI-Controlled Mode): 참가자의 음성은 OpenAI Realtime API를 통해 처리됩니다. 응답은 클로닝된 목소리(ElevenLabs)를 사용하여 합성됩니다. 얼굴 애니메이션은 NVIDIA Audio2Face를 통해 생성됩니다. 손 제스처는 로그 멜 스펙트로그램(log-Melspectrogram)을 6자유도(6DOF) 손 동작 시퀀스로 변환하는 Speech2Gesture에서 파생된 음성 기반 모델인 "voice2hand"를 사용하여 생성됩니다.

실험 설계
저자들은 Prolific을 통해 모집된 $N=50$ 명의 참가자를 대상으로 예비 온라인 지각 연구를 수행했습니다.

자극물(Stimuli): 과업 지향적 및 일상적 대화 시나리오를 모두 포함하는 8개의 짧은 상호작용 클립(5~40초)이 생성되었습니다.
조건: 클립은 "인간 운영자(직접 인간 제어)"와 "AI 제어(완전 생성 파이프라인)"라는 두 가지 조건 하에 제작되었습니다. 결정적으로, 두 조건 모두에서 동일한 로봇, 얼굴 정체성, 목소리 정체성 및 녹화 환경이 사용되었습니다.
과업: 참가자들은 클립을 개별적으로 시청하고, 인지된 제어 출처를 −10(AI)에서 10(인간) 사이의 연속 척도로 평가했습니다. 또한 그들은 자신의 판단에 대한 질적 설명을 제공했습니다.

주요 결과

정량적 결과: 참가자들은 두 조건 사이를 구별하는 데 한계를 보였습니다. 인간 조건과 AI 조건 사이의 평균 점수 차이는 미미했습니다([-10, 10] 척도에서 0.34). ±2 포인트의 등가 경계(equivalence bounds)를 적용한 TOST 분석 결과, 실질적 등가성( $p = .021$ )이 나타났으며, 이는 짧은 영상 설정에서 두 제어 출처가 사실상 구별 불가능함을 시사합니다.
질적 결과: 참가자의 설명을 분석한 결과, 에이전시 인지에 영향을 미치는 세 가지 주요 요인이 밝혀졌습니다:
1. 자연스러움(Naturalness): 음성과 행동의 전반적인 인지된 자연스러움.
2. 시간적 협응(Temporal Coordination): 속도, 응답 타이밍, 움직임의 규칙성.
3. 다중 양식 일관성(Multimodal Consistency): 음성, 얼굴 표정, 제스처 간의 정렬.
  클립이 경직된 타이밍, 반복적인 움직임, 또는 양식 간의 불일치를 보일 경우 AI 제어 상태로 판단될 가능성이 높았습니다. 반대로, 일관된 다중 양식 행동은 종종 인간 운영자의 것으로 간주되었습니다.

의의 및 주장
본 논문은 이 연구가 체화된 인간-AI 커뮤니케이션에서의 에이전시 인지에 대한 초기 통찰을 제공한다고 주장합니다. 주요 발견은 일관된 체화된 인터페이스를 통해 제시될 때, 특히 짧고 구조화된 상호작용에서 인간과 AI의 에이전시를 구별하기 어려울 수 있다는 점입니다.

저자들은 이 연구를 혼합형 인간-AI 텔레프레즌스 시스템에 대한 향후 조사를 촉발하는 예비 연구로 규정합니다. 저자들은 미래의 체화된 시스템이 맥락이나 작업량에 따라 인간의 행동과 AI의 행동 사이를 사용자에게 감지되지 않으면서도 동적으로 전환할 수 있다고 제안합니다. 이 연구는 정체성, 투명성, 신뢰를 유지하면서 어떻게 시스템이 인간과 AI 제어를 동적으로 결래할 수 있는지, 그리고 더 길고 상호작적인 만남 동안 에이전시가 어떻게 인지되는지를 이해하는 것이 필요함을 강조합니다. 저자들은 AI가 모든 맥락에서 인간과 구별 불가능하다고 주장하는 것이 아니라, 테스트된 특정 단기 시나리오에서의 구별의 어려움을 강조하고 있습니다.

유사한 논문