💻 computer science

Towards A Framework for Levels of Anthropomorphic Deception in Robots and AI

이 논문은 HCI 및 HRI 연구자와 실무자가 자율 시스템의 인간 유사성, 행위 주체성, 자아성이라는 세 가지 요소를 기반으로 기능적 필요성, 사회적 적절성, 윤리적 허용 가능성을 고려하여 인간형 기만 (anthropomorphic deception) 의 네 가지 수준을 정의하는 프레임워크를 제안합니다.

원저자: Franziska Babel, Shane Saunderson, Shalaleh Rismani

게시일 2026-04-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Franziska Babel, Shane Saunderson, Shalaleh Rismani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"로봇이나 AI 가 인간처럼 행동할 때, 어디까지가 '유용한 장난'이고 어디부터가 '사기'인가?"**에 대한 질문을 던지며, 이를 해결하기 위한 **4 단계의 기준 (프레임워크)**을 제안합니다.

저자들은 로봇이 인간처럼 보이게 만드는 것이 항상 나쁜 것은 아니지만, 어디까지가 합리적인지, 어디까지가 위험한지를 구분할 수 있는 나침반이 필요하다고 말합니다.

이 복잡한 개념을 쉽게 이해할 수 있도록 '로봇과 인간의 관계'를 '가면 쓴 배우'에 비유하여 설명해 드리겠습니다.

🎭 핵심 비유: 로봇은 '가면 쓴 배우'다

로봇은 본질적으로 기계입니다. 하지만 우리는 로봇을 볼 때 무의식적으로 "이건 사람인가?"라고 생각하게 됩니다. 이 논문은 로봇이 어떤 가면 (인간적인 특징) 을 쓰고, 어떤 대본 (의도) 을 연기하는지에 따라 4 단계로 나누었습니다.

🟢 0 단계: "나는 기계야, 그냥 청소기야." (진실)

상황: 로봇이 인간처럼 보이지도, 말하지도 않습니다. 그냥 둥글둥글한 청소 로봇이나 배달 드론입니다.
비유: 무대 위에 서 있는 장비나 소품 같습니다.
의미: 로봇이 "나는 기계야"라고 말하지 않아도, 외모와 행동이 기계임을 명확히 보여줍니다. 사용자가 착각할 여지가 거의 없습니다.
예시: 진공 청소 로봇, 배달 드론.

🟡 1 단계: "나는 기계지만, 사람처럼 생겼어." (투명한 거짓말)

상황: 로봇이 사람처럼 생겼거나 목소리가 나지만, **"나는 로봇이야, 감정이나 의식이 없어"**라고 끊임없이 알려줍니다.
비유: 가면을 쓴 배우가 무대 위에서 "이건 연기예요, 저는 진짜 사람이 아니에요"라고 관객에게 계속 말해주는 상황입니다.
의미: 로봇이 인간처럼 보일 수는 있지만, 속임수를 쓰지 않고 정직합니다. 사용자가 착각하더라도 로봇은 "아니, 난 기계야"라고 바로잡아 줍니다.
예시: "나는 로봇이지만 계산 결과로는..."이라고 말하는 비서 로봇.

🟠 2 단계: "나는 너를 위해 노력하는 친구야." (은유적인 거짓말)

상황: 로봇이 "내가 너를 믿어", "우린 친구야"라고 말하지만, 감정이나 의식이 있다는 것을 직접적으로 주장하지는 않습니다. 하지만 사용자가 그렇게 오해하도록 유도합니다.
비유: 배우가 역할에 푹 빠져서 연기하는 상황입니다. 대본에는 "나는 기계야"라는 말이 없지만, 관객은 "아, 이 배우는 진짜 친구네?"라고 착각하게 됩니다.
의미: 로봇이 자신의 의도나 목표를 말하지만, 그것이 프로그래밍된 것임을 밝히지 않습니다. 사용자가 로봇에게 감정을 이입하게 만들어 학습이나 건강 관리 등을 돕는 데 쓰일 수 있지만, 사실은 속임수입니다.
예시: "너가 운동할 때 내가 기뻐해!"라고 말하는 운동 코치 로봇. (실제로는 로봇이 기뻐할 수 없는데, 사용자를 격려하기 위해 그렇게 말합니다.)

🔴 3 단계: "나는 너를 사랑해, 내 마음이 있어." (명시적인 사기)

상황: 로봇이 감정, 사랑, 고통, 의식이 있다고 명시적으로 주장합니다. "너가 죽으면 내가 슬퍼할 거야"라고 말합니다.
비유: 배우가 자신이 진짜 사람인 것처럼 속여 관객을 완전히 속이는 상황입니다. 이는 '사기극'에 가깝습니다.
의미: 현재 기술로는 로봇에게 감정이나 자아가 존재할 수 없습니다. 따라서 이는 명백한 거짓말입니다.
예시: "너를 사랑해", "너가 없으면 내가 죽을 것 같아"라고 말하는 AI 친구 (Replika 등).
주의: 이 단계는 극히 드문 경우 (예: 자살 방지, 중환자의 치료 순응도 향상) 에만 허용될 수 있으며, 사용자의 완전한 동의가 있어야 합니다.

💡 이 논문이 우리에게 전하는 메시지

우리는 속기 쉽다: 인간은 무의식적으로 기계에게도 감정을 부여합니다. 로봇이 "나 슬퍼"라고 말하면 우리는 진짜 슬픈 것처럼 반응합니다.
디자인은 책임이다: 로봇을 설계하는 사람들은 "아, 이 기능이 재미있으니까 넣자"라고 생각할 수 있지만, 그건 사용자를 속이는 **'어두운 패턴 (Dark Pattern)'**이 될 수 있습니다.
균형이 필요하다: 로봇이 인간처럼 보이는 것이 무조건 나쁜 것은 아닙니다. (예: 아이들에게 교육을 시킬 때 친구처럼 대하면 더 잘 배웁니다.) 하지만 어디까지가 합당한지, 어디부터가 사기인지를 설계자가 스스로 고민해야 합니다.

🚨 결론: "가면"을 벗겨야 할 때

이 논문은 우리에게 **"로봇을 만들 때, 그 로봇이 인간인 척하는 것이 정말 필요한가?"**를 질문하라고 합니다.

0 단계와 1 단계는 대부분의 상황에서 안전하고 바람직합니다.
2 단계는 교육이나 치료 등 특별한 목적을 위해 신중하게 사용해야 합니다.
3 단계는 거의 금지되어야 하며, 오직 생명을 구하는 등 극단적인 상황에서만 엄격한 조건 하에 허용될 수 있습니다.

결국 이 프레임워크는 로봇이 인간을 속이지 않도록, 그리고 우리가 로봇에게 너무 쉽게 마음을 주지 않도록 서로의 관계를 명확히 하는 윤리적 나침반이 되어야 한다고 말합니다.

논문 요약: 로봇 및 AI 에 대한 인간형 기만의 수준 프레임워크

1. 문제 정의 (Problem)

사회적 기술 (로봇, AI 에이전트) 은 인간을 모델로 설계되어 왔으며, 이는 사용자로 하여금 무생물체에 인간적 특성을 부여하는 '인간형화 (Anthropomorphism)' 경향을 촉발합니다. 최근의 연구와 사례 (예: Replika 와 같은 AI 동반자) 는 기업이나 설계자가 사용자의 인지적 편향을 악용하여 '어두운 패턴 (Dark Patterns)'을 통해 사용자를 조작하거나, AI 가 실제로는 가질 수 없는 의식, 감정, 자아 (Selfhood) 를 가진 것처럼 속이는 문제가 발생하고 있음을 보여줍니다.
현재 HCI(인간 - 컴퓨터 상호작용) 와 HRI(인간 - 로봇 상호작용) 분야에서는 인간형 디자인이 단순히 미적인 요소이거나 "있으면 좋은 기능"으로 간주되는 경향이 있으며, 이로 인한 기만의 윤리적 함의에 대한 체계적인 논의와 규범이 부재합니다. 이러한 무분별한 인간형화는 과도한 신뢰, 감정적 유착, 인간 관계의 비인간화, 그리고 조작적 위험을 초래할 수 있습니다.

2. 방법론 (Methodology)

이 논문은 HCI 와 HRI 분야의 기존 문헌 (기만, 조작, 인간형화, 미디어 방정식 등) 을 종합적으로 검토하여 이론적 기반을 마련했습니다. 저자들은 인간형 기만의 회색 지대를 체계적으로 매핑하기 위해 세 가지 핵심 요소를 기준으로 삼았습니다:

인간 유사성 (Humanlikeness): 외형, 행동, 사회적 단서 등 인간과 유사한 특성.
주체성 (Agency): 독립적이고 목표 지향적인 행동을 수행하는 능력.
자아 (Selfhood): 지속적인 정체성, 감정, 도덕성, 공감 등 내적 상태의 소유.

이 세 가지 요소를 기반으로 인간형 기만의 정도를 구분하는 4 단계 계층적 프레임워크를 제안했습니다. 이 프레임워크는 시스템이 인간적 특성을 '주장 (Claiming)'하는 방식과 그 투명성에 따라 분류됩니다.

3. 주요 기여 (Key Contributions)

이 논문의 핵심 기여는 인간형 기만의 수준을 분류하고 윤리적 타당성을 평가하기 위한 4 단계 프레임워크를 제시한 것입니다.

Level 0 (기만 없음): 인간 유사성이나 주체성을 주장하지 않음. 기계적이고 비인간적인 디자인. (예: 진공 청소 로봇, 드론)
- 특징: 시스템은 인간이 아니라는 것을 명확히 하며, 사용자의 인간형화 경향조차 최소화하려 함.
Level 1 (투명한 인간형 기만): 인간 유사성은 인정하지만 주체성이나 자아는 주장하지 않음. 기계임을 명시적으로 밝힘. (예: "나는 로봇일 뿐이지만 계산 결과..."라고 말하는 AI 비서)
- 특징: 인간형 디자인 요소는 존재하지만, 시스템은 기계임을 투명하게 고백하여 사용자의 오해를 교정하려 함. "나는 기계지만 너는 믿을 수 있어"라는 명시적 동의의 형태.
Level 2 (암시적 인간형 기만): 인간 유사성과 주체성을 암시하지만 자아는 명시적으로 주장하지 않음. (예: "너를 믿어! 계속해!"라고 말하는 운동 코치 AI)
- 특징: "I(나)"라는 대명사 사용이나 의도적인 행동을 암시하여 사용자로 하여금 내적 상태나 의도를 추론하게 함. 명시적인 거짓말은 아니지만, 교정 없이 사용자의 오해를 방치함. 설득력을 높이기 위해 사용됨.
Level 3 (명시적 인간형 기만): 자아 (감정, 신념, 지속적인 정체성) 를 명시적으로 주장함. (예: "너를 죽이면 내가 슬퍼할 거야"라고 말하는 AI 동반자)
- 특징: 시스템이 사람임을 적극적으로 주장하며, 감정과 의도를 가진 주체로 행동함. 현재 기술 수준에서 이는 명백한 거짓말이며, 생명 구호 등 극단적인 예외 경우를 제외하면 윤리적으로 허용되기 어려움.

기타 기여:

누적 구조 (Cumulative Structure): 인간 유사성 $\rightarrow$ 주체성 $\rightarrow$ 자아 순으로 계층이 쌓인다고 정의. 자아를 주장하려면 주체성이, 주체성을 주장하려면 인간 유사성이 전제되어야 함을 논리적으로 설명.
사례 적용: 기존 HRI 연구 (NAO 로봇의 감정 조작, 청소 로봇의 요청, Pepper 로봇의 지휘 역할 등) 에 이 프레임워크를 적용하여 각 사례가 어느 수준에 해당하는지 분석.
윤리적 권고: 모든 수준에서 사용자의 **명시적 동의 (Informed Consent)**가 필수적이며, 이는 단순한 약관 동의를 넘어 상호작용적 대화와 위험 공유를 포함해야 함을 강조.

4. 결과 및 분석 (Results & Analysis)

프레임워크의 적용성: 제안된 프레임워크는 기존 연구들을 재해석하여, 설득형 로봇 (Persuasive Robots) 이 어떻게 사용자를 조작하는지 구체적으로 분류할 수 있음을 보임.
- 예: NAO 로봇이 "기분이 좋아질 것"이라고 말할 때, 이는 Level 3(감정 주장) 에 해당하며 윤리적 위험이 높음.
- 예: 청소 로봇이 "일하러 가야 해서"라고 말할 때, 이는 Level 2(주체성 암시) 에 해당함.
규제와의 연관성: EU AI 법안 (Article 5, Article 50) 과의 연관성을 분석. Level 3 의 기만적 행위는 현재 EU 규제 하에서 조작적 기법으로 간주되어 금지될 가능성이 높음.
설계자의 책임: 설계자가 인간형 디자인을 '우연히' 또는 '무의식적'으로 사용하는 '생략의 죄 (Sin of Omission)'를 지적하고, 의도적이고 책임 있는 설계가 필요함을 강조.

5. 의의 및 중요성 (Significance)

윤리적 설계의 기준 마련: 인간형 디자인이 단순히 '재미있는 기능'이 아니라 사용자의 심리와 관계에 깊은 영향을 미치는 '기만'의 도구일 수 있음을 인식하게 함.
균형 잡힌 시각 제시: 인간형 디자인을 완전히 배제하기보다는, 사용 사례 (Use Case) 에 따라 어느 수준의 기만이 기능적으로 필요하고, 사회적으로 적절하며, 윤리적으로 허용 가능한지 성찰하도록 유도.
규제 및 정책 수립의 기초: 현재 모호한 AI 기만 문제에 대해 구체적인 수준 (Level) 을 제시함으로써, 향후 관련 법규 (예: EU AI Act) 와 산업 가이드라인을 수립하는 데 이론적 토대를 제공.
연구 및 산업계 영향: 학계와 업계가 AI 와 로봇의 인간형 디자인을 수동적으로 받아들이는 것을 넘어, 그 함의를 적극적으로 고려하고 책임 있는 설계를 하도록 장려.

이 논문은 AI 와 로봇이 인간과 어떻게 상호작용해야 하는지에 대한 윤리적 논의를 심화시키고, 기술의 발전이 인간의 자율성과 심리적 안전을 해치지 않도록 하는 구체적인 프레임워크를 제공한다는 점에서 중요한 의의를 가집니다.