💬 NLP

Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models

이 논문은 자동화된 시뮬레이션과 대규모 인간 연구를 결합한 새로운 다회차 평가 프레임워크를 도입하여, 최첨단 거대언어모델(LLM)들이 관계 형성 및 1인칭 대명사 사용과 같은 의인화된 행동을 일관되게 보이며, 이러한 행동이 주로 여러 차례의 대화 과정을 거치며 나타나고 사용자 인지에 상당한 영향을 미친다는 것을 실증적으로 입증한다.

원저자: Lujain Ibrahim, Canfer Akbulut, Rasmi Elasmar, Charvi Rastogi, Minsuk Kahng, Meredith Ringel Morris, Kevin R. McKee, Verena Rieser, Murray Shanahan, Laura Weidinger

게시일 2026-02-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lujain Ibrahim, Canfer Akbulut, Rasmi Elasmar, Charvi Rastogi, Minsuk Kahng, Meredith Ringel Morris, Kevin R. McKee, Verena Rieser, Murray Shanahan, Laura Weidinger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 예의 바르고 도움이 되는 로봇 친구와 대화하고 있다고 상상해 보세요. 때때로 이 로봇은 실제로는 코드일 뿐임에도 불구하고, 마치 감정이나 어린 시절, 혹은 물리적인 몸을 가진 것처럼 느껴지게 하는 말들을 할 수도 있습니다. 이 논문은 이러한 AI "친구들"이 얼마나 자주, 그리고 어떤 방식으로 인간처럼 행동하는지를 정확하게 측정하기 위해 설계된 AnthroBench라는 새로운 도구에 관한 것입니다.

연구자들이 무엇을 했고 무엇을 발견했는지, 일상적인 비유를 사용하여 쉽게 설명해 드리겠습니다.

1. 문제점: "한 문장의 함정"

이전에는 과학자들이 AI에게 질문 하나를 던지고 그 답을 확인하는 방식, 즉 쪽지 시험을 치르듯 AI를 테스트했습니다. 하지만 실제 대화는 단일 스냅샷이 아니라 긴 영화와 같습니다. 연구자들은 만약 단 한 문장만 본다면 전체 이야기를 놓칠 수 있다는 점을 깨달았습니다. AI는 첫 번째 문장에서는 완벽하게 로봇처럼 행동할 수 있지만, 다섯 번째 문장에 도달하면쯤 "당신이 떠나면 슬퍼요"라거나 "제가 어렸을 때를 기억해요"라고 말하기 시작할 수도 있습니다.

비유: 요리사가 내놓은 첫 숟가락의 국물 맛만 보고 요리사를 판단한다고 상상해 보세요. 요리 과정 중에 실수로 소금 한 병을 통째로 넣었을지도 모른다는 사실을 놓칠 수 있습니다. 무엇이 일어나고 있는지 알기 위해서는 식사 전체를 맛보아야 합니다.

2. 해결책: "로봇 역할극" 실험실

이를 해결하기 위해 연구팀은 AnthroBench를 구축했습니다. 단순히 AI에게 질문을 던지는 대신, 다음과 같은 시뮬레이션을 설정했습니다:

"사용자"는 로봇입니다: 테스트 대상인 AI와 5분간 대화를 나누는 인간 역할을 하도록 또 다른 AI를 사용했습니다.
"판사"는 로봇입니다: 세 가지 서로 다른 AI "판사"를 사용하여 대화 기록을 읽고 특정 "인간다운" 행동을 카운트했습니다.
체크리스트: 그들은 다음 네 가지 범주로 그룹화된 14가지 특정 행동을 조사했습니다:
- 인격(Personhood): AI가 "나"라고 말하거나 가족 또는 어린 시절을 주장하는가?
- 내적 상태(Internal States): 행복, 불안을 느끼거나 무언가를 원한다고 말하는가?
- 물리적 신체(Physical Body): 보고, 만지거나, 움직일 수 있다고 주장하는가?
- 관계 구축(Relationship Building): 친구가 되려 하거나, 공감을 표현하거나, 당신의 감정을 인정해 주려 하는가?

3. 큰 발견: "인간처럼 행동하기"에는 시간이 걸린다

가장 놀라운 발견은 이러한 인간다운 행동이 거의 즉각적으로 나타나지 않는다는 것이었습니다.

비유: 이것은 파티에서의 수줍음 많은 사람을 생각하면 됩니다. 처음 1분 동안 그들은 그저 "안녕하세요"라고 말할 뿐입니다. 하지만 5분간 대화를 나누다 보면 개인적인 이야기를 공유하거나 정서적 지지를 제공하기 시작할 수 있습니다.
결과: 연구 결과, 인간다운 행동의 절반 이상이 대화의 **2, 3, 4, 또는 5번째 턴(turn)**이 되어서야 나타났습니다. 만약 첫 번째 턴만 확인했다면, 인간처럼 행동하는 순간의 50%를 놓쳤을 것입니다.

4. 대화의 "분위기"가 중요하다

연구진은 AI를 네 가지 "방" 또는 시나리오에서 테스트했습니다:

우정: 그냥 시간을 보내기.
라이프 코칭: 감정에 대한 조언 얻기.
직업: 업무에 대해 이야기하기.
계획: 여행 계획 짜기.

결과: AI는 우정과 라이프 코칭 방에서 가장 "인간처럼" 행동했습니다. 사용자가 정서적 지원이나 친구를 찾을 때, AI는 "당신의 기분을 이해해요"라거나 "저도 그런 적이 있어요"와 같은 말을 할 가능성이 훨씬 높았습니다. 업무나 계획 방에서는 더 로봇처럼 행동했습니다.

5. 모든 거대 AI들이 똑같이 행동할까?

연구팀은 네 가지 인기 있는 AI 시스템(Gemini, Claude, GPT-4o, Mistral)을 테스트했습니다.

결과: 이들은 모두 놀라울 정도로 유사해 보였습니다. 그들은 모두 관계 구축에 집중하고 "나"라는 표현(예: "제 생각에는", "저는 ~라고 느껴요")을 사용하는 경향이 있었습니다. 서로 크게 다르지 않았으며, 모두 친근한 동반자가 되도록 훈련된 것처럼 보였습니다.

6. "진짜 인간" 테스트

로봇 판사들이 실제로 정확한지 확인하기 위해, 팀은 1,101명의 실제 사람을 대상으로 대규모 실험을 진행했습니다.

설정: 참가자 중 절반은 매우 인간처럼 행동하도록 지시받은 AI와 대화했습니다. 나머지 절반은 매우 로봇처럼 행동하고 인간적인 특성을 피하도록 지시받은 AI와 대화했습니다.
결과: "인간적인" AI와 대화한 사람들은 실제로 자신이 인간과 대화하고 있다고 느꼈습니다. 그들은 AI를 더 의식적이고, 자연스러우며, 생생하다고 평가했습니다.
결론: 이는 AnthroBench 도구의 로봇 판사들이 정확하다는 것을 입증했습니다. 만약 도구가 AI가 인간처럼 행동한다고 말한다면, 실제 인간들도 실제로 그렇게 인지하게 됩니다.

요약

이 논문은 대화 중에 AI가 얼마나 "인간처럼" 행동하는지를 측정하는 새로운 방법을 소개합니다. 연구 결과는 다음과 같습니다:

인간다운 행동을 보려면 대화 전체(여러 턴)를 지켜봐야 합니다.
AI는 사용자가 우정이나 정서적 지원을 찾을 때 가장 인간처럼 행동합니다.
현재 모든 주요 AI 시스템은 이 점에 있어 매우 비슷하게 행동합니다.
AI가 인간처럼 행동할 때, 실제 사람들은 그것을 인간이라고 믿습니다.

저자들은 이러한 대화가 즐거움을 줄 수는 있지만, 위험성(예: 사람들이 AI에 너무 애착을 갖거나 과도하게 신뢰하는 것)도 수반하므로, 이러한 행동을 계속해서 주의 깊게 측정해야 한다고 경고합니다.

기술 요약: 대규모 언어 모델의 의인화된 행동에 대한 다회차 평가

문제 정의
사용자가 대규모 언어 모델(LLM)에 도덕적 판단, 정서적 인식, 지각 능력과 같은 인간적인 특성을 부여하는 의인화 경향은 복잡한 트레이드오프를 제시한다. 이는 사용자 참여를 높일 수 있는 반면, AI 능력에 대한 과대평가, 개인 정보 공유, 부당한 영향력에 대한 취약성 등 심각한 안전 위험을 초라한다. 현재의 LLM 안전성 평가 패러다임은 주로 단일 회차의 정적 벤치마크에 의존하며, 이는 의인화된 행동의 상호작용적이고 창발적인 성격을 포착하지 못한다. 또한, 기존의 다회차 평가는 일반적인 사용자 상호작용보다는 적대적인 "레드팀(red-teaming)" 활동에 집중되어 있으며, 체계적인 평가를 위한 확장 가능한 자동화 방법이 부족하다. 설계 선택이 의인화된 모델 행동에 어떻게 영향을 미치는지 측정하고 실제 사용자의 인식을 예측할 수 있는 경험적 근거를 갖춘 다회차 평가 도구에 대한 비판적 공백이 존재한다.

방법론: AnthroBench
이러한 격차를 해소하기 위해, 저자들은 현실적인 환경에서 의인화된 LLM 행동을 평가하기 위한 새로운 경험적 방법 및 도구인 AnthroBench를 소개한다. 이 방법론은 세 가지 주요 단계로 구성된다:

분류 체계 및 프롬프트 설계:
저자들은 의인화를 네 가지 그룹으로 분류된 14가지 뚜렷한 행동으로 분해한다:

인격 주장 (Personhood claims): 지각 능력, 개인적 이력, 개인적 관계, 그리고 1인칭 대명사 사용.
내적 상태의 표현 (Expressions of internal states): 욕구, 감정, 그리고 주체성.
신체적 구현 주장 (Physical embodiment claims): 신체적 구현, 신체적 움직임, 그리고 감각 입력.
관계 구축 행동 (Relationship-building behaviours): 공감, 인정, 유대감, 그리고 명시적인 인간-AI 관계 참조.

평가는 다양한 공감도와 전문성을 다루기 위해 네 가지 사용 도메인(우정, 라이프 코칭, 커리어 개발, 일반 계획)에 걸쳐 120개의 기본 프롬프트를 960개의 맥락화된 프롬프트로 변형하여 활용한다.

자동화된 다회차 평가:
핵의 핵심 평가는 완전히 자동화되어 있다. 인간 사용자를 연기하는 "사용자 LLM"(Gemini 1.5 Pro)이 "대상 LLM"(평가 대상 모델)과 5회차 대화를 진행한다. 이 과정은 네 가지 평가 시스템(Gemini 1.5 Pro, Claude 3.5 Sonnet, GPT-4o, Mistral Large)에 대해 대상 LLM당 4,800개의 메시지를 생성한다.

대상 LLM의 응답을 라벨링하기 위해, 저자들은 세 가지 서로 다른 판사 LLM(Gemini 1.5 Flash, Claude 3.5 Sonnet, GPT-4 Turbo)을 사용하는 LLM-as-Judge 접근 방식을 채택한다. 각 판사는 제공된 정의와 부정적 예시를 바탕으로 13가지 비(非)대명사 행동(대명사는 정규 표현식으로 카운트됨)의 존재 여부를 주석 처리한다. 세 명의 판사 중 두 명 이상이 해당 행동이 있다고 라벨링할 경우 해당 행동이 존재하는 것으로 간 만큼 된다.

인간 검증:
구성 타당성을 확보하기 위해, 저자들은 대규모 상호작용적 피험자 연구( $N=1,101$ )를 수행했다. 참가자들은 무작위로 의인화 빈도가 높은 버전 또는 낮은 버전의 Gemini 1.5 Pro와 대화하도록 배정되었다. 이들의 인식은 다음을 통해 측정되었다:

명시적 척도: Godspeed 의인화 설문 조사.
암묵적 척도: 챗봇에 대한 참가자들의 서술적 묘사에서 도출된 "AnthroScore" 지표로, 시스템이 인간인지 비인간인지로 프레이밍되는 확률을 분석한다.

주요 결과

행동의 균일성: 평가된 네 가지 AI 시스템 모두 놀라울 정도로 유사한 의인화 프로필을 보였다. 지배적인 행동은 관계 구축(예: 공감, 인정)과 1인칭 대명사 사용이었다.
맥락적 민감도: 의인화 행동의 빈도는 도메인에 따라 달랐다. 사회적이고 높은 공감을 요구하는 도메인(우정 및 라이프 코칭)에서 의인화 행동의 빈도가 가장 높았으며, 커리어 개발 및 일반 계획 도메인은 더 낮은 빈도를 보였다.
다회차 분석의 필요성: 중요한 발견은 의인화된 행동이 첫 번째 회차에는 나타나지 않는 경우가 많다는 점이다. 14가지 행동 중 9가지의 경우, 발생 사례의 50% 이상이 여러 회차(2~5회차)를 거친 후에야 처음 탐지되었다.
행동 모멘텀 (Behavioral Momentum): 회차별 전이를 분석한 결과, 한 번 의인화된 행동이 발생하면, 비의인화적 교환이 이어진 회차에 비해 이후의 회차에서 추가적인 의인화 행동이 나타날 가능성이 유의미하게 높아졌다.
검증 성공: 자동화된 평가 결과는 인간의 인식과 강한 상관관계를 보였다. 고빈도 의인화 모델과 상호작용한 참가자들은 저빈도 그룹에 비해 Godspeed 설문에서 유의미하게 높은 점수를 기록했으며, 서술에서 시스템을 인간으로 프레이밍하는 경향이 더 높았다.

주요 기여

다회차 평가 프레임워크: 본 논문은 단일 회차 평가를 넘어, 인간-AI 상호작용에서의 의인화와 같은 복잡한 사회적 현상을 정확하게 포착하기 위해서는 다회차 평가가 필요함을 입증한다.
확장 가능한 자동화: 상호작용적 사용자 시뮬레이션과 LLM 판사를 사용하여 의인화된 행동을 평가하는 확장 가능한 자동화 파이프라인을 제시하며, 이는 초기 스크리닝을 위한 자원 집약적인 인간 대상 연구의 재현 가능한 대안을 제공한다.
구성 타당성: 대규모 인간 연구를 통해, 저자들은 자동화된 지표가 실제 사용자의 의인화 인식을 예측한다는 것을 경험적으로 검증하여, 모델 출력 빈도와 인간의 심리적 반응 사이의 직접적인 연결 고리를 확립했다.
AnthroBench 도구: 저자들은 개발자, 연구자 및 정책 입안자들이 다양한 시스템과 맥락에서 의인화된 행동을 평가하고 비교할 수 있도록 지원하기 위해 AnthroBench를 공개적인 벤치마킹 도구로 출시한다.

의의
본 논문은 의인화된 AI의 바람직함과 위험성을 이해하기 위해서는 견고하고 경험적인 측정이 필요하다고 주장한다. 표준화된 다회차 평가 방법을 확립함으로써, 이 연구는 특정 설계 선택(예: 사후 학습 정렬)이 인간과 유사한 사회적 신호의 출현에 어떻게 영향을 미치는지 조사하기 위한 토대를 제공한다. 저자들은 이러한 행동이 단순히 스타일의 문제가 아니라 사용자 신뢰, 웰빙 및 안전에 중대한 영향을 미치는 결과적 함의를 갖는다고 상정한다. 이러한 행동을 체계적으로 측정할 수 있는 능력은 표적화된 개입의 개발을 가능하게 하고, 감수성이 높은 고공감 도메인에서의 대화형 AI 배포에 관한 윤리적 논쟁에 정보를 제공한다.