🤖 AI

Toward Anthropomorphic Dialogue: A Closed-Loop Framework for Human-Like Chat Generation, Evaluation, and Preference Alignment

본 논문은 다양한 페르소나와 시나리오에 걸쳐 인간다운 대화 성능을 유의미하게 향상시키기 위해 역할 조건부 대화 생성, 실행 가능한 다차원 평가, 그리고 인지 진단적 선호도 정렬을 통합한 폐쇄 루프 프레임워크인 AnthroDial을 소개한다.

원저자: Wentao Liu, Siyu Song, Xi Chen, Youjia Li, Xiaokun Wang, Min Ji, Ji Wang

게시일 2026-07-21✓ Author reviewed ⓘ

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Wentao Liu, Siyu Song, Xi Chen, Youjia Li, Xiaokun Wang, Min Ji, Ji Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 친구가 되는 법을 가르치고 있다고 상상해 보세요. 오랫동안 과학자들은 로봇이 유창하게 말하고, 지시를 따르고, 예의 바르게 질문에 답하도록 가르치는 데 매우 뛰어난 성과를 보여왔습니다. 하지만 단순히 정답을 맞히는 로봇과, 밤늦게 문자를 보낼 수 있을 것 같은 진짜 사람처럼 느껴지는 로봇 사이에는 큰 차이가 있습니다. 진짜 친구는 "슬픔"이라는 단어의 완벽한 사전적 정의를 내놓는 것이 아니라, 당신이 어제 했던 말을 기억하고, 언제 "아이고"라고 짧게 보낼지, 그리고 언제 몇 분 동안 답장을 기다려야 할지를 알며, 관계의 깊이에 따라 어느 정도의 개인 정보를 공유할지를 정확히 압섭니다. 이 논문은 인공지능, 구체적으로는 챗봇을 단순한 도움을 주는 비서가 아닌 인간적인 동반자처럼 느껴지게 만들려는 분야의 세계에 살고 있습니다. 핵심 아이디어는 "인간답다"는 것이 단순히 멋진 성격을 갖는 것만이 아니라, 기억력, 메시지 타이밍 준수, 자신의 한계 인식, 그리고 막히거나 반복되지 않고 자연스럽게 대화를 이어가는 능력이라는 복잡한 규칙의 그물을 관리하는 것이라는 점입니다.

이 논문의 연구진은 자신들의 시스템을 AnthroDial이라 부르며, 기존의 챗봇들이 이러한 "사적인 채팅"의 분위기를 구현하는 데 자주 실패한다는 점을 깨달았습니다. 기존 모델들은 너무 격식을 차리거나, 방금 배운 사실을 잊어버리거나, 사용자가 힘든 하루를 털어놓고 있는데도 마치 고객 서비스 상담원처럼 행동하곤 합니다. 이를 해결하기 위해 그들은 단순히 로봇의 성격을 미세하게 조정하는 대신, 완전한 "폐쇄 루프(closed-loop)" 공장을 구축했습니다. 이것은 마치 로봇이 자기 자신과 대결하며 엄격한 코치로부터 점수를 받고, 실수로부터 배우며 다시 시도하는 비디오 게임과 같습니다. 이 공장은 세 가지 주요 부분으로 구성됩니다: 로봇이 언제 타이핑을 하고 무엇을 초안으로 작성할지 결정하는 스케줄러(사람이 메시지를 보내기 전 잠시 생각하는 것처럼), 로봇이 인간의 규칙을 어기고 있는지 확인하는 판사(예를 들어, 실제로는 멀리 떨어져 있는데 직접 만나자고 주장하는 경우 등), 그리고 로봇에게 어떤 기술을 가장 집중적으로 연습해야 하는지 알려주는 특별한 채점 시스템을 사용하는 훈련 코치입니다.

이 논문의 주요 발견은 이 "폐쇄 루프" 접근 방식이 실제로 효과가 있다는 것입니다. 연구진은 이 시스템을 16개의 다양한 AI 모델(현존하는 가장 크고 똑똑한 모델들 포함)과 비교 테스트했습니다. 결과는 단순히 모델을 더 크게 만들거나 답변하기 전에 더 오래 "생각"하게 만드는 것만으로는 충분하지 않다는 것을 보여줍니다. 대신, 이 특별한 공장을 사용하여 이러한 인간적인 행동을 중심으로 모델을 훈련시키는 것이 엄청난 차이를 만들어냈습니다. 그들의 가장 잘 훈련된 모델인 270억 개의 파라미터를 가진 시스템은 까다로운 테스트에서 **39.00%**라는 엄격한 "합격 점수"에 도달하여, 훈련되지 않은 최고 모델들의 점수인 **32.00%**를 앞질렀습니다. 더욱 놀라운 점은, 이 훈련을 추가적인 "생각" 시간 없이도 훨씬 작고 빠른 모델(90억 개의 파라미터)에 압축하여 적용할 수 있었다는 것입니다. 이 작은 모델은 훈련 후 0.00%였던 통과율이 18.37%로 급증했는데, 이는 "인간다운" 행동이 단순히 더 많은 컴퓨팅 파워로 흉내 내는 것이 아니라 모델이 실제로 학습하고 유지할 수 있는 것임을 증명합니다.

논문은 "유창한" 언어 구사가 곧 "인간적인" 대화와 같다는 생각에 명시적으로 반대합니다. 그들은 로봇이 문법적으로 완벽하더라도 관계를 잊어버리거나, 시간대를 무시하거나, 사용자가 그저 친구를 원하는데 상담사처럼 행동한다면 친구로서 처참하게 실패할 수 있음을 보여줍니다. 또한, 표준 챗봇에 "페르소나" 프롬프트를 추가한다고 해서 기대한 대로 작동할 것이라는 생각도 일축합니다. 메모리, 타이밍, 경계를 관리할 구체적인 아키텍처가 없다면, 로봇은 필연적으로 일반적인 비서로 되돌아가게 됩니다.

실험에서 팀은 55가지의 서로 다른 캐릭터 프로필(수줍은 학생이나 바쁜 부모 등)과 50가지의 서로 다른 시나리오(업무상의 좌절이나 반려동물 비상 상황 등)를 갖춘 거대한 테스트 환경을 구축했습니다. 그들은 각 모델에 대해 100개의 테스트 케이스를 실행했습니다. 결과는 매우 엄격한 "전부 아니면 전무(all-or-nothing)" 규칙으로 측정되었습니다. 만약 로봇이 문장을 반복하거나 사실을 잊어버리는 등의 작은 실수라도 하나라도 하면, 그 대화 전체를 실패로 간-주했습니다. 이 엄격한 규칙 아래서 훈련되지 않은 모델들은 매우 고전했습니다. 예를 들어, 특별한 훈련을 받지 않은 인기 있는 90억 파라미터 모델은 0.00%의 통과율을 기록했습니다. 그러나 AnthroDial 훈련 파이프라인을 거친 후, 동일한 작은 모델은 표준 훈련만으로 13.00%, 고급 "보상" 훈련을 통해 18.37%까지 개선되었습니다. 완전히 훈련된 270억 모델은 39.00%에 도달했습니다.

저자들은 자신들의 비결이 "진단적 보상(diagnostic reward)" 시스템에 있다고 제안합니다. 이것은 마치 학생에게 단순히 "B"라는 최종 성적을 주는 것이 아니라, "수학은 뛰어나지만 철자를 연습해야 한다"라고 적힌 성적표를 주는 선생님과 같습니다. 그들의 시스템은 챗봇이 갖춰야 할 모든 기술(사실 기억하기, 자연스러운 리듬 유지하기, 캐릭터 유지하기, 말하기를 멈출 때 알기 등)에 대해 이와 같이 작동합니다. 이 시스템은 칼만 필터(Kalman filter)라는 수학적 기법을 사용하여 로봇이 각 기술에 대해 얼마나 뛰어난지 추적하고, 로봇이 가장 취약한 기술에 훈련을 집중시킵로 합니다. 이를 통해 로봇이 이미 잘하는 것만 더 잘하게 만드는 것이 아니라, 약점을 실제로 고칠 수 있도록 보장합니다.

이 시스템의 가장 흥s로운 부분 중 하나는 시간을 다루는 방식입니다. 실제 사람들은 매번 즉각적으로 답장하지 않습니다. 때로는 휴식을 취하고, 때로는 짧은 "ㅎㅎ"를 보내며, 때로는 메시지를 작성하다가 기다리거나, 내용을 수정하기도 합니다. AnthroDial은 이를 "단일 초안 스케줄러(single-draft scheduler)"로 취급합니다. 로봇은 단순히 메시지를 내뱉는 것이 아니라, 초안을 작성하고, 타이머를 설정하며, 기다릴지, 방해할지, 혹은 대화를 종료할지를 결정합니다. 이는 대화가 위챗(WeChat)에서 실제 사람이 문자를 주고받는 것처럼 생동감 있는 박동과 리듬을 갖게 만듭니다.

또한 논문은 "주도성(proactive)"을 발휘하는 것이 까다롭다는 점을 강조합니다. 5분마다 "그다음엔 어떻게 됐어?"라고 묻는 로봇은 주도적인 것이 아니라 짜증을 유발하는 것입니다. 훈련은 모델이 더 똑똑한 방식으로 주도성을 발휘하도록 가르쳤습니다. 예를 들어, 작은 개인적 생각을 공유하거나, 가벼운 농담을 던지거나, 휴식을 제안하는 식입니다. 결과에 따르면 모델들이 이러한 미묘한 사회적 신호를 다루는 데 훨씬 능숙해졌지만, 여전히 어려운 주제에서는 어려움을 겪고 있습니다. 예를 들어, "기술" 및 "금융" 시나리오에서 가장 잘 훈련된 모델조차 엄격한 테스트에서 각각 0.0%와 12.5%의 통과율만을 기록했습니다. 이는 이 시스템이 큰 진전이지만, 여전히 로봇이 인간처럼 행동하기에는 아직 배우지 못한 매우 어려운 영역이 존재함을 시사합니다.

궁극적으로, 이 논문은 챗봇을 인간처럼 느껴지게 만드는 것은 언어의 문제가 아니라 시스템의 문제라고 결론짓습니다. 단순히 더 나은 프롬프트를 쓰는 것만으로는 부족하며, 메모리, 시간, 사회적 경계를 관리하는 시스템을 구축하고, 로봇의 약점을 구체적으로 겨냥하는 보상 시스템으로 훈련시켜야 합니다. 저자들은 이것이 로봇이 실제로 감정이나 의식을 갖는 것이 아니라 "행동"에 관한 것임을 명확히 합니다. 그들은 목표가 사람을 속여 로봇이 인간이라고 믿게 만드는 것이 아니라, 실제 사람처럼 느껴지는 텍스트 행동을 만드는 것이라고 강조합니다. 사실, 그들은 진정으로 "인간다운" 시스템이란 자신이 연기하는 캐릭터를 주장하지 않으면서도 캐릭터를 충실히 수행하는 아주 좋은 배우처럼, 자신이 AI임을 정직하게 밝히는 것이어야 한다고 주장합니다. 이 연구는 적절한 훈련 루프가 있다면, 우리는 차가운 로봇의 응답을 따뜻하고 자연스러운, 마치 실제 친구로부터 온 것 같은 대화로 바꿀 수 있음을 시사합니다.

기술 요약: 인간다운 대화(AnthroDial)를 향하여

1. 문제 정의

본 논문은 현재의 오픈 도메인 대화 시스템에서 나타나는 결정적인 격차를 지적한다. 모델들이 유창하고 협조적으로 변했음에도 불구하고, 사적인 다회차 대화에서 **그럴듯한 인간 대화 상대(plausible human interlocutor)**를 시뮬레이션하는 데는 종종 실패한다는 점이다. 표준 모델들은 과도하게 설명하거나, 비서와 같은 태도를 유지하거나, 기설정된 사실을 잊어버리거나, 페르소나가 변하거나, 매체 특유의 제약 조건(예: 타이밍, 침묵)을 위반하는 경향이 있다.

저자들은 **인간다운 대화(anthropomorphic dialogue)**를 의식이나 감정을 주장하는 것이 아니라, **행동적 제약 충족 문제(behavioral constraint satisfaction problem)**로 정의한다. 시스템은 특정 조건 하에서 관찰 가능한 제약 조건을 준수하는 텍스트를 생성해야 한다:

페르소나(Persona): 정체성, 연령, 직업, 성격 및 지식의 경계.
관계(Relationship): 화자 간의 구체적인 역학 관계 (예: 친구 vs 동료).
기억(Memory): 즉각적인 문맥과는 구별되는 선호도 및 사실에 대한 장기적 보유.
매체(Medium): 개인 메시징의 제약 사항 (예: 위챗 스타일, 타이밍, 리듬).
시간(Time): 가상 시간 상태 및 속도(pacing).

핵심 과제는 이러한 차원들이 단순한 스타일 프롬프트가 아닌 런타임 상태(runtime states)로 취급되지 않아, 장기 상호작용에서 일관성, 주도성 및 자연스러움의 실패로 이어진다는 점이다.

2. 방법론: AnthroDial 프레임워크

저자들은 세 가지 결합된 구성 요소인 역할 조건부 런타임, 실행 가능한 벤치마크, 진단적 정렬 파이프라인으로 이루어진 폐쇄 루프 프레임워크인 AnthroDial을 제안한다.

2.1 역할 조건부 스케줄링 대화 런타임

표준적인 턴 단위 생성과 달리, AnthroDial은 개인적인 채팅을 **상태 기반 스케줄링(stateful scheduling)**으로 모델링한다.

상태 표현: 시스템은 페르소나 카드, 시나리오 카드, 파트너별 장기 기억, 압축된 대화 이력 및 가상 시계를 유지한다.
단일 초안 결정(Single-Draft Decision): 각 단계에서 모델은 JSON 결정 튜플 $y_t = (u_t, \Delta t_t, e_t)$ 를 출력한다. 여기서 $u_t$ 는 메시지 내용, $\Delta t_t$ 는 계획된 전송 지연 시간, $e_t$ 는 침묵 또는 종료 결정이다.
스케줄링 로직: 스케줄러는 "초안 버퍼(Draft Buffer)"를 관리한다. 이는 가장 빨리 처리되어야 할 대기 중인 초안을 방출함으로써, 다중 메시지 폭발(bursts), 중단, 자연스러운 휴지(pause)를 허용한다. 이를 통해 질문 후 기다리기나 오래된 초안 폐기와 같이 표준 생성에서는 숨겨져 있던 행동들을 드러낸다.
메모리 관리: 장기 기억은 별도의 모듈( $U_\phi$ )을 통해 업데이트되어 지속적인 사실은 유지하고 일시적인 이벤트는 폐기한다. 단기 기억은 슬라이딩 윈도우와 오래된 턴에 대한 간결한 요약을 사용한다.

2.2 실행 가능한 벤치마크

이 프레임카드는 단순히 총체적인 품질을 평가하는 것이 아니라 행동을 평가하기 위한 계층적이고 실행 가능한 벤치마크를 도입한다.

L0 유효성 게이트(L0 Validity Gate): 치명적인 실패(예: AI 정체성 유출, 불가능한 매체 행동, 심한 반복, 역할 모순)가 있는 샘플을 거부하는 결정론적 필터이다.
행동 차원: 유효한 샘플은 10가지 차원에 따라 점수가 매겨진다:
- 로컬 (턴 단위, D1–D5): 위챗의 자연스러움, 간결성, 페르소나 일관성, 지식 경계, 리듬/세분화.
- 글로벌 (대화 단위, E1–E5): 문맥 일관성, 시나리오/관계 적합성, 공감/사회적 적합성, 주도성, 대화 흐름(dialogue-arc) 사용성.
점수 산정: 시스템은 가중치 점수와 Strict ACC(수락률)를 보고하며, 모든 턴의 모든 체크박스와 전체 카드가 모두 충족되어야만 케이스가 통과된다.

2.3 폐쇄 루프 학습 파이프라인

프레임워크는 자체적으로 학습 데이터를 생성하고 진단 신호를 사용하여 강화 학습을 수행한다.

데이터 합성: 런타임이 생성한 대화는 필터링된다. 수락된 대화는 SFT 풀을 형성하며, 거부된 대화는 수정 제안이 포함된 실패 기록으로 변환된다.
SFT: 16,436개의 스케줄링된 결정 예시에 대해 지도 미세 조정(SFT)을 수행하여, 언어적 스타일과 개인 메시지 타이밍(지연, 종료) 모두를 학습시킨다.
CDT-ZPD 가이드 GRPO: 강화 학습 단계에서는 불균형한 능력 성장을 해결하기 위해 설계된 새로운 보상 메커니즘을 사용하는 그룹 상대 정책 최적화(GRPO)를 사용한다:
- 칼만 필터링(Kalman Filtering): 10가지 행동 차원 각각에 대해 잠재적 능력 추정치( $\theta_{k,t}$ )를 유지한다.
- 능력 결핍 가중치(Capability-Deficit Weighting): 모델의 추정 능력이 낮은 차원에서 보상 가중치를 높인다 ( $d_{k,t} = \epsilon + (1 - \theta_{k,t})^p$ ).
- ZPD(근접 발달 영역) 매칭: 현재 롤아웃의 차원 점수를 과제 달성 가능성에 대한 추정치로 사용한다. 보상은 너무 쉽거나 불가능하게 어려운 작업보다는 "학습 가능한"(현재 능력 추정치와 가까운) 작업에 집중하도록 조절된다.
- 적응형 보상: 최종 보상은 기존의 루브릭 점수와 이 적응형 진단 신호를 결합하여, 약하지만 학습 가능한 인간다운 기술 쪽으로 최적화 압력을 이동시킨다.

3. 주요 기여

인간다운 대화의 공식화: 페르소나, 시나리오, 기억, 매체 및 시간 제약 하에서의 조건부 다회차 생성으로 정의하였으며, 이를 스케줄링된 프라이빗 채팅 구조를 통해 구현하였다.
실행 가능한 벤치마크: L0 유효성 게이트와 별도의 로컬/글로벌 행동 차원을 갖추어, 무효 샘플 보고, 등급별 품질, 구체적인 실패 차원 파악이 가능하도록 설계되었다.
폐쇄 루프 학습 파이프라인: 16,436개의 SFT 샘플과 CDT-ZPD 가이드 GRPO 목적 함수를 사용하는 시스템이다. 이는 칼만 필터링된 능력 추정치와 ZPD 매칭을 활용하여 평가 트레이스를 적응형 보상으로 전환한다.
경험적 벤치마킹: 55개의 페르소나, 50개의 시나리오, 모델당 100개의 역할 조건부 케이스에 대해 16개 시스템(프런티어 베이스라인, 오픈 모델 및 절제 실험 포함)을 평가한 포괄적인 스냅샷을 제공한다.

4. 결과

논문은 다양한 규모(9B, 27B, 35B, 397B)와 추론 모드(Thinking vs. No-Think)에 걸쳐 모델을 평가한다.

베이스라인 성능: 가장 강력한 비학습 베이스라인인 Gemini-3.5-Flash는 **32.00%**의 strict ACC를 달성한다.
SFT + RL 성능 (27B): 전체 Qwen3.6-27B-SFT+RL 시스템(Thinking 모드에서 평가)은 **39.00%**의 strict ACC와 종합 점수 98.5를 달성한다. 이는 가장 강력한 비학습 베이스라인보다 7.00 포인트 높고, 27B SFT 전용 모델보다 20.00 포인트 높은 수치이다.
효율성 트랙 (9B No-Think): 저지연 설정을 위한 테스트 타임 Thinking 없는 환경에서:
- 튜닝되지 않은 9B 모델: 0.00% strict ACC.
- 9B-SFT: 13.00% strict ACC.
- 9B-SFT+RL: 18.37% strict ACC.
- 의미: 9B SFT+RL 모델은 학습되지 않은 27B Thinking 모델보다 strict ACC에서 우수하며, 이는 사후 학습(post-training)이 더 작고 빠른 모델로 인간다운 행동을 전이할 수 있음을 보여준다.
차원 분석: 사후 학습은 표준 모델에서 흔히 약점을 보이는 글로벌 차원(문맥 일관성, 시나리오 적합성)을 크게 개선한다. 9B 모델은 로컬 차원(자연스러움, 리듬)에서 뛰어나지만 글로벌 일관성에서는 뒤처지며, 이는 로컬 유창성과 글로벌 인간다움 사이의 괴리를 보여준다.

5. 의의 및 주장

본 논문은 인간다운 대화가 생성, 평가, 보상 형성이 동일한 행동 차원을 공유하는 폐쇄 루프를 필요로 하는 시스템적 속성이라고 주장한다.

유창성을 넘어: 높은 턴 단위 자연스러움이 반드시 설득력 있는 대화를 보장하는 것은 아니다. 글로벌 일관성과 제약 준수는 별개의 도전 과제이다.
학습 vs 추론: 사후 학습(SFT 및 RL)은 단순히 테스트 타임의 "생각(thinking)"이나 숙고의 결과가 아닌, 학습된 인간다운 행동을 기여한다. 이 파이프라인은 이러한 행동을 더 작고 오버헤드가 적은 모델로 성공적으로 증류한다.
진단적 정렬: CDT-ZPD 보상 메커니즘은 단일 집계 점수를 최적화하는 대신, 모델의 현재 능력 추정치에 따라 보상 가중치를 동적으로 조정함으로써 약한 기술을 효과적으로 타겟팅한다.
매체 특이성: 현재 구현은 중국어 개인 메시징(위챗 스타일)에 초점을 맞추고 있으며, 여기서 매체 특유의 규범(타이밍, 리듬, 간결성)은 실패를 관찰 가능하게 만든다. 이 프레임워크는 행동 평가 구조를 유지하면서 표면적 규범을 조정함으로써 다른 매체로 확장 가능하도록 설계되었다.

저자들은 결과가 배포된 제품이 아닌 파이프라인과 벤치마크 스냅샷을 평가한 것임을 명시하며, 자동 평가자가 편향을 가질 수 있음을 언급하며 신중한 입장을 유지한다. 주요 기여는 시스템이 실제 의식이나 감정을 가졌다고 주장하는 것이 아니라, 인간과 유사한 대화 행동을 측정하고 정렬하기 위한 구조화된 방법론을 제시한 데 있다.