당신이 로봇에게 사람과 함께 '스무 고개' 게임을 하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 실제 사람처럼 행동하도록, 즉 힌트를 요청하거나, 생각을 바꾸거나, 상대방이 형편없는 대답을 했을 때 좌절하는 모습을 보이도록 만들고 싶습니다. 인공지능의 세계에서 이것을 **사용자 시뮬레이션(user simulation)**이라고 부릅니다. 이는 실제 사람을 만나기 전에 가짜 사람을 통해 AI를 훈련시키는 방법입니다.

오랫동안 과학자들은 이 가짜 사람들에게 실제 대화의 예시를 보여주고 AI에게 다음 문장을 "모방"하도록 요청하며 가르치려 노력해 왔습니다. 이것은 마치 학생이 대본을 암기함으로써 언어를 배우려는 것과 같습니다. 문제는 현실 세계는 매우 복잡하다는 점입니다. 만약 당신이 친구에게 휴가 아이디어를 묻는다면, 친구는 "그래, 정말 좋다!"(수용)라고 말할 수도 있고, "아니, 그건 너무 비싸!"(수정)라고 할 수도 있으며, "사실, 난 다른 곳에 가고 싶어"(변경)라고 할 수도 있습니다. 이 모든 것은 동일한 질문에 대한 유효한 응답이지만, 대화에서는 완전히 다른 의미를 갖습니다. 만약 당신의 AI 학생이 '의도(intent)'를 이해하지 못한 채 단지 단어만을 암기한다면, 그는 "좋아!"라고 말해야 할 상황에서 "좋아!"라고 말함으로써 게임을 완전히 망쳐버릴 수도 있습니다. 이 논문은 바로 그 혼란을 다루며, AI에게 무엇을 말할지가 아니라 왜 그것을 말하는지를 가르치는 방법을 제안합니다.

---

문제점: 방 안의 분위기를 읽지 못하는 AI

현재의 AI 사용자 시뮬레이터를 만나보십시오. 이들은 대본을 완벽하게 외운 유능한 배우와 같지만, 정작 그 장면이 무엇에 관한 것인지는 전혀 모릅니다. 만약 대본에 "캐릭터가 행복함"이라고 적혀 있다면, 배우는 미소를 짓습니다. 하지만 만약 장면이 실제로 '비꼬는 상황'을 요구하더라도, 배우는 대본에 적힌 대로 여전히 미소를 지을 것입니다.

AI의 세계에서 이런 일이 발생하는 이유는 모델들이 이전의 내용을 바탕으로 다음 단어를 예측하도록 훈련되었기 때문입니다. 모델은 대화 기록을 보고 가장 가능성 높은 다음 문장을 추측합니다. 하지만 여기에는 함정이 있습니다. 동일한 대화 기록이 여러 가지의, 똑같이 현실적인 결과로 이어질 수 있다는 점입니다.

• 시나리오: 당신이 여행 봇에게 "몰디브는 어때?"라고 묻습니다.
• 결과 A: "좋아, 거기로 가자!"라고 말합니다 (수용).
• 결과 B: "너무 비싸, 더 저렴한 옵션이 있을까?"라고 말합니다 (수정).
• 결과 C: "사실, 난 태국에 더 가고 싶어"라고 말합니다 (변경).

표준 AI 시뮬레이터는 당신의 사용자 프로필이 "예산에 민감함"이라고 되어 있더라도, 단지 특정 문구가 흔하다는 이유만으로 결과 A를 선택할 수 있습니다. 이는 단어는 맞혔지만 의도는 틀린 것입니다. 이는 길은 알지만 당신이 직진하고 싶어 한다는 것을 알면서도 계속 왼쪽으로 가라고 말하는 GPS와 같습니다.

해결책: "의도 디렉터(Intent Director)"

이 논문의 저자인 베이항 대학교의 왕보(Bo Wang)와 그의 팀은 이를 해결하기 위해, AI에게 다음 동작 전체를 추측하라고 요구하는 대신 그 동작에 대한 구체적인 '직무 기술서'를 주는 방식이 필요하다는 것을 깨달았습니다. 그들은 이 새로운 시스템을 UserIDA(User Intent-Directive Alignment)라고 부릅니다.

UserIDA를 영화 세트장의 감독이라고 생각해 보십시오. 감독은 배우에게 "여행객처럼 말해봐"라고 말하는 대신, 구체적인 지시 사항을 속삭입니다: "REPAIR(수정)."

이 지시는 배우에게 어떤 감정적 흐ü를 짚어야 하는지 정확히 알려줍니다: 당신은 이전의 제안에 문제가 있음을 지적해야 합니다. 그러면 배우(AI)는 자신의 창의력을 발휘하여 실제 단어를 만들어냅니다. "그건 너무 비싸요"라고 할 수도 있고, "제가 감당하기엔 너무 비싸요"라고 할 수도 있으며, "제 예산이 더 낮아요"라고 할 수도 있습니다. 의도가 "REPAIR"이기만 하면, AI는 자신의 역할을 제대로 수행하는 것입니다.

연구팀은 이 가짜 사용자들을 위해 여섯 가지의 구체적인 "지시 사항(또는 직무 기술서)"을 정의했습니다:

1. Initiate (시작): 새로운 주제를 시작함.
2. Amend (변경): 현재 주제의 규칙을 변경함.
3. Supply (제공): 누락된 정보를 제공함.
4. Repair (수정): AI가 저지른 실수를 바로잡음.
5. SetRegister (설정/등록): 톤이나 역할을 변경함 (예: "엄격한 선생님처럼 행동해").
6. GroundAccept (확인/수용): 대화를 진행하기 위해 "알았어" 또는 "고마워"라고 말함.

AI를 어떻게 가르쳤는가

연구팀은 단순히 AI에게 규칙 목록을 준 것이 아니라, 보조 바퀴를 달고 자전거 타기를 배운 뒤 보조 바퀴를 떼는 과정과 유사한 2단계 훈련 과정을 통해 가르쳤습니다.

1단계: 대본 연습 (지도 미세 조정 - Supervised Fine-Tuning)
먼저, 그들은 방대한 양의 실제 인간 대화 라이브러리(LMSYS-Chat-1M 데이터셋)를 가져와 모든 턴(turn)에 위 여섯 가지 지시 사항 중 하나를 라벨링했습니다. 그런 다음 AI가 대화 내용과 특정 지시 사항(예: "REPAIR")을 보고 그에 맞는 응답을 생성하도록 가르쳤습니다. 이것은 배우에게 대본과 감독의 노트를 보여준 뒤 연기를 요청하는 것과 같습니다.

2단계: "의도 경찰" (교정된 정책 최적화 - Calibrated Policy Optimization)
이 부분이 영리한 부분입니다. 1단계를 거친 후에도 AI는 여전히 혼란을 겪을 수 있습니다. AI가 매우 훌륭하게 들리는(높은 품질의) 답변을 생성했지만, 의도는 틀린 경우(예: "너무 비싸다"라고 해야 하는데 "좋아요!"라고 하는 경우)가 발생할 수 있습니다.

이를 해결하기 위해 연구팀은 특별한 보상 시스템을 도입했습니다. AI가 네 가지 서로 다른 답변을 생성하는 게임을 상상해 보십시오.

• 답변 A: 듣기에는 좋지만, 의도가 틀림.
• 답변 B: 괜찮게 들리지만, 의도가 맞음.
• 답변 C: 아주 훌륭하게 들리고, 의도도 맞음.

일반적인 게임이라면 답변 A가 가장 좋게 들리기 때문에 승리할 수도 있습니다. 하지만 UserIDA의 게임에서는 "의도 경찰"이 개입합니다. 그들은 이렇게 말합니다. "안 돼. 답변 A는 아무리 좋게 들려도 탈락이야." 그들은 AI가 의도를 맞추는 것이 멋지게 말하는 것보다 더 중요하다는 것을 깨닫게 합니다. 그들은 수학적으로 점수를 조정하여, 의도가 틀린 답변은 의도가 맞는 답변보다 자동으로 낮은 순위를 갖도록 만듭니다. 이를 통해 AI는 "정확하게 말하는 것"이 이 게임의 가장 중요한 규칙임을 배우게 됩니다.

결과: 훨씬 더 나은 배우

연구팀이 UserIDA를 테스트했을 때 결과는 인상적이었습니다. 그들은 기존의 최고 수준의 AI 시뮬레이터 및 가장 큰 일반 AI 모델들(GPT-4o 및 Gemini 등)과 비교했습니다.

• 의도 정확도: UserIDA는 "직무 기술서"를 **86.6%**의 확률로 정확히 수행했습니다. 그다음으로 뛰어난 시뮬레이터는 약 62%의 정확도를 보였습니다. 이는 24%포인트 이상의 엄청난 도약입니다.
• "6가지 중 4가지" 테스트: AI에게 한 대화 내에서 여섯 가지 유형의 행동을 모두 전환하도록 요청하는 까다로운 테스트에서, UserIDA는 여섯 가지 중 최소 네 가지를 성공적으로 수행하는 비율이 **91.7%**였습니다. 가장 강력한 경쟁 모델은 이 수치가 **22.9%**에 불-과했습니다.
• 여전히 인간다운 말투 유지: 결정적으로, AI는 지시를 훨씬 더 잘 따르게 되었음에도 불구하고 로봇처럼 변하지 않았습니다. 여-전히 자연스럽게 들렸고, 사용자의 개성을 유지했으며, 매뉴얼을 읽는 듯한 느낌을 주지 않았습니다.

이것이 왜 중요한가

이 논문은 AI가 진정으로 인간의 대화를 이해하기 위해서는 단순히 단어를 흉내 내는 것만으로는 부족하다는 점을 시사합니다. 우리는 AI에게 모든 문장의 목적을 이해하도록 가르쳐야 합니다. "무엇(단어)"과 "왜(의도)"를 분리함으로써, UserIDA는 자동차가 그냥 길을 따라가는 것이 아니라 핸들을 통해 조종할 수 있는 자동차처럼 제어 가능한 시뮬레이터를 만들어냈습니다.

이것이 AI가 이제 인간이 되었다는 뜻은 아닙니다. 저자들은 AI가 지시를 따르는 능력은 훨씬 좋아졌지만, 인간이 할 법한 행동과 AI가 할 수 있는 행동 사이에는 여전히 간극이 존재함을 보여주었습니다. 하지만 이러한 제어 계층을 추가함으로써, 그들은 AI가 우리가 서로 대화하는 복잡하고 예측 불가능하며 경이로운 방식을 이해할 수 있는 훨씬 더 나은 기회를 제공했습니다.