움직이는 타겟의 퍼즐

당신은 로봇에게 훌륭한 대화가가 되는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이러한 로봇들은 "에이전트(agent)"라고 불리며, 이들은 거대한 "언어 모델(language models)"에 의해 구동됩니다. 언어 모델이란 인터넷에 있는 거의 모든 것을 읽었지만, 도움 없이는 스스로 새로운 것을 배울 수 없는 매우 똑똑한 컴퓨터를 말합니다. 이들을 유용하게 만들기 위해, 인간은 그들에게 "스킬(skills)"을 부여합니다. 스킬은 기본적으로 고객 불만을 처리하거나 항공권을 예약하는 방법과 같은 일련의 작성된 지침이나 규칙입니다.

가장 큰 문제는 모든 답변을 채점하기 위해 군대 규모의 인간 교사를 고용하지 않고도 어떻게 로봇을 더 낫게 만들 것인가 하는 점입니다. 수학이나 코딩에서는 이것이 쉽습니다. 코드를 변경하면, 코드를 실행하여 여전히 작동하는지 확인할 수 있기 때문입니다. 답은 맞거나 틀리거나 둘 중 하나이며, 당신이 그것을 다르게 작성했다고 해서 답이 변하지는 않습니다. 하지만 실제 대화에서는 상황이 복잡합니다. 만약 로봇이 사용자에게 하는 답변을 바꾸면, 사용자의 반응도 바뀝로 변합니다. 이는 마치 테니스 경기 영상을 보며 테니스를 배우려는 것과 같습니다. 당신이 머릿속으로 스윙을 바꿀 때마다 영상 속의 공이 마법처럼 다른 위치로 이동하는 것과 같죠. 당신의 새로운 스윙이 더 나은지 알 수 없는 이유는 "타겟(공)"이 계속 움직이기 때문입니다. 이 논문은 바로 이 골칫거리, 즉 피드백이 끊임없이 변할 때 어떻게 로봇에게 더 나은 대화 기술을 가르칠 것인가에 대해 다룹니다.

미래를 예측하는 마법 (시간 여행 없이)

이 논문의 저자들(주요 기술 기업 소속)은 이 "움직이는 타겟" 문제를 해결하기 위한 영리한 우회 방법을 고안해 냈습니다. 새로운 답변이 사용자에게 어떤 영향을 미칠지 추측하는 대신(이는 기존 데이터로는 확인이 불가능하므로), 그들은 로봇에게 다른 기술을 먼저 가르치기로 했습니다. 바로 미래를 예측하는 것입니다.

이것은 스포츠 코치가 경기 영상을 검토하는 것과 비슷합니다. 코치는 선수의 과거 동작을 바꾸어 어떤 일이 일어났을지 확인하려고 애쓰지 않습니다. 대신 코치는 이미 일어난 특정 플레이를 보고 이렇게 묻습니다. "선수가 여기서 이렇게 행동했을 때, 상대 팀은 다음에 무엇을 하려고 했는가?"

이 연구에서 연구진은 판매 보조 봇과 실제 고객 사이의 기록된 대화 뭉치를 가져왔습니다. 그들은 봇이 답변을 제공한 특정 순간을 살펴본 뒤, 그 직후에 고객이 실제로 무엇을 했는지 살펴보았습니다. 고객이 "좋아요, 감사합니다!"라고 말하며 대화를 마무리했나요? 아니면 "도움이 되지 않네요"라고 말하며 새로운 질문을 던졌나요?

팀은 봇의 답변을 보고 "사용자가 이 답변에 만족할 것인가, 아니면 막힐 것인가?"를 추측하는 특수한 "예측 기술"을 훈련시켰습니다. 여기서 마법 같은 점은, 대화가 이미 일어난 일이기 때문에 연구진은 정답을 알고 있다는 것입니다. 따라서 그들은 자신들의 예측이 맞았는지 틀렸는지 확인할 수 있습니다. 이는 복잡하고 움직이는 타겟을 고정되어 있고 해결 가능한 퍼즐로 바꾸어 놓습니다.

로봇이 스스로 진화하는 법을 배우는 과정

로봇이 사용자의 만족 여부를 예측하는 데 정말 능숙해지자, 연구진은 그 기술을 사용하여 봇의 실제 답변을 개선했습니다. 그들이 사용한 단계별 과정은 다음과 같습니다.

1. 비평가(The Critic): 로봇은 비평가 역할을 합니다. 대화를 살펴보고 이렇게 말합니다. "내가 배운 규칙들에 따르면, 봇이 한 이 특정 답변은 너무 모호하기 때문에 사용자를 불만스럽게 만들 가능성이 높다."
2. 편집자(The Editor): 그런 다음 로봇은 그 문제를 해결하기 위해 새로운 일련의 지침(스킬)을 작성하려고 시도합니다.
3. 테스트(The Test): 로봇이 이 새로운 지침을 사용하도록 허용되기 전, "비평가"가 기존의 기록된 데이터와 대조하여 검사합니다. 비평가는 묻습니다. "기존의 답변들에 대한 결과를 예측하기 위해 이 새로운 규칙들을 적용한다면, 우리의 예측 정확도가 향상되는가?"
4. 문지기(The Gatekeeper): 만약 새로운 규칙이 기존 데이터에 대한 예측을 더 정확하게 만든다면, 그 변경 사항은 유지됩니다. 만약 결과가 더 나빠지거나 도움이 되지 않는다면, 그 변경 사항은 버려집니다.

이것을 "검증 기반 진화(validation-gated evolution)"라고 부릅니다. 이는 마치 당신의 수정 사항이 타당하다는 것을 원래 초안을 통해 증명할 수 있을 때만 글을 고치도록 허용하는 엄격한 편집자와 같습니다. 결정적으로, 논문은 이 과정이 무엇이 좋은 답변인지 이해하는 더 나은 "비평가"를 만들어내기는 하지만, 최종적인 "답변" 스킬 자체가 완벽하다는 것을 입증했다고 주장하는 것은 아님을 명시하고 있습니다. 예측 기술은 답변의 무엇이 잘못되었는지를 짚어주는 진단 도구가 되지만, 실제 답변 생성의 개선은 여전히 검증이 필요한 별개의 단계입니다.

결과: 75%와 "판매 보조" 테스트

팀은 실제 환경의 판매 보조 데이터셋을 사용하여 이 방법을 테스트했습니다. 그들은 사용자가 만족했는지 여부가 불분명한 혼란스러운 대화들을 제거하여 데이터를 매우 세심하게 정제했습니다. 또한 테스트를 위해 "행복한" 사례와 "불만족스러운" 사례의 수를 동일하게 맞추었습니다.

결과는 어떠했을까요? 진화된 예측 기술은 사용자가 만족할지 여부를 75% 이상의 확률로 정확하게 맞혔습니다.

이는 무작위 추측이 약 50% 정도만 맞히는 것에 비하면 큰 성과입니다. 로봇이 "가짜" 해결책(예: 단순히 "알겠습니다"라고 하거나 일반적인 링크를 보내는 것)과 "진짜" 해결책(구체적이고 실행 가능한 계획을 제시하는 것)을 구분하는 법을 배웠다는 사실은, 로봇이 실제로 유용한 것을 배웠음을 보여줍니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 이 방법이 할 수 있는 것과 할 수 없는 것에 대해 매우 솔직합니다. 이것은 오프라인(offline) 학습을 위한 강력한 도구입니다. 즉, 개발자들은 실제 고객을 번거롭게 하지 않고도 컴퓨터에서 수천 가지의 서로 다른 대화 규칙을 시험해 볼 수 있습니다. 나쁜 아이디어는 걸러내고 가장 좋은 것만을 실제 세상으로 가져올 수 있습니다.

하지만 저자들은 이것이 모든 것을 해결하는 마법 지팡이가 아니라는 점을 주의 깊게 설명합니다.

• 이것은 수정 구슬이 아닙니다: 로봇이 과거의 데이터를 바탕으로 사용자가 만족할 것이라고 예측한다고 해서, 완전히 새로운 유형의 답변이 실시간 채팅에서 완벽하게 작동할 것이라는 보장은 없습니다. 현실 세계는 항상 변합니다.
• 최종 점검이 필요합니다: 논문은 최종적인 로봇이 실제로 훌륭한지 확인하기 위해 여전히 인간 심판관이나 실시간 테스트가 필요하다고 주장합니다. 예측 기술은 안전망이자 가이드일 뿐, 최종 판결자가 아닙니다.

요약하자면, 이 논문은 "움직이는 타겟" 문제를 멈추는 아주 멋진 방법을 제시합니다. AI에게 과거 대화의 결과를 예측하도록 가르침으로써, 그들은 안정적인 훈련장을 만들었습니다. 이를 통해 AI는 자신의 기술을 스스로 진화시킬 수 있으며, 예의 바르지만 쓸모없는 답변과 문제를 진정으로 해결하는 답변의 차이를 식별하는 법을 배울 수 있습니다. 이 모든 과정 동안 실제 사용자를 나쁜 실험으로부터 안전하게 보호하면서 말이죠. 이는 기록된 대화를 하나씩 활용하여, 더 나은 경청자가 되도록 스스로를 가르치는 로봇을 향한 한 걸음입니다.