Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding

로봇을 위한 사회적 체육관

당신이 로봇에게 친구가 되는 법을 가르치고 있다고 상상해 보세요. 가장 쉬운 방법은 로봇에게 "착하게 행동해"라고 말하고 나머지는 알아서 깨우치게 하는 것이라고 생각할 수도 있습니다. 하지만 인간의 대화는 복잡하고, 까다로우며, 숨겨진 규칙들로 가득 차 있습니다. 때로는 단호해야 하고, 때로는 농담을 던져야 하며, 때로는 상대방을 화나게 하지 않으면서 자신이 원하는 것을 얻기 위해 세 단계 앞을 내다보며 계획을 세워야 합니다. 이것이 바로 **사회적 지능(social intelligence)**의 세계입니다. 즉, 사람의 생각을 이해하고, 감정을 느끼며, 협상이나 친근한 대화와 같은 복잡한 사회적 춤을 헤쳐 나가는 능력입니다.

오랫동안 컴퓨터 과학자들은 챗봇 뒤에 있는 초지능형 AI 뇌인 거대 언어 모델(LLM)이 이러한 사회적 상황을 다룰 수 있도록 가르치기 위해 노력해 왔습니다. 큰 문제는 이 AI들이 수학이나 코드 작성에는 뛰어나지만, 사람과 대화할 때는 종종 비틀거린다는 점입니다. 그들은 적절한 단어를 말할 수는 있지만 핵심을 놓치거나, 높은 점수를 얻기 위해 지름길을 찾으려다 보니 인위적이고 로봇처럼 느껴지는 경우가 있습니다. 연구자들이 던지는 질문은 이것입니다: "어떻게 하면 AI가 단순히 정답을 추측하는 것이 아니라, 사회적 게임을 실제로 이해하며 말할 수 있도록, 입을 열기 전에 인간처럼 생각하도록 가르칠 수 있을까?"

"생각-전략-응답"의 비밀 소스

이 논문은 AI 에이전트가 더 잘 사교할 수 있도록 훈련하는 새로운 방법인 생각-전략-응답(Think-Strategy-Response, TSR) 프레임워크를 소개합니다. 이 방식이 어떻게 작동하는지 이해하려면, 당신이 판돈이 큰 포커 게임을 하고 있다고 상상해 보세요.

기존의 AI 훈련 방식에서는 컴퓨터에게 그냥 카드를 한 장 내고, 그 판에서 이기면 보상을 받으라고 명령했습니다. 컴퓨터는 '어떻게' 이겼는지는 상관하지 않았기에, 컴퓨터에게만 유효하고 인간 플레이어는 혼란스럽게 만드는 방식으로 블러핑(속임수)을 하는 법을 배울 수도 있었습니다. 이는 마치 수학적 원리를 이해하지 못한 채 시험 정답만 암기하는 학생과 같았습니다.

이 논문의 저자들은 이렇게 말합니다. "멈추세요! 먼저 생각하는 법을 가르칩시다." 그들은 인간이 실제로 행동을 계획하는 방식에서 영감을 얻어 과정을 세 가지 단계로 나눕니다.

1. 생각(Think): 무엇인가를 말하기 전에, AI는 상황을 분석하며 잠시 멈춥니다. AI는 스스로에게 묻습니다. "상대방은 지금 무엇을 느끼고 있는가? 여기에는 어떤 불문율이 있는가? 나의 장기적인 목표는 무엇인가?" 이는 체스 선수가 판을 바라보며 다음 세 수를 구상하는 것과 같습니다.
2. 전략(Strategy): 이러한 생각을 바탕으로, AI는 계획을 선택합니다. AI는 결정합니다. "좋아, 나는 친절하면서도 단호하게 행동할 것이고, 거래를 성사시키기 위해 약간의 할인을 제안하겠다." 이것이 바로 게임 플랜입니다.
3. 응답(Response): 마지막으로, AI는 방금 세운 계획을 사용하여 완벽한 문장을 만들어내며 말을 합니다.

이 논문은 AI에게 응답하기 전에 "생각"과 "전략" 단계를 반드시 기록하게 함으로써, AI가 단순히 추측하는 것을 멈추고 진정한 사회적 추론의 길로 들어서게 한다고 주장합니다.

"분산 게이트형" 보상 시스템

하지만 여전히 문제가 있었습니다. AI에게 어떻게 보상을 줄 것인가 하는 점입니다. 만약 단순히 "잘했어, 거래를 성사시켰구나"라고만 한다면, AI는 거래를 따내기 위해 무례하거나 강압적으로 변하는 법을 배울 수 있습니다. 반대로 "잘했어, 예의 바르게 행동했구나"라고만 한다면, 너무 착하기만 해서 거래를 놓칠 수도 있습니다.

연구자들은 **분산 게이트형 보상(Variance-Gated Rewards)**이라는 영리한 해결책을 고안했습니다. 당신이 선수를 지켜보는 코치라고 상상해 보세요.

• 만약 선수가 고전하고 있고 점수가 들쑥날쑥하다면(높은 분산), 코치는 "주요 목표에 집중해! 일단 점수를 따는 데 집중해!"라고 말합니다.
• 하지만 선수가 일관되게 잘하고 있다면(낮은 분산), 코치는 "이기는 것도 좋지만, 이제 '어떻게' 이겼는지에 집중해 보자. 전략을 잘 따랐니? 좋은 수였니?"라고 말합니다.

이 논문의 새로운 알고리즘인 LHRL-VGR도 정확히 이와 같이 작동합니다. 이 알고리즘은 AI의 목표 달성이 얼마나 안정적인지를 체크합니다. AI가 확신이 없을 때는 목표를 달성하는 것에 보상을 줍니다. 만약 AI가 이미 목표를 달성하고 있다면, 이제는 이전에 계획했던 스마트한 전략을 고수하는 것에 대해 보상을 주는 방식으로 전환합니다. 이를 통해 AI가 단순히 "승리만을 목적으로 하는" 로봇이 아니라, 효과적이면서도 사회적으로 영리하게 학습하도록 보장합니다.

연구 결과

연구팀은 AI 에이전트가 협상, 판매, 또는 친구 만들기 등을 수행해야 하는 거대한 사회적 시나리오 놀이터인 SOTOPIA라는 벤치마크에서 이 새로운 방법을 테스트했습니다. 그들은 Qwen2.5-7B 모델을 사용하였으며, 새로운 TSR 및 LHRL-VGR 방식으로 훈련시켰습니다.

결과는 인상적이었습니다. "SOTOPIA-Hard"(매우 까다로운 사회적 퍼즐) 테스트에서, 이 방식으로 훈련된 AI는 유명한 GPT-4o 모델보다 목표 달성률에서 7.32% 더 높은 성과를 보였습니다. 더욱 중요한 것은, 인간 평가자들이 기존 방식보다 이 새로운 방식이 생성한 전략과 응답을 더 선호했다는 점입니다.

이 논문은 "생각"과 "말하기"를 분리하고, 결과 달성을 밀어붙일 때와 올바른 행동을 강조할 때를 구분할 줄 아는 스마트한 보상 시스템을 사용함으로써, AI 에이전트가 단순히 인간처럼 들리는 것을 넘어 사회적 상황에서 실제로 인간처럼 생각하게 만들 수 있다고 제안합니다. 이는 단순히 채팅을 하는 AI를 넘어, 인간 관계의 게임을 진정으로 이해하는 AI를 향한 한 걸음입니다.