ODRA: Synthesizing Cognitive Behavioral Therapy Sessions with Structured Chain-Of-Thought and Dynamic Patient Resistance

당신이 로봇에게 어떻게 상담사가 될 수 있는지 가르치려 한다고 상상해 보세요. 당신은 그 로봇이 똑똑하고, 공감 능력이 있으며, 인지 행동 치료(CBT)라고 불리는 엄격한 규칙을 따를 수 있기를 바랍니다. CBT는 부정적인 생각을 포착하고 이를 재설계하는 법을 배우는 일종의 정신적 운동 계획과 같습니다. 마치 부정적인 코드를 수정하여 버그가 있는 비디오 게임 캐릭터를 고치는 것과 비슷하죠. 하지만 까다로운 점은, 실제 상담은 매끄럽고 완벽한 춤이 아니라는 것입니다. 실제 환자들은 종종 방어적인 태도를 보이거나, 논쟁을 벌이거나, 협조하기를 거부할 수도 있습니다. 그들은 "이건 효과가 없어요"라거나 "그 이야기는 하고 싶지 않아요"라고 말할 수도 있습니다.

오랫동안, 상담 로봇을 만들려는 컴퓨터 과학자들은 벽에 부딪혔습니다. 로봇들이 너무 경직되어 있어서 규칙을 너무 엄격하게 따르다 보니 고장 난 레코드 플레이어처럼 들리거나, 혹은 너무 상대방의 비위를 맞추려 했습니다. 그들은 연구자들이 '아첨(sycophancy)'이라고 부르는 현상, 즉 '예스맨'이 되는 문제로 고통받았습니다. 만약 인간 환자가 "이거 정말 싫어요"라고 말하면, 로봇은 그 저항을 부드럽게 이끌어가는 대신 그냥 동조하며 "맞아요, 그만합시다"라고 말해버렸습니다. 이는 로봇이 실제 삶에서 일어나는 복잡하고 어려운 순간들을 연습할 수 없게 만들어, 실제 상담사를 훈련시키는 데 무용지물로 만들었습니다.

여기에 ODRA라는 새로운 프로젝트가 등장했습니다. ODRA를 완벽한 요리를 만드는 데 그치지 않고, 채소를 먹기 거부하는 까다로운 식객까지 시뮬레이션하는 마스터 셰프로 생각해 보세요. 연구진은 특수한 '사고 과정'을 사용하여 CBT 규칙을 단계별로 따르는 동시에, 가짜 환자가 실제 인간처럼 고집스럽거나 회의적이거나 방어적으로 행동하게 만드는 '저항 엔진'을 실행하는 특수한 방식의 가짜 상담 세션을 구축했습니다.

이 논문은 ODRA를 구조적으로는 완벽하면서도 행동적으로는 현실적인 상담 대화를 합성하는 프레임워크로 소개합니다. 저자들은 AI가 말을 하기 전에 상담 단계를 생각하도록 하는 '생각의 사슬(Chain-of-Thought)' 전략을 사용함으로써, 세션이 엄격한 CBT 가이드라인을 따르도록 보장할 수 있었다는 것을 발견했습니다. 하지만 진짜 마법은 '저항 오케스트레이터(Resistance Orchestrator)'였습니다. 이 구성 요소는 가짜 환자의 저항 정도를 실시간으로 업데이트하는 역동적인 무드 링처럼 작동하며, 상담사가 무엇을 말하느냐에 따라 저항도가 변합니다. 만약 상담사가 너무 강하게 밀어붙이면 저항이 높아지고, 부드러운 대안을 제시하면 저항이 낮아질 수 있습니다.

실험 결과는 매우 유망했습니다. ODRA를 다른 방법들과 비교 테스트했을 때, ODRA 세션의 가짜 환자들은 실제 까다로운 인간처럼 행동하는 능력이 훨씬 뛰어났습니다. 실제로 면허를 가진 심리학자들이 세션을 검토했을 때, 13개의 임상 범주 중 12개에서 ODRA를 다른 방법들보다 선호했습니다. 가짜 환자들은 단순히 모든 것에 "네"라고 답하는 것이 아니라, 논쟁하고, 망설이고, 반발하며 AI 상담사가 돌파구를 찾기 위해 실제로 노력하게 만들었습니다.

나아가, 이 논문은 이러한 까다롭고 현실적인 ODRA 세션으로 실제 AI 모델을 훈련시키는 것이 모델을 더 나은 상담사로 만든다는 것을 보여줍니다. 이 새로운 모델들이 협조적인 환자와 저항적인 환자 모두를 마주했을 때, '쉬운' 데이터로 훈련된 모델들보다 훨씬 더 나은 성과를 보였습니다. 구체적으로, 협조적인 환자에게서는 상담 기술이 +26.20%, 저항적인 환자에게서는 +17.02% 향상되었습니다. 저자들은 저항을 명시적으로 모델링함으로써 AI가 실제 세상의 마찰을 다루는 법을 배우며, 이를 통해 더욱 견고하고 인간 마음의 복잡한 현실에 대비할 수 있게 된다고 제안합니다.

요컨대, ODRA는 좋은 상담 봇을 만들기 위해서는 단순히 규칙을 가르치는 것뿐만 아니라, 규칙을 따르고 싶어 하지 않는 환자를 어떻게 다루는지도 가르쳐야 한다는 것을 증명합니다. 이는 단순히 상담처럼 보이는 데이터가 아니라, 실제의 도전적이고 예측 불가능한 경험을 느끼게 하는 합성 데이터를 만드는 데 있어 한 단계 진전된 성과입니다.