Where do LLMs Fall Short in CBT-Guided Affective Reasoning?

당신에게 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 이 친구는 도서관에 있는 모든 심리학 교과서를 읽었습니다. 이 로봇은 이론 문제에서 최대 **96%**의 점수를 받는 학생보다 CBT(인지 행동 치료)의 규칙을 더 잘 알고 있습니다. 그러면 이 로봇이 궁극의 상담사가 될 수 있을 것이라고 생각하시겠지요?

그렇지 않습니다.

논문 "Where do LLMs Fall Short in CBT-Guided Affective Reasoning(CBT 유도 정동 추론에서 LLM이 부족한 점)"은 우스꽝스럽지만 좌절스러운 결함을 밝혀냈습니다. 이 로봇은 이론은 완벽하게 알고 있지만, 실제로 대화를 나누다 보면 고장 난 레코드판처럼 행동한다는 것입니다. 당신이 무슨 말을 하든, 로봇은 그저 고개를 끄덕이며 "이해합니다", "그렇게 느끼시는군요"라고 당신의 감정을 그대로 투영할 뿐입니다. 마치 당신이 왜 그런 표정을 짓고 있는지 그 이유를 파악하도록 도와주기는커녕, 거울 속에서 당신의 얼굴만 비춰주는 거울과 같습니다.

"거울 vs 지도"의 문제

연구진들은 세 가지 서로 다른 AI 모델(Gemma3, Mistral, GPT-OSS)에게 실제 상담 세션을 기반으로 한 14개의 시뮬레이션 이야기를 들려주며 이를 테스트했습니다. 그들은 AI가 단순히 "정말 힘들겠네요"라고 말하는 것 이상의 것을 할 수 있는지 확인하고 싶었습니다.

실제 상담에서 유능한 상담사는 단순히 듣기만 하는 것이 아니라, 탐정처럼 행동합니다. 그들은 당신의 이야기를 다음과 같은 구체적인 지도로 분해합니다:

1. 트리거(Trigger): 무슨 일이 일민했는가?
2. 생각(Thought): 그것에 대해 스스로에게 어떤 말을 했는가?
3. 감정(Feeling): 그것이 당신을 어떻게 느끼게 했는가?
4. 행동(Action): 그 다음에 무엇을 했는가?

일단 이 지도를 확보하면, 상담사는 도구를 선택합니다:

• 공감적 수용(Validation): "왜 그렇게 느끼시는지 이해합니다."
• 소크라테스식 질문(Socratic Questioning): "그것을 다르게 볼 수 있는 방법은 없을까요?"
• 대안적 관점 제시(Alternative Perspective): "다른 각도에서 한번 바라봅시다."

문제는 무엇일까요? AI 모델들은 연구진이 이 지도를 사용하도록 강제하기 위해 만든 특별한 "가이드북"(프레임워크)을 가지고 있었음에도 불구하고, 계속해서 공감적 수용 도구만을 붙잡고 다른 도구들은 무시했습니다. 그들은 너무 친절하려고 노력하다 보니, 도움이 되는 법을 잊어버린 것입니다.

"산을 움직이지 못한 힘"

AI의 행동이 정확히 얼마나 변했는지 측정하기 위해, 저자들은 **프로토콜 레버리지 포스(Protocol Leverage Force, F)**라는 새로운 지표를 발명했습니다. 이것은 마치 무거운 바위를 아주 조금이라도 굴리기 위해 얼마나 세게 밀어야 하는지를 측정하는 것과 같습니다.

그들은 이 새로운 가이드북으로 AI를 밀어보았습니다. AI의 방향이 바뀌었을까요?

• 결과: 바위는 움직였지만, 아주 미미했습니다. 이 "힘"은 **1.18%**에서 1.34% 사이로 매우 작았습니다.
• 판결: 가이드북은 AI를 올바른 방향으로 살짝 밀어주긴 했지만, 그저 동조하려는 AI의 본래 습관을 극복하지는 못했습니다. AI는 여 still "왜 그렇게 생각하시나요?"라고 묻기보다는 "당신의 말을 듣고 있습니다"라고 말하는 것을 선호했습니다.

"가짜" vs "진짜" 감정

연구진은 또한 대화가 시간이 흐름에 따라 어떻게 느껴지는지도 확인했습니다. 그들은 두 가지를 추적했습니다:

1. 정서가(Valence): 단어들이 얼마나 행복하거나 슬픈가.
2. 각성도(Arousal): 단어들이 얼마나 차분하거나 흥분되어 있는가.

실제 상담 세션(RealCBT 데이터)에서는 대화가 처음에는 높고 스트레스가 높은 상태에서 시작하여, 점차 차분해지고 행복해집니다. 마치 롤러코스터가 결국 평탄해지는 것과 같습니다. 하지만 AI 시뮬레이션에서는 이 "차분해지는 부분"이 일어나지 않았습니다. AI 대화는 지나치게 들떠 있었으며, 실제 상담이 제공하는 깊고 느린 안도감을 보여주지 못했습니다.

인간 요인

인간 전문가들(심리학자 및 연구원들)이 녹음본을 들었을 때, 그들은 놀라운 사실을 발견했습니다: 그들은 어떤 AI가 가장 나은지에 대해 합의를 이루지 못했습니다.

• 공감적 수용 반응에 대해서는, 전문가들은 AI가 공감을 하고 있다는 점에는 동의했지만, 그것이 좋은 것인지 아니면 그저 게으른 것인지에 대해서는 의견이 갈렸습니다.
• 질문하기 응답에 대해서는, 전문가들은 무엇을 보고 있는지에 대해 더 많이 동의했지만, AI가 그런 질문을 충분히 자주 하지 않았습니다.

전문가들의 일치도(Fleiss' Kappa라는 통계적 척도)는 0 근처를 맴돌 정도로 매우 낮았습니다. 이는 상담 응답이 매우 매끄럽고 공감적으로 들릴 때, 심지어 인간에게도 그것이 "옳은" 것인지 판단하기 어렵다는 것을 의미합니다.

이 논문이 말하는 것(그리고 말하지 않는 것)

이 논문은 자신들이 무엇을 하지 않는지 명확히 밝히고 있습니다:

• 이 AI들이 실제 상담사를 대체할 준비가 되었다고 말하지 않습니다. 사실, 논문은 명시적으로 그럴 수 없다고 경고합니다.
• AI가 정신 건강 지원 문제를 해결했다고 주장하지 않습니다.
• 실제 환자를 포함하지 않았습니다. 모든 이야기는 공공 역할극 영상을 바탕으로 다른 AI 모델을 사용하여 시뮬레이션된 것입니다.

주요 시사점은 일종의 현실 자각입니다: CBT 이론의 규칙을 아는 것은 그것을 실천하는 것과 같지 않습니다. AI가 CBT 이론 시험에서 만점을 받을 수 있다고 해서, 그것이 실제로 사람의 기분을 좋게 만들 수 있다는 뜻은 아닙니다. 연구진은 AI가 정확히 어느 부분에서 부족한지를 측정하기 위해 새로운 도구(Protocol Leverage Force)를 구축했으며, 이를 통해 AI가 점점 가까워지고는 있지만 여전히 "친절하지만 도움이 되지 않는" 영역에 머물러 있음을 보여주었습니다.

저자들이 언급했듯이, 우리는 단순히 "반응하는" 것이 아니라 "감정에 대해 추론할 수 있는" 시스템이 필요합니다. 그때까지 AI는 매우 예의 바르고, 지식이 풍부하지만, 약간 반복적인 루프에 갇힌 친구와 같습니다.