💬 NLP

Detection != Reliable Control: Decodable Empathy Directions Yield at Most Partial Shifts in Automated Empathy Scores

이 논문은 지시 튜닝된 거대언어모델(LLM)에서 디코딩 가능한 공감 방향이 자동화된 공감 점수를 신뢰성 있게 탐지하고 부분적으로 변화시킬 수는 있지만, 그것이 포괄적인 제어를 위한 신뢰할 수 있는 인과적 레버를 구성하지는 못하며, 특히 인간이 인지하는 측정 가능한 변화나 서로 다른 공감의 측면 및 모델 전반에 걸친 일관된 효과를 생성하는 데 실패한다는 점을 입증한다.

원저자: Haoran Jisun

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haoran Jisun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 급격히 발전하는 세상에서, 연구자들은 기계가 진정으로 인간의 감정을 이해할 수 있는지에 대해 점점 더 많은 관심을 기울이고 있습니다. 한 대중적인 아이디어는 만약 우리가 컴퓨터의 뇌 내부에서 공감과 같은 감정에 대응하는 특정 패턴을 찾아낼 수 있다면, 다이얼을 돌려 기계가 그것을 더 많이 표현하도록 만들 수 있을 것이라고 제안합니다. 이 개념은 컴퓨터가 특정 특성을 가지고 있음을 보여주는 것을 '읽어낼' 수 있다면, 그 특성을 의도적으로 변화시키도록 '조종'할 수도 있다는 믿음에 근거합니다. 이는 이러한 시스템들이 정서적 고통을 겪는 사람들에게 정서적 지원을 제공하기 위해 배치되고 있는 상황에서 특히 중요한데, 왜냐하면 도움이 되는 반응과 냉담한 반응 사이의 차이가 매우 클 수 있기 때문입니다. 그러나 기계 내부에서 감정을 감지하는 것이 그것을 신뢰성 있게 제어할 수 있는 것과 같다는 가정은 복잡한 현실 세계의 맥고인 공감의 맥락에서 엄격하게 검증된 적이 없습니다.

남가주대학교(USC)의 새로운 연구는 현대의 많은 챗봇 뒤에 있는 강력한 AI 시스템인 세 가지 서로 다른 대규모 언어 모델을 조사함으로써 이 가설에 이의를 제기합니다. 연구진은 심리학자들이 오랫동안 인식해 온 공감의 두 가지 뚜렷한 부분, 즉 타인의 관점을 이해하는 능력인 '인지적 공감'과 타인의 감정을 공유하거나 공명하는 능력인 '정서적 공감'에 초점을 맞추었습니다. 연구팀은 먼저 이 두 가지 특성에 대한 신호를 AI 모델의 내부 작동 방식 내에서 실제로 감지할 수 있음을 확인했습니다. 그들은 중립적인 반응과 높은 공감을 보이는 반응을 명확하게 구분하는 데이터상의 특정 방향을 찾아냈습니다. 이러한 감지는 잘 작동했으며, 이는 모델들이 이러한 개념에 대한 내부적 표상을 보유하고 있음을 시사합니다.

그러나 결정적인 테스트는 이러한 감지된 신호의 방향으로 작은 밀어주기(push)를 가했을 때, 실제로 AI의 행동을 의미 있는 방식으로 변화시킬 수 있는지 여부였습니다. 연구진은 이러한 밀어주기를 적용하여 모델을 더 공감하도록 유도했고, 이후 여러 자동화된 판정관과 특화된 분류기를 사용하여 결과를 측정했습니다. 결과는 두 유형의 공감 사이에 뚜렷한 차이를 드러냈습니다. 연구팀이 정서적, 즉 감정적 공명(resonance)을 높이려고 시도했을 때, 측정 가능한 변화가 나타났으나 이는 부분적인 것에 불과했습니다. 가장 성능이 좋았던 모델의 경우, 이러한 개입은 중립적인 반응과 완전히 공감하는 반응 사이의 자연스러운 격차 중 약 4분의 1 정도를 높였습니다. AI가 완전히 공감하게 된 것이 아니라, 단지 그 방향으로 약간 이동했을 뿐입니다. 테스트된 다른 모델들에서는 그 효과가 훨씬 작았으며, 때로는 거의 눈에 띄지 않을 정도였습니다.

타인의 상황을 이해하고 설명하는 능력인 인지적 공감에 대해서는 이야기가 달랐습니다. 연구진은 모델을 조종하려고 어떻게 시도하더라도 자동화된 점수가 변하지 않는다는 것을 발견했습니다. 그러나 이 연구는 중요한 뉘앙스를 제공합니다. 이러한 변화의 부재가 반드시 AI가 더 공감적으로 만들어질 수 없다는 증거는 아니라는 점입니다. 대신, 인지적 공감을 측정하는 데 사용된 도구들이 개입이 만들어냈을지도 모를 미세한 차이를 감지하기에는 너무 투박하다는 것이 밝혀졌습니다. 측정 도구들은 완전히 중립적인 메시지와 매우 감정적인 메시지의 차이는 구별할 수 있었지만, 정서적 지원의 영역 내에서 서로 다른 수준의 이해를 신뢰성 있게 구별하지는 못했습니다. 측정 도구 자체가 충분히 민감하지 않았기 때문에, 연구진은 조종의 효과가 '제로'라기보다는 '측정 불가능'한 것이라고 결론지었습니다.

아마도 가장 중요한 점은, 자동화된 점수가 변화했을 때조차 인간 독자들이 그 변화를 인지할 것이라는 증거가 없었다는 사실입니다. 인간 자원봉사자 패널에게 조종된 응답들을 판단하도록 요청했으나, 그들은 어떤 응답이 더 공감적인지를 일관되게 식별해내지 못했습니다. 이는 AI가 수행한 변화가 인간이 인지하거나 가치 있게 여길 만한 종류의 변화가 아니었음을 시사합니다. 연구진은 또한 공감 신호를 완전히 제거했을 때 AI가 덜 공감적이게 되는지를 테스트했습니다. 한 특정 모델에서 인지적 이해를 위한 신호를 제거했을 때 점수가 낮아지기는 했으나, 이 효과는 AI가 더 짧은 답변을 작성하는 것과 연관되어 있었으며, 측정 도구가 이를 감점하는 경향이 있었습니다. 연구진이 텍스트 길이를 고려했을 때도 인지적 점수에 대한 효과는 남아 있었지만, 여전히 AI의 행동을 제어하는 데 사용할 수 있는 깨끗하고 신뢰할 수 있는 스위치는 아니었습니다.

궁극적으로, 이 연구는 AI 내부에서 공감 신호를 찾는 것이 그것을 만들어내기 위한 신뢰할 수 있는 제어권을 갖는 것과 같지 않음을 보여줍니다. 모델이 정서적 공명을 조금 더 보여주도록 유도할 수는 있지만, 그 효과는 제한적이며 인간이 인지하는 개선으로 이어지지는 않습니다. 어떤 특성을 감지할 수 있는 능력이 그것을 조종할 수 있는 능력을 보장하지는 않으며, 특히 결과를 측정하는 도구가 변화를 포착할 만큼 정교하지 못할 때 더욱 그러합니다. 이 연구 결과는 AI를 정서적 지원에 배치하고자 하는 이들에게 주의를 주는 것으로, 단순히 공감을 위한 '다이얼'을 높이는 것만으로는 필요한 진정한 인간적인 연결을 만들어낼 수 없음을 나타냅니다. 이 연구는 기계가 무엇을 말하게 할 수 있는지와 인간이 실제로 경험하는 공감 사이의 간극을 강조하며, 이러한 복잡한 행동을 측정하고 제어하는 방식에 대해 더 신중한 접근을 촉구합니다.

기술 요약: 자동화된 공감 조향(Empathy Steering)에서 탐지(Detection)는 신뢰할 수 있는 제어(Control)를 의미하지 않는다

문제 정의

본 논문은 대규모 언어 모델(LLM)의 해석 가능성(interpretability)에서 발생하는 결정적인 혼동, 즉 특정 개념(예: 공감)이 은닉 상태(hidden states)로부터 **해독 가능하다(decodable)**는 사실이 전역적 개입(global interventions, steering vectors)을 통한 해당 개념의 **신뢰할 수 있는 인과적 제어(reliable causal control)**를 의미한다는 가정을 다룬다. 선행 연구들은 정서적 개념이 선형적으로 해독 가능하고 조향 가능하다는 것을 입증해 왔으나, 본 연구는 높은 프로브 정확도가 실제 인간이 인지하는 행동 변화로 이어지는지를 의심한다. 특히 공감과 같이 복잡하고 다차원적인 구조를 가진 경우 더욱 그러하다.

저자는 공감을 EPITOME 프레임워크를 사용하여 두 가지 측면으로 구분하여 구체화한다:

인지적 인식 (Recognition - Cognitive): 관점 수용을 통해 타인의 상태를 추론함 (해석/Interpretations).
정서적 공명 (Resonance - Affective): 타인의 감정에 공명함 (정서적 반응/Emotional Reactions).

핵심 문제는 "공감" 방향이 단순한 인과적 레버로 취급되지만, 실제 개입이 의도한 특정 측면을 변화시키는지, 혹은 사용된 자동화 지표가 도메인 내의 미세한 변화를 감지할 만큼 충분히 민감한지에 대한 검증이 결여되어 있다는 점이다.

방법론

본 연구는 세 가지 튜닝된 LLM(Llama-3.1-8B, Gemma-2-9b, Qwen2.5-7B)을 대상으로 엄격한 다중 도구 평가 파이프라인을 적용한다.

1. 탐지 및 조향 (Detection and Steering)

프로브 구축: 각 측면에 대해 고수준(Level 2) 및 저수준(Level 0) EPITOME 항목을 샘플링하고, 이를 클라이언트/상담사 대화 형식으로 구성한 뒤 잔차 스트림(residual-stream) 활성화를 추출한다. 프로브 방향은 클래스 평균의 차이로 설정한다.
표면 잔차화 (Surface Residualization): 해독 가능성이 어휘적 표면 형태가 아닌 내부 상태를 반영하도록 하기 위해, 프로브 투영값을 문장 임베딩 유래 표면 점수에 대해 회귀 분석한다. 이후 잔차 효과 크기(Cohen's $d$ )를 기준으로 피크 레이어를 선택한다.
개입 (Interventions):
- 가산적 조향 (Additive Steering): 피크 레이어의 잔차 스트림에 $\alpha \sigma \hat{d}$ 를 더한다.
- 방향성 제거 (Directional Ablation): 모든 레이어와 토큰 위치에서 잔차 스트림으로부터 해당 방향을 투영하여 제거한다.
- 생성 측 방향 (Production-Side Direction): 읽기 시간(read-time)과 쓰기 시간(write-time)의 불일치를 배제하기 위해 응답 토큰 활성화로부터 추정된 이차적 방향을 사용한다.

2. 평가 도구

단일 지표 평가의 편향을 피하기 위해, 모든 개입은 다음 항목들에 의해 점수가 매겨진다:

두 명의 LLM 판사: GPT-4o (Temperature 0)와 moonshot-v1-128k (Temperature 1)가 인지적 및 정서적 공감을 1~7 척도로 평가한다.
판별 분류기 (Discriminative Classifier): 재학습된 EPITIME 바이엔코더(Sharma et al., 2020)가 응답을 0~2 단계의 기대 수준으로 점수화한다.
인간 패널: 스팟 체크를 위한 6인의 자원봉사자 패널 (민감도 게이트로 사용됨).

3. 통제 및 민감도 검사

결과 해석의 오류를 방지하기 위한 핵심적인 방법론적 기여는 **양성 대조군(positive controls)**을 사용하여 무효 결과(null results)를 검증하는 것이다:

정서적 vs 중립적 대조군: 도구가 정서적 프롬프트와 중립적 프서의 응답을 분리할 수 있는지 확인한다.
도메인 내 대조군: 인지적 구체성만 다르고 온도는 유사한 쌍을 사용하여, 도구가 미세한 인지적 차이를 구별할 수 있는지 테스트한다.
길이 대조군 (Length Control): 점수 변화가 단순히 답변의 길이(verbosity)에 의한 인위적 결과가 아닌지 조정한다.

주요 결과

1. 해독 가능성 vs 제어 가능성

두 가지 측면(Recognition 및 Resonance)의 방향은 표면 점수에 대해 잔차화한 후에도 선형적으로 해독 가능하다. 그러나 해독 가능성이 신뢰할 수 있는 전역적 제어를 보장하지는 않는다.

2. 정서적(Resonance) 조향

부분적 변화: Resonance 방향을 더하면 자동화된 정서적 지표에서 점진적이고 아임계적인(sub-maximal) 변화가 나타나지만, 전역적 제어에는 도달하지 못한다.
- Qwen: 가장 강력한 효과를 보였으며, $\alpha=0$ 에서 $+8$ 까지 분류기 측정 정서 점수를 +0.29 상승시켰다. 이는 정서적 프롬프트와 중립적 프롬프트 사이의 자연스러운 격차의 약 **26%**에 해당한다.
- Llama: 유의미하지만 더 작은 효과(+0.11)를 보였으며, 이는 표면이 얽힌 피크 레이어에서만 관찰되었다.
- Gemma: 효과가 거의 무시할 만한 수준이다(+0.05).
특이성 (Specificity): 변화는 측면 특이적이다. Qwen과 Llama에서 Resonance를 더하면 인지적 점수는 높이지 않으면서(때로는 낮추면서) 정서적 점수만 높였다. 이는 일반적인 점수 인플레이션이 아님을 입증한다.
인간의 지각: 결정적으로, 본 논문은 일치하는 인간 지각 변화를 입증하지 못했다. 인간 패널은 일치도가 우연 수준에 가까운 것으로 나타나 민감도 게이트를 통과하지 못했으며, 이로 인해 인간이 느끼는 변화는 "측정 불가능"한 상태가 되었다.

3. 인지적(Recognition) 조향

측정 불가능한 무효값 (Unmeasurable Nulls): Recognition 측면에 대한 가산적 조향은 모든 모델과 도구에서 평탄한 곡선을 나타냈다.
도구의 한계: 이러한 평탄함은 효과의 부재가 아니라 도구의 민감도 부족 때문이다.
- 판별 분류기의 인지 헤드는 Level 0/617 테스트 항목에 대해 Level 1을 예측하는 이진 측정기처럼 작동하며, 미세한 인지적 차이를 해결할 해상도가 부족하다.
- 인간 패널 역시 인지적 뉘앙스를 구별하는 데 실패했다.
- 따라서 저자는 가산적 인지 조향이 '깨끗한 무효(clean null)'가 아니라 **'측정 불가능(unmeasurable)'**하다고 결론짓는다.
제거(Ablation) 예외: Gemma에서 Recognition 방향을 제거했을 때, 길이 조정을 거친 후에도 분류기의 인지 점수가 유의미하게 하락했다( $\Delta \approx -0.20$ ). 그러나 이 효과는 거친 대비 척도(분류기에 의해 검증됨)에서 관찰되었을 뿐, 가산적 조향에서의 측정 가능한 변화로 이어지지는 않았다.

4. 텍스트 영향

조향은 텍스트를 실질적으로 재작성한다(Qwen의 경우 MPNet 코사인 유사도가 0.78–0.83으로 감소). 텍스트 변화의 크기는 정서적 점수의 변화량과 상관관계가 있다. 즉, 텍스트가 크게 변할 때 정서적 변화가 나타나고, 텍스트 변화가 거의 없을 때는 정서적 이득도 사라진다.

의의 및 주장

본 논문의 주요 기여는 다음의 세 가지 혼동된 주장을 엄격히 분리한 것이다:

해독 가능성 (Decodability): 속성이 은닉 상태에서 탐지됨.
자동화 지표 제어 (Automated-Metric Control): 전역적 개입 하에서 속성이 변화함.
인간 지각 변화 (Human-Perceived Change): 속성이 인간이 인지하는 방식으로 변화함.

저자는 탐지가 신뢰할 수 있는 전역적 개입을 통한 제어를 의미하지 않는다고 주장한다. 구체적으로:

측정 민감도: 특히 LLM 판사나 거친 분류기에 의존하는 "인지적 공감" 효과에 대한 주장은 명시적인 민감도 검사를 요구한다. 본 연구는 기존 도구들이 조향 효과를 판별할 만큼의 해상도를 갖추지 못했음을 보여준다.
부분적 vs 전역적 제어: 정서적 공감의 경우에도, 전역적 조향은 견고하고 제어 가능한 레버라기보다 모델에 따라 상이한 부분적 변화(최상의 경우에도 자연적 격차의 약 26%)만을 일으킨다.
배포 시 주의사항: 본 결과는 정서적 지원 환경에서 활성화 수준의 공감 조향을 과신하여 배포하는 것에 대한 경고를 준다. 자동화된 점수의 변화가 반드시 전문가나 인간 독자가 인지하는 공감의 변화를 의미하는 것은 아니다.

결론적으로, 공감 방향은 해독 가능하지만, 공감적 행동을 제어하기 위한 신뢰할 수 있는 전역적 레버는 아니며, 현재의 자동화된 지표들은 이론적으로 개입이 만들어낼 수 있는 미세한 인지적 차이를 해결하는 데 한계가 있다.