💬 NLP

Nine Emotion Centroids: A Label-Free Valence Axis That Transfers Across Four Modalities

이 논문은 단 아홉 개의 감정 범주와 짧은 서사로부터 유도된 단일하고 레이블 효율적인 '가치 축(valence axis)'이, 대상 개념이 범주적이기보다 연속적이라는 전제하에, 고정된 언어 모델로부터 추출되어 시각, 오디오 및 뇌 인코더로 성공적으로 전이되어 높은 정확도로 정서(sentiment)를 예측할 수 있음을 입증한다.

원저자: Yousef Radwan

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yousef Radwan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대적인 컴퓨터 언어 모델의 거대하고 정적이며 구조적인 내부에서는, 기계가 문장을 읽을 때마다 수천 개의 뉴런이 복잡한 패턴을 그리며 발화합니다. 수년 동안 과학자들은 이 전기적 폭풍 속에 특정 아이디어를 추적하는 단순하고 곧은 선들이 숨겨져 있다고 의심해 왔으며, 이는 마치 북쪽을 가리키는 단 하나의 나침반 바늘과 같습니다. '내부 방향(internal directions)'이라 불리는 이 선들은 문장이 인물에 관한 것인지, 모델이 요청을 거절하려는 것인지, 혹은 특정 개념이 특정 국가를 지칭하는지를 알려줄 수 있습니다. 하지만 가장 근본적인 인간의 경험 중 하나인, 어떤 것이 좋은지 나쁜지, 즐거운지 불쾌한지에 대한 느낌은 포착하기가 더 어려운 상태로 남아 있었습니다. '정서가(valence)'라고 불리는 이 감정적 전하는 우리가 세상을 판단하는 핵심입니다. 기계가 수천 개의 사례를 명시적으로 학습하지 않고도 이러한 느낌을 자연스럽게 감지할 수 있는지 이해하는 것은, 인공지능이 진정으로 어떻게 생각하고 느끼는지 알기 위한 중요한 단계입니다.

한 연구자가 이제 이러한 정서적 긍정 또는 부정의 감각이 기계의 정신 속에 무작위로 흩어져 있는 것이 아님을 발견했습니다. 대신, 그것은 놀라울 정도로 적은 노력만으로도 찾을 수 있는 하나의 명확한 경로를 따라 존재합니다. 텍스트, 이미지, 소리, 심지어 인간의 뇌 활동을 포함한 연구에서, 연구자는 단 아홉 개의 단순한 단어와 몇 백 개의 짧은 이야기만을 사용하여 이 정서적 방향을 찾아낼 수 있음을 보여주었습니다. 그들은 기계에 '행복'이나 '슬픔'의 문장이라는 라벨이 붙은 수천 개의 사례를 입력할 필요가 없었습니다. 대신, 그들은 기계에게 분노, 기쁨, 공포와 같은 특정 감정에 고정된 아홉 개의 짧은 서사를 읽게 했습니다. 이 이야기들에 대한 기계의 내부 반응을 평균함으로써, 그들은 부정에서 긍정으로 뻗어 나가는 단 하나의 활동 선을 찾아냈습니다. 연구자가 'V-축(V-axis)'이라고 부르는 이 선은 보편적인 감정 다이얼 역할을 합니다. 새로운 정보를 이 선 위에 투영했을 때, 기계는 문장, 사진, 소리, 심지어 비디오를 시청하는 인간의 뇌 기록의 정서적 톤을 방대한 양의 데이터로 훈련된 시스템과 맞먹는 정확도로 정확하게 예측할 수 있었습니다.

이 발견을 특히 놀랍게 만드는 것은 동일한 정서적 선이 함께 학습된 적이 없는 기계들 사이에서도 나타난다는 점입니다. 연구자는 이를 네 가지 다른 유형의 시스템에 대해 테스트했습니다: 텍스트를 읽는 언어 모델, 이미지를 보는 시각 시스템, 소리를 듣는 오디오 시스템, 그리고 인간의 뇌에서 나오는 전기 신호를 해석하는 모델입니다. 이 시스템들은 서로 학습 데이터를 공유하지 않았으며, 완전히 다른 작업을 위해 구축되었습니다. 그럼에도 불구하고, 연구자가 이 단순한 아홉 가지 이야기 방법을 각 시스템에 적용했을 때, 모든 경우에서 동일한 정서적 방향이 나타나는 것을 발견했습니다. 이는 마치 '좋음'과 '나쁨'이라는 개념이 너무나 근본적이어서, 텍스트 판독기, 이미지 인식기, 뇌 모니터의 마음속에 유사한 형태를 만들어내는 것과 같습니다. 연구자는 텍스트 라벨로만 훈련된 분류기를 가져와 이미지, 소리, 뇌파의 정서적 톤을 읽도록 함으로써 이를 검증했습니다. 그것은 높은 정확도로 작동했으며, 이는 단일한 정서적 차원이 보는 것, 듣는 것, 읽는 것, 그리고 생각하는 것 사이의 간극을 메운다는 것을 증명했습니다.

연구자는 또한 이 선이 단순히 우연히 정서적 데이터 근처에 위치한 수동적인 표식이 아니라는 점을 증명했습니다. 이 선이 실제로 역할을 수행하는지 테스트하기 위해, 그들은 외과적 실험을 수행했습니다. 그들은 언어 모델을 가져와 문장을 처리하는 동안 이 특정 정서적 방향을 수학적으로 제거했습니다. 이렇게 했을 때, 문장의 정서를 이해하는 기계의 능력이 붕괴되었습니다. 어떤 경우에는 정확도가 30퍼센트 포인트 이상 떨어졌지만, 동일한 크기의 무작위 방향을 제거했을 때는 거의 아무런 영향이 없었습니다. 이는 기계가 자신의 정서적 판단을 내리는 데 있어 이 특정 경로에 의존하고 있음을 시사합니다. 그러나 연구자는 또한 이러한 능력이 모든 기계에서 동일하지는 않다는 것을 발견했습니다. 서로 다른 계열의 모델들에서 이 선을 찾아낼 수는 있었지만, 기계의 행동을 조종하기 위해 이를 사용하는 것은 일부 모델에서만 가능했습니다. 특정 모델들의 경우, 선은 존재하고 탐지될 수 있었지만, 이를 기계의 생각에 다시 더하는 것이 출력값에 변화를 주지 못했습니다. 이는 정서적 방향이 이러한 시스템들의 보편적인 특징이지만, 기계가 이를 사용하는 방식은 각자의 구체적인 이력과 설계에 따라 달라진다는 것을 나타냅니다.

이 연구는 또한 이 방법이 할 수 없는 것에 대해서도 명확히 했습니다. 연구자는 이 접근 방식을 특정 사물이나 단어 범주를 식별하는 것과 같은 다른 유형의 개념들에 테스트했으나, 명확한 방향을 찾는 데 실패했습니다. 이 방법은 날카롭고 뚜렷한 범주가 아니라, 데이터가 한쪽 끝에서 다른 쪽 끝으로 부드럽게 미끄러질 수 있는 정서적 톤과 같은 연속적인 감정을 위해서 특별히 작동합니다. 더욱이, 이 방법이 뇌 데이터 자체에 라벨을 붙일 필요 없이 뇌 기록에서 정서적 선을 찾아냈음에도 불구하고, 뇌 모델을 위한 초기 설정에는 긍정과 부정의 감정을 구분하기 위한 일부 지도 학습(supervised training)이 필요했습니다. 이는 '라벨이 없는(label-free)' 성공이 정서를 읽는 최종 단계에 적용되는 것이지, 뇌 모델의 초기 구축 과정에 적용되는 것이 아님을 의미합니다. 이러한 경계에도 불구하고, 이 연구 결과는 인공지능의 내부를 들여다보는 강력한 새로운 방법을 제시합니다. 단일하고 단순한 방향이 텍스트, 시각, 소리, 그리고 뇌 활동을 가로질러 인간의 감정의 본질을 포착할 수 있음을 보여줌으로써, 이 연구는 가장 복잡한 인간의 감정이 놀라울 정도로 단순하고, 공유되며, 접근 가능한 방식으로 기계 안에 표현될 수 있음을 시사합니다.

기술 요약: 9가지 감정 중심점(Centroids)과 교차 모달리티 가치 축(Cross-Modality Valence Axis)

1. 문제 정의

파운데이션 모델 내에서 고수준 속성(예: 감성 또는 가치/Valence)을 식별하는 현재의 방법들은 일반적으로 지도 학습(Supervised Learning)에 의존한다. 이는 수천 개의 레이블이 지정된 예시(예: 긍정 대 부정 문장)를 사용하여 선형 분류기를 학습시켜 모델의 은닉 상태 공간 내에서 특정 "방향"을 추출하는 방식이다. 이러한 접근법은 데이터 집약적이며, 각 모달리티의 인코더들이 공동 사전 학습 없이 독립적으로 학습되었기 때문에 모달리티(텍스트, 비전, 오디오, 뇌파) 간에 일반화되는 데 실패하는 경우가 많다.

본 논문은 두 가지 구체적인 격차를 다룬다:

레이블 효율성: 연속적인 속성 축을 매우 적은 레이블 예산(수천 개가 아닌 수십 개 수준)으로 복구할 수 있는가?
교차 모달리티 전이: 결코 공동 학습되지 않은 근본적으로 다른 인코더들(텍스트, 이미지, 오디오, EEG) 사이에 단일한 태스크 관련 방향이 존재하는가? 만약 존재한다면, 한 모달리티에서 학습된 분류기가 재학습 없이 다른 모달리티에서도 작동할 수 있는가?

2. 방법론: "레시피(Recipe)"

저자는 V-축(Valence Axis, 가치 축) 레시피라고 불리는 레이블 프리(텍xt, 이미지, 오디오의 경우) 구축 방법을 제안한다. 이 과정은 이진 감성 레이블보다는 감정 카테고리의 기하학적 구조에 의존한다.

알고리즘 1: V-축 구축

입력: 동결된 인코더 $f_\theta$ , 특정 레이어 $\ell$ , 그리고 9가지 감정 카테고리 명칭(분노, 혐오, 공포, 슬픔, 즐거움, 기쁨, 영감, 부드러움, 중립).
데이터 생성: 각 9개 카테고리에 대해, 저자는 특정 감정을 유발하는 $\approx 50$ 개의 짧은 서사적 문단(총 $\approx 450$ 개 문장)을 작성한다. 결정적으로, 이들은 이진 감성 극성(예: "분노" 이야기가 반드시 이진적 의미에서 부정적인 것은 아니지만, 정서적으로 격앙되어 있음)을 위해 큐레이션된 것이 아니다.
임베딩 및 풀링: 각 문장은 동결된 인코더를 통과한다. 고정된 레이어 $\ell$ 의 마지막 토큰에서의 잔차 스트림(residual stream) 활성화 값이 추출된다.
중심점(Centroid) 계산: 각 감정 카테고리에 대한 활성화 값을 평균하여 $d$ -차원 은닉 상태 공간 내의 9개 감정 중심점( $\mu_c$ )을 형성한다.
SVD/PCA: 9개의 중심점을 중앙 집중화하고, 결과물인 $9 \times d$ 행렬에 대해 특이값 분해(SVD)를 수행한다. 9개 중심점 사이의 최대 분산을 나타내는 첫 번째 우특이 벡터( $v_1$ )를 V-축으로 정의한다.

모달리티 적응

텍스트: LLM(Llama-3, Qwen3)을 사용한다. V-축은 잔차 스트림에서 추출된다.
비전: CLIP-이미지 인코더를 사용한다. 텍스트를 대신하여 EmoSet 데이터셋에서 각 감정과 상관관계가 높은 $\approx 50$ 개의 이미지를 사용한다.
오디오: CLAP-오디오 인코더를 사용한다. 텍스트를 대신하여 ESC-50에서 각 감정과 상관관계가 높은 $\approx 50$ 개의 오디오 클립을 사용한다.
EEG: CBraMod 인코더를 사용한다. 참고: EEG 축 구축은 예외적이다; 비지도 9-클래스 PC1은 가치(valence)가 아닌 각성(arousal)을 포착하여 실패했다. 대신, EEG 특징 공간 내에서 이진 가치 레이블에 대해 지도 학습 기반의 Fisher 선형 판별 분석(LDA)을 적용했다. EEG에 대한 "레이블 프리" 주장은 축 구축 자체가 아니라 분류기 헤드에 적용되는 것이다.

레이어 선택

표준 모델 (Llama, Mistral, Qwen3 base/instruct): 최적의 레이어는 중간 깊이( $\ell \approx L/2$ )이다.
추론 증류 모델 (DeepSeek-R1-Distill, Qwen3-thinking): V-축은 중간 깊이에서 억제되며, 최종 레이어 근처( $\ell \approx L$ )에서 회복된다.

3. 주요 기여

레시피: 9가지 감정 이름과 $\approx 450$ 개의 레이블 없는 서사 문장만을 사용하여 1차원 가치 축을 추출하는 완전히 명시적이고 재현 가능한 방법(표준 지도 학습 프로브 대비 약 $1,500$배 감소된 레이블 비용)을 제공한다.
4-모달리티 프로브: 동일한 레시피가 텍스트, 비전, 오디오, EEG 인코더에서 인간의 가치 평가 및 지도 학습 분류기와 상관관계가 있는 V-축을 생성함을 입증한다.
인과적 증거: 방향성 제거(Directional Ablation, Arditi et al., 2024)를 적용하여, V-축을 은닉 상태에서 외과적으로 제거했을 때 감성 분류 성능이 유의미하게 저하되는 반면, 동일한 크기의 무작위 방향을 제거했을 때는 그렇지 않음을 보여준다.
범용 교차 모달 분류기: 텍스트(SST-2) 레이블로만 학습된 단일 2-파라미터 로지스틱 회귀 헤드가 타겟 모달리티의 레이블 없이도 이미지, 오디오, EEG에서 감성을 성공적으로 분류한다.
범위 경계: 레시피의 한계를 식별한다: 이 방법은 연속적 속성(가치)에는 작동하지만, 범주적 개념(예: 객체 클래스, AxBench 개념)에는 실패하며, 모델 제품군별 제어 가능성(Llama/Mistral에서는 작동하나 Qwen/Gemma에서는 실패)을 보인다.

4. 주요 결과

지도 학습 베이스라인 대비 성능

V-축은 모든 모달리티에서 모든 완전 지도 학습 분류기에 근접한 감성 성능을 회복한다:

텍스트 (Llama-3-8B): AUC 0.772 vs 지도 학습 0.828 (지도 학습 성능의 93%).
비전 (CLIP): 인간 평가와의 피어슨 상관계수 $r = +0.636$ vs 지도 학습 $r=0.81$ . 무작위 방향 널(null) $|r| \le 0.112$ .
오디오 (CLAP): ESC-50에 대한 평균 AUC 0.906 (지도 학습 0.94).
EEG (CBraMod): AUC 0.720 (지도 학습 0.83).

인과적 제거 (Causal Ablation)

추론 중 잔차 스트림에서 V-축을 제거하면 SST-2 정확도가 크게 떨어진다:

Llama-3-8B: 5.5 퍼센트 포인트(pp) 하락.
Qwen3-1.7B: 15.8 pp 하락.
Qwen3-8B: 37.2 pp 하락.
대조군: 크기가 일치하는 3개의 무작위 방향을 제거했을 때의 하락폭은 $\le 0.88$ pp였다. 이 신호는 무작위 널(random null)보다 $12$ 표준 편차 이상 높다.

교차 모달 전이

텍스트 V-축 투영으로 학습된 분류기는 다른 모달리티로 매우 효과적으로 전이된다 (모든 $4 \times 4$ 행렬의 12개 비대각 셀이 AUC 0.70을 초과함):

텍스트 $\to$ 이미지: AUC 0.961.
텍스트 $\to$ 오디오: AUC 0.764.
텍스트 $\to$ EEG: AUC 0.828.
베이스라인 비교: 태스크 레이블 없이 계산된 일반적인 16차원 공유 부분 공간(shared subspace)은 우연 수준의 성능(AUC 0.525)을 보였다. 하나의 태스크 관련 차원(V-축)이 16개의 일반 차원보다 0.18–0.44 AUC 더 높은 성능을 보였다.

한계 및 경계

범주적 개념: 레시피는 범주적 개념(예: AxBench Concept-500, 객체 클래스)에 대해 실패하며, 거의 우연 수준의 성능을 반환한다.
제어 가능성(Steerability): V-축을 생성에 다시 추가하는 것은 Llama 및 Mistral 제품군에서 감성을 조절하지만, Qwen 및 Gemma 제품군에는 효과가 없다.
EEG 감독: EEG V-축 자체는 지도 레이블이 필요했다; "레이블 프리" 측면은 교차 모달 분류기 헤드에 국한된다.
데이터 양: 각 감정당 풀(pool)이 너무 작으면(예: 단일 단어 사용 시 AUC 0.50) 레시피가 붕괴된다. 유의미한 결과를 위해서는 감정당 $\approx 20$ 개의 문단이 필요하다.

5. 의의 및 주장

본 논문은 **가치(valence)**가 다음과 같은 드문 속성이라고 주장한다:

최소한의 감독(9개 예시 + 프롬프트)으로 복구될 만큼 단순하다.
서로 다른 인코더들(텍스트, 비전, 오디오, 뇌) 사이에 충분히 공유되어, 단일 1차원 차원을 통해 이들을 연결할 수 있다.

저자는 이를 분석적 정리(analytical theorem)라기보다 경험적 규칙성(empirical regularity)으로 규정한다. 그들은 선형 표현 가설(Linear Representation Hypothesis, LRH)이 일반적으로 범주적 판별자(categorical discriminants)에 적용되는 반면, V-축은 이러한 판별자들과 대략적으로 직교하는 연속적 속성 방향을 나타낸다고 주장한다. 이 연구는 플라토닉 표현 가설(Platonic Representation Hypothesis, 인코더들이 객체 유사성에 수렴한다는 가설)을 태스크 관련 1차원 방향으로 확장하며, 이는 공동 사전 학습이 없는 인코더들(인간의 뇌 활동 포함)에서 독립적으로 출현한다.

연구는 V-축이 단순히 상관관계가 있는 특징이 아니라, 감성 처리 과정에서 기계적으로 활성화되어 있다는 것을 SST-2 성능의 심각한 저하를 통해 입증하며, 타겟 모달리티의 레이블 없이도 감성을 분류하기 위한 범용적인 가교 역할을 한다고 결론짓는다.