🤖 AI

Emotional regulation improves deep learning-based image classification

이 논문은 인공적 주관적 경험과 정동 사전 학습을 활용하여 CIFAR 벤치마크에서의 이미지 분류 성능을 크게 향상시키고 감정 증강 학습의 새로운 최첨단 기술(state-of-the-art)을 확립하는 새로운 딥러닝 프레임워크인 "Emotional Regulation"을 소개한다.

원저자: Riccardo Emanuele Landi, João M. F. Rodrigues, Marta Chinnici

게시일 2026-06-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Riccardo Emanuele Landi, João M. F. Rodrigues, Marta Chinnici

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: AI에게 "기분"을 부여하기

여러분이 로봇에게 고양이와 강아지 사진을 구별하는 법을 가르치고 있다고 상상해 보세요. 보통은 로봇에게 수천 장의 사진을 보여주며 "이것은 고양이고, 이것은 강아지야"라고 말합니다. 로봇은 형태와 색상을 암기하며 학습합니다.

이 논문은 다른 질문을 던집니다: 만약 로봇에게 세상을 보는 방식을 바꾸는 "기분"이나 "과거의 경험"이 있다면 어떻게 될까?

인간의 경우, 감정은 우리가 학습하는 방식을 변화시킵니다. 만약 여러분이 이미 불안함을 느끼는 상태에서 무서운 거미 사진을 본다면, 평온할 때 볼 때와는 다르게 그 사진을 기억하게 될 것입니다. 연구진들은 AI에게 이와 유사한 "감정적 이력(emotional history)"을 부여하는 것이 이미지를 인식하는 능력을 더 똑똑하게 만들 수 있을지 알아보고자 했습니다.

기존 AI "감정"의 문제점

이전의 AI 감정 구현 시도들은 마치 전선으로 만든 가짜 심장을 가진 로봇을 만드는 것과 같았습니다. 그들은 인간 뇌의 생물학적 구조(호르몬이나 특정 뇌 부위 등)를 복제하려 노력했습니다. 하지만 저자들은 이것이 인간 감정의 가장 중요한 부분인 **주관성(subjectivity)**을 놓치고 있다고 주장합니다.

기존 방식: "내 뇌에 도파민이라는 화학 물질이 있으니 나는 행복하다." (하드웨어/생물학에 집중)
새로운 방식: "어제 노을을 보았고, 그것이 나를 차분하게 만들었기에, 나는 지금 세상을 '차분한' 렌즈를 통해 보고 있다." (경험/주관성에 집중)

해결책: "감정 조절 (Emotional Regulation)"

연구진은 **감정 조절(Emotional Regulation)**이라 불리는 새로운 시스템을 구축했습니다. 이것을 이미지를 식별하기 위해 협력하는 3인 팀이라고 생각해보세요.

논리 봇 (비감정적): 표준적인 AI입니다. 사진을 보고 "픽셀을 기준으로 볼 때, 이것은 90% 확률로 고양이입니다"라고 말합니다. 감정이 없습니다.
감정 봇 (감정에 영향을 받는 모델): 이 AI는 감정적인 이미지 데이터셋(화난 얼굴, 행복한 풍경, 슬픈 장면 등)을 통해 "사전 학습"되었습니다. 이 봇은 이미지를 감정과 연결하는 법을 배웁니다. 사진을 보고 "이것은 '무서운' 혹은 '행복한' 이미지처럼 느껴진다"라고 말합니다.
심판 (조절자): 이 부분이 가장 중요한 새로운 요소입니다. 심판은 논리 봇과 감정 봇의 말을 모두 듣습니다. 그리고 결정합니다: "지금 이 순간, 내가 감정 봇의 말을 얼마나 들어야 할까?"

비유하자면:
여러분이 시험을 치르고 있다고 상상해 보세요.

논리 봇은 여러분의 교과서 지식입니다.
감정 봇은 과거 경험에 기반한 여러분의 직감이나 통찰력입니다.
심판은 직감을 믿을지, 아니면 교과서대로 할지 결정하는 여러분의 뇌입니다.

때로는 직감이 정답을 맞히는 데 도움을 주지만, 때로는 여러분을 속이기도 합니다. "감정 조절" 시스템은 정확히 언제 (감정적 이력을 바탕으로 한) "직감"을 믿어야 최종 답변을 개선할 수 있는지 학습합니다.

실험 방법

연구진은 단순히 추측만 한 것이 아니라 대규모 실험을 수행했습니다.

"기분" 학습: 먼저 연구진은 네 가지 서로 다른 감정적 이미지 세트(실제 사진, 추상화, 심지어 AI가 생성한 예술 작품 등)를 사용하여 "감정 봇"을 가르쳤습니다. 이를 통해 봇에게 "주관적 이력"을 부여했습니다.
테스트: 그 후, 전체 팀(논리 + 감정 + 심판)에게 두 가지 매우 유명하고 어려운 이미지 세트인 CIFAR-10(10가지 유형의 물체)과 CIFAR-100(100가지 유형의 물체)을 식별하도록 요청했습니다.

결과: 감정이 AI를 더 똑똑하게 만든다

결과는 명확했습니다. "심판"과 "감정적 이력"을 가진 팀이 승리했습니다.

더 높은 점수: 새로운 시스템은 표준적인 "논리 전용" AI보다 높은 성적을 거두었습니다. 예를 들어, 더 어려운 테스트인 CIFAR-100에서 새로운 시스템은 표준 모델에 비해 정확도가 3% 이상 향상되었습니다. AI 분야에서 이는 엄청난 도약입니다.
새로운 기록: 이 논문은 이 방법이 특정 이미지 데이터셋에 대한 감정 증강 딥러닝 분야에서 현재 "SOTA(State-of-the-art, 세계 최고 수준)"라고 주장합니다.
단순히 "더 많은 감정"을 넣은 것이 아님: 흥미롭게도, 이 시스템은 맹목적으로 감정을 따르지 않았습니다. "심판"은 두 가지 사이의 균형을 잡는 법을 배웠습니다. 감정적 이력이 혼란을 줄 때는 심판이 논리 봇에 더 의존했고, 감정이 도움이 될 때는 감정 봇 쪽으로 기울었습니다.

이것이 의미하는 바 (논문에 따르면)

논문은 주관적 경험이 중요하다고 결론짓습니다. 비록 이 AI가 실제 감정을 가진 인간은 아니지만, "감정적 경험의 이력"을 시뮬레이션하는 것은 학습을 더 잘하게 도와줍니다.

인간의 생물학을 복제하는 것이 아닙니다: 그들은 가짜 호르몬을 가진 디지털 뇌를 만들려고 시도하지 않았습니다.
"인공적 주관성"에 관한 것입니다: 그들은 AI가 어떻게 반응했는지에 대한 "개인적 이력"을 갖게 하고, 그 이력을 사용하여 오늘 더 나은 결정을 내리도록 하는 시스템을 만들었습니다.

요약

이 논문을 사진을 단순히 "보는" 것을 넘어, 이전에 비슷한 사진을 보았을 때 어떤 기분이 들었는지 "기억하는" 로봇을 가르치는 과정이라고 생각하세요. 그 기억을 언제 믿어야 할지 아는 "심판"을 추가함으로써, 로봇은 눈앞에 있는 것이 무엇인지 훨씬 더 잘 인식하게 됩니다. 이 논문은 약간의 "인공적 주관성"을 부여하는 것이 학습 능력을 유의미하게 향상시킨다는 것을 증명합니다.

기술 요약: 감정 조절(Emotional Regulation)을 통한 딥러닝 기반 이미지 분류 성능 향상

문제 정의
기존의 감정 증강 딥러닝 방법들은 주로 해부학적 뇌 구조(예: 편도체, 전전두엽 피질)나 호르몬 과정(예: 도파민, 불안, 자신감)과 같은 객관적인 신경생리학적 요인에 의존해 왔습니다. 이러한 접근 방식은 유망한 결과를 보여주었으나, 감정적 반응에서의 주관성(subjectivity) 역할을 간과했습니다. 인간의 감정적 반응은 단순히 생리적 상태에 의해 결정되는 것이 아니라, 주관적 경험과 감정적 이력에 의해 크게 영향을 받습니다. 또한, 이 분야의 기존 연구들은 종종 엔드 투 엔드(end-to-end) 학습 아키텍처가 결여되어 있었거나 다양한 감정 자극 세트에 걸쳐 검증되지 않아, 결과의 견고함과 일반화 능력이 제한적이었습니다. 본 논문은 순수하게 신경생리학적 정의를 따르는 대신 주관적 경험을 통합함으로써 인공 감정 모델링의 공백을 메우고자 합니다.

방법론: 감정 조절 프레임워크
본 연구는 "인공적 주관적 경험"을 통해 딥러닝에서 감정을 모델링하도록 설계된 감정 조절(Emotional Regulation) 프레임워크를 소개합니다. 핵심 메커니즘은 학습된 정동 상태(affective state)를 기반으로 비감정적 예측과 감정적 영향이 반영된 예측 사이의 균형을 맞추는 것입니다.

아키텍처: 프레임워크는 세 가지 인코더를 사용합니다:
- 비감정 인코더 ( $E_n$ ): 비감정적 표현을 생성하는 원래의 백본(ResNet-50 또는 ViT-B/16)입니다.
- 감정 영향 인코더 ( $E_i$ ): 비감정 인코더의 특징과 감정 인코더의 특징을 결합하여 임베딩을 학습합니다.
- 감정 인코더 ( $E_e$ ): 자극-감정 인스턴스 데이터셋으로부터 "감정적 이력"을 학습하는 고정된 사전 학습 구성 요소입니다. 이는 감정 스펙트럼 벡터( $e$ )를 출력합니다.
조절 과정 ( $R$ ): 학습 가능한 조절 레이어는 감정적 결과( $\hat{e}$ )에 따라 비감정적( $p_n$ ) 모델과 감정 영향( $p_i$ ) 모델의 출력을 가중치로 조절합니다. 최종 예측( $p_r$ )은 다음과 같이 계산됩니다:
$p_r = \hat{e} \cdot h_r \cdot p_n + (1 - \hat{e} \cdot h_r) \cdot p_i$
여기서 $h_r$ 은 특정 감정에 대한 조절 강도를 나타내는 학습 가능한 가중치 벡터입니다.
학습 단계:
- 감정 사전 학습: 감정 인코더는 시각적 자극과 감정 범주 사이의 매핑을 학습하기 위해 특정 감정 데이터셋(예: EMOd, Diffused-EMOd, Abstract, EmoSet)에 대해 최적화됩니다.
- 사전 학습: 비감정 및 감정 영향 인코더는 다운스트림 태스크에 대해 최적화되거나 고정됩니다.
- 학습: 전체 시스템이 최적화되며, 두 예측 스트림 사이의 균형을 맞추기 위해 조절 과정( $h_r$ )을 학습합니다.
실험 구성: 저자들은 학습 불가능한 조절(고정 가중치), 고정된 사전 학습 인코더를 가진 학습 가능한 조절, 그리고 완전한 엔드 투 엔드 학습 구성을 포함한 여러 변형을 평가했습니다. 실험에는 ImageNet으로 사전 학습된 후 CIFAR-10 및 CIFAR-100에 미세 조정된 ResNet-50 및 ViT-B/16 백본이 사용되었습니다.

주요 기여

새로운 모델링 접근법: 신경생리학적 모델만으로는 부족한 부분을 메우기 위해, 인공적 주관적 경험을 통해 딥러닝에서 정동 상태를 정의하는 방법으로서 감정 조절을 제안합니다.
엔드 투 엔드 확장: 기존의 비 엔드 투 엔드 구현의 한계를 넘어, 감정 조절 프레임워크를 완전한 엔드 투 엔드 학습 아키텍처로 확장했습니다.
강력한 검증: 실생활 자극, 합성 확산 생성 이미지, 추상화, 대규모 균형 세트 등 네 가지의 뚜렷한 감정 데이터셋을 통해 접근 방식의 일반화 가능성을 검증했습니다.
최첨단 성능 달성: 제안된 방법이 대규모 이미지 분류 벤치마크(CIFAR-10 및 CIFAR-100)에서 기존의 감정 증강 솔루션보다 우수한 성능을 보임을 입증했습니다.

결과
광범한 실험 결과, 학습 가능한 조절 전략이 원래의 백본 및 비감정 베이스라인보다 일관되게 우수한 성능을 보였습니다:

성능 향상: CIFAR-10에서 가장 우수한 구성(Rand-Learn-E-Reg with ViT)은 ViT 백본 대비 **0.34%**의 정확도 향상을 보였습니다. CIFAR-100에서는 ViT의 경우 1.02%, ResNet의 경우 **3.19%**의 향상을 기록했습니다.
기존 연구와의 비교: 제안된 방법은 CIFAR-10 및 CIFAR-100에서 기존의 SOTA 모델인 AEmNN(감정 역전파를 사용하는 이전 모델)을 크게 앞질렀습니다. AEmNN의 정확도는 각각 **97.32%**와 **86.24%**를 기록하여, 기존의 54.76% 및 27.53%와 대비되는 성과를 냈습니다.
조절 역학: 연구 결과 최적의 조절 강도는 고정되어 있지 않으며, 감정적 이력(사전 학습 데이터셋)과 다운스트림 태스크에 따라 크게 달라진다는 것을 발견했습니다. 예를 들어, Diffused-EMOd로 학습된 모델은 의미론적으로 대조되는 감정(예: 공포 vs 행복)에 대해 상당한 조절을 보였으나, 다른 모델들은 특정 밸런스(valence)를 선호했습니다.
어블레이션 통찰: 학습 가능한 조절은 일관된 개선을 제공한 반면, 학습 불가능한(고정된) 조절은 백본 이상의 이득을 보장하지 못했습니다. 이는 감정에 완전히 영향을 받는 모델이 항상 학습을 개선하는 것은 아니며, 더 나은 일반화를 위해서는 인지적 작용을 조절할 수 있는 조절 메커니즘이 필수적임을 시사합니다.

의의 및 주장
본 논문은 감정 조절이 대규모 비전 데이터셋을 위한 감정 증강 딥러닝의 새로운 최첨단(SOTA)을 구축한다고 주장합니다. 본 연구는 주관적 경험을 인공적 감정 이력으로 모델링하는 것이 머신러닝 최적화 개선에 중요한 요소라는 증거를 제시합니다.

저자들은 본 연구가 인간의 인지를 복제하거나 인공적 결과를 경험적 인간 연구와 동일시한다고 주장하는 것이 아님을 강조합니다. 이 연구의 의의는 "인공적 주관성"(조절 메커니즘을 통해 감정적 표현과 비감정적 표현의 균형을 맞춤으로써 구현됨)을 도입하는 것이 신경망의 일반화 능력을 향상시킨다는 점을 입증하는 데 있습니다. 이 프레임워크는 감정이 적절히 조절될 때 시각적 자극의 학습을 개선하는 인지적 요인으로 작용할 수 있음을 시사하며, 이는 컴퓨터 비전 및 인간-로봇 상호작용 분야의 미래 아키텍처를 위한 유망한 경로를 제시합니다.