기술적 요약: 교차 모달 정보 흐름을 통한 대규모 비전 - 언어 모델의 감정 회로 해석 및 강화

1. 문제 제기

대규모 비전 - 언어 모델 (LVLMs) 은 공감 능력을 갖춘 에이전트로 진화하고 있지만, 여전히 **감정적 환각 (emotional hallucinations)**에 취약합니다. 사실적 오류를 초래하는 객체 환각과 달리, 감정적 환각은 시각적 자극의 정서적 내용과 모순되는 언어적으로 일관된 내러티브를 생성하는 것을 의미합니다 (예: 우는 얼굴을 기쁨을 표현한다고 묘사하는 경우). 이러한 불일치는 사회적 규범과 윤리적 경계를 위반할 위험이 있습니다.

현재의 해결책은 행동주의적 파인튜닝을 적합하게 만들지만 내부 정렬을 보장하지 않는 블랙박스 데이터 기반 최적화 기술 (예: 지시어 튜닝, 강화 학습) 에 의존합니다. 또한, LVLM 에 존재하는 기존 기계적 해석 가능성 연구는 주로 객체 인식에 초점을 맞추고 있어 내부 감정 회로는 탐구되지 않은 채 남아 있습니다. 이 격차를 해소하는 것은 두 가지 주요 장애물에 의해 방해받고 있습니다:

1. 반사실적 시각 벤치마크의 부재: 텍스트와 달리, 내러티브 내용이나 시각적 의미를 변경하지 않고 이미지에서 감정 속성을 분리하는 것은 어렵습니다.
2. 이산적 지표의 비효율성: 감정 표현은 확산적이고 전체적이며, 단일 토큰이 아닌 장문 생성의 어조 (tone) 를 통해 나타나므로, 표준 Next-Token-Prediction 지표로는 불충분합니다.

2. 방법론

저자들은 기술적 설명을 위한 감정적 추론에 특화된 조향 벡터 기반 인과 귀속 프레임워크를 제안하고, 이를 이어 훈련이 없는 개입 전략을 도입합니다.

A. 감정 방향 추출

시각적 반사실 데이터의 부재를 극복하기 위해, 저자들은 엄격하게 짝지어진 감정적 및 중립적 대비를 사용하여 특수 데이터셋을 구축합니다.

• 프로세스: 감정 이미지 $I_{emo}$에 대해, 저자들은 생성형 AI(Google Nano Banana) 를 사용하여 정체성, 구성, 스타일은 유지하되 감정 지표 (예: 표정 중립화, 눈물 제거) 를 제거한 중립적 대응물 $I_{neu}$를 생성합니다.
• 조향 벡터: 특정 감정 (예: 슬픔, 분노) 에 대한 글로벌 조향 벡터 ($S_l$) 를 추출하기 위해 감정 입력과 중립 입력 간의 숨은 상태 활성화 차이를 계산합니다.

B. 감정 회로 발견

계층적 발견 전략을 사용하여 저자들은 감정의 교차 모달 흐름을 추적합니다:

1. 레이어 식별: 추론 중에 추출된 감정 방향을 레이어에 주입하여 행동적 영향 (적중률 변화) 이 극대화되는 핵심 레이어를 식별합니다.
2. 헤드 국소화: 활성화 패칭 (activation patching) 기반의 잠재 복원 지표를 사용하여 감정 방향과 일치하는 특정 어텐션 헤드를 위치시킵니다.
3. 뉴런 추적: Attribution Patching 을 사용하여 중요한 헤드에서 상류 MLP 뉴런으로의 정보 흐름을 재귀적으로 추적하여 감정 특징의 세밀한 기원을 식별합니다.

C. "적응 - 집계 - 실행" 메커니즘

이 분석을 통해 논문은 다음과 같은 독특한 3 단계 메커니즘을 밝혀냅니다:

1. 적응 (얕은 레이어): 시각적 특징은 픽셀과 텍스트 간의 의미적 격차를 해소하기 위해 모달리티 정렬을 거칩니다.
2. 집계 (중간 레이어): 모델은 맥락적 트리거 뉴런을 활성화하고 감정별 어텐션 헤드를 통해 신호를 쿼리 (Query) 토큰으로 집계합니다. 이러한 헤드는 특정 감정 카테고리 (예: 부정적 정서에 대한 특정 헤드) 에 대해 선택적으로 활성화됩니다.
3. 실행 (깊은 레이어): 쿼리 토큰은 명시적 상태 뉴런을 활성화하며, 서로 다른 감정 전반에 걸쳐 보편적으로 기능하는 감정 일반 경로를 통해 내러티브 생성을 조향합니다.

D. VEENA 개입

이러한 통찰에 기반하여 저자들은 VEENA(Visual Emotion Enhancement and Emotional Neuron Augmentation, 시각적 감정 강화 및 감정 뉴런 증강) 를 도입합니다. 이는 수술적이며 훈련이 없고 추론 시 수행되는 개입입니다:

• 시각적 감정 강화 (VEE): 어텐션 가중치를 스케일링하여 정보 라우팅을 조절합니다. 상류 레이어에서 $V \to Q$(시각에서 쿼리로) 어텐션을 강화하여 집계를 용이하게 하고, 하류 레이어에서 $V \to L$(시각에서 마지막 토큰으로) 어텐션을 강화하여 실행이 시각적 세부 사항에 기반하도록 보장합니다.
• 감정 뉴런 증강 (ENA): 식별된 감정 관련성이 높은 MLP 뉴런의 활성화 수준을 증폭하여 의미적 표현을 공고히 합니다.

3. 주요 결과

MER-UniBench(기본 감정 인식, 감정 분석, 세밀한 감정 인식을 포괄하는 종합 벤치마크) 에서 광범위한 실험이 수행되었습니다.

• 성능 향상: VEENA 는 MER-UniBench 의 모든 9 개 데이터셋에서 성능을 크게 향상시켜 평균 적중률을 58.1% 에서 64.8% 로 6.7%p 상승시켰습니다. 까다로운 오픈 보카불러리 작업 (OV-MERD+) 에서는 9.2%p 의 향상을 달성했습니다.
• 시너지: VEE 와 ENA 의 조합은 단일 구성 요소만 사용할 때보다 우수한 성능을 보여, 정보 라우팅과 의미적 활성화를 모두 조절하는 시너지 효과를 확인시켜 주었습니다.
• 인과적 충실도: 제거 연구 (ablation studies) 에 따르면 무작위 개입은 이러한 향상을 재현하지 못하지만, 식별된 특정 회로 (상위 10 개 헤드 및 상위 30 개 뉴런) 를 대상으로 할 경우 최소의 지연 시간으로 최첨단 결과를 달성합니다.
• 일반화: 이 방법은 다양한 모델 아키텍처 (Qwen3-VL-4B/8B, LLaVA-OneVision-1.5-4B) 에서 검증되어 "적응 - 집계 - 실행" 메커니즘이 LVLM 에 내재되어 있음을 입증했습니다.
• 안전성: 일반 벤치마크 (POPE, CHAIR, MME) 에 대한 평가는 VEENA 가 파국적 망각이나 보편적 환각을 유발하지 않으며, 감정 하위 네트워크를 특정적으로 대상으로 하면서도 일반적인 비전 - 언어 능력을 유지함을 나타냅니다.

4. 의의 및 주장

이 논문은 다음과 같은 첫 번째 사례를 주장합니다:

1. 감정 회로의 국소화: 이산적 지표의 한계를 초월하여 LVLM 의 감정 회로를 국소화하는 정밀한 벡터 기반 귀속 프레임워크를 제공합니다.
2. 메커니즘의 신비 해소: 감정별 집계(중간 레이어) 와 보편적 실행(깊은 레이어) 간의 기능적 분리를 밝혀내어, 감정 처리가 단일 블록이라는 관념에 도전합니다.
3. 수술적 개입 가능: 기계적 이해에 기반한 훈련이 없는 추론 시 개입이 재학습 없이 감정적 환각을 효과적으로 완화할 수 있음을 입증하여, 블랙박스 파인튜닝보다 더 해석 가능하고 신뢰할 수 있는 대안을 제시합니다.

저자들은 그들의 작업이 신뢰성과 안전성을 강화하기 위해 내부 경로를 명확히 하는 데 엄격히 초점을 맞추고 있으며, 모델 응답이 기만적인 감정 콘텐츠를 생성하는 대신 시각적 현실을 정확하게 반영하도록 보장한다고 강조합니다.