🤖 AI

Omni-Perception Policy Optimization for Multimodal Emotion Reasoning

이 논문은 특화된 보상 체계와 교차 모달 환각을 줄이기 위해 설계된 손실 함수를 통해 신뢰할 수 있는 옴니 모달 인식을 최적화함으로써 멀티모달 감정 추론을 향상시키는 강화 학습 프레임라인인 OPPO를 소개하며, 이는 새로운 진단 벤치마크인 MEP-Bench를 통해 검증되었습니다.

원저자: Zhiyuan Han, Beier Zhu, Wenwen Tong, Pengyang Shao, Peipei Song, Xinyi Wang, Jiangnan Chen, Lewei Lu, Xun Yang

게시일 2026-06-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhiyuan Han, Beier Zhu, Wenwen Tong, Pengyang Shao, Peipei Song, Xinyi Wang, Jiangnan Chen, Lewei Lu, Xun Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: "정직한 탐정" vs "몽상가"

당신이 한 사람의 기분이 어떤지 밝혀내기 위해 탐정을 고용한다고 상상해 보세요. 이 탐정은 세 가지 종류의 단서에 접근할 수 있습니다: 보는 것(시각), 듣는 것(오디오), 그리고 말하는 내용(텍텍스트).

이 논문은 현재의 "AI 탐정들"(Omni-MLLM이라 불리는 모델들)이 사실 자기 일을 꽤 못하고 있다고 주장합니다. 이들은 크게 두 가지 문제를 겪고 있습니다:

"게으른 탐정" (저활용 - Underutilization): 탐정이 대부분의 단서를 무시합니다. 만약 영상 속 인물이 울고 있지만 표정은 무표정하다면, 게으른 탐정은 "울고 있으니 슬픈 상태입니다"라고만 말하며, 얼굴이 평온해 보인다는 사실을 완전히 무시할 수 있습니다. 이들은 가장 자극적인 단서 하나에만 집중하고 나머지는 무시합니다.
"몽상가 탐정" (불충실성/환각 - Unfaithfulness/Hallucination): 탐정이 말을 지어냅니다. 오디오가 화난 것처럼 들린다면, 탐정은 실제로는 빈 화면이거나 웃고 있는 얼굴임에도 불구하고, "얼굴에 미간을 찌푸리고 있습니다!"라고 자신 있게 말할 수 있습니다. 이들은 실제로 본 것에 근거하는 것이 아니라, 들은 내용에 기반해 시각적 증거를 "환각(hallucinating)"해내는 것입니다.

해결책: OPPO (훈련 캠프)

저자들은 이러한 몽상가 같고 게으른 탐정들을 정직하고 철저한 탐정으로 만들기 위해 OPPO(Omni-Perception Policy Optimization)라는 새로운 훈련 방법을 개발했습니다. 이들은 "강화 학습(Reinforcement Learning)" 프레임워크를 사용했는데, 이는 마치 연습 중에 엄격한 코치가 보상과 벌칙을 주는 것과 같습니다.

OPPO는 AI를 교정하기 위해 두 가지 주요 도구를 사용합니다:

1. "증거 체크리스트" (전방위 지각 보상 - Omni-Perception Reward)

비유: 선생님이 학생의 에세이를 채점한다고 상상해 보세요. 단순히 최종 답안에 점수를 주는 대신, 선생님은 반드시 언급되어야 하는 구체적인 사실들의 체크리스트를 가지고 있습니다.

작동 방식: AI에게 비디오와 오디오 클립이 주어집니다. "정답(Ground Truth)"에는 "찌푸린 미간", "떨리는 목소리", 또는 "눈물"과 같은 구체적인 단서 목록이 포함되어 있습니다.
보상: AI가 자신의 추론 과정에서 언급하는 모든 단서 하나하나에 대해 보너스 점수를 받습니다. 만약 AI가 "떨리는 목소리"는 무시하고 "눈물"에 대해서만 이야기한다면, 더 낮은 점수를 받게 됩니다. 이는 AI가 게으름을 피우지 않고 실제로 모든 증거를 살피도록 강제합니다 именно 합니다.

2. "안대 테스트" (전방위 지각 손실 - Omni-Perception Loss)

비유: 당신이 탐정이 정말로 볼 줄 아는지 테스트한다고 상상해 보세요. 눈에 안대를 씌우고(영상을 가리고) "그 사람의 얼굴에서 무엇이 보입니까?"라고 묻는 것입니다.

문제점: 만약 탐정이 안대를 쓴 상태에서 "미간을 찌푸리고 있습니다!"라고 말한다면, 그 탐정은 거짓말을 하고 있는 것입니다. 그는 본 것에 근거하는 것이 아니라 들은 소리에 기반해 추측하고 있는 것이기 때문입니다.
해결책: OPPO는 특별한 벌칙을 만듭니다. AI에게 영상을 숨기거나(마스킹) 오디오를 숨긴 채, 그 특정 부분을 설명하라고 요청합니다.
- 만약 영상을 숨겼을 때(예: 얼굴을 볼 수 없을 때) AI의 답변이 바뀐다면(예: 더 이상 얼굴을 볼 수 없으므로 "미간을 찌푸렸다"고 말하지 않음), 보상을 받습니다.
- 만약 영상이 사라졌음에도 불구하고 계속해서 "미간을 찌푸리고 있다"고 말한다면, 무거운 벌칙을 받습니다.
목표: 이는 AI에게 **충실함(Faithfulness)**을 가르칩니다. AI는 만약 증거를 볼 수 없다면, 그것이 존재한다고 주장해서는 안 된다는 것을 배웁니다. 이를 통해 오디오 단서에 기반해 시각적 세부 사항을 "몽상"하는 것을 멈추게 됩니다.

결과: 더 나은 탐정

저자들은 이 두 가지 기술, 즉 "활용도(Utilization, 모든 단서를 사용했는가?)"와 "충실도(Faithfulness, 말을 지어냈는가?)"를 측정하기 위해 MEP-Bench라는 특별한 테스트를 구축했습니다.

OPPO 적용 전: AI는 교과서의 첫 페이지만 공부하고 나머지는 찍어서 맞히는 학생과 같았습니다. 단서의 절반 정도를 놓쳤고, 35~50%의 확률로 사실을 지어냈습니다.
OPPO 적용 후: AI는 우수한 학생이 되었습니다.
- 단서의 **70%**를 포착하기 시작했습니다 (기존 50%에서 상승).
- 영상을 숨겼을 때 시각적 사실을 지어내는 일이 줄어들어, 정직도 점수가 크게 향상되었습니다.
- 또한, 실제 감정을 식별하는 작업에서도 능숙해져 기존의 표준 테스트 기록들을 경신했습니다.

요약

이 논문은 AI가 비디오와 소리를 통해 인간의 감정을 진정으로 이해하려면, 모든 것을 살펴보고(가장 큰 부분만 보는 것이 아니라), 실제로 인지할 수 있는 것만 말하도록(상상하는 것이 아니라) 훈련받아야 한다고 주장합니다. OPPO는 AI가 정확히 그렇게 하도록 강제하는 훈련 방법이며, 그 결과 모델은 더 똑똑해지고 더 정직해졌습니다.

기술 요약: 멀티모달 감정 추론을 위한 옴니-인지 정책 최적화 (OPPO)

1. 문제 정의

GPT-4o 및 Qwen-Omni와 같이 감정 인식을 위해 설계된 기존의 옴니-모달 거대 언어 모델(Omni-MLLMs)은 단순한 라벨 예측에서 **멀티모달 감정 추론(Multimodal Emotion Reasoning, MER)**으로의 패러다임 전환을 이끌어냈습니다. MER는 모델이 시각, 음향, 텍스트 단서에 근거하여 명시적인 추론 체인을 생성할 것을 요구합니다. 그러나 본 논문은 기존의 감정 지향적 Omni-MLLM들이 신뢰할 수 있는 옴니-모달 인지(reliable omni-modal perception) 능력이 부족하다는 결정적인 결함을 식별했습니다.

저자들은 신뢰할 수 있는 인지가 다음 두 가지 원칙에 달려 있다고 주장하며, 현재의 모델들은 이를 위반하고 있다고 지적합니다:

활용성(Utilization): 모델들은 종종 멀티모달 단서를 충분히 활용하지 못하고, 특정 모달리티(예: 얼굴 표정은 중립적임에도 불구하고 목소리 크기만을 근거로 분노를 예측하는 경우)에만 의존하는 '사고 관성(thinking inertia)'에 빠집니다.
충실성(Faithfulness): 모델들은 모달리티 특유의 진술을 환각(hallucination)하는 불충실한 행동을 보입니다. 예를 들어, 비디오 입력이 마스킹되었거나 얼굴이 중립적인 상태임에도 불구하고, 오디오의 화난 톤만을 근거로 비디오가 "미간을 찌푸림"을 보여준다고 주장할 수 있습니다. 이는 특정 모달리티에 대한 인과적 귀속이 아닌, 허구적인 교차 모달 상관관계에서 기인합니다.

이러한 문제를 정량화하기 위해 저자들은 MEP-Bench(Multimodal Emotion Perception Benchmark)를 도입하였으며, 이는 활용성(단서 회상 능력)과 충실성(단일 모달리티 마스킹 프로브)을 측정합니다. MEP-Bench에서의 실험 결과, 베이스라인 모델들은 인간이 주석을 달았던 단서의 약 50%만을 포착하며, 충실성 프로브에서는 26~35% 수준의 낮은 정확도를 보였습니다.

2. 방법론: OPPO

저자들은 명시적으로 멀티모달 인지를 최적화하기 위해 설계된 강화 학습(RL) 프레임워크인 **OPPO (Omni-Perception Policy Optimization)**를 제안합니다. 파이프라인은 MER-Caption+ 데이터에 대한 표준 지도 미세 조정(SFT) 단계를 거친 후, 두 가지 새로운 구성 요소로 증강된 GRPO 스타일의 RL 단계로 이어집니다.

A. 옴니-인지 보상 ( $R_{omni}$ )

이 보상은 활용성을 해결하기 위해 모델이 추론 궤적 내에서 정답 근거를 복구하도록 유도합니다.

메커니즘: 정답 추론 문단은 원자적 근거 단서( $C_V$ 는 시각, $C_A$ 는 음향, $C_E$ 는 감정)로 분해됩니다. 모델이 생성한 추론은 절(clause) 단위로 분할됩니다.
계산: **근거 라우팅 행렬(Evidence-Routing Matrix)**은 정답 단서와 생성된 절 사이의 의미적 유사도(코사인 유사도)를 계산합니다. 특정 단서의 유사도가 임계값 $\delta$ 를 초과하면 "적중(hit)"으로 기록됩니다.
목표: 보상은 시각, 오디오, 감정 세트 전반에 걸친 단서 커버리지의 비율을 집계하여, 모델이 다양한 멀티모달 근거를 명시적으로 참조하도록 독려합니다.

B. 옴니-인지 손실 ( $J_{omni}$ )

이 손실은 전체 입력과 단일 모달리티가 마스킹된 입력을 대조함으로써 교차 모달 환각을 억제하여 충실성을 해결합니다.

메커니즘: 시각 또는 음향 스트림의 일부( $\rho$ )를 마스킹하여 역사실적(counterfactual) 입력을 생성합니다.
대상 감독: 모든 토큰에 전역적 KL 페널티를 적용하는 기존 연구(예: PAPO)와 달리, OPPO는 근거 라우팅 행렬을 사용하여 모달리티 특유의 근거 토큰(시각적 또는 음향적 사실을 설명하는 토큰)을 식별합니다.
목표: KL 발산(KL divergence) 페널티를 이러한 특정 토큰에만 적용합니다. 목표는 전체 입력 하에서의 토큰 분포와 마스킹된 입력 하에서의 분포 사이의 발산을 최대화하는 것입니다. 만약 모델이 오디오로부터 시각적 근거를 환각한다면, 비디오를 마스킹하더라도 "시각적 주장" 토큰의 분포는 변하지 않으므로 낮은 KL 페널티를 받게 됩니다. 반대로, 충실한 모델은 소스 모달리티가 제거되었을 때 해당 주장을 철회하거나 변경하게 되며, 이는 높은 KL 페널티를 유발합니다.

전체 목적 함수는 태스크 보상(정확도), 포맷 보상, 옴니-인지 보상, 그리고 옴니-인지 손실을 결합합니다.

3. 주요 기여

진단 벤치마크 (MEP-Bench): 감정 추론의 "활용성"과 "충실성"을 정량화하는 벤치마크를 구축하여, 최첨단 모델들이 심각한 단서 저활용과 교차 모달 환각을 겪고 있음을 밝혀냈습니다.
OPPO 프레임워크: 다음을 통해 인지를 명시적으로 최적화하는 RL 프레임워크를 제안합니다:
- 정밀한 옴니-인지 보상을 통한 포괄적인 단서 커버리지 확보.
- 환각을 억제하기 위해 모달리티 특유의 근거 토큰에만 KL 페널티를 적용하는 타겟형 옴니-인지 손실.
이론적 통찰: 옴니-인지 손실이 정보 채널(토큰과 모달리티 사이의 상호 정보량)을 확장하는 정규화 도구로 작용하여, 옴니-인지 보상이 효과를 발휘할 수 있는 상한선을 높여준다는 정보 이론적 분석을 제공합니다.

4. 실험 결과

저자들은 MER-UniBench(감성 분석, 기본 감정 인식 및 세밀한 감정 인식 포함)와 MME-Emotion에서 OPPO를 평가했습니다.

최첨단 성능 (SOTA): OPPO는 MER-UniBench에서 평균 점수 **81.05%**를 달성하여, 재현된 AffectGPT-R1 베이스라인보다 5.45% 높은 성능을 보였으며, 다른 강력한 베이스라인들(예: Qwen-Audio, Emotion-LLaMA)을 능가했습니다. 또한 MME-Emotion에서도 추론 및 CoT(Chain-of-Thought) 지표에서 최고의 성능을 기록했습니다.
인지 진단: MEP-Bench에서 OPPO는 두 지표를 모두 크게 개선했습니다:
- 활용성: 단서 회상률이 베이스라인의 58.00%에서 **70.44%**로 증가했습니다.
- 충실성: 마스킹 프로브에 대한 정확도가 비디오의 경우 59.20%에서 **76.40%**로, 오디오의 경우 33.00%에서 **50.60%**로 향상되었습니다.
절제 연구 (Ablation Studies):
- 옴니-인지 보상만 추가해도 성능이 향상되지만, 옴니-인지 손실을 함께 추가했을 때 충실성과 전반적인 태스크 성능에서 가장 유의미한 이득을 얻었습니다.
- 모든 토큰에 전역적 페널티를 적용하는 일반적인 인지 손실(예: PAPO)은 성능을 개선하지 못하고 오히려 충실성을 저하시켰으며, 이는 OPPO의 토큰 수준, 모달리티 특화 타겟팅의 필요성을 입증합니다.
- 하이퍼파라미터 분석을 통해 최적화를 안정화하고 보상의 잠재력을 끌어내기 위해서는 손실 가중치( $\beta \ge 8e^{-3}$ )가 충분히 커야 함을 확인했습니다.

5. 의의 및 주장

본 논문은 충분하고 충실한 옴니-인지가 멀티모달 감정 작업에서 강력한 추론을 이끌어내는 핵심이라고 주장합니다. 저자들은 거친 입도의 보상이나 전역적 페널티에 의존하는 기존 방식들이 실패하는 이유가 특정 감각 입력과 모델의 추론 진술 사이의 인과 관계를 강제하지 못하기 때문이라고 설명합니다.

특정 모달리티에 대한 추론 진술이 반드시 해당 모달리티의 입력에 의존하도록 강제함으로써(충실성), 그리고 모델이 다양한 단서를 적극적으로 추출하도록 함으로써(활용성), OPPO는 신뢰할 수 있는 인지가 단순히 더 나은 언어 모델링의 부산물이 아니라 명시적으로 최적화되어야 하는 별개의 능력임을 입증합니다. 이 결과는 향후 정서 컴퓨팅(affective computing)과 인간-AI 상호작용의 발전이 모델이 근거를 환각하는 것이 아니라, 검증 가능한 멀티모달 신호에 감정적 해석을 근거하도록 보장하는 데 달려 있음을 시사합니다.