기술 요약: OmniSapiens: 이질성 인지 상대적 정책 최적화를 통한 사회적 행동 처리를 위한 파운데이션 모델

1. 문제 정의

사회적으로 지능적인 AI 시스템은 다양한 인간 행동 과업을 가로질러 추론하고 새로운 사회적 맥락에 일반화할 수 있는 능력을 필요로 한다. 그러나 기존의 AI 시스템은 주로 단일 행동 과업(예: 감성 분석 또는 감정 인식)에 특화되어 있어, 다양한 행동 맥락을 효과적으로 일반화할 수 있는 통합된 모델이 부족하다.

통합된 사회적 행동 모델 개발의 주요 과제는 행동 데이터의 내재적 이질성이다. 이 데이터는 서로 다른 특징 유형(예: 음향적 운율, 대인 상호작용, 텍스트, 시각 정보)과 예측 대상(예: 감정 분류, 사회적 추론, 병리적 상태 탐지)을 포괄한다. 이러한 이질성은 샘플 간의 불균형한 학습 역학을 초래하여 불균등한 학습 신호를 생성한다.

현재의 통합 모델들은 추론 능력을 향 강화하기 위해 GRPO(Group Relative Policy Optimization)와 같은 강화 학습(RL) 방법을 자주 채택한다. 그러나 이러한 방법들은 이질적인 샘플들에 대해 명시적인 학습 역학 조절 없이 정책 업데이트를 집계한다. 결과적으로, 최적화 과정이 특정 행동 과업이나 체계적으로 높은 어드밴티지(advantage) 크기를 가진 샘플들에 의해 불균형하게 지배될 수 있으며, 이는 멀티태스크 성능과 교차 맥락 일반화를 저해한다.

2. 방법론

2.1 모델 아키텍처: OmniSapiens-7B 2.0

저자들은 통합 사회 행동 분석을 위한 파운데이션 모델인 OMNISAPIENS-7B 2.0을 소개한다.

• 백본(Backbone): 모델은 텍스트, 시각, 오디오 입력을 처리할 수 있는 멀티모달 기반 아키텍처인 Qwen 2.5 Omni-7B를 활용한다.
• 학습 설정: 이 모델은 10개의 다양한 행동 과업에 걸친 10만 개 이상의 샘플을 포함하는 Human Behavior Atlas 벤치마크를 통해 학습되었다. 과업은 감성(SEN), 감정 인식(EMO), 사회적 추론(SOC), 의도 인식(INT), 비언어적 커뮤니케이션(NVC), 유머(HUM), 풍자(SAR), 불안(ANX), 우울(DEP), PTSD(PTSD)를 포함한다.
• 목표: 단일 공유 정책 $\pi_\theta$가 모든 과업에 대해 동시에 성능을 극대화하도록 학습된다.

2.2 핵심 알고리즘: 이질성 인지 상대적 정책 최적화 (HARPO)

학습 신호의 불균형을 해결하기 위해, 본 논문은 비판자(critic)가 없는 온폴리시(on-policy) RL 방법인 HARPO를 제안한다. HARPO는 이질적인 샘플과 과업 간의 학습 신호를 동적으로 재균형을 맞춤으로써 표준 GRPO 목적 함수를 수정한다.

HARPO의 주요 메커니즘:

1. 기여 신호 근사 (Contribution Signal Approximation):
   정책 그래디언트는 어드밴티지 값에 의해 스케일링되므로, 어드밴티지의 크기는 특정 샘플의 정책 업데이트에 대한 기여도를 나타내는 대리 지표 역할을 한다. HARPO는 두 가지 수준에서 기여 신호를 계산한다:

   • 샘플 수준 ($p^{(t)}_{(m,q)}$): 특정 과업 $m$ 내의 특정 샘플 $q$에 대한 평균 절대 그룹 정규화 어드밴티지.
   • 과업 수준 ($p^{(t)}_m$): 과업 $m$에 속한 모든 샘플에 대한 평균 절대 그룹 정규화 어드밴티지.

2. 기하학적 중심 모듈레이션 (Geometrically Centered Modulation):
   단일 과업이나 샘플이 업데이트를 불균형하게 지배하는 것을 방기하기 위해, HARPO는 기하 평균 참조값으로부터의 편차를 기준으로 어드밴티지를 스케일링한다.

   • 기하 평균 참조값($\bar{p}^{(t)}_{ref,m}$ (샘플용), $\bar{p}^{(t)}_{ref,M}$ (과업용))을 계산한다.
   • 모듈레이션 계수($s^{(t)}_{(m,q)}$ 및 $s^{(t)}_m$)는 기여 신호와 기하 평균 사이의 비율의 역수로 도출된다.
   • 효과: 기여 신호가 참조값보다 높은 샘플이나 과업은 1보다 작은 계수($<1$, 다운스케일링)를 받으며, 참조값보다 낮은 경우는 1보다 큰 계수($>1$, 업스케일링)를 받는다.
   • 안정성: 계수들이 기하 평균으로부터 구성되었기 때문에, 이들의 기하 평균은 정확히 1이다. 이는 곱셈적 업스케일링이 다운스케일링에 의해 정확히 상쇄됨을 보장하며, 의도하지 않은 글로벌 스텝 사이즈의 변화를 방지한다.

3. 관성 평활화 (Inertial Smoothing):
   안정성을 확보하고 확률적인 온폴리시 변동이 아닌 지속적인 추세에 반응하기 위해, 기여 신호와 모듈레이션 계수는 **관성 제어(inertial control)**를 사용하여 업데이트된다:

   • 기여 신호는 지수 이동 평균(EMA)을 사용한다.
   • 모듈레이션 계수(곱셈적 비율)는 곱셈적 업데이트를 통해 평활화된다.

목적 함수:
HARPO는 GRPO의 PPO 스타일 신뢰 영역(trust-region) 목적 함수를 유지하면서, 표준 그룹 정규화 어드밴티지 $\hat{A}$를 HARPO 모듈레이션 어드밴티지 $A^H$로 대체한다:
$$A^H_{(m,q,i)} = s^{(t)}_{(m,q)} \cdot s^{(t)}_m \cdot \hat{A}^{(t)}_{(m,q,i)}$$

2.3 보상 설계

모델은 다음과 같은 복합 보상 함수 $r$로 학습된다:
$$r = (1 - w_{fmt}) r_{task} + w_{fmt} r_{fmt} + \lambda_{len} r_{len}$$

• $r_{task}$: 레이블의 정확한 일치(분류) 또는 자유 텍스트 질의응답(QA)을 위한 코사인 유사도에 대한 이진 보상.
• $r_{fmt}$: 요구된 출력 구조(추론 과정 후 예측 수행) 준수에 대한 이진 보상.
• $r_{len}$: 과도한 응답 길이에 대한 페널티.

3. 주요 기여

1. OmniSapiens-7B 2.0: 정동적(affective), 인지적(cognitive), 병리적(pathological), 사회적 차원을 아우르는 광범위한 행동 분석 과업을 공동으로 다룰 수 있는 통합 파운데이션 모델을 공개하였다.
2. HARPO: 비판자 네트워크 없이도 이질적인 행동 데이터로부터 학습할 수 있도록 학습 신호의 균형을 재조정하는 새로운 RL 방법을 도입하였다.
3. 해석 가능성: 모델은 더 해석 가능한 추론 과정을 생성하여 실제 응용 분야에서의 투명성과 신뢰성을 높였다.

4. 실험 결과

4.1 멀티태스크 성능

10개의 행동 과업에 대해 평가했을 때, OmniSapiens-7B 2.0은 다음 모델들과 비교하여 가장 우수하고 일관된 성능을 달성했다:

• 범용 LLM: (예: Gemma-4, Qwen-2.5-Omni).
• 특화된 행동 모델: (예: HumanOmniV2, 이전 버전의 OmniSapiens).
• RL 알고리즘: GRPO, RLOO, RE++, GPG, EMAGRPO를 능가하였다.

주요 지표:

• 모든 모델 중 가장 높은 평균 과업 순위(1.90)를 기록했다.
• 이전 SOTA(최첨단) 모델 대비 최대 **+12.02%**의 성능 향상을 보였다.
• GRPO와 같은 다른 방법들이 특정 과업(예: 풍자 탐지)에서 성능 붕괴를 보이는 것과 달리 견고함을 입증했다.

4.2 제로샷 일반화 (Zero-Shot Generalization)

모델은 미세 조정 없이 5개의 홀드아웃(held-out) 행동 벤치마크(자폐증 탐지, 음성 감정 인식, 야생 환경 우울증 인식, 소셜 미디어 감성, 풍자 부조화)에 대해 평가되었다.

• OmniSapiens-7B 2.0은 모든 홀드아웃 과업에서 모든 베이스라인을 능가했다.
• 성능 향상은 이전 모델 대비 최대 **+9.37%**에 달했다.
• 이는 모델이 훈련 분포를 넘어 일반화될 수 있는 전이 가능한 행동 특징을 학습했음을 시사한다.

4.3 추론 과정의 해석 가능성

논문은 XAI(설명 가능한 AI)의 요구 사항을 사용하여 추론 과정의 품질을 평가한다:

• 강건성(Robustness): 독립적으로 샘플링된 추론 및 구절 변형에 대해 가장 높은 일관성(87.7% 및 88.4%)을 달s성했다.
• 효율성(Efficiency): 베이스라인(예: OmniSapiens-7B RL의 57.69 토큰)에 비해 현저히 간결한 추론 과정(19.86 토크)을 생성했다.
• 인간 평가: 쌍체 비교에서 OmniSapiens-7B 2.0은 간결성에서 99.2%, 일관성에서 88.3%, 구체성에서 **78.9%**의 확률로 베이스라인과 대등하거나 선호되었다.

4.4 절제 연구 (Ablation Studies)

• 구조적 모듈레이션: 기하 평균 참조를 제거했을 때(단순 역수 스케일링 사용) 성능이 저하되어(평균 순위 2.00 vs 1.90), 글로벌 스텝 사이즈 왜곡을 방지하기 위한 기하학적 중심화의 필요성을 확인했다.
• 관성 제어: 관성 평활화를 제거하면 성능이 크게 저하되었으며(평균 순위 2.70), 특히 기여 신호가 변동하는 과업(예: 풍자, 감성)에서 두드러졌다.
• 샘플 수준 모듈레이션: 샘플 수준 모듈레이션을 제거했을 때(과업 수준만 적용) 성능이 저하되어(평균 순위 2.60), 극단적인 어드밴티지 값을 억제하기 위해 개별 샘플 수준에서의 신호 균형이 필요함을 나타냈다.

5. 의의 및 주장

본 논문은 OmniSapiens-7B 2.0이 통합 사회 행동 분석을 향한 중요한 진전임을 주장한다. HARPO를 통해 이질적인 학습 신호를 명시적으로 모델링함으로써, 불균형한 학습 역학에 의해 제약을 받는 기존의 통합 접근 방식의 한계를 극복한다.

저자들은 다음과 같이 단언한다:

• 이 연구는 정동 컴퓨팅, 행동 건강, 사회적 지능 AI 시스템, 특히 행동 데이터가 부족하고 모델의 해석 가능성이 중요한 환경에서의 잠재적 응용 분야를 열어준다.
• 약하지만 구조적으로 의미 있는 신호를 보호하는 것(HARPO를 통해)이 파운데이션 모델이 잠재적인 사회적 및 행동적 구조를 더 효과적으로 인코딩할 수 있게 함을 입증한다.
• 정확할 뿐만 아니라 강건하고 효율적이며 해석 가능한 추론 과정을 생성함으로써 실세계 행동 응용을 위한 신뢰할 수 있는 프레임워크를 제공한다.

이 연구는 향후 사회적 행동 파운데이션 모델이 모든 과업과 샘플을 균등하게 취급하기보다, 학습 신호의 이질성을 명시적으로 다루는 것이 유리할 수 있음을 시사한다.