기술 요약: Omni-Persona

문제 정의

멀티모달 거대 언어 모델(MLLM)이 텍스트, 이미지, 오디오를 처리하는 데 있어 비약적인 발전을 이루었으나, **옴니모달 개인화(omnimodal personalization)**에 대한 연구는 여전히 파편화되어 있습니다. 기존의 접근 방식은 주로 시각-언어 설정에 국한되어 있으며, 오디오를 주요 페르소나 양식으로 고려하지 않고 있습니다. 또한, 현재의 평가 프로토콜은 세 가지 결정적인 결함을 가지고 있습니다:

1. 통합적 범위의 부재: 벤치마크들이 텍스트, 이미지, 오디오를 동시에 통합하지 못하고, 오디오를 부차적인 것으로 취급하거나 아예 제외하는 경우가 많습니다.
2. 이상적인 평가 환경: 대부분의 벤치마크는 대상 페르소나가 검색된 컨텍스트 내에 항상 존재한다(answerable-only)고 가정합니다. 이는 검색된 정보에 질의된 정체성이 없는 실제 환경의 노이즈를 반영하지 못합니다. 이로 인해 "환각"(페르소나가 없을 때 답변함)이나 "과도한 절제"(페르소나가 있을 때 답변하지 못함)를 감지하는 데 실패하게 됩니다.
3. 진단적 엄밀성 부족: 표준적인 재현율(recall) 지표는 모델의 접지(grounding) 능력과 답변 의지를 혼재시켜, 캘리브레이션(calibration) 실패를 은폐합니다. 사후 학습 레지임(SFT 대 RL)이 옴니모달 접지 및 캘리브레이션에 어떤 영향을 미치는지에 대한 체계적인 연구가 부족합니다.

방법론: Omni-Persona 벤치마크

저자들은 옴니모달 개인화를 위한 최초의 포괄적인 평가 전용 벤치마크인 Omni-Persona를 소개합니다. 이 방법론은 다음 구성 요소로 구축되었습니다:

1. 정형화: 페르소나 양식 그래프 (Persona Modality Graph, PMG)

이 작업은 페르소나 양식 그래프($G = (V, E)$) 상에서의 교차 모달 라우팅 문제로 정형화됩니다.

• 노드: 쿼리($Q$)와 검색된 컨텍스트 노드($C_1, \dots, C_K$)를 나타냅니다. 각 노드는 시각($v$), 오디오($a$), 텍스트($t$)의 삼중 양식을 포함합니다.
• 작업: 모델은 쿼리 단서에 해당하는 관련 컨텍스트 노드 $C_j$를 식별하고, 그와 연관된 텍스트 $t_j$에 기반하여 응답을 생성해야 합니다. 만약 모든 컨텍스트에서 대상 페르소나가 부재하다면, 모델은 답변을 절제(abstain)해야 합니다.
• 원시 컨텍스트(Raw Context): 멀티모달 신호를 텍스트로 압축하는 기존 방식과 달리, Omni-Persona는 언어화하기 어려운 미세한 정체성 단서(예: 음색, 얼굴 기하학적 구조)를 보존하기 위해 원시 형태의 컨텍스트(원본 이미지 및 오디오 클립)를 활용합니다.

2. 벤치마크 설계

• 규모: 4개의 작업 그룹과 18개의 세분화된 태스크를 아우르는 약 750개의 평가 항목.
• 작업 그룹:
  1. I2I (Image-to-Image): 시각적 정체성 인식.
  2. A2A (Audio-to-Audio): 음성 정체성 인식.
  3. T2T (Text-to-Text): 동일 양식 내 의미론적 검색.
  4. T2Any (Text-to-Any): 교차 모달 의미론적 접지 (예: 텍스트 쿼리에서 오디오/이미지 컨텍스트로).
• 부재 페르소나 평가: 약 50%의 샘플은 "no-GT"(정답 부재) 상태이며, 모델은 환각을 일으키는 대신 구조화된 절제를 수행해야 합니다. 시각적 또는 음성적으로 유사한 정체성을 가진 '하드 디스트랙터(Hard distractor)'를 포함하여 검색 노이즈를 시뮬레이션했습니다.

3. 평가 지표

재현율 중심 지표의 한계를 해결하기 위해 저자들은 **캘리브레이션 정확도(Calibrated Accuracy, Cal)**를 제안합니다:
$$Cal = \frac{n_a \cdot Ans + n_u \cdot Unans}{n_a + n_u}$$
여기서:

• $Ans$: 답변 가능 항목에 대한 재현율(correctness on answerable items).
• $Unans$: 답변 불가능 항목에 대한 재현율(correct abstention on unanswerable items).
• 반-환각 지표(Anti-Hallucination Metrics): $1-FA$(답변 가능 항목에서의 잘못된 절제율)와$TA$ (답변 불가능 항목에서의 진정한 절제율)를 사용하여 특정 실패 모드(과도한 절제 vs 환각)를 진단합니다.

4. 사후 학습 분석

본 논문은 오픈 소스 백본(Qwen2.5-Omni, Gemma4)에 대한 두 가지 사후 학습 레지임을 조사합니다:

• 지도 미세 조정 (Supervised Fine-Tuning, SFT): 정제된 정답 주석이 포함된 1K 및 10K 데이터셋으로 학습.
• 검증 가능한 보상을 활용한 강화 학습 (Reinforcement Learning with Verifiable Rewards, RLVR): SFT 워밍업 없이 세 가지 검증 가능한 보상 구성 요소를 사용하여 학습:
  1. 지각(Perception): 시각/오디오 정체성에 대한 규칙 기반 이진 매칭 (yes/no).
  2. 위치(Location): 올바른 컨텍스트 인덱스의 규칙 기반 선택.
  3. 검색(Retrieval): 접지된 답변 또는 올바른 절제에 대한 LLM-as-a-Judge 검증.

주요 결과

실험은 폐쇄형(Gemini-3 제품군) 및 오픈 소스 모델(Qwen, Gemma, MiniCPM, Phi, Interactive-Omni)을 대상으로 수행되었습니다.

1. 오디오-비주얼 접지 격차: 오픈 소스 모델들은 시각적(I2I) 접지와 오디오(A2A) 접지 사이에 상당한 성능 격차를 보였으며, 오디오 재현율이 5~35 퍼센트 포인트 뒤처졌습니다. RLVR이 오디오 재현율을 개선하기는 하지만, 이 격차를 완전히 메우거나 캘리브레이션 문제를 해결하지는 못했습니다.
2. 재현율과 규모의 불완전한 진단: 더 큰 모델(예: Qwen3-30B)이 반드시 작은 변체(예: Qwen2.5-3B)보다 높은 Cal 점수를 달성하는 것은 아닙니다. 높은 재현율은 종종 낮은 진정한 절제(TA)와 공존하며, 이는 규모 확장이 부재 페르소나 시나리오에서의 환각 문제를 해결하지 못함을 나타냅니다.
3. SFT의 한계: SFT 데이터를 1K에서 10K 샘플로 확장하는 것이 Cal 점수를 일관되게 향상시키지 못했으며, 때로는 성능을 저하시켰습니다. 이는 다양하고 개방적인 시나리오를 위한 고품질의 도메인 내 정답 감독 데이터를 구축하는 것이 SFT가 쉽게 극복할 수 없는 병목 구간임을 시사합니다.
4. RLVR의 트레이드오프: RLVR은 지각적 매칭과 접지된 검색을 직접 최적화함으로써 **답변 가능 재현율(Answerable Recall)**을 크게 향 향상시켰습니다(Qwen-7B에서 최대 +9.2%). 그러나 이는 강력한 **답변 편향(answer-bias)**을 유발하여, 모델이 답변을 절제할 가능성을 낮추고 TA를 크게 떨어뜨렸습니다(예: Qwen-7B에서 -15.4%). 결과적으로 RLVR로 학습된 모델의 **캘리브레이션 정확도(Cal)**는 베이스 모델 수준에 머물렀으며, 이는 재현율과 캘리브레이션 사이의 트레이드오프를 드러냈습니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. Omni-Persona 벤치마크: 페르소나 양식 그래프를 통해 텍스트, 이미지, 오디오 양식을 통합하고 부재 페르소나 케이스를 핵심 평가 차원으로 다루는 최초의 포괄적인 옴니모달 개인화 벤치마크입니다.
2. 캘리브레이션 정확도 지표: 접지의 정확성과 적절한 절제를 공동으로 평가하여, 전통적인 재현율 중심 프로토콜에서 가려졌던 실패 모드(환각 및 과도한 절제)를 드러내는 새로운 평가 프레임워크입니다.
3. 진단적 통찰: 본 연구는 모델별 진단 맵을 제공하여 다음을 밝혀냈습니다:
   • 오픈 소스 모델에서 일관되게 나타나는 시각 우위의 오디오 접지 비대칭성.
   • 개인화에 있어 재현율과 파라미터 규모가 단독 지표로서 불충분하다는 점.
   • SFT(데이터 구축 확장성의 한계)와 RLVR(답변 편향 및 캘리브레이션 감소 경향)의 뚜렷한 실패 모드.

저자들은 Omni-Persona가 사후 학습 및 보상 설계의 미래 연구를 가이드하는 진단 프레임워크 역할을 하며, 현재의 방법론들이 현실적이고 노이즈가 있는 검색 시나리오에서 높은 재현율과 캘리브레이션된 절제 사이의 균형을 맞추는 데 어려움을 겪고 있음을 강조하며 결론을 맺습니다.