기술 요약: MCBench – Omni 대규모 언어 모델을 위한 다중 컨텍스트 안전성 평가 벤치마크

1. 문제 정의

현재의 멀티모달 안전성 벤치마크는 주로 시각적 입력에 집중하며, 시각적 단서만으로도 안전성 평가가 가능한 시나리오를 평가한다. 이러한 한계는 시각, 오디오, 음성을 동시에 처리하도록 설계된 **Omni 대규모 언어 모델(Omni LLMs)**의 평가를 저해한다. 기존의 옴니모달 벤치마크는 일반적으로 안전성 특화 추론보다는 일반적인 추론 능력을 평가하는 데 중점을 두고 있다. 더욱이, 실제 세계의 안전성 평가는 여러 모달리티(시각, 음향, 언어)에 걸친 정보를 합성하는 과정이 필요한데, 이는 단일 모달리티 또는 단일 컨텍스트 벤치마크에서는 포착할 수 없는 복잡성이다.

본 연구가 다루는 핵심 문제는 이미지, 오디오, 음성 데이터를 통합해야 정확한 판단이 가능한 다중 컨텍스트 설정에서 Omni LLM의 **안전 인지 능력(safety-awareness)**을 평가할 수 있는 종합적인 벤치마크가 부족하다는 점이다.

2. 방법론: MCBench 구축

저자들은 네 가지 거시적 범주를 테스트하기 위해 설계된 1,196개의 시나리오로 구성된 벤치마크인 MCBench를 소개한다:

1. 물리적 위해 (Physical Harm) (예: 폭력, 환경적 위험, 의료 비상 상황).
2. 사회적 위해 (Social Harm) (예: 혐오 표현, 허위 정보, 괴롭힘).
3. 불법적 위해 (Illegal Harm) (예: 대인 범죄, 사이버 범죄).
4. 재산 피해 (Property Damage) (예: 가스 누출, 구조적 위협).

데이터 수집 파이프라인

MCBench의 구축은 다음과 같은 2단계 프레임워크를 따른다:

• 1단계: 시나리오 생성: 저자들은 Claude-Sonnet-4.5를 활용하여 세분화된 하위 범주와 구체적인 안전 시나리오를 생성했다. 결정적으로, 안전하지 않은 시나리오는 'If-Then' 논리 구조(예: IF <조건 1> AND <조건 2> THEN UNSAFE)를 사용하여 구축되었다. 각 안전하지 않은 시나리오에 대해, 하나 또는 두 개의 조건을 최소한으로 수정하여 그에 대응하는 **안전한 대응 쌍(safe counterpart)**을 만들었다. 이러한 쌍 구성은 미세한 맥락 변화에 대한 모델의 민감도를 평가할 수 있게 한다.
• 2단계: 멀티모달 데이터 생성: 1단계의 텍스트 설명을 사용하여 멀티모달 입력을 합성하였다.
  • 이미지: Gemini-Flash-2.5를 사용하여 생성되었다.
  • 오디오: Stable Audio 1.0을 사용하여 생성되었다. 복잡한 오디오 설명은 개별 사운드 이벤트로 분해된 후, 시간적 관계(순차적 또는 동시적)에 따라 재결합되었다.
  • 음성: 시나리오 컨텍스트의 일부로 포함되었다.
• 품질 관리: 인간 전문가가 시나리오의 현실성과 논리적 일관성을 검증하였으며, 품질이 낮은 생성 미디어는 필터링하였다.

평가 프로토콜

본 연구는 오픈 소스(예: Qwen-Omni2.5, AnyGPT, InternOmni) 및 독점 모델(예: Gemini-Flash-2.5, GPT-4o-mini) Omni LLM을 모두 평가하였다.

• 지표: 시나리오를 safe 또는 unsafe로 분류하는 정확도.
• 판정: GPT-4o 모델이 평가 대상 모델들이 생성한 사고 과정(chain-of-thought) 추론 흔적을 해석하는 "LLM-as-a-judge" 역할을 수행하였다.
• 절제 연구(Ablation Studies): 저자들은 시각 및 오디오 입력을 텍스트 설명으로 대체하여, 모달리티 지각과 추론의 영향을 분리하여 조사하는 실험을 수행하였다.

3. 주요 결과

MCBench를 통한 최첨단 모델들의 평가는 상당한 과제를 드러냈다:

• 전반적인 성능: 가장 우수한 성능을 보인 모델들(Gemini-Flash-2.5 및 Qwen-Omni-2.5-3B)조차 평균 약 64.5%의 정확도만을 달성하였으며, 이는 MCBench가 현재의 아키텍처에 큰 도전 과제임을 나타낸다.
• 범주별 격차:
  • 모델들은 두드러진 시각적 및 음향적 단서가 존재하는 물리적 위해와 재산 피해에서는 비교적 양호한 성능을 보였다.
  • 모델들은 미묘하거나 비물리적인 위험을 다루는 사회적 위해와 불법적 위해에서 크게 어려움을 겪었다. 예를 들어, 일부 오픈 소스 모델은 사회적 위해 범주에서 과민 반응(oversensitivity)(안전한 시나리오를 unsafe로 분류)을 보이거나, 반대로 동일한 범주의 안전하지 않은 시나리오에 대해 **둔감함(insensitivity)**을 보이기도 했다.
• 모달리티의 영향:
  • 시각적 컨텍스트: 이미지를 텍스트 설명으로 대체했을 때 모델의 성능이 종종 향상되었는데, 이는 현재의 Omni LLM들이 이미지로부터 관련 안전 단서를 직접 추출하는 데 어려움을 겪고 있음을 시사한다.
  • 오디오 컨텍스트: 더 큰 모델(예: Gemini-Flash-2.5)은 원시 오디오보다 텍스트 오디오 설명을 사용할 때 더 나은 성능을 보였으나, 작은 모델들은 성능이 저하되었다. 이는 역량 있는 모델은 텍스트 컨텍스트를 더 잘 통합할 수 있는 반면, 현재의 모델들에게 음향적 특징은 안전 판단을 위한 추가적인 변별력을 거의 제공하지 못함을 의미한다.
• 추론 vs 지각:
  • 지각(Perception): 모델들은 일반적으로 멀티모달 입력으로부터 정답 술어(relevant information)를 추출하는 능력을 보여주었다.
  • 추론(Reasoning): 주요 실패 모드는 이러한 단서들의 **통합(integration)**이었다. 모델들은 추출된 정보를 효과적으로 결합하는 데 자주 실패하여 잘못된 안전 판정을 내렸다.
  • 과민 반응(Oversensitivity): 명시적인 추론 컨텍스트(정답 술어)가 제공될 때, 모델들은 과민 반응을 보여 안전한 시나리오를 잘못 분류하였다. 모델들은 다른 모달리티(예: 안전을 나타내는 음성 명령)로부터 오는 모순된 증거를 무시하고, 단 하나의 우려되는 단서(예: 텍스트 알림)에 판단을 고착시키는 경 tendency를 보였다.

4. 주요 기여

1. MCBench 벤치마크: 네 가지 안전 분류 체계에 걸쳐 안전/안전하지 않음의 쌍을 가진 1,196개의 시나리오를 특징으로 하며, Omni LLM 평가를 위해 특별히 설계된 최초의 멀티모달, 멀티 컨텍스트 안전성 벤치마크이다.
2. 포괄적 분석: 최첨단 오픈 소스 및 독점 Omni LLM에 대한 상세한 평가를 통해, 모델들이 모달리티별 정보는 추출할 수 있으나 안전이 중요한 환경을 위한 강력한 교차 모달 추론(cross-modal reasoning) 능력은 부족함을 밝혀냈다.
3. 실패 진단: 고립된 단서에 대한 과민 반응 및 균형 잡힌 통합 메커니즘의 부재와 같이, 안전한 시나리오에서 체계적인 거짓 양성(false positives)을 유발하는 구체적인 실패 모드를 식별하였다.

5. 의의 및 주장

본 논문은 MCBench가 안전한 Omni LLM의 발전을 위한 엄격한 테스트베드 역할을 한다고 주장한다. 연구 결과는 현재의 아키텍처에 존재하는 결정적인 간극을 강조한다. 즉, 모델들이 여러 모달리티를 처리할 수는 있지만, 복잡한 실제 환경에서 정확한 안전 판단을 위해 이들을 합성하는 데 필요한 강력한 교차 모달 추론 능력은 부족하다는 것이다.

저자들은 향-후 연구가 다음 사항에 집중해야 한다고 결론짓는다:

• 균형 잡힌 멀티모달 추론을 강제하는 아키텍처 및 학습 전략 개발.
• 모델이 단일하고 잠재적으로 오도할 수 있는 단서에 과도하게 의존하는 것을 방지하기 위한 정보 집계(information aggregation) 메커니즘 개선.
• 시각적 및 음향적 단서가 덜 결정적인 무형의 위험(사회적 및 법적 위해)에 대한 특정 과제 해결.

이 논문은 MCBench를 최종적인 해결책이 아니라, 현재의 Omni LLM이 가진 한계를 드러내어 커뮤니티가 더 신뢰할 수 있는 멀티모달 안전 시스템으로 나아갈 수 있도록 안내하는 필수적인 단계로 포지셔닝하고 있다.