기술 요약: MERA Multi – 러시아어 아키텍처를 위한 멀티모달 평가 프레임워크

문제 정의

멀티모달 거대 언어 모델(MLLM)이 급격히 발전하고 있으나, 특히 러시아어 맥락에서의 역량, 한계 및 위험성에 대한 이해는 여전히 불충분합니다. 기존 벤치마크는 영어와 일반적인 도메인(예: MultiBench, MMBench)에 집중되어 있어, 슬라브어의 언어적, 문화적 뉘앙스를 간과하고 있습니다. 러시아어는 키릴 문자, 풍부한 문화적 맥락(예: 민속, 소비에트 미디어), 그리고 형태론적 복잡성으로 인해 특정한 과제를 안고 있으며, 이는 영어 중심 벤치마크를 직접 번역하는 것만으로는 부적절함을 의미합니다. 또한, 텍스트 기반의 러시아어 벤치마크(예: Russian SuperGLUE, MERA)는 존재하지만, 이미지, 오디오, 비디오 모달리티를 포괄하는 멀티모달 평가 프레임워크 측면에서는 심각한 공백이 존재합니다.

방법론

저자들은 러시아어 기반 아키텍처를 위해 특별히 설계된 최초의 오픈 멀티모달 평가 프레임워크인 MERA Multi를 소개합니다. 이 프레임워크는 지시어 기반(instruction-based)이며 텍스트(기본), 이미지, 오디오, 비디오의 네 가지 모달리티를 포함합니다.

1. 벤치마크 구조 및 데이터

• 범위: 본 벤치마크는 11개의 이미지 데이터셋, 4개의 오디오 데이터셋, 3개의 비디오 데이터셋에 걸쳐 분포된 18개의 평가 태스크로 구성됩니다.
• 데이터 구성: 재현성과 참신함의 균형을 맞추기 위해, 본 벤치마크는 공개적으로 사용 가능한 오픈 소스 데이터셋에서 가져온 7개의 태스크와 처음부터 구축한 11개의 태스크를 통합합니다. 자체 제작된 데이터셋은 러시아의 문화적 특수성을 반영하고, 아직 탐구되지 않은 기술 범주를 타겟팅하며, 데이터 오염을 완화하도록 설계되었습니다.
• 태스크 형식: 태스크는 객관식 질문(MC) 또는 짧은 자유 형식의 답변을 요구하는 개방형 질문으로 구성됩니다.
• 분류 체계(Taxonomy): 평가는 지식(일반, 도메인, 전문가), 인지(세밀한 단일/교차 인스턴스, 교차 모달 정렬), 추론(귀납, 연역, 가추, 정량)의 세 가지 광범위한 인지 그룹으로 분류되는 통일된 멀티모달 능력 분류 체계에 근거합니다.

2. 평가 파이프라인

• 프롬프팅 전략: 프레임워크는 보편적인 프롬프트를 구성하기 위해 **블록 프롬프팅 방식(block-prompting scheme)**을 채택합니다. 태스크별 프롬프트를 하드코딩하는 대신, 10개의 사전 정의된 프롬프트 블록(예: 어텐션 훅, 추론 요청, 답변 형식)을 사용하여 일관성을 유지하면서도 벤치마크 포화(saturation)를 방지하기 위해 제어된 변형을 허용합니다. 통계 분석 결과, 프롬프트 구성이 모델 점수에 유의미한 영향을 미친다는 것이 확인되었으며, 이는 여러 프롬프트 변형을 사용하는 정당성을 부여합니다.
• 점수 산정 지표:
  • 완전 일치(Exact Match, EM): 정규화된 문자열 비교를 사용하는 생성형 정확도 유사 지표입니다.
  • 판사 점수(Judge Score, JS): 전용 LLM-as-a-judge 모델(RuModernBERT 기반)을 사용하여 계산되는 의미론적 유사성 지표입니다. 이 모델은 인간이 주석을 단 데이터로 학습되어 의미적 동등성을 평가하며, 동일한 답변에 대해 EM과 0.96의 F1 점수 및 99.6%의 일치도를 달s합니다.
  • 최종 점수(Final Score): 태스크 점수는 EM과 JS의 평균입니다.
• 집계: **총점(Total Score)**은 시도 점수(Attempted Score)(모델이 시도한 태스크의 품질)와 커버리지(Coverage)(벤치마크에서 시도한 폭)를 결합합니다. 이 접근 방식은 누락된 모달리티에 대해 임의로 0점을 부여하지 않고 공정한 순위를 매길 수 있게 합니다.
• 데이터 보호: 데이터 유출을 방지하기 위해 저자들은 데이터 워터마킹(오디오에는 AudioSeal 사용, 이미지/비디오에는 시각적 오버레이 사용)과 모델이 벤치마크 데이터로 학습되었는지 식별하는 멀티모달 의미론적 멤버십 추론 공격(MSMIA) 탐지기를 사용합니다.

주요 기여

1. 통합 분류 체계: 지식, 인지, 추론을 아우르며 모달리티 전반에 걸쳐 MLLM 평가를 위해 특별히 설계된 제안된 분류 체계 및 평가 방법론.
2. 새로운 데이터셋: 러시아의 문화적, 언어적 특수성을 반영하고 통일된 프롬프트 및 지표를 포함하여 처음부터 구축된 다수의 데이터셋을 포함한 18개의 데이터셋 생성.
3. 베이스라인 결과: 1B에서 110B 파라미터에 이르는 50개 이상의 공개 모델(오픈 소스 및 폐쇄형 아키텍처 모두 포함)과 독점 모델(GPT-4.1)에 대한 포괄적인 베이스라인 성능 결과.
4. 유출 방지: 프라이빗 평가 데이터셋을 보호하기 위한 데이터 유출 분석 및 워터마킹을 위한 견고한 방법론을 제공하여 향로 평가의 유효성을 보장.
5. 인프라: 재현성을 위한 표준화된 코드베이스와 자동화된 점수 산정 및 공개 리더보드를 갖춘 제출 플랫폼.

결과

50개 이상의 모델을 평가한 결과 다음과 같은 경향이 나타났습니다:

• 모달리티 격차: 모달리티 간에 상당한 격차가 존재합니다. 이미지 이해는 상대적으로 성숙한 반면, 오디오 및 비디오 이해는 모델 역량과 데이터셋 커버리지 모두에서 저조하여 낮은 점수로 나타났습니다.
• 옴니 모델 vs 전문가 모델: 옴니 모델(예: Qwen3-Omni-30B, Qwen2.5-Omni-7B)은 개별 모달리티 점수가 절대적으로 가장 높지 않더라도, 더 넓은 커버리지 덕분에 일반적으로 더 높은 총점을 달성합니다. 전문가 모델(예: 오디오를 위한 Ultravox, 비디오를 위한 LLaVA-NeXT-Video)은 특정 도메인에서 강력한 성능을 보이는 경우가 많지만 낮은 커버리지 점수로 인해 손해를 봅니다.
• 최상위 성능 모델: 최상위 모델인 Qwen3-Omni-30B-A3B-Instruct는 높은 시도 점수(0.563)와 커버리지(0.889)에 힘입어 0.5의 총점을 기록했습니다. GPT-4.1은 이미지 모달리티에서는 선두를 달렸으나, 낮은 커버리지(0.333)로 인해 총점은 0.159에 그쳤습니다.
• 지표 불일치: 대부분의 모델에서 판사 점수(JS)가 완전 일치(EM)보다 높게 나타났는데, 이는 모델들이 엄격한 출력 형식 지침을 위반하더라도 의미론적으로는 올바른 답변을 생성하는 경우가 많음을 나타냅니다.

의의

본 논문은 MERA Multi를 러시아어를 위한 투명하고 문화적으로 근거 있는 멀티모달 평가를 위한 최초의 포괄적인 프레임워크로 자리매김합니다. 그 의의는 다음과 같습니다:

• 결정적 공백 메움: 주요 슬라브어인 러시아어에 대한 멀티모달 벤치마크의 부재를 해결합니다.
• 방법론적 청사진: 영어 벤치마크를 직접 번역하는 것이 불충 sufficient하지 않은, 특히 슬라브어족과 같이 유형론적으로 다양한 언어에서 멀티모달 벤치마크를 구축하기 위한 재현 가능한 방법론을 제공합니다.
• 커뮤니티 기반 마련: 투명한 평가 관행을 장려하고, 커뮤니티의 기여를 촉진하며, 비영어권 언어를 위한 문화적 인지력이 있는 멀티모달 모델의 발전을 도모하는 토대를 구축합니다.

저자들은 18개의 태스크가 모든 모델의 능력이나 전문화된 도메인을 다루지 못할 수 있으며, 추론 결과가 하드웨어-소프트웨어 스택에 따라 달라질 수 있다는 한계를 인정하며, 현재 작업은 의미론적 능력에 초점을 맞추고 있으며 소수자에 대한 모델의 편향을 명시적으로 평가하지 않는다는 점을 언급하며 이를 향후 연구 방향으로 제시했습니다.