MJ1: Multimodal Judgment via Grounded Verification

이 논문은 시각적 근거를 강제하는 구조화된 검증 체인과 반사실적 일관성 보상을 통해 강화학습으로 훈련된 3B 파라미터 규모의 다중모달 판정 모델 'MJ1'이 훨씬 더 큰 모델들을 능가하는 성능을 달성했음을 보여줍니다.

핵심

🎨 그림을 보는 '현명한 심사위원' MJ1: 어떻게 작은 뇌로 거인을 이겼을까?

이 논문은 **"AI 가 그림을 보고 평가할 때, 왜 자꾸 망치냐?"**라는 문제를 해결한 흥미로운 연구입니다. 연구팀은 MJ1이라는 새로운 AI 심사위원을 만들었는데, 이 AI 는 거대한 슈퍼컴퓨터보다 훨씬 작지만, 그림을 평가하는 능력에서는 세계 최고 수준을 자랑합니다.

이 복잡한 연구를 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "그림은 안 보고, 글만 보고 판단하는 AI"

우리가 AI 에게 "이 두 그림 중 어떤 게 더 잘 그렸나요?"라고 물으면, 보통 AI 는 그림을 자세히 보지 않습니다. 대신 "글이 길다", "문장이 예쁘다", "첫 번째에 나온 답이니까 이걸로 하자" 같은 편견으로 판단합니다.

• 비유: 마치 미술 시험에서 작품 자체는 안 보고, 학생이 쓴 '자기소개서'의 글자 수나 첫 번째 이름만 보고 점수를 매기는 선생님과 같습니다.
• 원인: AI 는 글을 길게 쓸수록 그림에 대한 기억이 점점 사라져버립니다 (주의력 감소). 그래서 마지막에 점수를 매길 때는 그림이 기억나지 않고, 그냥 글만 보고 판단해버립니다.

2. 해결책 1: "눈을 뜨고 생각하라" (Grounded Verification Chain)

MJ1 은 그림을 평가할 때, 무작정 점수를 주지 않고 5 단계의 엄격한 과정을 거칩니다.

1. 관찰 (Observation): "일단 그림에 뭐가 그려져 있는지 자세히 적어라." (그림을 가장 먼저, 가장 선명하게 볼 때)
2. 주장 (Claims): "그림을 그린 사람이 '나는 이걸 그렸다'라고 주장한 게 뭐지?"
3. 검증 (Verification): "그 주장이 방금 본 그림과 일치하는지 확인해라." (거짓말인지, 사실인지 가려내기)
4. 평가 (Evaluation): "이제 이 그림이 원래 요구사항을 잘 충족했는지 판단해라."
5. 점수 (Scoring): "마지막으로 점수를 매겨라."

• 비유: 이건 마치 경찰이 범인을 잡을 때, 먼저 현장 증거 (그림) 를 꼼꼼히 수집하고, 용의자의 진술 (주장) 과 대조한 뒤, 그제야 유죄/무죄를 판단하는 과정과 같습니다.
• 효과: 이 방법만으로도 AI 를 훈련시키지 않아도 점수가 3~4 점이나 올랐습니다. "그림을 먼저 보게 만드는 것"만으로도 이렇게 큰 차이가 난 것입니다.

3. 해결책 2: "순서를 바꿔도 똑같은 답을 내라" (Counterfactual Consistency)

AI 는 종종 "A 가 먼저 나오면 A 를 좋아하고, B 가 먼저 나오면 B 를 좋아하는" 편향을 가집니다. MJ1 은 이걸 고치기 위해 역발상 훈련을 시켰습니다.

• 방법: AI 에게 "A 그림과 B 그림을 바꿔서 보여주고, 다시 평가해봐"라고 시킵니다.
• 규칙: 만약 원래는 "A 가 더 좋아"라고 했다면, 그림을 바꿔서 보여줬을 때는 "B 가 더 좋아"라고 반대로 말해야 점수 (보상) 를 줍니다.
• 비유: 마치 식당 미식가에게 "오늘은 메뉴 A 가 먼저 나왔으니 A 를 추천하고, 내일은 메뉴 B 가 먼저 나왔으니 B 를 추천해"라고 시키는 게 아니라, "메뉴 순서를 바꿔도 맛은 변하지 않으니까, 진짜 맛 (그림의 내용) 에 따라 판단해라"라고 가르치는 것입니다.
• 효과: AI 는 더 이상 "순서"에 속지 않고, 진짜 "그림의 내용"에 집중하게 됩니다.

4. 결과: 작은 뇌로 거인을 이기다

이 두 가지 방법 (그림을 먼저 보고, 순서에 속지 않게 훈련) 을 결합한 MJ1은 놀라운 결과를 냈습니다.

• 크기: MJ1 은 30 억 개의 파라미터 (뇌세포) 를 가진 거대 모델이 아니라, **30 억 중 실제로 작동하는 30 억 (3B)**만 가진 아주 작은 모델입니다. (거인 vs 왜소한 선수)
• 성적: 세계 최고의 거대 AI 들 (Gemini-3-Pro, GPT-5 등) 보다 **더 높은 점수 (77.0%)**를 받았습니다.
• 교훈: AI 의 성능은 "얼마나 큰가"보다 **"어떻게 생각하느냐 (훈련 방법)"**가 훨씬 중요합니다.

📝 한 줄 요약

"그림을 볼 때 눈을 크게 뜨고 (관찰), 순서에 속지 않는 공정한 심판 (일관성) 을 훈련시킨 작은 AI 가, 거대한 AI 들을 이겨냈다."

이 연구는 AI 가 단순히 큰 모델을 만드는 게 아니라, **올바른 사고 과정 (그림을 먼저 보고, 편견을 버리는 것)**을 가르치는 것이 얼마나 중요한지 보여줍니다.

기술 요약

MJ1: 시각적 근거를 통한 다중모달 판단 (Multimodal Judgment via Grounded Verification) 기술 요약

이 논문은 Haize Labs 의 Bhavesh Kumar, Dylan Feng, Leonard Tang 에 의해 작성되었으며, MJ1이라는 새로운 다중모달 판단 모델 (Multimodal Judge) 을 제안합니다. MJ1 은 시각적 증거에 기반한 판단을 강제하는 구조화된 검증 체인과 반사실적 일관성 보상 (Counterfactual Consistency Reward) 을 통해, 기존 모델들이 겪던 '시각적 주의력 감소 (Visual Attention Decay)' 문제를 해결하고 소규모 모델로도 최첨단 성능을 달성했습니다.

---

1. 문제 정의 (Problem)

기존의 다중모달 판단 모델 (Multimodal Judges) 은 생성된 이미지가 사용자의 의도를 얼마나 잘 충족하는지 평가하는 데 핵심적인 역할을 하지만, 텍스트 기반 판단 모델에 비해 성능이 현저히 낮습니다.

• 성능 한계: Multimodal RewardBench 2 (MMRB2) 에서 최신 모델들 (Gemini-3-Pro, GPT-5 등) 이도 정확도가 70~76% 에 머무르며, 오픈소스 모델은 64% 수준에 그칩니다.
• 근본 원인: 모델의 규모 (Scale) 가 부족해서가 아니라, 시각적 증거 처리 및 추론 방식의 기계적 결함 때문입니다.
  • 주의력 감소 (Attention Decay): 트랜스포머의 깊은 레이어로 갈수록 시각 토큰에 대한 주의력 가중치가 급격히 감소하여, 최종 점수 산출 시 시각 정보가 무시되거나 왜곡됩니다.
  • 언어 편향: 모델이 시각 정보보다 언어적 사전 지식 (Language Priors) 에 과도하게 의존하여 할루시네이션을 생성하거나, 긴 설명에서는 사실을 왜곡하지만 직접 질문하면 정답을 아는 모순을 보입니다.

2. 방법론 (Methodology)

MJ1 은 Qwen3-VL-30B-A3B(총 30B 파라미터, 활성 파라미터 3B) 를 기반으로 하며, 두 가지 핵심 기법을 도입했습니다.

2.1. 근거 기반 검증 체인 (Grounded Verification Chain)

기존의 자유형 (Open-ended) 추론 대신, 시각적 증거를 먼저 추출하고 이를 기반으로 논리를 전개하는 구조화된 5 단계 프로세스를 강제합니다. 이는 시각적 주의력이 가장 높은 초기 단계에서 시각 정보를 추출하여 정보 손실을 방지합니다.

1. 관찰 (Observations, O): 프롬프트와 두 가지 응답 (A, B) 에 포함된 이미지 내용을 시각적으로 기술합니다.
2. 주장 추출 (Claims, C): 각 응답 (A, B) 이 주장하는 내용을 분해합니다.
3. 일관성 검증 (Verification, V): 추출된 주장 (C) 을 관찰된 시각적 사실 (O) 과 대조하여 일치 여부를 이진 신호 (1 또는 0) 로 확인합니다.
4. 기준 평가 (Evaluation, E): 작업별 기준에 따라 응답을 평가합니다.
5. 점수 산출 (Scoring, s): 최종 점수 (1~10 점) 를 부여합니다.

2.2. 반사실적 일관성 보상 (Counterfactual Consistency Reward)

강화학습 (GRPO) 훈련 시 **위치 편향 (Positional Bias)**을 제거하기 위한 보상 함수를 도입했습니다.

• 기법: 학습 데이터에서 두 응답 (A, B) 의 순서를 뒤집고 (Swap), 모델이 입력 순서가 바뀌었을 때 판단 결과도 올바르게 반전되는지 확인합니다.
• 보상: 순서가 바뀌었을 때에도 논리가 일관되게 뒤집혀 올바른 판단을 내리면 보상을 주고, 그렇지 않으면 (예: 항상 첫 번째 응답을 선호하는 편향) 보상을 주지 않습니다.
• 효과: 모델이 응답의 내용 (Content) 에 기반해 판단해야만 높은 보상을 받을 수 있도록 유도하여, 위치나 형식적 특징에 의존하는 단축 경로 (Shortcut) 를 차단합니다.

2.3. 훈련 파이프라인

1. 콜드스타트 SFT: 1 만 개의 증류된 추론 흔적 (Distilled Reasoning Traces) 을 사용하여 형식 준수와 기본 판단 능력을 학습.
2. GRPO (Group Relative Policy Optimization): 다음 세 가지로 구성된 복합 보상을 최적화합니다.
   • R_format: XML 태그 준수 여부.
   • R_correct: 정답 여부.
   • R_cons: 반사실적 일관성 (위치 편향 제거).

3. 주요 기여 (Key Contributions)

1. 구조화된 시각적 근거 체인: 시각적 관찰을 추론의 최전방에 배치하여, 추론 과정이 시각적 증거에 기반하도록 강제합니다. 이는 훈련 없이도 MMRB2 의 이미지 편집 태스크에서 정확도를 +3.8%p, 다중모달 추론에서 +1.7%p 향상시켰습니다.
2. 위치 불변성 (Position Invariance) 달성: 반사실적 일관성 보상을 통해 모델이 입력 순서에 의존하지 않고 콘텐츠에 기반한 판단을 하도록 훈련시켰습니다. 훈련 전에는 모델이 A 응답을 B 응답보다 약 2 배 더 자주 선택했으나, 이 보상을 통해 거의 동등한 수준으로 개선되었습니다.
3. 효율적인 고성능 모델: 3B 활성 파라미터만으로도 수백 배 큰 모델 (Gemini-3-Pro 등) 을 능가하는 성능을 달성하여, 모델 규모보다 훈련 레시피 (Training Recipe) 와 구조적 설계가 판단 작업에서 더 중요함을 입증했습니다.

4. 실험 결과 (Results)

MMRB2 (Multimodal RewardBench 2) 벤치마크에서 MJ1 은 다음과 같은 성과를 거두었습니다.

• 종합 정확도: 77.0% (기존 최고 모델인 Gemini-3-Pro 의 76.3% 를 상회).
• 세부 태스크 성능:
  • Text-to-Image: 80.2%
  • Image Editing: 78.1%
  • Interleaved Generation: 73.5%
  • Multimodal Reasoning: 76.4%
• 비교: 3B 활성 파라미터 모델임에도 불구하고, 300B 이상 파라미터를 가진 Qwen3-VL-235B-A22B 나 GPT-5, Gemini-3-Pro 등 모든 API 기반 및 오픈소스 모델을 능가했습니다.
• 분석: 시각적 근거가 없는 조건 (이미지 무작위 섞기, 빈 이미지) 에서 일관성 보상 (R_cons) 이 급격히 떨어지는 것을 확인하여, 이 메커니즘이 실제로 시각적 추론 정렬을 유도함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 다중모달 판단 분야에서 **모델의 규모 확장 (Scaling)**에 의존하지 않고, 구조적 개선과 강화학습 전략을 통해 성능을 극대화할 수 있음을 보여줍니다.

• 시각적 주의력 감소 해결: 추론의 초기 단계에서 시각 정보를 추출하고 이를 검증하는 체인을 도입함으로써, 생성 과정 중 발생하는 시각 정보 소실을 효과적으로 막았습니다.
• 편향 제거: 반사실적 일관성 보상을 통해 모델이 객관적인 시각적 증거에 기반한 판단을 하도록 유도했습니다.
• 실용성: 소규모 모델로도 대규모 모델을 대체할 수 있는 효율적인 다중모달 평가 도구를 제공하여, RLHF(인간 피드백을 통한 강화학습) 및 데이터 품질 필터링 등 다양한 분야에서 비용 효율적인 솔루션을 제시합니다.

결론적으로, MJ1 은 "시각적 근거 (Grounding)"와 "일관성 (Consistency)"이 다중모달 판단의 병목 현상을 해결하는 핵심 열쇠임을 증명했습니다.