MM-Zero: Self-Evolving Multi-Model Vision Language Models From Zero Data

이 논문은 이미지와 같은 시드 데이터 없이도 추론 능력을 향상시키기 위해 제안자, 코더, 솔버라는 세 가지 역할을 도입하고 그룹 상대적 정책 최적화 (GRPO) 를 활용한 강화 학습 기반의 자기 진화 프레임워크인 MM-Zero 를 제안합니다.

핵심

MM-Zero: 데이터 없이 스스로 성장하는 '시각적 두뇌'의 비밀

이 논문은 **"데이터 하나 없이, 스스로 그림을 그리고 문제를 만들어 스스로 공부하는 인공지능"**에 대한 이야기입니다. 보통 인공지능을 가르치려면 사람이 수많은 사진과 정답을 준비해 줘야 하는데, 이 연구는 그 과정이 전혀 필요 없다는 것을 증명했습니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 **'자수성가하는 3 인조 팀'**이라는 비유로 설명해 드리겠습니다.

---

🎬 시나리오: 데이터 없는 고립된 섬에서 시작하다

상상해 보세요. 인공지능 모델이 아무런 사진도, 문제집도 없는 고립된 섬에 혼자 떨어졌습니다. 보통이라면 여기서 멈추겠지만, 이 모델은 세 명의 역할을 가진 팀으로 변신하여 스스로를 훈련시킵니다.

이 세 명의 역할은 모두 같은 '기본 모델'에서 태어났지만, 서로 다른 일을 맡아 협력합니다.

1. 기획자 (Proposer): "재미있는 그림을 그려볼까?"

• 역할: 이 사람은 상상력이 풍부합니다. "빨간 사과 3 개와 초록 사과 2 개가 있는 그림을 그려줘"라고 아이디어를 내고, 그 그림을 보고 풀 수 있는 쉬운 문제와 어려운 문제를 만듭니다.
• 비유: 마치 아이디어를 내는 작가처럼, "오늘은 어떤 그림을 그릴까?"라고 구상을 합니다.

2. 코더 (Coder): "그림을 그려줘!"

• 역할: 기획자가 말한 내용을 듣고, 파이썬 코드를 작성합니다. 이 코드는 컴퓨터가 실행하면 실제로 사과가 그려진 그림이 나옵니다.
• 비유: 기획자의 구상을 현실로 구현하는 화가입니다. 하지만 이 화가는 붓 대신 코드를 사용하며, 코드가 틀리면 그림이 깨지거나 안 그려집니다.

3. 해결사 (Solver): "이 그림의 정답은?"

• 역할: 코더가 그린 그림을 보고 기획자가 낸 문제를 풉니다.
• 비유: 그림을 보고 수학 문제를 푸는 학생입니다. 이 학생이 문제를 풀면서 배우고, 더 똑똑해집니다.

---

🔄 어떻게 서로를 가르칠까? (피드백 루프)

이 세 사람은 서로를 가르치며 성장합니다. 마치 스스로를 시험하는 선생님과 같습니다.

1. 기획자가 "사과 3 개, 2 개"라고 말합니다.
2. 코더가 코드를 짜서 사과 그림을 그립니다.
   • 성공! 사과가 제대로 그려지면 해결사에게 넘어갑니다.
   • 실패! 사과가 엉망이면 코더는 "아, 내 코드가 틀렸구나"라고 배우고 다음에 고칩니다.
3. 해결사가 그림을 보고 "사과가 총 5 개야!"라고 답합니다.
   • 만약 답이 맞다면, 코더는 "내 그림이 잘 그려졌구나"라는 칭찬 (보상) 을 받습니다.
   • 만약 답이 어렵다면, 기획자는 "아, 이 정도 난이도가 적당했구나"라고 배우고 다음에 더 어려운 문제를 냅니다.

이 과정이 수천 번, 수만 번 반복되면서, 인공지능은 외부의 도움 없이 스스로 더 복잡한 그림을 그리고, 더 어려운 문제를 풀 수 있게 됩니다.

---

🌟 이 연구의 핵심 혁신점

기존의 인공지능 연구들은 **"이미 있는 그림 (데이터)"**을 가지고 문제를 만들었습니다. 하지만 이 연구 (MM-Zero) 는 **아무것도 없는 상태 (Zero Data)**에서 시작했습니다.

• 기존 방식: 도서관에 있는 책 (이미지 데이터) 을 빌려와서 공부함.
• MM-Zero 방식: 빈 종이를 들고 스스로 이야기를 지어내고, 그 이야기를 그림으로 그리고, 그 그림으로 문제를 만들어 스스로 공부함.

이처럼 **세 명의 역할 (기획자, 코더, 해결사)**이 한 팀이 되어 서로를 자극하며 성장하는 방식은, 인공지능이 인간의 도움 없이도 스스로 진화할 수 있는 새로운 길을 열었습니다.

📈 결과는 어떨까?

실험 결과, 이 방법으로 훈련된 인공지능은 수학 문제 풀이, 차트 읽기, 복잡한 그림 이해 등에서 기존 모델보다 훨씬 뛰어난 성능을 보였습니다. 특히, 처음엔 엉망이었던 그림도 훈련을 거듭할수록 점점 더 정교해지고, 문제도 더 깊어졌습니다.

💡 결론: "스스로 배우는 미래"

이 논문은 **"인공지능이 더 이상 인간의 손길 없이도 스스로 배울 수 있다"**는 희망적인 메시지를 전달합니다. 마치 아이가 부모의 도움 없이도 장난감을 가지고 놀며 스스로 세상을 배우는 것처럼, 인공지능도 스스로 그림을 그리고 문제를 풀며 지혜를 키워갈 수 있는 시대가 왔습니다.

이 기술이 발전하면, 앞으로는 우리가 직접 데이터를 준비할 필요 없이, 인공지능이 스스로 필요한 모든 학습 자료를 만들어내며 더 똑똑해질지도 모릅니다!

기술 요약

MM-Zero: 제로 데이터 (Zero Data) 기반의 자기 진화형 멀티모델 비전 - 언어 모델

1. 문제 제기 (Problem Statement)

• 기존 한계: 대규모 언어 모델 (LLM) 은 자기 진화 (Self-evolving) 를 통해 인간 개입 없이도 학습이 가능해졌으나, 비전 - 언어 모델 (VLM) 의 경우 시각적 입력 (이미지) 이 필수적이므로 완전한 '제로 데이터' 자기 진화는 어렵습니다.
• 기존 접근법의 결함: 기존 VLM 자기 진화 연구들은 제안자 (Proposer) 와 해결자 (Solver) 의 2 단계 구조를 사용하지만, 여전히 사전에 수집된 정적 이미지 데이터셋에 의존합니다. 이는 데이터의 분포, 품질, 다양성에 진화 과정이 제한받는 병목 현상을 초래합니다.
• 핵심 과제: 외부 데이터 (이미지, 라벨 등) 를 전혀 사용하지 않고, 모델이 스스로 시각적 콘텐츠를 생성하고 이를 기반으로 추론 능력을 진화시키는 프레임워크를 구축하는 것.

2. 방법론 (Methodology)

MM-Zero 는 기존 2 인 (Proposer-Solver) 구조를 넘어 3 인 (Tri-role) 상호작용 구조를 도입한 강화 학습 (RL) 기반 프레임워크입니다. 모든 역할은 동일한 베이스 모델에서 초기화되며, **그룹 상대적 정책 최적화 (GRPO, Group Relative Policy Optimization)**를 사용하여 학습됩니다.

2.1 3 가지 역할 (Tri-Role Architecture)

1. Proposer (제안자): 추상적인 시각 개념을 생성하고, 이를 설명하는 텍스트 캡션과 함께 '쉬운 질문 (Easy Q)'과 '어려운 질문 (Hard Q)'을 포함한 4 중 튜플을 생성합니다.
2. Coder (코더): Proposer 가 생성한 캡션을 실행 가능한 코드 (Python, SVG 등) 로 변환하여 시각적 이미지를 렌더링합니다.
3. Solver (해결자): 렌더링된 이미지와 질문에 대해 다중 모달 추론을 수행하여 답을 도출합니다.

2.2 학습 파이프라인 및 보상 설계 (Reward Design)
각 역할은 서로의 피드백을 통해 보상 (Reward) 을 받으며, **검증 가능한 보상 (Verifiable Rewards, RLVR)**을 기반으로 학습합니다.

• Proposer 보상:
  • 실행 및 가시성: Coder 가 코드를 성공적으로 실행하여 이미지를 생성했는지 확인.
  • 해결 가능성 (Solvability): 생성된 이미지가 '쉬운 질문'에 대한 정답을 명확히 보여주는지 Solver 를 통해 검증.
  • 난이도 균형 (Goldilocks Principle): '어려운 질문'에 대해 Solver 가 정답을 맞추기엔 너무 어렵지 않고, 너무 쉬우면 안 되는 최적의 난이도 (불확실성이 최대일 때) 를 유지하도록 보상.
  • 다양성: 콘텐츠 유형 (차트, 도형, 수학 등) 과 질문의 반복을 방지하기 위한 패널티/보너스 적용.
• Coder 보상: 렌더링 성공 여부, 생성된 이미지가 Proposer 의 의도 (캡션) 를 정확히 반영하는지 (Solvability), 그리고 난이도 점수를 기반으로 합니다.
• Solver 보상: 정답 레이블이 없는 생성된 데이터에 대해 **테스트 시간 강화 학습 (TTRL)**을 적용합니다. 여러 번의 추론 경로 (Rollout) 를 생성하여 다수결 (Majority Vote) 로 '실버 라벨 (Silver Label)'을 도출하고, 이를 기준으로 정답률과 형식 준수 여부를 보상합니다.

3. 주요 기여 (Key Contributions)

1. MM-Zero 프레임워크: 외부 데이터 없이 VLM 의 추론 능력을 향상시키는 최초의 제로 데이터 자기 진화 프레임워크를 제안했습니다.
2. 3 인 역할 구조 (Tri-Role Pipeline): 추상적 추론과 시각적 그라운딩을 연결하기 위해 중간 단계로 '코드 생성 (Coder)'을 도입한 최초의 접근법입니다. 이는 Proposer-Coder-Solver 의 폐쇄 루프를 형성합니다.
3. 확장성 입증: Qwen3-VL(4B, 8B) 및 Mimo-VL-7B 등 다양한 크기와 아키텍처의 모델에서 외부 데이터 없이도 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: MMMU, MathVerse, ChartQA, HallusionBench 등 다양한 VLM 벤치마크에서 베이스 모델 대비 지속적인 성능 향상을 보였습니다.
  • Qwen3-VL-8B: 3 회 반복 학습 후 평균 시각 수학 추론 점수가 50.7% 에서 **54.1%**로 4%p 향상되었습니다.
  • MiMo-VL-7B: 50.9% 에서 **56.0%**로 크게 향상되었습니다.
  • 할루시네이션 감소: 시각적 근거에 기반한 답변이 증가하여 할루시네이션 벤치마크에서도 개선되었습니다.
• 학습 과정 분석:
  • 렌더링 성공률: 학습이 진행될수록 Coder 가 생성하는 코드의 실행 성공률과 이미지 품질이 점진적으로 향상되었습니다.
  • 난이도 진화: 초기에는 답이 이미지에 직접 명시되는 쉬운 문제들이 생성되었으나, 학습이 진행됨에 따라 다단계 추론이 필요한 복잡한 문제와 정교한 시각적 구성이 생성되었습니다.
• 초월적 학습 (Beyond 3 Iterations): 3 회 학습 후에도 성능이 포화되지 않고 5 회 학습까지 지속적으로 향상됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: VLM 의 자기 진화가 고정된 이미지 데이터셋에 의존하던 기존 방식을 넘어, 프로그래밍적으로 생성된 시각 데이터를 통해 무한한 다양성과 복잡성을 가진 시나리오를 학습할 수 있음을 증명했습니다.
• 비용 절감: 인간이 직접 데이터를 수집하고 라벨링하는 막대한 비용과 시간을 절감하면서도 고품질의 학습 데이터를 확보할 수 있는 경로를 제시했습니다.
• 미래 전망: 이 프레임워크는 3D 렌더링, 복잡한 도구 사용 등 더 다양한 시각적 요소로 확장 가능하며, 인간 감독 없이도 지능이 진화할 수 있는 가능성 (Self-improving General Intelligence) 을 탐구하는 중요한 발걸음입니다.

한 줄 요약: MM-Zero 는 외부 데이터 없이 모델 스스로가 '문제 제안자', '이미지 생성 코더', '문제 해결자' 역할을 수행하며 상호 학습함으로써, 비전 - 언어 모델의 추론 능력을 진화시키는 획기적인 프레임워크입니다.