💻 computer science

EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards

이 논문은 주석 데이터나 외부 보상 모델 없이 단일 백본 모델에서 제안자 (Proposer) 와 솔버 (Solver) 두 에이전트를 협력시켜 이미지 기반 질문 생성과 내부 일관성 기반 해결을 통해 지속적인 자기 보상 과정을 수행하는 'EvoLMM'이라는 자기 진화 프레임워크를 제안하여, Qwen2.5-VL 기반 모델이 다중 모달 수학 추론 벤치마크에서 약 3% 의 성능 향상을 이루었음을 보여줍니다.

원저자: Omkar Thawakar, Shravan Venkatraman, Ritesh Thawkar, Abdelrahman Shaker, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Khan

게시일 2026-03-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Omkar Thawakar, Shravan Venkatraman, Ritesh Thawkar, Abdelrahman Shaker, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Khan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"EvoLMM"**이라는 새로운 인공지능 학습 방법을 소개합니다. 쉽게 말해, 사람의 도움이나 정답지 없이, 인공지능 스스로가 문제를 만들고 풀면서 지혜를 키워가는 방법입니다.

기존의 인공지능은 선생님이 정답을 알려주거나 (지도 학습), 외부의 채점관이 점수를 매겨주어야 (강화 학습) 배울 수 있었습니다. 하지만 EvoLMM 은 그 모든 것을 버리고 스스로 진화합니다.

이 과정을 이해하기 쉽게 한 편의 드라마나 스스로 배우는 학생에 비유해 설명해 드릴게요.

🎭 두 명의 캐릭터: '문제 출제자 (Proposer)'와 '풀이꾼 (Solver)'

이 시스템은 하나의 거대한 인공지능 모델에서 두 가지 역할을 나누어 맡습니다. 마치 한 사람이 두 개의 가면을 쓰고 대화하는 것과 같습니다.

문제 출제자 (Proposer):
- 역할: 눈앞에 있는 그림 (예: 그래프, 도형, 지도) 을 보고 "이 그림에서 어떤 재미있는 문제를 낼 수 있을까?"라고 고민합니다.
- 목표: 너무 쉬워서 답이 뻔한 문제도, 너무 어려워서 아예 풀 수 없는 문제도 아닌, **"적당히 어려운 문제"**를 만들어냅니다.
- 비유: 마치 시험을 치르기 전에 스스로 "어떤 문제를 내면 내가 가장 잘 배울 수 있을까?"라고 고민하는 스승 같은 역할입니다.
풀이꾼 (Solver):
- 역할: 출제자가 만든 문제를 보고 답을 찾아냅니다.
- 특이점: 정답이 하나만 있는 게 아닙니다. 같은 문제를 5 번, 10 번씩 반복해서 풀어봅니다.
- 목표: 5 번 풀었을 때 나온 답들이 서로 비슷하다면 (예: 5 번 중 4 번이 "40"이라고 답했다면), 그 답은 믿을 만하다고 판단합니다.

🔄 스스로 배우는 원리: "내 대답이 일관되니, 이게 맞겠지!"

이 시스템의 핵심은 정답지 (Ground Truth) 가 없다는 점입니다. 대신 **'일관성 (Consistency)'**이라는 나침반을 사용합니다.

문제 생성: 출제자가 그림을 보고 문제를 냅니다.
다중 시도: 풀이꾼이 그 문제를 여러 번 풉니다.
자기 채점 (Continuous Reward):
- 만약 풀이꾼이 5 번 풀어서 5 번 모두 똑같은 답을 낸다면? → **"아, 이 문제는 내가 확실히 이해했구나!"**라고 스스로를 칭찬합니다. (높은 보상)
- 만약 답이 5 번마다 제각각이라면? → **"아, 이 문제는 내가 헷갈리네. 아직 완벽하지 않아."**라고 스스로를 다독입니다. (중간 정도의 보상)
- 중요한 점: 기존 방식은 "맞으면 1 점, 틀리면 0 점"처럼 딱딱하게 점수를 매겼지만, EvoLMM 은 **"얼마나 비슷하게 답했는지"**에 따라 연속적인 점수를 줍니다. 마치 "아직 완벽하진 않지만, 조금씩 나아지고 있네"라고 격려하는 것과 같습니다.

이 과정을 반복하면, 출제자는 점점 더 좋은 문제를 만들고, 풀이꾼은 점점 더 논리적으로 답을 찾게 됩니다. 마치 스스로를 가르치는 학생이 시간이 지날수록 더 똑똑해지는 것과 같습니다.

🚀 왜 이 방법이 특별한가요? (기존 방식 vs EvoLMM)

기존 방식 (수업 듣기): 선생님이 정답을 알려주고, 틀리면 고쳐줍니다. 하지만 선생님이 없으면 배울 수 없습니다.
EvoLMM (스스로 탐험): 정답을 모릅니다. 하지만 "내 생각이 일관되면, 그건 옳을 가능성이 높다"는 원칙을 믿고 스스로 문제를 풀고 다듬습니다.
- 장점: 정답지가 없는 세상 (예: 새로운 과학 실험 데이터, 복잡한 지도 등) 에서도 스스로 배울 수 있습니다.
- 결과: 실험 결과, 이 방법으로 학습한 인공지능은 수학 문제나 그래프 분석 능력에서 약 2~3% 더 뛰어난 성능을 보였습니다. 이는 정답지 없이도 스스로 성장할 수 있음을 의미합니다.

💡 한 줄 요약

"EvoLMM 은 정답지 없이, 인공지능이 스스로 문제를 내고 스스로 여러 번 풀어보며 '내 대답이 일관되니 이게 맞겠지'라고 스스로를 믿고 성장하게 하는, 완전히 자율적인 학습 시스템입니다."

이 기술은 앞으로 인공지능이 인간의 도움 없이도 새로운 분야를 스스로 탐구하고 지식을 쌓아갈 수 있는 길을 열어줄 것입니다. 마치 스스로 진화하는 지혜로운 탐험가가 되는 것과 같습니다.

1. 문제 정의 (Problem)

최근 대규모 멀티모달 모델 (LMMs) 은 이미지 캡셔닝, 시각적 질문 응답 (VQA), 멀티모달 추론 등 다양한 분야에서 뛰어난 성능을 보여주고 있습니다. 그러나 기존 LMM 의 학습 파이프라인은 다음과 같은 두 가지 근본적인 의존성으로 인해 자율성과 확장성에 한계가 있습니다.

인간 큐레이션 데이터 의존: 학습을 위해 인간이 직접 라벨링한 어노테이션 (Ground-truth) 또는 메타데이터가 필수적입니다.
외부 보상 모델 의존: 강화학습 (RL) 기반 학습 시, 인간의 정답이나 외부에서 학습된 보상 모델 (Reward Model) 에 의존해야 합니다.

이러한 의존성은 도메인 일반화를 어렵게 만들고, 어노테이션이나 외부 평가자가 없는 환경에서의 배포를 제한합니다. 본 논문은 어떠한 인간 어노테이션, 메타데이터, 외부 보상 모델 없이도 LMM 이 스스로 추론 능력을 향상시킬 수 있는가라는 근본적인 질문에 답하고자 합니다.

2. 방법론 (Methodology)

저자들은 EvoLMM이라는 완전히 비지도 (Unsupervised) 인 자기 진화 (Self-Evolving) 프레임워크를 제안합니다. 이 프레임워크는 단일 백본 모델에서 두 가지 협력 에이전트 (Proposer 와 Solver) 를 생성하여 내부 일관성 (Internal Consistency) 만을 통해 학습합니다.

핵심 구성 요소

Proposer (제안자): 라벨이 없는 원시 이미지 (Raw Images) 를 입력받아 시각적으로 근거를 둔 질문을 생성합니다.
Solver (해결자): 생성된 질문에 대해 여러 번 (N 번) 답을 시도합니다.

연속적 자기 보상 메커니즘 (Continuous Self-Rewarding Mechanism)

기존의 이산적 (Discrete) 인 다수결 투표 (Majority Vote) 방식은 초기 학습 단계에서 답변의 변동성이 커서 보상이 0 이 되는 경우가 많아 학습이 불안정하다는 문제를 해결하기 위해 연속적 보상을 도입했습니다.

Solver 보상 ( $r_{sol}$ ): Solver 가 생성한 N 개의 답변 중 일관성 (Agreement) 을 기반으로 한 확률적 점수와 길이 패널티를 결합합니다.
- 답변들이 서로 일치할수록 높은 보상을 받으며, 부분적인 일치 (Partial Consensus) 에 대해서도 0 이 아닌 의미 있는 그라디언트를 제공합니다.
- 수식: $r_{sol}^i = (p(y_i|x, q))^\gamma \cdot (1 - \lambda_{len} \cdot \max\{0, (w_i - \tau)/\tau\})$
Proposer 보상 ( $r_{prop}$ ): Solver 의 답변 엔트로피 (Entropy) 를 기반으로 한 대역 통과 (Band-pass) 보상 함수를 사용합니다.
- 너무 쉬운 질문 (엔트로피 0) 이나 너무 어렵고 모호한 질문 (엔트로피 매우 높음) 은 보상을 낮추고, **적당한 난이도 (중간 엔트로피)**의 질문을 생성할 때 최대 보상을 받습니다.
- 이는 모델이 스스로 **암묵적 커리큘럼 (Implicit Curriculum)**을 형성하도록 유도합니다.

학습 최적화

REINFORCE 알고리즘: 그라디언트 기반 정책 경사 (Policy Gradient) 를 사용하며, 분산을 줄이기 위해 이동 평균 베이스라인 (Moving-average Baseline) 을 적용합니다.
KL 정규화: 사전 학습된 백본 모델로부터의 편차를 제어하기 위해 토큰 수준의 KL 발산을 제한하여 모델 붕괴 (Model Collapse) 를 방지합니다.
데이터: 질문 - 답변 쌍이나 메타데이터 없이 **원시 이미지 (Raw Images)**만 사용합니다.

3. 주요 기여 (Key Contributions)

EvoLMM 프레임워크: 인간 라벨이나 외부 보상 모델 없이, Proposer-Solver 사이클을 통해 내부 일관성 피드백만으로 LMM 을 진화시키는 최초의 완전 비지도 멀티모달 프레임워크를 제안했습니다.
연속적 자기 보상 신호: 기존 이산적 보상 (다수결) 의 불안정성을 해결하고, 부분적인 일관성에서도 그라디언트가 흐르도록 하는 연속적 보상 메커니즘을 개발하여 학습 안정성과 성능 향상을 동시에 달성했습니다.
실증적 검증 및 커리큘럼 발견: Qwen2.5-VL-7B 를 기반으로 한 실험에서, 원시 이미지만으로 학습하여 다양한 멀티모달 수학 추론 벤치마크에서 일관된 성능 향상을 보였습니다. 또한, Proposer 가 시간이 지남에 따라 더 복잡한 질문을 생성하고 Solver 가 구조화된 추론 체인을 발전시키는 자기 진화 현상을 확인했습니다.

4. 실험 결과 (Results)

벤치마크 성능: ChartQA, MathVista, MathVision, ScienceQA 등 8 가지 멀티모달 추론 벤치마크에서 Qwen2.5-VL-7B 베이스라인 대비 약 2~3% 의 절대적 성능 향상을 기록했습니다.
- 예: ChartQA (84.00% → 86.70%), ScienceQA (88.30% → 89.50%).
비교 분석:
- 이산적 보상 vs 연속적 보상: 이산적 보상 (다수결) 을 사용한 변형 모델은 성능 향상이 미미하거나 오히려 저하되는 경향을 보인 반면, EvoLMM 의 연속적 보상은 모든 벤치마크에서 안정적인 개선을 보여주었습니다.
- 파라미터 효율성: LoRA(저랭크 어댑터) 를 사용한 미세 조정이 전체 파라미터 파인튜닝보다 더 안정적이고 효과적인 결과를 보여주었습니다.
- 모델 확장성: 7B 에서 72B 까지 다양한 크기의 모델 (Qwen, InternVL, Gemma, Llama 계열) 에 적용 시 일관된 성능 향상이 확인되었으며, 모델이 클수록 절대적 이득이 더 컸습니다.
일반화 능력: 학습에 사용되지 않은 오픈 엔디드 벤치마크 (RefCOCOg, DocVQA 등) 에서도 제로샷 (Zero-shot) 성능이 향상되어, 학습된 추론 능력이 다양한 작업으로 전이됨을 입증했습니다.

5. 의의 및 결론 (Significance)

EvoLMM 은 멀티모달 AI 의 자율적 학습 (Autonomous Learning) 에 있어 중요한 이정표입니다.

데이터 의존성 해소: 고품질 어노테이션이나 외부 평가자가 없는 환경에서도 모델이 스스로 학습할 수 있는 가능성을 열었습니다.
학습 안정성: 멀티모달 추론의 불확실성을 고려한 연속적 보상 설계는 초기 학습 단계의 불안정성을 극복하고 점진적인 성능 향상을 가능하게 합니다.
미래 방향: 이 연구는 커리큘럼의 자동 생성, 자기 생성 데이터의 확장, 그리고 장기적 추론 (Long-horizon Reasoning) 을 위한 완전한 자기 개선 시스템으로의 발전을 위한 강력한 베이스라인을 제시합니다.

결론적으로, EvoLMM 은 외부 supervision 없이도 모델이 자신의 추론 능력을 지속적으로 정제하고 진화시킬 수 있음을 보여주며, 멀티모달 AI 의 진정한 자율성 달성을 위한 핵심 기술로 평가됩니다.