💻 computer science

Vision-EKIPL: External Knowledge-Infused Policy Learning for Visual Reasoning

이 논문은 외부 보조 모델로부터 고품질 행동을 학습 과정에 주입하여 멀티모달 대규모 언어 모델의 시각적 추론 능력을 향상시키고, 탐색 공간을 확장하며 수렴을 가속화하고 최첨단 방법론 대비 최대 5% 의 성능 개선을 달성하는 새로운 강화 학습 프레임워크인 Vision-EKIPL 을 제안합니다.

원저자: Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

게시일 2026-05-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑한 학생 (정책 모델) 이 3D 장면에서 사물을 세거나 모양이 어떻게 움직이는지 파악하는 것과 같은 복잡한 시각 퍼즐을 푸는 법을 가르치려 한다고 상상해 보세요.

문제: "에코 챔버" 함정

전통적으로 이러한 학생들을 **강화 학습 (RL)**이라는 방법으로 훈련시킬 때, 우리는 그들이 스스로 여러 답을 생성하도록 요구한 뒤, 가장 좋은 답에는 보상을 주고 나쁜 답에는 벌을 줍니다.

이 논문은 이것이 학생에게 시험 공부를 할 때 오직 자신의 노트만 읽도록 하는 것과 같다고 주장합니다. 학생들은 이미 알고 있는 것을 반복하는 데는 능숙해질 수 있지만, "한계"에 부딪히게 됩니다. 그들은 자신의 제한된 두뇌에서만 아이디어를 추출하는 에코 챔버에 갇혀 있기 때문에 문제를 해결하는 새롭고 영리한 방법들을 발견할 수 없습니다. 이로 인해 훈련 속도가 느려지고 궁극적으로 그들이 얼마나 똑똑해질 수 있는지가 제한됩니다.

해결책: 비전-EKIPL ("전문가 패널" 접근법)

저자들은 비전-EKIPL이라는 새로운 프레임워크를 제안합니다. 이는 학생이 공부하는 것을 돕기 위해 외부 전문가들 (GPT-4 나 Gemini 와 같은) 로 구성된 패널을 고용하는 것과 같습니다.

다음은 단계별 작동 방식입니다:

그룹 스터디 세션: 학생이 답을 생성하는 것뿐만 아니라, 시스템은 두 가지 출처에서 잠재적인 답들을 모읍니다:
- 학생 자신의 시도.
- "외부 전문가들" (보조 모델) 이 생성한 고품질 답변.
채점: 교사 (보상 함수) 가 모든 답변을 채점합니다. 학생이 구의 개수를 올바르게 세었나요? 올바른 형식을 사용했나요?
선정: 시스템은 이 혼합된 그룹에서 성적이 가장 좋은 답변들을 선택합니다. 특히, 전문가 모델이 학생이 놓친 영리한 해결책을 찾았다면, 그 해결책은 "최고 선정"에 포함됩니다.
수업: 학생은 이 "최고 중의 최고" 그룹으로부터 배웁니다. 그들은 단순히 자신의 실수로부터 배우는 것이 아니라, 전문가들의 지식과 추론 전략을 주입받게 됩니다.

비유: 체스 선수

더 잘해 보려는 체스 선수를 상상해 보세요.

오래된 방법 (표준 RL): 선수는 스스로 100 번의 게임을 하고 몇 번 승리한 뒤, 자신이 무엇을 올바르게 했는지 파악하려 합니다. 그들은 결코 승리할 수 있었던 brillant하고 위험한 수를 본 적이 없기 때문에, 항상 같은 안전하고 지루한 수에 갇히게 될 수 있습니다.
비전-EKIPL: 선수는 스스로 10 번의 게임을 하지만, 그랜드마스터들이 치는 10 번의 게임도 함께 볼 수 있습니다. 시스템은 선수와 그랜드마스터 양쪽에서 최고의 수들을 선택합니다. 그런 다음 선수는 이 최상위 수들을 연구합니다. 그들은 자신의 스타일뿐만 아니라 전문가들의 brillant하고 복잡한 전략들도 배우게 되어, 자신의 기술 한계를 훨씬 더 높게 끌어올립니다.

논문에서 발견한 내용

저자들은 시각 추론 작업 (사물 세기, 기하학 이해, 움직이는 모양 추적 등) 에서 이 방법을 테스트했습니다. 그들은 다음과 같은 결과를 발견했습니다:

더 똑똑한 결과: 비전-EKIPL 로 훈련된 모델은 표준 방법으로 훈련된 모델들보다 퍼즐을 더 잘 해결하여, 이전의 "최첨단 (state-of-the-art)" 성능을 약 5% 능가했습니다.
더 빠른 학습: 모델이 즉시 전문가들의 좋은 답을 "볼" 수 있기 때문에, 추측하는 데 시간을 낭비할 필요가 없습니다. 더 빠르게 학습하고 더 효율적으로 수렴 (훈련 완료) 합니다.
한계 돌파: 가장 중요한 발견은 이 방법이 실제로 모델의 추론 경계를 확장했다는 것입니다. 표준 RL 방법은 때로 모델이 안전하고 알려진 경로에만 머무르도록 하여 모델을 덜 창의적으로 만들기도 했지만, 비전-EKIPL 은 모델이 스스로 찾을 수 없었던 새롭고 복잡한 문제 해결 방법들을 발견하도록 도왔습니다.

요약하자면

비전-EKIPL은 AI 모델들이 공허한 상태에서 학습하는 것을 막아주는 훈련 방법입니다. 자신의 아이디어와 "전문가" AI 모델들의 고품질 아이디어를 혼합함으로써, 모델들이 더 깊이 사고하고, 더 어려운 시각 퍼즐을 풀며, 훨씬 더 빠르게 학습하도록 가르칩니다.

기술 요약: Vision-EKIPL

문제 정의

시각적 추론은 자율 항해부터 장면 이해에 이르기까지 다양한 응용 분야에서 필수적인 인공일반지능 (AGI) 의 핵심 인지 능력입니다. 다중 모달 대규모 언어 모델 (MLLM) 은 지도 미세 조정 (SFT) 과 강화 학습 (RL) 을 통해 발전해 왔으나, 현재 RL 기반 접근법 (예: 그룹 상대 정책 최적화 또는 GRPO) 은 상당한 한계에 직면해 있습니다. 구체적으로, 이러한 방법들은 정책 모델 자체로부터만 행동 그룹을 샘플링합니다. 이러한 자기 참조적 샘플링은 모델의 탐색 공간을 그 자체의 고유한 능력으로 제한하여, 사전 훈련된 기반 모델을 넘어서지 못하는'추론 경계'를 초래할 수 있습니다. 또한, 기존 RL 방법들은 외부 가이드 없이 모델이 복잡한 추론 경로를 발견하도록 의존하기 때문에 수렴 속도가 느리고 훈련 효율이 낮은 경향이 있습니다.

방법론: Vision-EKIPL

이러한 한계를 해결하기 위해 저자들은 외부 보조 모델로부터 고품질 행동을 정책 최적화 과정에 통합하는 새로운 RL 프레임워크인Vision-EKIPL(외부 지식 주입 정책 학습) 을 제안합니다.

핵심 프레임워크

이 프레임워크는 RL 훈련 루프 동안 외부 지식을 주입하여 정책 모델 ( $\pi_\theta$ ) 을 안내한다는 원칙에 따라 작동합니다. 과정은 다음과 같은 단계를 포함합니다:

다중 소스 행동 샘플링:
기존 GRPO 가 현재 정책에서만 행동을 샘플링하는 것과 달리, Vision-EKIPL 은 다음에서 결합된 행동 그룹 $O$ 를 샘플링합니다:
- 현재 정책 모델 $\pi_\theta$ .
- $M$ 개의 외부 보조 모델 (예: GPT-4o, Gemini-1.5-Pro) 로, $\pi_{\phi_j}$ 로 표기합니다.
주어진 상태 $s = (x, q)$ (시각 인코딩 및 질문) 에 대해, 시스템은 정책으로부터 $N$ 개의 행동을 샘플링하고 각 $M$ 개의 보조 모델로부터 $N$ 개의 행동을 샘플링합니다.
보상 계산:
모든 샘플링된 행동은 두 가지 구성 요소를 포함하는 보상 함수 $R(o_i)$ 를 사용하여 평가됩니다:
- 형식 보상 ( $R_{format}$ ): 출력이 구조화된 형식 (예: <thought> 태그 내의 추론 및 <answer> 태그 내의 답변) 을 준수하도록 보장합니다.
- 정확도 보상 ( $R_{acc}$ ): 최종 답변이 올바른 경우 양의 보상을 할당하고, 그렇지 않으면 0 을 할당합니다.
고품질 행동 선택:
결합된 행동 풀은 보상 값에 따라 정렬됩니다. 상위 $G$ 개의 행동이 선택되어 고품질 행동 그룹 $T$ 를 형성합니다. 이 그룹은 현재 훈련 단계에 대한'전문가'지식 베이스 역할을 합니다.
정책 최적화 (GRPO):
정책 모델은 그룹 상대 정책 최적화 (GRPO) 알고리즘을 사용하여 업데이트됩니다. 선택된 그룹 내 각 행동에 대한 이점 점수 $A_i$ 는 그룹 보상의 평균과 표준 편차에 상대적으로 계산됩니다. 정책 매개변수 $\theta$ 는 기준 분포에 가깝게 유지하기 위해 KL 발산 패널티를 유지하면서 기대 이점을 최대화하도록 업데이트됩니다.

동적 진화

이 논문은 훈련 중 행동의 출처가 동적으로 변화한다고 지적합니다. 초기에는 정책 모델의 추론 능력이 약하기 때문에 외부 모델의 행동에 크게 의존합니다. 훈련이 진행됨에 따라 정책 모델이 개선되면, 정책 모델 자체에서 선택된 행동의 비율이 증가하여 초기 외부 가이드의 혜택을 받으면서도 스스로 학습한 전략을 활용할 수 있게 됩니다.

주요 기여

새로운 RL 프레임워크: 시각적 추론에서 정책 모델 최적화를 안내하기 위해 외부 보조 모델의 고품질 행동을 활용하는 최초의 방법인 Vision-EKIPL 의 제안.
확장된 추론 경계: 외부 행동을 통합함으로써 정책 모델의 행동 탐색 공간을 효과적으로 넓혀, 단일 정책 모델이 간과할 수 있는 추론 경로를 발견하게 함으로써 추론 경계를 확장한다는 입증.
향상된 효율성과 성능: 최첨단 기준 모델에 비해 훈련 수렴을 크게 가속화하고 전반적인 추론 성능을 향상시킨다는 광범위한 실험을 통한 검증.

실험 결과

저자들은 시각적 카운팅, 구조 인식, 공간 변환의 세 가지 작업 카테고리를 포함하는Reason-RFT-CoT 벤치마크에서 Vision-EKIPL 을 평가했습니다.

성능 향상: Vision-EKIPL 은 벤치마크에서 최첨단 (SOTA) 방법보다 최대 5% 의 성능 향상을 달성했습니다.
동일 도메인 (ID) 결과:
- 시각적 카운팅에서 RL 기반 방법 (Vision-EKIPL 포함) 은 2B 및 7B 파라미터 규모 전반에 걸쳐 SFT 기반 방법 및 기준 모델보다 일관되게 우수한 성능을 보였습니다.
- 공간 변환에서 Vision-EKIPL 은 GPT-4o 및 Gemini-1.5-Pro 와 같은 독점 모델을 포함한 모든 기준 모델을 능가하는 최고 성능을 달성하여, 특정 아웃 - 오브 - 도메인 일반화 지표에서 가장 높은 성과를 거두었습니다.
아웃 - 오브 - 도메인 (OOD) 일반화:
- Vision-EKIPL 은 SFT 방법보다 우수한 일반화를 보여주었습니다. 예를 들어, 7B 모델에서 시각적 카운팅 작업에서 ANS-SFT 보다 19% 더 높은 성능을 보였습니다.
- 공간 변환에서 2B Vision-EKIPL 모델은 OOD 작업에서 GPT-4o 보다 34%, Gemini-1.5-Pro 보다 47% 더 높은 성능을 기록했습니다.
훈련 효율성:
- Vision-EKIPL 은 높은 데이터 효율성을 보여주어, 기준 모델이 필요로 하는 훈련 데이터의 **12% 에서 25%**만을 사용하여 Reason-RFT 의 성능을 달성했습니다.
추론 경계 분석:
- Pass@K 분석에 따르면, 기존 RL(Reason-RFT) 은 $K$ 가 증가함에 따라 결국 기준 모델보다 뒤처지는 것으로 나타났는데 (알려진 경로의 과도한 활용을 시사함), Vision-EKIPL 은 모든 $K$ 값에서 우수한 성능을 유지하여 추론 최전선을 확장하는 능력을 확인시켰습니다.

중요성 및 주장

이 논문은 Vision-EKIPL 이 기존 RL 방법의 고유한 한계를 극복함으로써 시각적 추론 연구를 위한 새로운 효과적인 패러다임을 제공한다고 주장합니다. 외부 모델을 정제된 감독 목표 (distilled supervision targets) 를 제공하는'전문가'로 간주함으로써, 이 프레임워크는 정책 모델이 자기 샘플링만으로는 접근할 수 없었던 다양하고 새로운 추론 전략을 학습할 수 있게 합니다.

저자들은 이 접근법을 외부 행동으로부터의 지식 증류 (지식 증류) 를 통한 지도 미세 조정 요소와 강화 학습 요소를 결합한 하이브리드 패러다임으로 위치시킵니다. 그들은 이 방법이 MLLM 의 시각적 추론 성능을 크게 향상시킬 뿐만 아니라 훈련 수렴을 실질적으로 가속화한다고 주장합니다. 주요 검증은 시각적 추론 작업에서 이루어졌지만, 저자들은 이 프레임워크가 일반성을 지니고 있으며 이론적으로 언어 및 기타 다중 모달 작업에도 적용될 수 있다고 제안합니다.