기술 요약: Octopus 프레임워크를 통한 시각-언어 모델의 자기 수정 학습

문제 정의

추론 능력을 갖춘 시각-언어 모델(VLM)은 복잡한 작업에서 인상적인 성능을 보여주었으며, 종종 단일 응답 내에서 추론을 수정하는(예: "아하 모먼트") 발현적 "자기 수정(self-correction)" 행동을 보입니다. 그러나 현재의 검증 가능한 보상을 활용한 강화 학습(RLVR) 패러다임은 이러한 능력을 명시적으로 가르치거나 제어하는 데 어려움을 겪고 있습니다.

핵심 과제는 효과적인 자기 수정 신호의 극심한 희소성입니다. 표준 RL 훈련에서 자기 수정 행동(특히 잘못된 추론에서 올바른 추론으로의 전환, 즉 wrong → correct)은 매우 드물게, 그리고 암묵적으로만 나타납니다. 프롬프팅이나 보상 형성(reward shaping)을 통해 성찰을 장려하려는 기존 방법들도 여전히 이러한 희소하고 통제되지 않은 발현적 행동에 의존하고 있습니다. 또한, 직접적인 추론과 자기 수정을 공동으로 최적화하려는 시도는 표준 이진 보상을 사용할 경우 보상 해킹(모델이 사소한 수정을 유도하기 위해 의도적으로 잘못된 초기 응답을 생성하는 현상) 및 **모드 붕괴(mode collapse)**를 초래하여 훈련을 불안정하게 만듭니다.

방법론: Octopus 프레임워크

저자들은 이러한 문제를 해결하기 위해 추가적인 계산 오버헤드 없이 표준 RL 롤아웃으로부터 조밀하고 명시적인 자기 수정 예시를 합성해내는 롤아웃 증강 프레임워크인 Octopus를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다.

1. 수정 특화 롤아웃 증강 (Correction-Specific Rollout Augmentation)

저자들은 표준 RL 롤아웃 그룹(단일 입력에 대해 생성된 $n$개의 응답 집합) 내에서 정답과 오답 궤적이 공존한다는 점에 주목했습니다. Octopus는 모델이 자발적으로 wrong → correct 시퀀스를 생성하기를 기다리는 대신, 기존의 롤아웃들을 재조합함으로써 이를 명시적으로 구축합니다.

• 메커니즘: $n$개의 롤아웃이 주어지면, 시스템은 한 롤아웃의 수정 전 응답($o_1$)을 다른 롤아웃의 수정 후 응답($o_2$)과 쌍으로 묶습니다. 이 조합적 페어링은 $n^2$개의 잠재적 샘플을 생성합니다.
• 범주화: 이러한 쌍은 네 가지 범주로 분류됩니다: wrong → correct (양성), correct → correct (양성), correct → wrong (음성), wrong → wrong (음성).
• 샘플링 전략: 훈련 안정성을 보장하기 위해, 프레임워크는 증강된 풀(pool)에서 양성과 음성 샘플의 균형 잡힌 혼합을 선택합니다 (예: $n=8$일 때 64개의 생성된 쌍 중 16개의 균형 잡힌 샘로 선택). 이는 롤아웃을 재사용하여 샘플 효율성을 높이는 동시에, 어드밴티지 분포를 균형 있게 만들어 최적화를 안정화합니다.

2. 응답 마스킹 전략 (Response-Masking Strategy, 2단계 훈련)

직접적인 추론 학습과 자기 수정 학습 사이의 충돌을 해결하기 위해, 저자들은 응답 마스킹 전략을 포함한 2단계 훈련 파이프라인을 도입합니다.

• 1단계 (자기 수정 전용 학습): 모델은 수정 전 응답($o_1$)을 고정된 컨텍스트로 취급하면서 수정 후 응답($o_2$)을 개선하도록 학습됩니다. 손실(loss)은 $o_1$의 모든 토큰에 대해 마스킹되며, 참조 모델과 $o_1$을 가깝게 유지하기 위해 KL-발산 제약이 적용됩니다. 이는 자기 수정 신호를 격리하여, 모델이 인위적으로 수정 신호를 높이기 위해 $o_1$의 품질을 떨어뜨리는 "보상 해킹"을 방지합니다.
• 2단계 (추론과 수정의 공동 진화): 모델은 두 능력을 공동으로 최적화합니다. 결정적으로, 저자들은 **선택적 언마스킹(selective unmasking)**을 적용합니다. 즉, 수정 토큰 전후의 정답 여부가 일관된 경우(즉, correct → correct 또는 wrong → wrong)에만 $o_1$을 언마스킹(및 업데이트)합니다. 효과적인 자기 수정이 나타나는 경우(wrong → correct), 초기 오류를 강화하는 것을 방지하기 위해 $o_1$을 마스킹된 상태로 유지합니다.

3. 콜드 스타트 데이터 구축 (Cold-Start Data Construction)

RL 훈련 전, 특정 출력 형식($o_1 \oplus \langle sc \rangle \oplus o_2$)을 가르치기 위한 지도 미세 조정(SFT) 콜드 스타트 단계가 수행됩니다. 저자들은 $o_1$은 정책 모델에서, $o_2$는 더 강력한 교사 모델에서 샘플링하는 **혼합 샘플링(mixed sampling)**이 인-디스트리뷰션(in-distribution) 샘플링보다 우수하다는 것을 발견했습니다. 이는 엔트로피 붕괴를 피하고 초기화를 위한 더 높은 품질의 수정 예시를 제공하기 때문입니다.

주요 기여

1. 희소성 식별: 본 논문은 효과적인 자기 수정 신호가 표준 RL 롤아웃에서 매우 희소함(종종 샘플의 1% 미만)을 식별하고, 이러한 신호가 기존의 정답 및 오답 궤적을 페어링함으로써 밀도를 높일 수 있음을 입증했습니다.
2. Octopus 증강: 추가적인 생성 비용 없이 롤아웃을 재조합하여 조밀한 자기 수정 예시를 합성하는 새로운 프레임워크를 제나하여 샘플 효율성과 훈련 안정성을 향상시켰습니다.
3. 분리된 최적화: 자기 수정 학습을 직접적인 추론 학습으로부터 성공적으로 분리하여, 공동 최적화 시 발생하는 보상 해킹과 불안정성을 방지하는 응답 마스킹 전략을 제시했습니다.
4. Octopus-8B 모델: 동등한 크기의 오픈 소스 모델 중 최고 수준(SoTA)의 성능을 달성한 추론 VLM을 선보였습니다.

결과

제안된 Octopus-8B 모델은 7개의 벤치마크(MathVista, MathVerse, WeMath, HallusionBench, MMStar, MMMU, CharXiv 포함)에서 평가되었습니다.

• 성능: Octopus-8B는 평균 정확도 **71.7%**를 달 기록하며, 베이스 모델인 Qwen3-VL-8B-Instruct보다 9.5포인트, 공식 추론 강화 버전인 Qwen3-VL-8B-Thinking보다 1.2포인트 높은 성능을 보였습니다. 또한 가장 강력한 RLVR 베이스라인인 GSPO를 1.0포인트 앞질렀습니다.
• 효율성: 증강을 통해 단계당 16개의 롤아웃을 사용함에도 불구하고, Octopus는 8개의 롤아웃 생성만을 재사용함으로써 최적의 RLVR 베이스라인(16개 롤아웃을 사용하는 GSPO) 대비 단계당 훈련 시간을 0.72배 수준으로 단축했습니다.
• 절제 연구(Ablation Studies): 증강을 제거하면 성능이 크게 하락(4.3포인트)하여, 성능 향상이 단순히 샘플 크기 증가가 아닌 풍부한 자기 수정 신호에서 기인함을 확인했습니다. 1단계를 제거하면 1.9포인트 하락하여, 분리된 학습의 필요성을 입증했습니다.
• 테스트 타임 스케일링 (Test-Time Scaling): 모델은 제어 가능한 자기 수정을 보여줍니다. 추론 시 추가적인 <sc> 토큰을 붙이면 정확도와 토큰 효율성이 더욱 향상되는데, 이는 해당 능력이 일반화 가능하고 확장 가능하다는 것을 나타냅니다.
• 일반화: 시각-언어 데이터로 훈련된 모델이 텍스트 전용 벤치마크(AIME2024, MMLU-Pro)에서도 성능 향상을 보였으며, 이는 자기 수정이 모달리티에 구애받지 않는 전략임을 시사합니다.

의의 및 주장

본 논문은 자기 수정이 견고한 VLM 추론을 위한 핵심 능력이지만, 신호의 희소성과 최적화 충돌로 인해 RL을 통해 명시적으로 학습하기 어려웠음을 주장합니다. Octopus를 통해 저자들은 다음을 입증했습니다:

1. **구조화된 감독(structured supervision)**을 정책 샘플(롤아웃)로부터 합성하는 것이 성능을 높이고 훈련 비용을 줄이는 유망한 방향이라는 점.
2. 자기 수정을 명시적으로 학습하는 것이 모델을 더 정확할 뿐만 아니라 훈련에 더 효율적이고 테스트 타임 스케일링이 가능하게 만든다는 점.
3. 제안된 응답 마스킹 전략은 단일 패스 RL에서 흔히 발생하는 얽힌 학습 목표 문제를 해결하여, 모드 붕괴 없이 직접적인 추론과 수정의 공동 진화를 가능하게 한다는 점.

이 연구는 조절 가능한 자기 수정이 효과적이고 효율적으로 학습될 수 있음을 보여줌으로써, 단순한 발현적 능력에 대한 의존을 넘어 오픈 소스 VLM의 새로운 기준을 세웠습니다.