Self-Supervised Visual On-Policy Distillation

당신이 로봇에게 세상을 보는 법을 가르치고 있다고 상상해 보세요. 오랫동안 과학자들은 로봇을 더 똑똑하게 만드는 유일한 방법은 이미 모든 답을 알고 있는 '슈퍼 선생님'—더 크고 강력한 뇌—을 주는 것이라고 믿었습니다. 이것은 마치 학생이 선생님의 완성된 숙제만 보고 수학을 배우려고 노력하는 것과 같습니다. 하지만 만약 당신에게 슈퍼 선생님이 없다면 어떨까요? 만약 로봇 자신만 있다면 어떨까요? 이것이 인공지능 세계, 특히 '시각적 온폴리시 증류(Visual On-Policy Distillation)'라고 불리는 분야의 핵심 질문입니다. 이는 "인간이나 슈퍼컴퓨터가 무엇이 옳은지 알려주지 않아도 모델이 어떻게 스스로의 실수로부터 배울 수 있을까?"를 뜻하는 멋진 표현입니다. 보통 이를 구현하기 위해 연구자들은 학생에게는 허용되지 않는 특권 정보(정답지 같은 것)를 사용해야 했습니다. 하지만 이 논문은 아주 영리한 질문을 던집니다. "우리가 아무런 특권 정보 없이도 어떻게 그 동일한 학습의 마법을 만들어낼 수 있을까?"

이 논문의 저자들(UC 샌디에이고와 옥스퍼드 같은 대학 출신의 팀)은 그렇다고 대답합니다. 그들은 **자기 지도 시각적 온폴리시 증류(Self-Supervised Visual On-Policy Distillation, S2VOPD)**라는 영리한 기술을 소개합니다. 선생님에게 더 많은 정보를 주는 대신, 그들은 학생으로부터 정보를 빼앗습니다. 이것은 사진을 가지고 하는 '전화기 놀이(Telephone game)'와 같습니다. 선생님은 고해상도의 선명한 고양이 사진을 봅니다. 하지만 학생은 똑같은 사진을 흐릿하거나, 픽셀이 깨지거나, 안개가 낀 창문을 통해 강제로 보게 됩니다. 그런 다음 선생님은 "나는 고양이를 보고 있어"라고 말합니다. 안개 너머를 응시하며 눈을 가늘게 뜨고 있는 학생은 "이것이 고양이인가요?"라고 추측해야 하며, 그 후 선생님의 교정을 듣습니다. 학생이 선생님이 보는 것과 똑같은 것을 보기 위해 더 열심히 노력하기 때문에, 학생은 훨씬 더 빠르게 배웁니다. 이 논문은 이 "흐릿한 창문" 방식이 매우 효과적이어서, 이렇게 훈련된 40억 개의 파라미터를 가진 작은 모델이 2,350억 개의 파라미터를 가진 거대 모델을 능가하고, 심지어 GPT-5.4와 같은 유명한 독점 AI 모델들까지 이길 수 있다는 것을 발견했습니다.

흐릿한 창문의 마법

이것이 어떻게 작동하는지 자세히 살펴보겠습니다. 과거에는 학생 AI가 선생님 AI로부터 배우게 하고 싶다면, 선생님은 학생의 '슈퍼히어로' 버전이어야 하거나, 학생에게는 보여주지 않는 '치트 시트'(정답 등)를 가지고 있어야 했습니다. 이 논문은 이 구도를 뒤집습니다. 그들은 비결이 선생님의 초능력이 아니라, 선생님이 보는 것과 학생이 보는 것 사이의 격차에 있다는 것을 깨달았습니다.

이것을 형사가 신입 형사를 훈련시키는 것에 비유해 봅시다.

• 과거의 방식: 형사(선생님)는 첨단 현미경과 용의자 명단을 가지고 있습니다. 신입(학생)은 추측해야 합니다. 형사는 정답을 알려줍니다.
• S2VOPD 방식: 형사와 신입은 같은 범죄 현장 사진을 보고 있습니다. 하지만 신입은 약간 긁힌 선글라스를 쓰고 있거나, 사진이 작고 저해상도인 화면에 표시되고 있습니다. 형사는 전체 그림을 선명하게 봅니다. 신입은 눈을 가늘게 뜨고 자신이 무엇을 보고 있는지 추측해야 합니다. 신입이 실수를 하면, 형사는 "아니, 더 자세히 봐, 저건 개가 아니라 고양이야"라고 말합니다.

논문에서는 이를 "비대칭성의 역전(inverting the asymmetry)"이라고 부릅니다. 선생님에게 초능력을 더하는 대신, 학생의 명료함을 뺍니다. 이는 자연스러운 학습 신호를 만들어냅니다. 학생은 선생님의 선명한 시야로부터 누락된 세부 정보를 복구하는 법을 배우도록 강요받습니다. 그리고 가장 좋은 점은 무엇일까요? 이 과정을 만들기 위해 인간의 라벨, 정답지, 혹은 보상이 전혀 필요하지 않다는 것입니다. "안개" 자체가 선생님이 됩니다.

골디락스 존 (The Goldilocks Zone of Blur)

연구진은 단순히 아무 종류의 흐림(blur)이나 효과가 있을 것이라고 추측한 것이 아닙니다. 그들은 학생의 시야를 '저하시키는(degrade)' 다양한 방법을 테스트하며 대규모 실험을 수행했습니다. 그들은 학생의 이미지를 사진 편집 프로젝트처럼 다루며 네 가지 주요 변화를 시도했습니다:

1. 정보 감소 (Information Reduction): 이미지를 작게 만들거나, 흐리게 하거나, 오래된 TV 같은 노이즈(static noise)를 추가함.
2. 기하학적 변형 (Geometric): 이미지를 회전시키거나 일부를 잘라냄(cropping).
3. 광학적 변형 (Photometric): 색상, 밝기 또는 대비를 변경함.
4. 폐쇄 (Occlusion): 검은 상자나 무작위 패치로 이미지의 일부를 가림.

그들은 매우 구체적인 "스위트 스팟(sweet spot)"을 찾아냈습니다.

• 흐림이 너무 적으면? 이미지가 선생님의 것과 거의 비슷하기 때문에 학생은 새로운 것을 배우지 못합니다.
• 흐림이 너무 심하면? 학생은 아무것도 볼 수 없습니다. 만약 고양이의 얼굴이 보이지 않을 정도로 이미지를 잘라버린다면, 선생님이 말하더라도 학생은 결코 "고양이"라고 추측할 수 없습니다. 질문 자체가 답할 수 없는 상태가 되어 학습 신호가 깨져버립니다.
• 딱 적당하면? 논문은 이미지를 원래 크기의 0.3에서 0.6배 사이로 줄이고, 약간의 무작위 "정적(static)" 노이즈(가우시안 노이즈와 같은)를 추가하는 것이 완벽한 레시피라는 것을 발견했습니다. 이 "다운스케일링(downscaling)"과 "노이즈"의 특정 조합이 가장 효과적인 학습 격차를 만들어냈습니다.

결과: 작은 모델, 큰 두뇌

결과는 놀라울 정도로 강력했습니다. 팀은 Qwen3.5-4B(40억 개의 '뇌세포' 또는 파라미터를 가진 모델)라는 모델을 테스트했습니다.

• 훈련 전: 까다로운 시각적 퍼즐 세트에서 약 **70.7%**의 정답률을 보였습니다.
• S2VOPD 훈련 후: 점수가 **77.4%**로 뛰어올랐습니다.

이것이 엄청난 상승폭처럼 보이지 않을 수도 있지만, AI의 세계에서 이것은 거대한 도약입니다. 이 작은 40억 파라미터 모델은 비밀 치트 시트 없이도 다음과 같은 모델들을 능가했습니다:

• Qwen3-VL-Instruct-235B: 2,350억 개의 파라미터를 가진 거대 모델 (50배나 더 큽니다!).
• GPT-5.4: 가장 진보된 상용 AI 모델 중 하나.

더 인상적인 점은, 이 방법이 단순히 사진을 보는 능력만 향상시킨 것이 아니라 수학적 추론 능력까지 개선했다는 것입니다. "치트 시트"(특권 정보)를 사용하는 다른 방법들은 시각적 능력은 좋아졌지만 수학 능력은 오히려 나빠지는 경우가 많았습니다. S2VOPD는 두 가지 기술을 동시에 높이는 데 성공했습니다.

이것이 왜 중요한가

이 논문은 AI를 더 똑똑하게 만들기 위해 항상 더 크고 비싼 모델이나 끝없는 인간의 라벨이 필요한 것은 아니라는 점을 시사합니다. 우리는 단지 정보를 어떻게 제시할지에 대해 영리해질 필요가 있습니다. 학생에게 "고군분투(struggle)"를 부여함으로써—선생님은 진실을 보고 있는 동안 학생은 저하된 버전의 세상을 보도록 강제함으로써—우리는 무료로 강력한 학습 신호를 끌어낼 수 있습니다.

저자들은 이것이 모든 문제에 적용되는 마법 지팡이는 아니라는 점을 주의 깊게 언급합니다. 만약 "저하(degradation)"가 너무 공격적이라면(예: 정답을 완전히 잘라내는 경우), 이 방법은 실패한다는 것을 발견했습니다. 하지만 적절하게 조정된다면, 이 "자기 지도(self-supervised)" 방식은 특권 정보를 사용하는 방법들이 달성할 수 있는 개선 사항의 **96%**를, 추가적인 어려운 데이터 없이도 회복할 수 있습니다.

요약하자면, S2VOD는 때때로 가장 많이 배우기 위해서 슈퍼 선생님과 모든 답을 가질 필요는 없다는 것을 증명합니다. 그저 옆에서 눈을 또렷하게 뜬 가이드가 서 있는 가운데, 학생이 세상을 조금 더 열심히 들여다보도록 강제하기만 하면 됩니다.