기술 요약: SSL4RL

문제 제기

시각 - 언어 모델 (VLM) 은 대규모 언어 모델 (LLM) 과 시각 입력을 통합함으로써 상당한 능력을 입증해 왔습니다. 그러나 이들은 두 가지 치명적인 약점으로 인해 자주 어려움을 겪습니다:

1. 시각적 근거 부족: 시각 중심 작업 (예: 분류) 에서 VLM 은 종종 시각적 증거보다는 언어적 사전 지식을 의존하여 전문 시각 모델에 뒤처집니다.
2. 텍스트적 단축키: 시각 - 언어 추론 작업에서 VLM 은 시각 데이터에 기반한 추론 대신 텍스트 지식을 활용하는 경향이 있으며, 이는 장문 생성 시 더욱 심화됩니다.

강화 학습 (RL) 은 대규모 모델을 정렬하기 위한 지배적인 패러다임으로 부상했지만, 확장 가능하고 신뢰할 수 있는 보상 메커니즘의 부재로 인해 VLM 에 적용되는 데는 장애물이 있습니다. 기존 접근법은 종종 인간 선호 데이터 (RLHF) 나 "LLM 을 심사관으로 활용"하는 휴리스틱에 의존하는데, 이는 편향되고 노이즈가 많으며 적대적 조작에 취약합니다. furthermore, 코드나 수학처럼 명시적인 프로그램적 검증자가 부재한 도메인은 풍부하고 검증 가능한 강화 신호를 얻는 데 어려움을 겪습니다.

방법론: SSL4RL 프레임워크

저자들은 SSL4RL을 제안합니다. 이는 자기지도 학습 (SSL) 작업을 RL 기반 후속 학습을 위한 검증 가능하고 고유한 보상의 원천으로 재편성하는 프레임워크입니다. SSL 을 단순히 사전 학습 도구로만 취급하는 대신, 이 프레임워크는 RL 의 관점에서 SSL 목적 함수를 재해석합니다.

핵심 메커니즘

이 프레임워크는 다음과 같은 RL 환경을 정의합니다:

• 손상 함수 ($c$): 입력 $x$(이미지) 를 손상된 컨텍스트 $\tilde{x}$와 정답 타겟 $y$로 변환합니다.
• 정책 ($\pi_\theta$): 모델은 $\tilde{x}$를 조건으로 하여 예측값 $\hat{y}$를 생성합니다.
• 보상 ($r$): $\hat{y}$와 정답 $y$ 간의 일치도에 따라 검증 가능한 보상이 계산됩니다. 타겟이 데이터 자체에서 파생되므로, 보상은 밀도 있고 자동적이며 인간 레이블이나 외부 심사관이 필요하지 않습니다.

평가된 구체적인 SSL 작업

이 연구는 RL 보상으로 재구성된 네 가지 대표적인 SSL 사전 작업 (pretext tasks) 을 조사합니다:

1. 회전 예측: 이미지를 무작위 각도 (0°, 90°, 180°, 270°) 로 회전시키고, 모델이 각도를 예측합니다.
2. 지그소 퍼즐: 이미지를 격자 (예: 2×2) 로 분할하여 섞고, 모델이 올바른 순열 인덱스를 예측합니다.
3. 대조 학습 (Contrastive Learning): 두 개의 증강 뷰를 생성하고, 모델이 이들이 동일한 원본 이미지에서 유래했는지 식별합니다 (이진 분류).
4. 패치 위치 예측: 특정 위치에서 패치를 잘라내고, 모델이 패치의 원래 공간 사분면을 예측합니다.

최적화

이 프레임워크는 효율적인 정책 경사 방법인 **그룹화 강화 정책 최적화 (GRPO)**를 활용합니다. 목적 함수는 기대 SSL 기반 보상을 최대화하면서, KL 패널티를 통해 정책이 기준 모델 (일반적으로 감독 미세 조정 모델) 로부터 벗어나는 것을 방지하도록 정책을 정규화합니다.

주요 기여

1. 통합 프레임워크: SSL 목적 함수를 검증 가능한 보상으로 변환함으로써 자기지도 학습과 RL 기반 후속 학습을 연결하는 SSL4RL 의 도입.
2. 크로스 도메인 실증 연구: 어떤 SSL 작업이 추론으로 효과적으로 전이되고 그렇지 않은지를 식별하는 포괄적인 분석. 모든 자기지도 학습이 동일하게 유용하다는 가정에 도전하며, 작업 선택이 중요함을 입증합니다.
3. 일반화 가능성: 이 패러다임이 시각을 넘어 그래프 구조 데이터로 확장되어 노드 분류 및 링크 예측에서 상당한 향상을 달성함을 입증.

실험 결과

시각 - 언어 추론

MMBench, SEED-Bench, V*, RealWorldQA, BLINK, MME-RealWorld-Lite 벤치마크를 Qwen-2.5-VL 모델 (3B 및 7B) 을 사용하여 평가:

• 성능 향상: SSL4RL 모델은 베이스 모델 대비 MMBench 에서 평균 7.39%, SEED-Bench 에서 **8.94%**의 개선을 달성했습니다.
• 구체적 하위 작업: MMBench 의 관계 추론에서 39.00%, SEED-Bench 의 시각 추론에서 **19.63%**의 눈에 띄는 향상이 있었습니다.
• 개방형 작업: 정답이 명확히 정의되지 않은 CapArena 이미지 캡션 플랫폼에서 SSL4RL 은 최대 8.14 점까지 점수를 향상시켜, 검증 가능한 정답이 없더라도 효과적임을 입증했습니다.

시각 중심 작업

ImageNet-1K 분류에서:

• SSL4RL 은 완성 및 다중 선택 작업 전반에 걸쳐 베이스 모델을 일관되게 능가했습니다.
• 대조 학습: 추론 작업에서는 부진했으나, ImageNet 에서는 경쟁력 있는 결과를 보여주었습니다. 이는 인스턴스 구분을 위한 불변 의미 표현 학습에 대한 대조 학습의 강점 때문입니다.

견고성

SSL4RL 로 학습된 모델은 베이스 모델에 비해 시각적 교란 (예: 색상 지터링, 흐림, 노이즈) 에 대해 우수한 견고성을 보였으며, 손상 수준이 강해질수록 성능 격차가 벌어졌습니다.

제거 분석 및 설계 원칙

• 작업 선택: 회전 및 위치 작업이 가장 강력한 향상을 가져왔습니다. 대조 학습은 더 강력한 데이터 증강과 결합되지 않으면 성능 저하로 이어지는 경우가 많았습니다.
• 모델 용량 vs 작업 난이도: "골디락스" 원칙이 확인되었습니다. 너무 쉬운 작업은 약한 신호를 제공하고, 너무 어려운 작업 (모델 용량 대비) 은 부정적 전이를 유발합니다. 더 큰 모델 (7B) 의 경우 표준 SSL 작업은 체감 수익이 감소하여 더 복잡한 목적 함수가 필요함을 시사합니다.
• 데이터 확장: 성능은 학습 데이터 양과 단조로운 양의 상관관계를 보였습니다.
• 작업 결합: 여러 SSL 보상을 단순히 결합하는 것은 가산적 개선을 가져오지 않았으며, 잠재적인 최적화 충돌을 시사합니다.

그래프 도메인 확장

그래프 구조 데이터 (노드 및 링크 예측) 에 적용된 SSL4RL 은 3B 모델에서 평균 **13.79%**의 향상을 달성하여 프레임워크의 다양성을 검증했습니다.

중요성 및 주장

이 논문은 SSL4RL 이 외부 검증자, 인간 레이블, 또는 휴리스틱 심사관에 의존하지 않고 다중 모달 모델을 정렬하기 위한 다양하고 효과적인 패러다임을 확립한다고 주장합니다. SSL 작업에 내재된 고유하고 검증 가능한 감독을 활용함으로써, 이 프레임워크는 시각적 근거와 추론의 개선을 이끌어냅니다.

저자들은 SSL 에 존재하는 검증 가능한 신호의 풍부함이 표현 학습뿐만 아니라 VLM 의 정렬과 추론을 주도하는 데에도 활용될 수 있음을 강조합니다. 이 연구는 적절한 작업 선택 (작업 난이도를 모델 용량에 맞추고, 유추적 편향을 하위 목표와 정렬) 을 통해 자기지도 목적 함수가 이상적인 작업별 보상 신호에 의해 주도되는 성능과의 격차를 효과적으로 해소할 수 있음을 시사합니다. 구현은 추가 연구를 촉진하기 위해 오픈소스로 공개되었습니다.