기술 요약: SALT – 그룹 기반 정책 최적화를 위한 서브스페이스 적응형 기하학 플러그인

1. 문제 정의

검증 가능한 보상을 활용한 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위한 표준적인 접근 방식으로 자리 잡았으며, 특히 그룹 상대적 정책 최적화(GRPO)를 통해 두드러지게 나타납니다. GRPO는 크리티크(critic) 네트워크를 그룹 상대적 정규화로 대체하여 확장성을 개선하며, 프롬프트당 여러 개의 롤아웃($G$)을 샘플링하여 학습 신호를 구축합니다.

그러나 본 논문은 결정적인 구조적 비효율성을 지적합니다: 단순히 롤아웃의 수를 늘리는 것이 반드시 학습을 강화하는 것은 아닙니다. 저자들은 GRPO 방식의 그룹 정규화 하에서, 롤아웃별 정책 그래디언트 특징(policy-gradient features)이 **저차원 부호 기하학(low-rank, signed geometry)**으로 집중되는 경향이 있음을 진단했습니다.

• 부호 상쇄(Signed Cancellation): 그룹 내에서 어드밴티지(advantage)가 정규화될 때, 그 합은 0이 됩니다. 만약 롤아웃들의 그래디언트 특징이 매우 상관관계가 높고(중복적이며) 지배적인 방향을 공유한다면, 양(+)과 음(-)의 부호 어드밴티지가 결합 과정에서 서로 상쇄됩니다.
• 낮은 유효 차원(Low Effective Dimensionality): 이러한 중복성은 참여율(Participation Ratio, $PR$)로 측정되는 낮은 "유효 차원"과 낮은 "유효 샘플 크기"($n_{eff}$)를 초래합니다.
• 병목 현상: 결과적으로, 롤아웃 그룹 크기($G$)를 늘려도 학습 효과는 수확 체감의 법칙에 직면하게 됩니다. 이는 집계된 업데이트 신호가 오직 작은 잔차(residual) 성분에만 의존하는 반면, 공유되고 중복된 성분들은 그룹 중심화(group-centering) 메커니즘에 의해 상쇄되기 때문입니다.

2. 방법론: SALT

이를 해결하기 위해 저자들은 SALT(Subspace-Adaptive geometry pLug-in componenT)를 제안합니다. SALT는 보상 모델이나 롤아웃 샘플링 절차를 수정하지 않고도, 샘플별 그래디언트 기하학을 사용하여 그룹 상대적 계수를 재가중하는 플러그인 모듈입니다.

핵심 메커니즘

SALT는 미니 배치 그래디언트의 기하학을 분석하고 업데이트 신호를 두 가지 채널로 분해함으로써 작동합니다.

1. 지배적 서브스페이스 추정(Dominant Subspace Estimation):

   • SALT는 전체 모델의 그래디언트 비용을 피하기 위해 가벼운 LM-head 그래디언트 프록시를 사용하여 그래디언트 특징의 정규화된 그람 행렬(Gram matrix)을 계산합니다.
   • 참여율($PR$)을 기반으로 고유값 분해(eigen-decomposition)를 수행하여 지배적인 공유 서브스페이스($V_k$)를 식별합니다.
   • 이 서브스페이스는 상쇄되기 쉬운, 롤아웃 간에 공유되는 "공통 신호"를 나타냅니다.

2. 이중 채널 분해(Dual-Channel Decomposition):

   • 메인 채널($a_{main}$): 그룹 정규화된 어드밴티지를 지배적 서브스페이스($P_k a$)로 투영합니다. 이는 핵심적인 그룹 상대적 피드백을 보존합니다.
   • 탐색 채널($a_{exp}$): 어드밴티지를 직교 보공간($P_k^\perp$)으로 투영하고 양의 성분만을 유지하도록 필터링($[a]_+$)합니다. 이는 "잔차" 또는 비중복 방향을 격리합니다.

3. 적응형 재가중치 부여(Adaptive Reweighting):

   • SALT는 현재 배치의 유효 샘플 크기($n_{eff}$)와 역관계에 있는 적응형 혼합 계수 $\alpha_t$를 도입합니다.
   • 최종 재가중치 어드밴티지는 $a' = a_{main} + \alpha_t a_{exp}$입니다.
   • 논리: $n_{eff}$가 낮을 때(심각한 상쇄가 발생함을 의미), $\alpha_t$가 증가하여 상쇄되어 사라질 뻔한 유용한 업데이트 신호를 회복하기 위해 잔차(탐색) 채널을 적응적으로 증폭시킵니다.

계산 효율성

• 프록시 특징(Proxy Feature): 전체 모델의 그래디언트를 계산하는 대신, SALT는 출력 투영(LM-head)의 그래디언트를 프록시로 사용합니다. 이는 전체 파라미터 수가 아닌 미니 배치 크기($m=BG$)에 따라 스케일링되면서도 필요한 샘플별 기하학을 보존합니다.
• 비용: 이 방법은 그람 행렬 계산 및 고유값 솔버 단계로 인해 실제 학습 시간(wall-clock time)을 약 7.7% 증가시키지만, 성능 이득을 고려할 때 이는 바람직한 비용 대비 효율적 트레이드오프입니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 현상 진단: 저자들은 그룹 상대적 RLVR가 부호 저차원 중복성(signed low-rank redundancy) 문제를 겪고 있음을 경험적으로 입증했습니다. 그들은 롤아웃별 그래디언트 특징이 저차원 서브스페이스에 집중되어 낮은 $PR$과$n_{eff}$를 유발하며, 이것이 왜 롤아웃을 늘려도 학습 개선이 미미한지를 설명합니다.
2. 방법론 제안 (SALT): 지배적 공유 서브스페이스를 추정하고 그룹 상대적 계수를 재가중하는 서브스스페이스 적응형 플러그인을 소개합니다. 이는 공유 신호와 잔차 신호를 명시적으로 분리하고, 상쇄에 대응하기 위해 후자를 적응적으로 증폭합니다.
3. 경험적 검증: 다양한 추론 벤치마크(AIME, GSM8K, MATH, GPQA)와 모델 규모(1.5B, 7B)에 걸친 광범위한 실험을 통해 SALT가 표준 GRPO 및 DAPO 베이스라인에 비해 일관되게 성능을 향상시킴을 입증했습니다.

4. 실험 결과

저자들은 DeepSeek-Distill-Qwen 모델(1.5B 및 7B)을 사용하여 다양한 추론 지향 RLVR 벤치마크에서 SALT를 평가했습니다.

• 성능 향상: SALT는 바닐라 GRPO 및 DAPO보다 일관되게 우수한 성능을 보였습니다. 평균적으로 모든 설정에서 정확도를 약 +2.54 퍼센트 포인트 향상시켰습니다. 특히 AIME24와 GPQA에서 주목할 만한 이득이 관찰되었습니다.
• 기하학적 개선: 엔트로피 기반 정규화 방법(샘플링 다양성은 높이지만 업데이트 기하학을 개선하지는 못함)과 달리, SALT는 $PR$과$n_{eff}$를 모두 유의미하게 증가시켰습니다. 이는 SALT가 롤아웃을 다양하고 상쇄되지 않는 업데이트 신호로 성공적으로 전환했음을 나타냅니다.
• 롤아웃 스케일링: 고정된 롤아웃 예산 내에서 실험했을 때, SALT는 더 큰 그룹 크기($G$)를 효과적으로 활용할 수 있음을 보여주었습니다. 베이스라인들이 $G$가 증가함에 따라 수확 체감을 보인 반면, SALT는 높은 $n_{eff}$를 유지하며 지속적으로 성능을 개선하여, 더 큰 롤아웃 그룹을 단순히 계산 비용만 높은 것이 아니라 "유용하게" 만들 수 있음을 증명했습니다.
• 절제 연구(Ablation Studies): 이중 채널 구조나 적응형 혼합 메커니즘 중 하나라도 제거하면 성능이 저하되었으며, 이는 공유/잔차 신호의 분리와 혼합 강도의 동적 조절이 모두 필요함을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 GRPO의 롤아웃 비효율성이 단순한 샘플링 문제가 아니라, 잔차적이고 비중복적인 신호를 집계하는 데 실패한 문제라고 주장합니다.

• 관점의 전환: 이 연구는 "응답 다양성 유지"(엔트로피 정규화를 통해)에서 "업데이트 기하학 최적화"로 초점을 전환합니다. 저자들은 시퀀스가 다양하더라도 그래디언트 특징은 중복될 수 있으며, 해결책은 기하학적 재가중리에 있다고 주장합니다.
• 실질적 영향: SALT는 성능 저하 없이 롤아웃 그룹을 확장할 수 있는 방법을 제공하여 컴퓨팅 자원을 더 효율적으로 사용할 수 있게 합니다.
• 제한적 주장: 저자들은 SALT가 GRKO의 무편향한 재구성이라기보다는 **편향된 기하학 재가중 서로게이트(biased geometry-reweighted surrogate)**임을 인정합니다. SALT의 성공은 부호 상쇄의 감소가 계수 재가중으로 인한 왜곡보다 크다는 트레이드오프에 의존합니다. 또한 LM-head 프록시 사용과 다양한 아키텍처에서의 효율성 변동 가능성에 대해서도 언급하였습니다.

요약하자면, SALT는 중복되는 공통 신호를 적응적으로 억제하고 다양한 잔차 방향을 증폭함으로써, 그룹 기반 정책 최적화에서 유효한 학습 신호를 강화하고 "더 많은 롤아웃이 의미를 갖도록" 만드는 메커니즘을 제공합니다.