IRDS: Interpretable RLVR Data Selection via Verifier-Coupled Sparse Autoencoder Coverage

기술 요약: IRDS – 검증기 결합 희소 오토인코더 커버리지를 통한 해석 가능한 RLVR 데이터 선택

1. 문제 제기

검증 가능한 보상과 함께 강화 학습 (RLVR) 은 특히 수학 분야에서 대규모 언어 모델 (LLM) 추론을 강화하기 위한 지배적인 패러다임이 되었습니다. 그러나 RLVR 은 상당한 데이터 비효율성에 시달립니다. 기존 데이터 선택 방법들은 다음 세 가지 핵심 요구 사항을 동시에 해결하지 못합니다:

1. 실행 관련성: 모델이 현재 실패하는 인스턴스를 선택합니다.
2. 학습 가능성: 모델이 여전히 학습할 수 있는 인스턴스를 선택합니다 (즉, 그룹 상대적 기울기가 소멸하는 '전체 실패' 및 '전체 해결' 꼬리 부분을 피합니다).
3. 비중복성 및 해석 가능성: 중복 없이 고유한 약점을 포괄하는 다양한 하위 집합을 선택하면서, 선택 과정이 인간에 의해 감사 가능하도록 보장합니다.

현재 접근 방식들은 일반적으로 이를 개별적으로 다룹니다: 스칼라 방법은 난이도로 순위 매기지만 중복성을 무시하고, 다양성 방법은 임베딩을 사용하지만 검증기 신호가 부족하며, 기울기 기반 방법은 밀집되고 해석 불가능한 매개변수 공간에서 작동합니다.

2. 방법론: IRDS

저자들은 IRDS(해석 가능한 RLVR 데이터 선택) 를 제안합니다. 이는 검증기 신호와 결합된 희소 오토인코더 (SAE) 클러스터 기반에 따라 훈련 인스턴스의 비중복 하위 집합을 선택하는 오프라인 방법입니다.

A. SAE 클러스터 좌표
IRDS 는 표면적 특징 (예: 토큰 길이) 이나 밀집된 은닉 상태를 사용하는 대신, 모델의 최종 층 활성화에 대해 훈련된 희소 오토인코더를 사용하여 인스턴스를 표현합니다.

• SAE 훈련: 대상 모델의 고정된 (frozen) 활성화를 사용하여 대규모 수학 코퍼스 (OpenMathInstruct-2) 에서 비지도 방식으로 BatchTopK SAE 를 훈련합니다. 사전 방향은 인식 가능한 개념 (예: 기하학, 약수 세기) 에 해당합니다.
• 클러스터링: 코퍼스 수준의 좌표를 생성하기 위해, 개별 희소 잠재 변수는 그래프 하이브리드 표현 (존재 및 잔차 방향을 연결) 을 사용하여 $F=256$개의 의미론적 클러스터로 클러스터링됩니다. 각 인스턴스는 이러한 256 개 클러스터에 걸친 활성화 질량의 벡터로 요약됩니다.

B. 검증기 결합 커버리지 목적 함수
IRDS 는 SAE 좌표 공간에서 난이도와 학습 가능성을 균형 있게 조절하는 지표를 구축합니다.

• 난이도 가중치 ($d_i$): 베타 사후 분포를 사용하여 검증기의 성공 횟수 ($s_i$) 에서 파생됩니다. 모델이 자주 실패할 때 ($s_i$가 낮을 때) 높습니다.
• 학습 가능성 가중치 ($r_i$): 역시 성공 횟수에서 파생되며, 그룹 상대적 이점 분산이 최대화되는 중간 성공률 ($s_i \approx G/2$) 에서 피크를 이룹니다. 이는 전체 실패 및 전체 해결 꼬리 부분을 하향 가중합니다.
• 지표 구성: 이 방법은 난이도 가중 공분산 ($\Sigma_d$) 과 학습 가능성 가중 공분산 ($\Sigma_r$) 을 계산합니다. 그런 다음 백색화 지표 $M = (\Sigma_r + \rho I)^{-1/2} (\Sigma_d + \rho I) (\Sigma_r + \rho I)^{-1/2}$를 형성합니다. $M$의 주된 방향은 난이도가 학습 가능성 질량을 초과하는 SAE 클러스터를 식별합니다.
• 설계 벡터: 각 인스턴스는 SAE 블록 (학습 가능성과 지표 $M$으로 가중됨) 과 선택적 기울기 블록 (SAE 좌표에 대해 잔차화되어 업데이트 방향 정보를 포착) 을 결합한 설계 벡터 $\phi_i$로 매핑됩니다.

C. 하위 집합 선택
선택 문제는 D-최적 설계 문제로 공식화됩니다: 설계 벡터의 그람 행렬의 로그-행렬식을 최대화하는 크기 $K$의 하위 집합 $S$를 찾는 것입니다.
$$S^* = \arg \max_{|S|=K} \log \det \left( \lambda I + \sum_{i \in S} \phi_i \phi_i^\top \right)$$
이 목적 함수는 Sherman-Morrison 랭크-1 업데이트를 가진 탐욕 알고리즘을 통해 해결되어 $(1 - 1/e)$ 근사 보장을 제공합니다. 이는 선택된 하위 집합이 중복 없이 다양하고 고가치인 방향을 포괄하도록 보장합니다.

3. 주요 기여

1. 최초의 SAE 기반 RLVR 선택: IRDS 는 희소 오토인코더 클러스터 기반에 구축된 최초의 RLVR 데이터 선택 방법으로, 선택 과정을 인식 가능한 문제 모티프 (예: "다항식-근 대수") 에서 감사 가능하게 만듭니다.
2. 검증기 결합 커버리지 목적 함수: 저자들은 SAE 기반에서 난이도와 학습 가능성 가중치를 분리하여 실행 관련성과 학습 가능성을 공동으로 최적화하는 새로운 목적 함수를 설계했으며, 이는 탐욕적 로그-행렬식 최대화를 통해 해결됩니다.
3. 경험적 우위 및 효율성: 실험은 IRDS 가 여러 모델과 벤치마크에서 최첨단 정확도를 달성하면서도 궤적 기반 베이스라인보다 한 자릿수 더 저렴함을 보여줍니다.

4. 실험 결과

이 방법은 여섯 가지 수학 추론 벤치마크 (MATH500, AIME, AMC, OlympiadBench 포함) 에서 세 가지 지시 튜닝 모델 (Qwen3-4B, Qwen3-1.7B, Llama-3.1-8B-Instruct) 에 대해 평가되었습니다.

• 정확도 향상: IRDS 는 세 모델 모두에서 전체 정확도에서 가장 높은 성과를 거두었으며, Qwen3-4B 에서는 가장 강력한 베이스라인 (LIMR) 보다 +3.9 pp, Qwen3-1.7B 에서는 +4.0 pp, Llama-3.1-8B 에서는 +0.5 pp 더 우수했습니다.
• 경쟁 벤치마크: 더 작고 어려운 경쟁 하위 집합에서 향상폭이 특히 두드러졌습니다 (예: Qwen3-4B 의 AIME24 에서 +11.4 pp).
• 비용 효율성: IRDS 의 선택 과정은 8-GPU 노드에서 약 7 시간이 소요되었습니다 (SAE 훈련 및 채점 포함). 반면 궤적 기반 베이스라인 (LIMR) 은 70 시간이 소요되어 한 자릿수 더 많았습니다.
• 애블레이션 연구:
  • 학습 가능성 가중치 ($r_i$) 를 제거하면 성능이 붕괴되었습니다 (최대 -19.1 pp). 이는 학습 가능성을 고려하지 않고 단순히 "어려운" 인스턴스만 선택하는 것이 해롭다는 것을 확인시켜 주었습니다.
  • SAE 클러스터 기반은 특히 강력한 기본 모델의 경우 밀집 기울기 투영보다 우수하여 결정적으로 중요함이 밝혀졌습니다.
  • 기울기 블록은 미미하지만 비중복적인 개선을 제공했습니다.
• 해석 가능성: 감사는 선택된 하위 집합이 토큰 길이와 같은 표면적 인공물 대신 고난이도 콘텐츠 방향 (예: 특정 수학 모티프) 과 일치하며, 선택이 레이블 셔플링에 강건함을 확인했습니다.

5. 중요성 및 주장

이 논문은 RLVR 에서 검증기 결합 데이터 선택이 도메인 내 정확도를 희생하지 않고 감사 가능하게 만들 수 있음을 IRDS 가 보여준다고 주장합니다. 불투명한 밀집 임베딩이나 표면적 특징에서 해석 가능한 SAE 클러스터로 선택 기반을 전환함으로써, 연구자들은 모델이 정확히 어떤 "문제 모티프"를 훈련받고 있는지 확인할 수 있습니다.

저자들은 IRDS 를 RLVR 의 "데이터 비효율성" 병목 현상에 대한 해결책으로 위치시키며, 다음과 같은 방법을 제공합니다:

• 감사 가능: 선택은 인간이 읽을 수 있는 문제 유형으로 추적 가능합니다.
• 효율적: 온라인 궤적 기반 방법보다 훨씬 저렴합니다.
• 효과적: 다양한 아키텍처 및 데이터 예산에서 모델 성능을 일관되게 향상시킵니다.

이 논문은 한계를 인정하며, 이 방법은 가중치 추정을 위해 고정된 모델에 의존하므로 (업데이트 후 잠재적 편향 발생), SAE 훈련을 위해 모델 활성화에 대한 접근이 필요하며, 현재는 주로 GRPO 레시피 하의 수학 RLVR 에서 검증되었음을 지적합니다.