기술 요약: 다중 도메인 RL에서의 교차 도메인 간섭 및 회복을 위한 국소 섭동 이론 (A Local Perturbation Theory for Cross-Domain Interference and Recovery in Multi-Domain RL)

문제 정의

강화 학습(RL) 포스트 트레이닝은 수학적 추론, 코드 생성, 질의응답(QA), 창의적 글쓰기(CW)와 같은 특정 도메인에서 대규모 언어 모델(LLM)의 성능을 효과적으로 향상시킵니다. 그러나 여러 도메인을 순차적으로 학습하면, 후속 도메인을 학습한 후 이전 도메인의 성능이 저하되는 교차 도메인 간섭(cross-domain interference) 현상이 발생합니다.

이 현상에 대한 기존의 설명들, 즉 **파괴적 망각(catastrophic forgetting)**이나 **전역 그래디언트 충돌(global gradient conflict)**은 불충분합니다. 본 연구의 경험적 관찰 결과는 다음과 같습니다:

1. 도메인 간 전체 모델 그래디언트 코사인 유사도는 상당한 성능 저하가 발생함에도 불구하고 거의 직교(0에 가까움)할 수 있습니다.
2. 간섭은 균일한 망각이 아니라 선택적이고 비대칭적(예: QA와 CW를 학습하면 Math 성능이 심하게 저하되지만, Code와 QA는 안정적으로 유지됨)입니다.
3. 표준적인 전역적 관점은 약한 전역 그래디언트 길항 작용(antagonism)에도 불구하고 어떻게 상당한 간섭이 지속될 수 있는지를 설명하지 못합니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 전역 그래디언트 길항 작용이 아니라면, 교차 도메인 간섭은 어디에 존재하는가?

방법론 및 이론적 프레임워크

저자들은 전체 모델의 목적 함수 충돌을 분석하는 것에서 벗어나 **국소 활성 계산 경로(local active computation routes)**를 분석하는 방향으로의 전환을 제안합니다. 이 방법론은 경험적 구조 분석과 **국소 섭동 모델(local perturbation model)**을 결합합니다.

1. 경험적 구조 분석

본 연구는 Omni-Thinker 커리큘럼을 기반으로 한 순차적 다중 도메인 RL 설정(Code $\to$ Math $\to$ QA $\to$ CW)을 활용합니다. 주요 구조적 발견은 다음과 같습니다:

• 희소하고 작은 크기의 업데이트: 도메인별 RL은 희소한 편집을 유도하며, 77%~89%의 파라미터가 미미한 절대 변화($<10^{-7}$) 및 상대적 변화($<10^{-3}$)를 보입니다.
• 약한 편집 중첩: 서로 다른 도메인 간 상위 변경 뉴런 세트의 자카드 유사도(Jaccard overlap)는 매우 낮습니다(평균 < 0.19). 이는 간섭이 동일한 뉴런을 재작성함으로써 발생한다는 가설을 배제합니다.
• 공유된 활성 경로: 낮은 편집 중첩에도 불구하고, 추론 시 추론 지향적 도메인(Math, Code, QA)은 상당한 활성 계산 경로(상위 5% 활성 뉴런)를 공유합니다.
• 방향성 충돌: 이러한 공유된 경로에서 업데이트 방향은 다양합니다. 일부 쌍(예: Code-Math)은 정렬되어 있지만, 다른 쌍(예: Math-QA)은 특정 레이어에서 업데이트 방향이 길항적인 레이어 의존적 충돌을 보입니다.

2. 국소 섭동 이론

이러한 관찰을 바탕으로, 저자들은 세 가지 핵심 명제를 가진 국소 섭동 모델을 공식화합니다:

• 2차 손상(Second-Order Damage): 도메인 $A$에 대한 학습 후의 체크포인트는 해당 도민의 국소 목적 함수에 대해 근사적으로 정지(stationary) 상태이므로, 이후의 업데이트 $\delta_B$의 주된 효과는 1차 그래디언트 충돌이 아닌 2차 손상 항($\frac{1}{2}\delta_B^\top H_A \delta_B$)입니다.
• 저차원 충돌 부공간(Low-Dimensional Conflict Subspace): 이 손상은 저차원의 공유 활성 충돌 부공간($S_{A,B}$)에 집중됩니다. 전역 그래디언트가 직교하고 편집이 희소하더라도, 후속 도메인 업데이트가 이 민감한 부공간에 투영되는 크기가 크다면 간섭이 발생합니다.
• 리프레시를 통한 기하학적 수축: 손상된 도메인 $A$에 대한 짧은 "리프레시(refresh, 재학습)"는 $S_{A,B}$ 내의 해로운 성분을 기하학적으로 수축시킵니다. 부공간의 양의 곡률(positive curvature)과 직교하는 방향으로부터의 약한 결합(weak coupling)을 가정할 때, 해로운 변위는 리프레시 단계 수에 따라 지수적으로 감소하여, 전체 재학습 없이도 선택적 회복을 가능하게 합니다.

주요 기여

1. 간섭에 대한 기계론적 설명: 본 논문은 교차 도메인 저하가 전역 그래디언트 충돌이나 직접적인 뉴런 공동 편집이 아니라, 공유된 활성 계산 경로를 따라 상호작용하는 희소한 RL 편집에 의해 발생함을 입증합니다.
2. 이론적 공식화: 이 메커니즘을 저차원 공유 충돌 부공간에 집중된 2차 손상으로 공식화했습니다. 이는 왜 근사적으로 직교하는 전역 그래디언트가 선택적 저하와 공존할 수 있는지를 설명합니다.
3. 선택적 회복의 검증: 본 이론은 손상된 도메인에 대한 짧은 리프레시가 다른 도메인에 대한 부수적 피해를 제한하면서도 해로운 부공간 성분을 수축시켜 성능을 회복할 수 있음을 예측합니다.

실험 결과

저자들은 두 가지 상호 보완적인 접근 방식을 통해 이론을 검증합니다.

A. 태스크 수준의 회복 (짧은 리프레시)

• 설정: 순차적 학습(Code $\to$ Math $\to$ QA $\to$ CW) 후, Math 성능이 66.49에서 57.66으로 하락했습니다.
• 개입: 최종 체크포인트($CWo$)에 짧은 "Re-Math" 리프레시를 적용했습니다.
• 결과: Math 성능은 66.04로 회복되었으며(단일 도메인 전문가의 68.84에 근접), Code, QA, CW 성능는 대체로 안정적으로 유지되었습니다.
• 결과: 모든 도메인의 평균 점수는 66.39에 도달하여, 순차적 베이스라인과 혼합 도메인 베이스라인(JT 및 CGPO)을 모두 능가했습니다. 이는 간섭이 국소적 교정을 통해 가역적임을 확인해 줍니다.

B. 직접 개입 (학습 없는 롤백)

• 설정: 국소화 주장을 직접 조사하기 위해, 저자들은 Math-QA 쌍에 대해 학습 없는 롤백(training-free rollback)을 수행했습니다. 그들은 세 가지 신호(공유 활성화, 업데이트 크기, 방향성 충돌)를 기반으로 "대리 충돌 좌표(proxy conflict coordinates)"의 희소 집합을 식별했습니다.
• 개입: 선택된 좌표(MLP 뉴런의 2%)에 대해서만 QA에 의한 변위를 되돌렸습니다.
• 결과: 이 희소 롤백은 QA 성능에 미미한 영향을 주면서 Math 손실의 **20.4%**를 회복했습니다(59.90에서 61.25로). 롤백 범위를 어텐션 레이어까지 확장했을 때, 32%의 예산으로 **73.6%**의 회복률을 보였습니다.
• 의의: 이는 교차 도메인 간섭의 해로운 성분이 국소적이며, 재학습 없이도 부분적으로 되돌릴 수 있다는 직접적인 증거를 제공합니다.

의의 및 주장

본 논문은 다중 도메인 RL에서의 간섭 및 회복에 대한 국소적 기계론적 설명을 제공한다고 주장합니다. 본 연구의 의의는 다음과 같습니다:

• 전역적 설명의 반박: 간섭이 국소적이고 2차적인 현상이기 때문에, 전역 그래디언트 직교성이 간섭으로부터의 안전을 보장하지 않음을 입증했습니다.
• 실질적 시사점: 안정적인 다중 도메인 개선을 위해 복잡한 데이터 혼합 튜닝이나 정교하게 설계된 리플레이 스케줄이 필요하지 않을 수도 있음을 시사합니다. 대신, 손상된 도메인에 대한 짧고 표적화된 리프레시를 통해 부수적 효과를 최소화하면서 효율적으로 성능을 회복할 수 있습니다.
• 이론적 통찰: 희소한 파라미터 업데이트와 기능적 간섭 사이의 간극을 메우며, "충돌"이 전역 파라미터 공간이 아니라 공유된 활성 경로상의 업데이트 정렬에 존재함을 보여줍니다.

저자들은 현재의 충돌 부공간 개입이 **거친 대리물(coarse proxy)**에 기반하고 있으며, 향후 저하된 도메인을 자동 감지하고 더 효율적인 개입을 위해 잠재적 충돌 부공간을 정확히 식별하는 연구가 필요하다고 언급하며 겸허한 태도를 유지하고 있습니다.