기술 요약: 모델 병합(Model Merging)이 공동 다중 작업 강화 학습(Joint Multi-Task RL)과 대등한 성능을 보일 때

문제 정의

모델 병합은 독립적인 에이전트들이 배포되어 학습 데이터를 통합할 수 없는 강화 학습(RL) 환경에서, 공동 다중 작업 학습(Joint Multi-task Training)의 대체제로 자주 제안됩니다. 그러나 병합이 대체하고자 하는 기준점(Baseline)인 공동 학습 모델이 교차 도메인 시나리오에서는 일반적으로 가용하지 않기 때문에, 병합이 공동 학습과 일치한다는 주장이 실증적으로 검증된 적은 드뭅니다. 본 논문은 통제된 비교 실험을 구축함으로써 이 간극을 메웁니다. 즉, 서로 다른 작업 하위 집합에 대해 RL 전문가 모델들을 학습시킨 후 이를 병합하고, 그 결과물을 동일한 데이터로 공동 학습된 모델과 대조합니다.

방법론

본 연구는 난이도별로 태스크가 주석 처리된 대화형 디지털 에이전트 환경인 Appworld 벤치마크를 활용합니다. 실험 설정은 다음 구성 요소로 이루어집니다:

• 기본 모델 및 아키텍처: 모든 모델은 Qwen3-8B로부터 LoRA(Low-Rank Adaptation)를 사용하여 어텐션(Attention) 및 MLP 프로젝션 행렬에 rank $r=16$으로 미세 조정되었습니다.
• 학습 체계: 전문가 모델들은 LOOP(Leave-One-Out Policy Optimization)를 사용하여 학습되었습니다. 이는 RLOO의 장점과 PPO 스타일의 클리핑(Clipping)을 결합한 비크리틱(Critic-free) 정책 경사(Policy-gradient) 방법입니다.
  • 난이도-1 전문가: 난이도-1 태스크에 대해서만 학습되었습니다.
  • 난이도-2 전문가: 난이도-2 태스크에 대해서만 학습되었습니다.
  • 공동 모델(Joint Model): 난이도-1과 난이도-2 태스크의 합집합에 대해 학습되었습니다.
• 병합 전략: 전문가들의 태스크 벡터(기본 모델로부터의 파라미터 오프셋)는 다음 방법을 통해 병합됩니다:
  • TIES: 낮은 크기의 좌표를 트리밍(Trim)하고 크기 투표를 통해 부호 충돌을 해결합니다.
  • RAM+: 좌표를 서포트 공존성(Shared vs. Unique)에 따라 분할하고 고유한 방향을 증폭합니다.
• 평가: 모델들은 홀드아웃 테스트 세트(168개 태스크)에 대해 태스크-목표 완수(TGC)(이진 성공 여부)와 연속적인 부분 점수 지표(단위 테스트 통과 비율)를 사용하여 평가됩니다.
• 기하학적 분석: 본 논문은 전문가들의 태스크 벡터 간 관계를 측정하기 위해 보정된 기하학적 진단법을 도입합니다. 여기에는 전역 코사인 유사도, 부호 일치성, 서포트 중첩이 포함됩니다. 결정적으로, 저자들은 이러한 측정값이 저차원 파라미터화 아티팩트(Artifact)가 아닌 실제 학습 신호를 구별할 수 있도록, 바닥값(Random rank-16 어댑터)과 천장값(동일 실행 체크포인트)을 기준으로 보정합니다.

주요 기여

1. 경험적 귀무 가설: 본 논문은 이 통제된 설정 내에서, 모델 병합이 주요 TGC 지표에 대해 공동 다중 작업 RL과 통계적으로 구별 불가능함을 입증합니다. 또한, 행동 인지형 병합 방법(RAM+, TIES) 역시 단순 평균과 구별되지 않습니다.
2. 기하학적 설명: 저자들은 복잡한 병합을 요구하는 간섭(Interference)이 발생하지 않는 이유가 전문가들의 태스크 벡터가 **거의 직교(Near-orthogonality)**하기 때문임을 보여줍니다. (동일한 LoRA 타겟 모듈로 인한 결과로) 65%의 서포트 중첩에도 불구하고, 방향 정렬(코사인 유사도)은 0.06–0.10으로 낮게 유지됩니다. 이 작은 공유 성분은 학습 과정에서 발달하지만, 저차원 초기화 바닥값과는 여전히 구별되는 수준입니다.
3. 서포트와 방향의 분리: 본 연구는 LoRA 기반 RL 전문가 모델에서 서포트 공존성(RAM의 기초)이 방향 정렬을 의미하지 않음을 밝혀냅니다. 벡터들이 거의 직교하기 때문에, 서포트 기반 병합 전략은 단순 평균으로 수렴하며, 이 체제에서는 복잡한 부호 또는 부분 공간 해결이 불필요해집니다.
4. 지표 민감도 분석: 연속적인 부분 점수 지표에서 병합된 모델이 공동 학습 모델보다 낮은 점수를 보이지만, 저자들은 이것이 병합이 공동 학습의 대체제로서 실패했다는 것을 의미하지 않는다고 주장합니다. 지표 역전 현상(병합 모델이 TGC에서는 공동 모델보다 높으나 연속 점수에서는 낮음)과 창발적 교차 태스크 능력의 부재(공동 성능이 최선 전문가를 넘어서지 못함)는, 이것이 능력의 상실이라기보다는 근접 직교 벡터를 평균화하는 과정에서 발생하는 기계적 결과임을 시사합니다.

결과

• 성능 동일성: 주요 지표인 TGC에서 난이도-1 전문가, 난이도-2 전문가, 공동 모델, TIES 병합, RAM+ 병합은 모두 통계적으로 겹치는 범위(총 TGC 12.5% – 16.1%) 내에 존재합니다. RL 모델 간의 어떤 쌍별 대조도 유의미하지 않습니다 ($p \geq 0.56$).
• 기하학적 발견:
  • 코사인 유사도: 전문가 간의 전역 코사인 유사도는 0.06–0 보이며, 학습 중 0에 가깝게 시작하여 단조 증가하지만 천장값(동일 실행 체크포인트의 0.78–0.81)보다 훨씬 낮은 수준에서 포화됩니다.
  • 부호 일치성: 공유 서포트에서의 부호 일치성은 약 52%로, 우연한 수준과 일치합니다.
  • 서포트 중첩: 공유 LoRA 모듈로 인해 높지만(~65%), 이것이 방향적 간섭으로 이어지지는 않습니다.
• 병합 역학: 벡터들이 거의 직교하기 때문에, TIES와 RAM+는 사실상 균등 평균으로 축소됩니다. RAM의 "고유(Unique)" 집합은 증폭을 유도하기에 너무 작으며, TIES의 부호 충돌은 합의 부족으로 인해 임의로 해결됩니다.
• 체크포인트 선택: "병합 인지형" 조기 종료(간섭을 최소화하면서 보상을 최대화하는 체크포인트 선택) 분석 결과, 이 체제에서는 별다른 레버리지가 발견되지 않았습니다. 간섭과 능력은 함께 성장하며, 병합을 위한 최적의 지점은 최대 능력 체크포인트와 일치하여, 높은 능력과 낮은 간섭을 동시에 갖는 대안이 존재하지 않습니다.

의의 및 주장

본 논문은 자신의 연구 결과를 **보정된 귀무 가설(Calibrated Null)**로 규정합니다. 즉, 모델 병합이 충분히 유효한 범위를 정밀하게 규정한 것입니다.

• 실무자를 위하여: 데이터를 통합할 수 있는 환경에서는 이 규모(8B 파라미터, 약 10회 반복)에서 모델 병합이 공동 RL보다 통계적 이점을 제공하지 않습니다. 그러나 데이터를 통합할 수 없는 실무자들에게, 본 결과는 병합이 공동 RL이 제공했을 성능을 명백히 희생하지 않는다는 확신을 줍니다.
• 기계적 통찰: 본 연구는 모델 병합의 성공이 정교한 병합 알고리즘(예: RAM 또는 TIES) 덕분이 아니라, 학습된 태스크 벡터의 고유한 기하학적 특성 때문임을 명확히 합니다. LoRA 기반 RL 전문가들의 근접 직교성은 간섭을 최소화하여 복잡한 디엔탱글먼트(Disentanglement)를 불필요하게 만듭니다.
• 한계 및 범위: 저자들은 본 결과가 특정 벤치마크 내의 설정, LoRA 파라미터화, 그리고 사용된 특정 난이도 분할에 국한된다는 점을 언급하며 신중한 태도를 취합니다. 더 큰 모델, 다른 학습 체계, 또는 전체 미세 조정(Full Fine-tuning)의 경우, 병합 방법이 더 많은 영향력을 발휘할 수 있는 다른 기하학적 특성을 보일 수 있음을 인정합니다. 본 논문은 모델 병합이 보편적으로 우월하다거나 관찰된 "귀무 가설"이 모든 다중 작업 시나리오에 적용된다고 주장하는 대신, 모델 병합이 공동 학습과 일치하는 구체적인 조건에 집중합니다.