기술 요약: 안정적인 적응을 위한 손실 평활화 (Loss Smoothing)

문제 정의

신경망은 미세 조정(fine-tuning), 지속 학습(continual learning), 강화 학습(RL)과 같은 설정에서 소스 분포로부터 타겟 분포로 빈번하게 적응됩니다. 표준적인 적응 방법들은 일반적으로 타겟 단계가 시작되자마자 소스 훈련 목적 함수를 즉시 폐기하는 급격한 "하드 스위치(hard switch)"를 실행합니다. 저자들은 이러한 불연속적인 전환이 취약한 최적화를 유발한다고 주장합니다. 구체적으로, 소스 목적 함수의 갑작스러운 제거는 새로운 작업에 유용하게 남아 있을 수 있는 학습된 표현과 특징들을 왜곡하여, 최적이 아닌 성능, 파괴적 망각(catastrophic forgetting), 또는 불안정성을 초래할 수 있습니다. 이 문제는 타겟 목적 함수가 어렵거나, 모델이 "파괴적 과적합(catastrophic overtraining)"을 거쳐 파라미터가 다운스트림 업데이트에 매우 민감해진 경우에 특히 두드합니다.

방법론: 손실 평활화 (Loss Smoothing)

본 논문은 불연속적인 스위치를 대신하여 훈련 목적 함수 사이의 점진적인 전환을 설계한 경량화된 개입 방법인 손실 평활화를 제안합니다.

핵심 메커니즘

타겟 목적 함수 $J_t(\theta)$만을 최적화하는 대신, 이 방법은 적응 단계의 시작점에서 소스 목적 함수 $J_s(\theta)$와 타겟 목적 함수의 볼록 결합(convex interpolation)을 최적화합니다:
$$J_\alpha(\theta) = (1 - \alpha)J_s(\theta) + \alpha J_t(\theta), \quad \alpha \in [0, 1]$$

보간 계수 $\alpha$는 스케줄 $\alpha(k) = \min(k/\tau, 1)$에 따라 $\tau$ 단계 동안 선형적으로 어닐링(annealing)됩니다.

• 초기 업데이트: $\alpha$가 작을 때, 업데이트는 소스 훈련 역학에 가깝게 유지되어 소스 분포로부터 유용한 특징과 구조를 보존합니다.
• 후기 업데이트: $\alpha$가 1에 가까워짐에 따라, 이 방법은 표준 타겟 목적 함수를 회복하여 모델이 새로운 작업에 특화될 수 있도록 합니다.

구현 세부 사항

이 방법은 일반적이며 소스와 타겟 단계 사이의 특정한 관계를 가정하지 않습니다. 이 방법은 현재 파라미터 하에서의 소스 목적 함수에 대한 추정치를 필요로 하며, 이는 다음과 같이 얻을 수 있습니다:

• 리플레이 데이터 (Replay data): 과거의 전이(transitions) 또는 입력값을 저장하여 사용 (강화 학습 및 지속 학습에서 사용).
• 저장된 타겟 (Stored targets): 이전에 계산된 가치 타겟(value targets) 또는 레이블을 사용.
• 직접 접근 (Direct access): 이전 훈련 분포에 직접 접근 (LLM 미세 조정에서 사용).

소스와 타겟의 목적 함수 규모(scale)가 다른 경우(예: TD3+BC에서 TD3로의 전환), 이 방법은 매끄러운 보간을 보장하기 위해 손실 규모에 곱셈적 어닐링(multiplicative annealing)을 적용합니다.

주요 기여

1. 적응의 공식화: 저자들은 적응을 훈련 목적 함수 간의 전환으로 프레임화하며, 타겟 목적 함수로의 "하드 스위치"를 분포 변화 하에서의 취약한 최적화의 주요 원인으로 식별했습니다.
2. 손실 평활화 알고리즘: 입력 변화($u$), 학습 신호 변화($s$), 손실 함수군 변화($\ell$) 모두에 적용 가능한 단순한 경로 기반 보간 방법을 도입했습니다.
3. 실증적 검증: 이 방법은 다양한 설정에서 적응 성능을 개선함을 보여주었습니다:
   • 지속적 지도 학습 분포 변화.
   • 사전 학습된 비전 모델 적응.
   • 오프라인-투-온라인(offline-to-online) 및 온라인 강화 학습.
   • 대규모 언어 모델(LLM) 미세 조정.
4. 메커니즘 분석: 적응 시작 시점에 재사용 가능한 특징을 보존하는 것이 더 강력한 다운스트림 특화와 일시적 성능 붕괴(the "stability gap")를 줄이는 데 도움이 된다는 증거를 제시했습니다.

실험 결과

1. 오프라인-투-온라인 강화 학습

D4RL 벤치마크(MuJoCo, AntMaze, Adroit)에서 평가되었으며, 손실 평활화는 최첨단 오프라인-투-온라인 방법들(TD3+BC, SPOT)에 적용되었습니다.

• 성능: 손실 평활화는 모든 스위트에서 하드 스위치 베이스라인 및 다른 오프라인-투-온라인 방법들(AWAC, Cal-QL, OPT)보다 뛰어난 종합적인 사분위 평균(IQM) 점수를 달성했습니다.
• 트레이드오프: 이 방법은 탐색을 위해 오프라인 사전 학습을 활용해야 하는 필요성(AntMaze와 같은 어려운 작업에서 처음부터 학습할 때 발생하는 zero-score 실패 방지)과, 온라인 데이터가 확보됨에 따라 보수적인 오프라인 제약을 넘어 정책을 이동시켜야 하는 필요성 사이의 균형을 성공적으로 맞추었습니다.

2. LLM 미세 조정

OLMo-1B 모델을 사용하여, 저자들은 모델을 미세 조정하기 어렵게 만드는 "파괴적 과적합(catastrophic overtraining)" 현상을 조사했습니다.

• 결과: 손실 평활화는 분포 내(ID) 지시 이행 성능과 분포 외(OOD) 일반화 사이의 트레이드오프를 개선했습니다.
• 과적합 완화: 하드 스위치 미세 조정이 과적합으로 인해 성능을 저하시키는 레짐(regime)에서도, 손실 평활화는 성능을 유지하거나 오히려 향상시켰습니다. 특히, Tulu-v1 데이터셋에서 가장 높은 성능은 가장 "과적합된" 체크포인트를 평활화하여 사용했을 때 달성되었으며, 이는 전환 경로 자체가 체크포인트만큼 중요하다는 것을 시사합니다.

3. 온라인 강화 학습

Brax 및 DeepMind Control Suite 환경에서 TD3 및 PPO 알고리즘에 적용되었습니다.

• 안정성: 리플레이 버퍼, 타겟 네트워크와 같은 기존의 안정화 메커니즘에도 불구하고, 손실 평활화는 상당한 개선을 제공했으며, 일부 환경에서는 성능이 거의 두 배로 향상되었습니다.
• 관찰: 이 방법은 정책 적응보다 더 어려운 경우가 많은 크리틱(critic) 적응을 안정화하는 데 도움을 주었습니다.

4. 지속적 지도 학습 및 비전 적응

• 특징 보존: 합성 지속 학습 작업(순열 입력, 셔플된 레이블)에서, 손실 평활화는 순열 입력의 깊은 층과 같은 작업 공유 특징을 보존하는 동시에 작업 특화 구성 요소(예: 첫 번째 층)를 적응시켰으며, EWC 및 표준 리플레이보다 우수한 성능을 보였습니다.
• 안정성 격차: 이 방법은 작업 전환 직후 발생하는 이전 작업 성능의 일시적 하락을 실질적으로 감소시켰습니다.
• DomainNet: ImageNet으로 사전 학습된 ViT를 DomainNet에 적응시킬 때, 손실 평활화는 고정된 리플레이 가중치를 유지하는 것보다 더 나은 유지-적응 경계(retention-adaptation frontier)를 달성했습니다. 이는 소스 목적 함수를 어닐링하는 것이 고정된 리플레이 가중치를 사용하는 것보다 효과적임을 나타냅니다.

의의 및 주장

본 논문은 더 매끄러운 목적 함수 전환이 모델 적응을 위한 광범위하게 유용한 도구라고 주장합니다. 핵심 논지는 취약한 적응이 단순히 타겟 목적 함수의 어려움 때문이 아니라, 그곳으로 들어가는 불연속적이고 잘못 선택된 경로에서 발생한다는 것입니다.

• 구조의 보존: 초기 업데이트를 소스 목적 함수에 묶어둠으로써, 손실 평활화는 유용하고 작업 공유적인 표현이 즉각적으로 덮어쓰여지는 것을 방지합니다.
• 경로 의존성: 결과는 다운스트림 목적지에 도달하기 위해 취해진 경로가 중요하다는 것을 시사합니다. 파괴적 과적합과 특징 왜곡은 사전 학습 체크포인트의 품질뿐만 아니라, 모델이 프리트레이닝에서 파인튜닝으로 어떻게 전환하느냐에 따라 완화될 수 있습니다.
• 일반성: 특정 데이터 휴리스틱이나 구조적 제약에 의존하지 않는, 입력, 신호, 손실 함수 변화 모두에 적용 가능한 일반적인 개입 방법입니다.

저자들은 이 방법이 소스 목적 함수에 대한 접근이나 추정치(리플레이 데이터, 저장된 타겟)를 필요로 하고, 특히 분포 변화가 연속적이고 정의하기 어려운 온라인 RL에서 튜닝이 필요할 수 있는 하이퍼파라미터(smoothing horizon)를 도입한다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지합니다. 또한 자동화된 평활화 경계 감지와 호환되지 않는 손실 규모 처리 등을 향후 연구 과제로 제시했습니다.