기술 요약: 대규모 언어 모델의 순차적 사후 학습 과정에서의 표현 붕괴 (Representation Collapse)

1. 문제 제기

현대의 대규모 언어 모델(LLM)은 단 한 번의 지시어 튜닝(instruction-tuning) 과정을 통해 적응되는 경우가 드뭅니다. 대신, 광범위한 지시어 튜닝, 선호도 최적화(preference optimization), 안전성 정렬(safety alignment), 도메인 특화(수학/코드), 그리고 긴 사고 사슬(long chain-of-thought, CoT) 튜닝을 포함하는 순차적인 사후 학습 단계들을 거칩니다. 현재의 평가 관행은 행동적 결과(예: 벤치마크 점수, 거절율)에 집중되어 있으나, 본 논문은 이러한 관점이 불완전하다고 주장합니다.

본 연구에서 조사하는 핵심 문제는 **표현 붕괴(representation collapse)**입니다. 이는 순차적인 사후 학습이 모델의 내부 특징 공간(internal feature space)을 저차원(low-rank), 비등방성(anisotropic), 그리고 균질한 매니폴드(homogeneous manifolds)로 점진적으로 압축한다는 가설입니다. 저자들은 개별 단계가 특정 작업의 성능을 향상시킬 수는 있지만, 표현의 과도한 집중은 모델의 "가소성(plasticity)"을 저하시켜 새로운 도메인으로의 향후 적응을 어렵게 만든다고 상정합니다. 이러한 붕열은 다음과 같은 특징을 보입니다:

• 은닉 상태 공분산(hidden-state covariance)의 유효 랭크(effective rank) 손실.
• 소수의 지배적인 방향으로 샘플들이 정렬됨(비등방성).
• 도메인 및 토큰 유형 간의 분리성 감소.
• 과잉 확신된 로짓(overconfident logits) 및 교정(calibration) 능력 저하.
• 서로 다른 단계에서 어댑터 업데이트(예: LoRA)를 위해 동일한 저차원 부분 공간(low-rank subspaces)을 재사용함.

본 논문은 이를 완전한 능력의 상실이 아니라, 모델이 가장 최근의 타겟 작업에는 더 능숙해지지만 기하학적 협소화(geometric narrowing)로 인해 후속 작업을 학습하는 능력은 떨어지는 "조용한 실패 모드(quiet failure mode)"로 규정합니다.

2. 방법론

실험 설정

본 연구는 소규모 및 중규모 오픈 웨이트 모델(Qwen2.5-1.5B, TinyLlama-1.1B, Llama-3.2-1B, OLMo-1B, 그리고 7B 스케일링 체크)을 사용하는 통제된 순차적 사후 학습 벤치마크를 채택합니다. 실험은 LoRA(rank 16, alpha 32)를 주요 적응 메커니즘으로 사용하며, 이러한 효과가 저차원 적응 자체의 인위적인 결과가 아님을 검증하기 위해 1B 모델에 대해서는 풀 파인튜닝(full fine-tuning)을 실시합니다.

학습 파이프라인은 다음과 같은 구별된 단계의 시퀀스로 구성됩니다:

• 특화 체인(Specialization Chain): 일반 SFT $\to$ 수학 SFT $\to$ 코드 SFT $\to$ 안전성/거절 SFT.
• 추론 및 선호도(Reasoning & Preference): 일반 SFT $\to$ 긴 CoT SFT $\to$ DPO 방식의 선호도 최적화.
• 안전 우선(Safety First): 안전성/거절 SFT $\to$ 일반 SFT $\to$ 도메인 특화.

측정 도구 세트

모든 체크포인트에 고정된 프로브 코퍼스(probe corpus, $X_{probe}$, 도메인 간 균형 잡힌 12,000개의 프롬프트-응답 텍스트)를 적용하여, 기하학적 변화가 평가 분포의 변화에 의해 혼동되지 않도록 합니다. 본 논문은 다음을 포함하는 포괄적인 측정 도구 세트를 정의합니다:

1. 스펙트럼 지표(Spectral Metrics):
   • 유효 랭크 및 참여 비율(Effective Rank & Participation Ratio): 은닉 상태 공분산이 얼마나 집중되어 있는지 측정.
   • Top-k 분산(Top-k Variance): 지배적인 차원에서의 집중도를 시각화.
2. 기하학적 지표(Geometric Metrics):
   • 비등방성(Anisotropy): 평균 쌍 코사인 유사도(중심화 및 비중심화).
   • CKA 드리프트(CKA Drift): 베이스 모델 및 이전 단계와 비교한 중심 커널 정렬(Centered Kernel Alignment).
   • 도메인 분리성(Domain Separability): 도메인 분리를 위한 실루엣 점수(Silhouette scores) 및 공분산 비율.
3. 토큰 역학(Token Dynamics):
   • 특정 구간(프롬프트, 초기 응답, 후기 응답, CoT 구간, 거절 구간)에 걸친 랭크 및 다양성 분석.
4. 기능적 지표(Functional Metrics):
   • 로짓 공간(Logit Space): 엔트로피, 어휘 지원 크기, top-two 마진, 기대 교정 오차(Expected Calibration Error, ECE).
5. 업데이트 지표(Update Metrics):
   • LoRA 중첩(LoRA Overlap): 서로 다른 단계의 LoRA 업데이트의 특이 벡터 기저(singular vector bases) 간의 주각(principal angle) 중첩.

평가 전략

평가는 종단점 기반이 아닌 궤적(trajectory) 기반으로 수행됩니다. 각 단계 이후, 모델은 다음 항목에 대해 평가됩니다:

• 타겟 성능(Target Performance): 훈련된 도메인에서의 즉각적인 이득.
• 보존/OOD(Retention/OOD): 홀드아웃(held-out) 작업 및 분포 외(out-of-distribution) 데이터에 대한 성능.
• 미래 학습(Future Learning): 각 체크포인트가 보지 못한 새로운 도메인 작업에 대해 고정된 예산 내에서 적응을 수행하는 중요한 테스트입니다. 이 미래 적응의 샘플 효율성과 최종 점수는 가소성의 대리 지표(proxy) 역할을 합니다.

3. 주요 결과

경험적 발견

1. 순차적 사후 학습은 하나의 궤적이다: 붕괴는 균일하게 일어나지 않습니다. 이는 특정 레이어(주로 중간 및 후기 트랜스포머 블록)에 집중되며 단계마다 다릅니다. 예를 들어, 수학 튜닝은 특정 밴드의 랭크를 감소시키는 반면, 안전성 튜닝은 후기 응답의 표현을 집중시킵니다.
2. 목적 함수 의존적 붕괴 시그니처:
   • 안전성/거절 튜닝: 강한 응답 템플릿 방향과 더 날카로운 로짓을 생성합니다.
   • 긴 CoT 튜닝: 후기 생성 토큰에 영향을 미치는 추론 형식 방향을 생성합니다.
   • 선호도 최적화(DPO): 상대적 선호도 마진을 증가시켜 비등방성을 증폭시킵니다.
   • 수학/코드: 더 미묘합니다. 특정 레이어를 특화하면서도 다른 곳에서는 도메인 분리성을 보존합니다.
3. 붕괴는 미래의 가소성을 예측한다: 표현 건강도(유효 랭크, 비등방성)와 미래 학습 성능 사이에는 직접적인 음의 상관관계가 있습니다. 시퀀스 동안 유효 랭크가 감소하고 비등방성이 증가함에 따라, 새로운 작업에 적응하는 샘플 효율성과 최종 점수는 (즉각적인 타겟 작업 성능이 향상되더라도) 저하됩니다.
4. 경로 의존성(Path Dependence): 단계의 순서가 중요합니다. 예를 들어, 일반 지시어 튜닝 다음에 안전성 튜닝을 하는 것은 일반 지시어 튜닝 다음에 안전성 튜닝을 하는 것과 다른 붕괴 지표를 나타냅니다.

완화 전략

본 논문은 타겟 작업의 이득을 희생하지 않으면서 미래 학습 가능성을 보존하기 위한 경량화된 개입 방법을 테스트합니다:

• 혼합 도메인 재생(Mixed-Domain Replay): 특화 단계에 일반 도메인 데이터의 일부(5~20%)를 혼합합니다.
• 특징 리프레시(Feature Refresh): 고(高)붕괴 단계 이후에 짧은 일반 지시어 단계를 삽입합니다.
• 표현 다양성 정규화(Representation Diversity Regularization): 배치 수준의 은닉 상태 정렬($L_{cos}$)을 페널티화합니다.
• LoRA 업데이트 디코리레이션(LoRA Update Decorrelation): 현재와 이전 LoRA 업데이트 기저 간의 중첩을 페널티화합니다($L_{decorr}$).

결과는 이러한 방법들이 타겟 성능을 유지하면서도 더 나은 파레토 프런티어(Pareto frontier)를 허용하여 미래 적응력을 개선할 수 있음을 보여주지만, 붕괴를 완전히 제거하지는 못합니다.

4. 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 레이어별 측정 프로토콜: 순차적 사후 학습에서의 표현 붕괴를 탐지하기 위해 특별히 설계된 진단 도구 세트(스펙트럼, 기하학, 토큰 수준, 기능 및 업데이트 공간)를 제공합니다.
2. 통제된 순차적 벤치마크: 일반 지시어, 수학, 코드, 안전성, CoT, 선호도 데이터를 포함하며, 일치된 토큰 예산과 고정된 프로브 코퍼스를 갖춘 표준화된 실험 매트릭스를 구축했습니다.
3. 예측적 검증: 붕괴 지표(미래 적응 전 측정됨)가 새로운 작업을 학습하는 난이도를 예측한다는 증거와, 다양성 보존 개입이 이러한 가소성 손실을 완화할 수 있음을 입증했습니다.

5. 의의 및 주장

본 논문은 표현 붕괴가 단순한 기하학적 호기심이 아니라 미래 학습 가능성을 위한 실질적인 진단 도구라고 주장합니다. 저자들은 현재의 행동 벤치마크에 대한 집중이 중요한 실패 모드를 놓치고 있다고 주장합니다: 즉, 모델이 특정 작업에 대해 행동적으로 유능해질 수 있지만, 기하학적으로는 미래 적응을 위해 취약해질 수 있다는 점입니다.

이 연구의 의의는 정렬(alignment)과 특화를 지속 학습(continual learning) 문제로 재정의하는 데 있습니다. 제안된 측정 도구 세트는 실무자가 유익한 특화와 취약한 협소화 사이를 구분할 수 있게 해줍니다. 본 논문은 사후 학습이 무조건적으로 다양성을 극대화해서는 안 되지만(어느 정도의 특화는 필요하므로), 충분한 표현적 자유도를 보존하는 것이 미래의 예기치 못한 요구사항에 적응하는 능력을 유지하는 데 필수적이라고 결론짓습니다.

저자들이 언급한 한계점:

• 실험은 1B~7B 모델을 대상으로 수행되었으며, 프런티어 규모의 모델에서는 동작이 다를 수 있습니다.
• DPO는 실제 프로덕션 환경의 RLHF/RLAIF에 대한 대리 지표로 사용되었습니다.
• 측정값은 프로브 코퍼스의 선택과 토큰 구간에 민감하지만, 본 연구는 다양한 프로브 유형을 통해 이를 제어했습니다.
• 인과적 주장은 순수 이론적 유도가 아닌 개입(완화) 증거에 의해 뒷받격됩니다.