CoDA: Towards Effective Cross-domain Knowledge Transfer via CoT-guided Domain Adaptation

1. 문제 정의 (Problem Statement)

• 배경: 대규모 언어 모델 (LLM) 은 체인 오브 씽킹 (Chain-of-Thought, CoT) 프롬프팅을 통해 논리적 추론 능력을 크게 향상시켰으나, 여전히 인간 수준의 체계적 추론에는 미치지 못합니다.
• 현실적 한계: In-context learning(맥락 학습) 은 전문가가 선별한 도메인 내 예시 (exemplars) 를 입력에 포함시켜 성능을 높이는 효과적인 방법입니다. 그러나 저자원 과학 분야, 신흥 의학 하위 분야, 특수 법률 관할 구역 등 전문 지식이 부족한 도메인에서는 고품질의 도메인 내 증례를 구하기 어렵거나 아예 존재하지 않습니다.
• 기존 접근법의 실패: 이러한 데이터 부족을 해결하기 위해 최근 연구들은 다른 도메인 (Cross-domain) 의 샘플을 검색하여 증례로 사용하는 방식을 시도했습니다. 그러나 소스 도메인과 타겟 도메인 간의 **심각한 도메인 시프트 (Domain Shift)**로 인해, 모델이 텍스트 프롬프팅만으로는 두 도메인 간의 공유된 추론 구조나 잠재적 논리 패턴을 효과적으로 식별하고 전이하지 못해 성능 향상이 미미했습니다.
• 핵심 문제: 표면적인 텍스트 프롬프팅만으로는 도메인 간 추론 지식을 견고하고 체계적으로 전이하는 것이 불가능하며, 잠재 공간 (Latent Space) 에 대한 직접적인 개입이 필요합니다.

2. 제안 방법: CoDA (CoT-guided Domain Adaptation)

저자들은 CoDA 를 제안하여, 도메인 간 차이를 표면이 아닌 모델의 **중간 은닉 상태 (Intermediate Hidden States)**에서 해결합니다.

가. 핵심 아키텍처

• 가벼운 어댑터 (Lightweight Adapter): 고정된 (Frozen) LLM 의 중간 은닉 상태에 직접 개입하는 비선형 신경 어댑터 ($A_\theta$) 를 도입합니다. 이는 무거운 파라미터 업데이트 대신 경량화된 어댑터만 학습시킵니다.
• 3 단계 프로세스:
  1. 표현 추출: 고정된 LLM 을 사용하여 소스 도메인의 일반 은닉 상태 ($h_S$) 와 CoT 가 포함된 '교사' 상태 ($h^*_S$, 입력 + CoT 추론 경로) 를 추출합니다. 타겟 도메인의 일반 상태 ($h_T$) 도 추출합니다.
  2. 어댑터 최적화: 추출된 상태에 어댑터를 적용하여 강화된 상태 ($z_S, z_T$) 를 생성하고, 두 가지 목적 함수를 통해 어댑터를 학습합니다.
  3. 적응 추론: 학습된 어댑터를 사용하여 라벨이 없는 타겟 도메인의 입력에 대해 제로샷 (Zero-shot) 추론을 수행합니다.

나. 이중 목적 함수 (Dual-Objective Loss)

CoDA 는 어댑터 학습을 위해 두 가지 손실 함수를 결합합니다:

1. 추론 손실 (Reasoning Loss - MSE): 소스 도메인에서 CoT 가 포함된 교사 상태 ($h^*_S$) 와 어댑터를 통과한 강화된 상태 ($z_S$) 사이의 거리를 최소화합니다. 이를 통해 모델이 CoT 추론 경로를 모방하도록 유도합니다.
   $$L_{Reason} = \|z_S - h^*_S\|^2_2$$
2. 분포 정렬 손실 (Distribution Alignment Loss - MMD): 소스 도메인의 강화된 상태 집합 ($Z_S$) 과 타겟 도메인의 강화된 상태 집합 ($Z_T$) 간의 **최대 평균 불일치 (Maximum Mean Discrepancy, MMD)**를 최소화합니다. 이는 커널 기반 방법으로 두 도메인의 잠재적 추론 매니폴드를 정렬하여 도메인 시프트를 줄입니다.
   $$L_{MMD} = \text{MMD}(Z_S, Z_T)$$

최종 목적 함수는 두 손실의 가중 합입니다:
$$\min_\theta (L_{Reason} + \lambda \cdot L_{MMD})$$

3. 주요 기여 (Key Contributions)

1. 잠재 전이 병목 현상의 규명: 기존 텍스트 수준의 프롬프팅이나 정적 활성화 개입이 추론에 필요한 공유 위상 구조를 포착하지 못해 도메인 간 CoT 전이에 한계가 있음을 실험적으로 증명했습니다.
2. CoDA 프레임워크 개발:
   • 경량 신경 어댑터를 활용한 잠재 표현 증류 (Latent Representation Distillation) 를 도입했습니다.
   • MSE 기반의 특징 증류와 MMD 기반의 커널 분포 정렬을 결합한 이중 목적 함수를 설계하여 도메인 무관한 추론 패턴을 명시적으로 격리 및 전이합니다.
3. 최고 수준의 제로샷 적응 성능: 타겟 도메인의 CoT 주석이 없어도, 기존 베이스라인 (검색 기반, PEFT, 다른 스티어링 기법 등) 을 크게 상회하는 성능을 달성했습니다. 특히 12.3% 까지 정확도를 향상시켰습니다.

4. 실험 결과 (Results)

• 실험 설정: Gemma-3-it (4B27B) 및 Qwen-2.5-Instruct (3B32B) 등 다양한 크기의 오픈소스 LLM 을 사용했습니다.
• 데이터셋: GSM8K(수학), LogicalDeduction, FOLIO, ProofWriter(논리), CommonSenseQA(상식) 등 다양한 추론 태스크를 소스/타겟 도메인으로 교차 평가했습니다.
• 성능 비교:
  • 검색 기반 (Retrieval) 및 PEFT (LoRA, P-tuning) 대비 우위: CoDA 는 모든 모델 크기와 도메인 조합에서 기존 방법들을 압도했습니다. 특히 LoRA 와 같은 파라미터 효율적 미세 조정 (PEFT) 은 소스 도메인 과적합 (Overfitting) 으로 인해 오히려 제로샷 성능보다 낮은 결과를 보이는 경우가 많았으나, CoDA 는 이를 극복했습니다.
  • 모델 크기 확장성: 모델 파라미터가 커질수록 (예: 12B → 27B) CoDA 의 성능 향상 폭이 더욱 커지는 것을 확인했습니다.
  • 정량적 지표: t-SNE 시각화 및 MMD, 실루엣 점수 (Silhouette Score) 분석을 통해 CoDA 가 소스와 타겟 도메인의 잠재 표현을 효과적으로 정렬하고 융합함을 입증했습니다.
  • 파라미터 효율성: CoDA 는 LoRA 보다 훨씬 적은 학습 가능 파라미터 (약 1/4 ~ 1/10 수준) 로 더 높은 OOD(Out-of-Distribution) 정확도를 달성했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 전문 지식이 부족하거나 라벨이 없는 도메인에서도 LLM 의 추론 능력을 효과적으로 전이할 수 있는 실용적인 솔루션을 제공합니다.
• 방법론적 혁신: 단순한 텍스트 프롬프팅이나 파라미터 미세 조정을 넘어, 모델의 잠재 공간 (Latent Space) 을 직접 조작하여 추론 논리를 전이하는 새로운 패러다임을 제시했습니다.
• 미래 전망: 추후 기계적 해석 가능성 (Mechanistic Interpretability) 기법과 결합하여, 이 잠재적 개입이 구체적으로 어떤 논리적 특징을 조작하는지 해석하는 연구로 확장될 수 있습니다.

요약하자면, CoDA는 도메인 간 격차를 텍스트가 아닌 모델 내부의 추론 표현 (Reasoning Representation) 수준에서 정렬함으로써, 라벨 없는 타겟 도메인에서도 강력한 논리적 추론 능력을 발휘하게 하는 획기적인 방법론입니다.