기술 요약: 이질적 지식 충돌 하에서의 강건한 RAG를 위한 레짐 인식 피어 전문화 (RAPS-DA)

1. 문제 정의

검색 증강 생성(RAG)은 외부 컨텍스트에 기반하여 언어 모델의 생성을 보강합니다. 그러나 RAG 시스템은 검색된 컨텍스트가 모델의 파라미터 지식(PK)과 충돌할 때 "신뢰-저항 딜레마(trust–resistance dilemma)"에 직면합니다. 기존의 강건성 방법론들은 지식 충돌을 동질적인 현상으로 취급하여, 신뢰도 스펙트럼 전반에 걸쳐 레짐 불가지론적(regime-agnostic) 감독을 적용합니다. 이러한 접근 방식은 다음과 같은 상충하는 최적화 신호를 초래합니다:

• 그라운딩(Grounding): 신뢰할 수 있는 컨텍스트는 통합되어야 합니다.
• 중재(Arbitration): 혼합된 품질 또는 모순된 증거는 선택적 신뢰가 필요합니다.
• 저항(Resistance): 적대적이거나 반사실적인 컨텍스트는 PK를 위해 거부되어야 합니다.

프롬프팅, 디코딩 전략, 단일 정책 학습(지도 미세 조정 또는 강화 학습)을 포함한 현재의 솔루션들은 이러한 호환되지 않는 동작들을 분리해내지 못합니다. 이들은 학습 가능한 적응 메커니즘이 부족하거나, 단일한 학습 신호를 강요하여 모든 신뢰 레짐에서 체계적인 과소적합(underfitting)을 유발하는 교차 레짐 간섭(cross-regime interference)을 일으킵니다. 또한, 단일 교사를 사용하는 나이브한 온-정책 증류(on-policy distillation, OPD)는 이러한 간섭 문제를 그대로 물려받으며, 세심한 라우팅이 없는 다중 교사 설정은 감독 노이즈와 불안정성을 초래합니다.

2. 방법론: RAPS-DA

저자들은 샘플 및 토큰 수준 모두에서 이질적인 지식 충돌을 처리하기 위해 설계된 훈련 프레임워크인 RAPS-DA(Regime-Aware Peer Specialization with Difficulty Annealing)를 제안합니다. 이 프레임워크는 공유된 베이스 모델로부터 학습된 동일 규모의 세 가지 피어 교사를 활용하며, 이를 통해 개선이 모델 용량의 증가가 아닌 전문화에서 비롯됨을 보장합니다.

2.1 레짐 라우팅 피어 감독 (샘플 수준)

샘플 수준의 레짐 이질성을 해결하기 위해, 훈련 데이터는 세 가지 레짐으로 분할됩니다: 그라운딩(G), 중재(A), 저항(R).

• 피어 전문화: 세 명의 피어 교사($\pi_{T_r}$)는 공유 베이스 모델($\pi_{base}$)로부터 파생된 레짐별 서브셋을 통해 지도 미세 조정(SFT)을 거쳐 전문화됩니다.
• 하드 라우팅(Hard Routing): 각 훈련 샘플은 해당 레짐에 일치하는 교사에게 하드 라우팅됩니다. 이는 단일 교사가 상충하는 동작을 동시에 학습하려고 할 때 발생하는 모순적인 그래디언트 업데이트를 제거합니다.
• 온-정책 역-KL(On-Policy Reverse-KL): 학생 모델은 온-정책 롤아웃을 생성하고, 역-Kullback-Leibler(KL) 발산을 통해 라우팅된 교사로부터 감독을 받습니다. 이는 베이스 모델이 암시적 KL 앵커 역할을 하는 조밀한 토큰 수준 보상 최대화 문제로 재구성됩니다. 토큰 $a_t$에 대한 암시적 보상은 $r^{(r)}_t = \log \frac{\pi_{T_r}(a_t|s_t)}{\pi_{base}(a_t|s_t)}$로 정의됩니다.

2.2 충돌 인식 토큰 선택 (토큰 수준)

토큰 수준의 감독 노이즈를 해결하기 위해, 이중 레이어 셀렉터가 세 가지 진단 신호에 따라 토큰을 필터링하고 가중치를 부여합니다:

1. 교사 간 충돌 ($C(t)$): 모든 피어 교사 간의 Jensen-Shannon 발산을 통해 지식 충돌의 핵심에 있는 토큰을 식별합니다.
2. 학생-교사 격차 ($G(t)$): 학생과 라우팅된 교사 간의 역-KL을 통해 교정의 필요성을 측정합니다.
3. 학생 엔트로피 ($H(t)$): 학생 분포의 정규화된 엔트로피로, 예측 불확실성을 나타냅니다.

선택 과정은 다음과 같습니다:

• 하드 마스크 (자격 여부): 학생이 이미 정렬되었거나(낮은 격차), 학생이 매우 불확실하면서 교사에 의해 강력하게 거부되는 토큰(오프-매니폴드 롤아웃을 나타냄)을 필터링합니다. 결정적으로, 이 단계는 "확신하지만 정렬되지 않은(confident-but-misaligned)" 토큰(낮은 엔트로피, 높은 격차)을 유지하는데, 이는 가치 있는 교정 기회를 나타내기 때문입니다.
• 소프트 가중치 (우선순위): 적격한 토큰 중에서, 학생이 확신하지만 교사와 정렬되지 않은 토로에 대해 가중치 $\omega(t, s)$를 부여하여, 고착된 오류의 교정을 우선시합니다.

2.3 난이도 어닐링 (Difficulty Annealing)

라우팅과 토큰 선택 간의 상호작용을 안정화하기 위해, 프레임워크는 난이도 어닐링 스케줄을 채택합니다.

• 근거: 오직 높은 충돌을 가진 토큰들로만 훈련을 시작하는 것은 학생 모델이 레짐 일관적인 기초를 구축하는 것을 방해할 수 있습니다.
• 메커즘: 훈련은 넓은 토큰 커버리지(보존 비율 $p(s)=1$)로 시작하여, 훈련이 진행됨에 따라 점진적으로 가장 어려운 상위 $p_{final}$개의 토큰으로 좁혀집니다. 난이도는 충돌 강도와 충돌 및 학생 확신 사이의 상호작용을 기준으로 점수가 매겨집니다.

2.4 통합 목적 함수

최종 훈련 목적 함수는 모든 레짐에 걸쳐 가중치가 부여되고 마스킹된 역-KL 손실을 집계합니다. 학생 모델은 추론 시 레짐 레이블이나 피어 교사에 대한 접근이 필요 없는 단일 모델입니다.

3. 주요 기여

1. 충돌의 특성화: 본 논문은 RAG에서의 지식 충돌을 신뢰도 레짐(그라운딩, 중재, 저항)의 스펙트럼으로 특성화하며, 레짐 불가지론적 감독이 어떻게 상충하는 최적화 신호를 유도하는지 입증합니다.
2. RAPS-DA 프레임워크: 샘플 및 토큰 수준 모두에서 이질적인 충돌을 해결하기 위해 레짐 라우티드 피어 감독, 충돌 인식 토큰 선택, 난이도 어닐링을 결합한 새로운 프레임워크를 제안합니다.
3. 실험적 검증: 다섯 가지 인-디스트리뷰션(in-distribution) 충돌 시나리오와 두 가지 아웃-오브-디스트리뷰션(OOD) 벤치마크에 대한 광범로한 실험을 통해, RAPS-DA가 프롬프팅, 디코딩, 미세 조정, RL, 단일 교사 OPD 베이스라인을 능가함을 보여줍니다.

4. 실험 결과

Qwen2.5-7B-Instruct 및 Llama3.1-8B-Instruct 백본을 사용하여 실험을 수행하였으며, 3B 및 14B 규모에서 일반화 성능을 테스트하였습니다.

• 인-디스트리뷰션 성능: RAPS-DA는 모든 레짐에서 최첨단(SOTA) 결과를 달 achieved 했습니다. Qwen-7B 백본에서, 이는 강력한 Knowledgeable-R1(KR1) 베이스라인 대비 그라운딩에서 7.4포인트, 중재에서 6.6포인트, 저항에서 11.2포인트 향상되었습니다. 특히, 저항(적대적 거부) 성능을 다른 방법론에서 흔히 나타나는 트레이드오프 없이 그라운딩 정확도를 희생하지 않고도 KR1 대비 11.2포인트 향상시켰습니다.
• OOD 일반화: ConflictQA 벤치마크에서 RAPS-DA는 42.7%의 Exact Match(EM)를 달성하여 모든 베이스라인을 앞질렀습니다. (컨텍스트가 없는) TruthfulQA에서는 4.4% EM을 유지하여 베이스 모델과 일치하는 성능을 보였으며, 이는 레짐 특화 훈련이 파라미터 지식을 침식하지 않음을 확인시켜 줍니다.
• 절제 연구 (Ablation Studies):
  • 단일 교사 vs. 다중 교사: 단일 교사 OPD(OPCD) 베이스라인은 중재(37.3% vs. 78.6%)와 저항(31.0% vs. 48.1%)에서 상당한 하락을 겪었으며, 이는 레짐 특화 교사의 필요성을 입증합니다.
  • 라우팅 vs. 선택: 라우팅이나 토큰 선택 중 어느 하나만으로는 전체 모델의 성능을 달성할 수 없었으며, 이는 두 요소의 상호 보완적 성격을 확인시켜 줍니다.
  • 어닐링: 정적 마스킹 또는 슬라이딩 윈도우 스케줄(어려운 것에서 쉬운 것으로)은 선형적인 쉬운 것에서 어려운 것으로의 어닐링 스케줄보다 성능이 현저히 낮았으며, 특히 저항 레짐에서 그러했습니다. 이는 광범위한 초기 커버리지의 필요성을 강조합니다.
• 규모 일반화: 이 방법은 3B 및 14B 모델 모두에서 일관된 개선을 보였으며, 저항 레짐이 모든 규모에서 가장 큰 상대적 이득을 보였습니다.

5. 의의 및 주장

본 논문은 RAG에서의 강건한 충돌 해결이 단순히 규모의 문제가 아니라 근본적으로 전문화의 문제라고 주장합니다. 충돌을 별도의 신뢰 레짐으로 분해하고 각 레짐에 동일 규모의 피어 전문가를 할당함으로써, RAPS-DA는 단일 정책 학습에 내재된 교차 레짐 간섭을 피합니다.

저자들은 성능 향상이 더 크거나 강력한 교사를 사용했기 때문이 아니라, 레짐 특화된 감독의 품질과 타겟팅된 토큰 수준 학습 신호에서 기인한다는 점을 강조합니다. 이 프레임워크는 단일 학생 모델이 추론 시 레짐 레이블 없이도 적절하게 증거를 통합, 중재 및 거부하는 법을 배울 수 있음을 보여주며, 오라클 레짐 전문가 상한선(upper bound)에 근접합니다. 이는 향-후의 강건한 RAG 시스템이 단순히 모델 용량을 키우거나 균일한 감독을 적용하는 것보다, 상충하는 학습 신호를 분리하는 데 우선순위를 두어야 함을 시사합니다.