기술 요약: KbSD – 에이전틱 검색에서의 행동 교정을 위한 지식 경계 인식 자기 증류(Knowledge Boundary Aware Self-Distillation)

문제 정의

에이전틱 검색 시스템은 대규모 언어 모델(LLM)이 정보를 동적으로 검색할 수 있도록 지원하지만, 현재의 강화 학습(RL) 방식은 근본적인 병목 현상에 직면해 있습니다: 바로 **지식 경계 교정에서의 보상 희소성(reward sparsity in knowledge boundary calibration)**입니다. 기존 방법들은 언제 검색할지는 결정할 수 있지만, 에이전트가 상충하는 지식 소스(파라미터 메모리 vs. 검색된 증거)를 어떻게 조화시키거나 언제 절제(abstain)해야 하는지를 안내하는 데는 어려움을 겪습니다.

핵심 문제는 이진(binary) 또는 희소한 종단 보상이 바람직하지 않은 결과(예: 환각)만을 처벌할 뿐, 중간 추론 과정에 대한 가이드를 제공하지 못한다는 점입니다. 이는 내부 확실성과 검색 품질에 의해 정의된 네 가지 뚜렷한 지식 경계 사분면(quadrant)에서 특히 문제가 됩니다:

1. 통합(Integrated): 두 소스 모두 신뢰할 수 있음.
2. 외부(External): 검색은 신뢰할 수 있으나 내부 지식은 불확실함.
3. 거절(Refusal): 두 소스 모두 신뢰할 수 없음.
4. 내부(Internal): 내부 지식은 신뢰할 수 있으나 검색은 신뢰할 수 없음.

희소한 보상은 원칙적인 절제(principance abstention)와 정보 없는 추측(uninformed guessing, 사분면 3)을 구분하기 위한 인지적 단계를 분해하지 못하며, 또한 일치하는 증거의 통합(사분면 1)을 유도하는 데 실패합니다. 더욱이, 균일한 학습 목적 함수는 이러한 이질적인 상태들에 적합하지 않습니다. 왜냐하면 이들은 서로 다른 분포적 특성(예: 집중된 통합 vs. 다양한 거절 패턴)을 보이기 때문입니다.

방법론: KbSD 프레임워크

저자들은 **밀집된 토큰 수준의 감독(dense token-level supervision)**과 **사분면 적응형 최적화(quadrant-adaptive optimization)**를 통해 보상 희소성 문제를 해결하는 KbSD (Knowledge Boundary Self-Distillation) 프레임워크를 제안합니다. 파이프라인은 세 단계로 구성됩니다:

1. 경계 지향 데이터 합성 (Boundary-Oriented Data Synthesis)

모델의 지식 한계 근처에서 학습시키기 위해, 저자들은 두 가지 연산자를 사용하여 시드 데이터셋(HotpotQA, 2WikiMultiHopQA)으로부터 도전적인 멀티홉 쿼리를 합성합니다:

• 사실 주입 (Fact Injection): 새로운 사실 홉(fact hops)을 도입하여 구성적 깊이를 더함으로써, 모델이 증거를 결합하도록 강제합니다.
• 정보 퍼징 (Information Fuzzing): 정밀한 조건을 불충분한 설명으로 대체하여 검색 난이도와 모호성을 높입니다.

2. 지식 경계 정량화 및 사분면 매핑 (Knowledge Boundary Quantification & Quadrant Mapping)

각 쿼리에 대해, 시스템은 다음을 사용하여 지식 상태를 정량화합니다:

• 파라미터 확실성 ($\mu$): 검색 없이 생성된 정답의 비율.
• 의미적 안정성 ($\sigma$): 모델의 내부 응답 간의 일관성(의미적 유사도).
  특성상 외부 증거의 충분성을 추정한 값.

이러한 신호들은 각 쿼리를 네 가지 행동 사분면(통합, 외부, 거절, 내부)으로 매핑하며, 이는 목표 행동 규범을 정의합니다.

3. 힌트 증강 자기 증류 (Hint-Augmented Self-Distillation)

KbSD는 정보 비대칭적 자기 증류(information-asymmetric self-distillation) 설계를 채택합니다:

• 교사 모델 (Teacher Model): 파라미터 확실성, 안정성, 검색 품질 및 목표 사분면을 포함하는 **특권 힌트($h(q)$)**를 받는 학생 모델의 복사본입니다. 교사 모델은 교정된 추론 데모(예: 거절하기 전에 증거를 검토하는 방법)를 생성합니다.
• 학생 모델 (Student Model): 힌트 없이 원래의 입력을 받아, 토큰 수준의 감독을 통해 교사의 교정된 추론 패턴을 내재화하는 법을 배웁니다.

4. 사분면 적응형 증류 목적 함수 (Quadrant-Adaptive Distillation Objectives)

네 사분면의 이질적인 최적화 기하학을 다루기 위해, KbSD는 특정 발산(divergence) 목적 함수를 적용합니다:

• 사분면 1 (통합): 올바른 추론이 단일 통합 패턴 주변에 집중되어 있으므로 **역 KL (Reverse KL, mode-seeking)**을 사용합니다.
• 사분면 3 (거절): 유효한 거절 행동은 다양하므로 **순방향 KL (Forward KL, mass-covering)**을 사용합니다. 모델이 단일 템플릿으로 붕괴되지 않도록 하기 위함입니다.
• 사분면 2 & 4 (외부/내부): 정밀도(소스 선택)와 커버리지(노이즈에 대한 강건성) 사이의 균형을 맞추기 위해, 순방향 KL과 역 KL의 가중치를 적응적으로 조절하는 **파레토 최적 양방향 KL (Pareto-optimal Bidirectional KL)**을 사용합니다.

이 증류 손실은 최종 작업의 정답 여부에 대한 희소한 궤적 수준 보상을 제공하는 GRPO 기반 강화 학습과 함께 공동 최적화됩니다. 여기서 증류는 밀집된 프로세스 수준의 감독을 제공합니다.

주요 기여

1. 보상 희서성의 식별: 본 논문은 프로세스 수준의 감독 부재가 지식 경계 교정, 특히 이질적인 지식 상태에서 서로 다른 추론 전략을 구분하는 데 있어 핵심적인 병목 현상임을 식별했습니다.
2. 정보 비대칭적 자기 증류: 더 큰 외부 모델 없이도 밀집된 토큰 수준의 추론 데모를 생성하기 위해 힌트 증강 교사를 구축하는 새로운 프레임워크를 제시했습니다. 이는 희소한 행동 레이블과 전체 인지 과정 사이의 간극을 메웁니다.
3. 사분면 적응형 최적화: 집중된 분포, 다양한 분포, 비대칭 분포를 각각 처리하기 위해 역 KL, 순방향 KL, 파레토 최적 양방향 KL을 활용하여 최적화 기하학을 지식 상태와 일치시키는 증류 전략을 제안했습니다.

실험 결과

Qwen2.5 모델(3B 및 7B)을 사용하여 9개의 벤치마크(HotpotQA, NQ, TriviaQA, FRAMES, GAIA 포함)에서 실험을 수행했습니다.

• 성능: KbSD는 모든 벤치마크와 모델 규모에서 강력한 베이스라인인 Search-R1, AEPO, 그리고 희소 보상 베이스라인인 KbPO를 능가하며 가장 낮은 **신뢰성 결여율(Unreliability Rate, $1 - (\text{F1} + \text{Refusal Rate})$로 정의됨)**을 달est했습니다.
• 규모 효율성: 성능 향상은 모델 규모가 커질수록 증가했습니다. Qwen2.5-7B의 경우, 평균 신뢰성 결여율이 KbPO의 57.99%에서 KbSD의 41.18%로 감소했습니다.
• 일반화: 합성된 멀티홉 QA 데이터로만 학습했음에도 불구하고, KbSD는 도메인 외 에이전틱 추론 작업(FRAMES, GAIA)에 효과적으로 일반화되었습니다.
• 절제 연구 (Ablation Studies): 증류 손실을 제거하거나 고정된(비적응형) KL 목적 함수를 사용할 경우 성능이 크게 저하되었으며, 이는 밀집된 감독과 사분면 적응형 발산 모두의 필요성을 확인시켜 줍니다.
• 사례 연구: 분석 결과, KbSD는 희소 보상 베이스라인들이 환각을 일으켰던 무효한 질문(사분면 3)에 대해 성공적으로 절제하는 법을 배웠으며, 사분면 1에서 증거를 올바르게 통합함을 보여주었습니다. 다만, 내부 지식이 충분함에도 불구하고 검색에 과도하게 의존하는 경학년 발생하는 사분면 4(내부)에서의 잔여 과제가 남아있음을 확인했습니다.

의의 및 주장

본 논문은 KbSD가 에이전틱 검색 훈련의 패러다임을 결과 기반의 희소한 보상에만 의존하는 것에서, 자기 증류를 통해 도출된 밀집된 프로세스 수준의 감독을 활용하는 것으로 근본적으로 전환한다고 주장합니다.

저자들은 에이전틱 행동을 교정하는 데 있어 주요 병목은 모델 용량이 아니라 프로세스 수준 감독의 희소성이라고 단언합니다. 힌트 증강 교사를 통해 잠재적인 행동 목표를 명시적으로 만들고, 특정 지식 상태에 맞춰 최적화 목적 함수를 조정함으로써, KbSD는 모델이 내부 지식과 외부 지식 사이의 신뢰를 어떻게 교정할지 학습할 수 있게 합니다. 결과는 이 접근 방식이 특히 "도전적인 사분면"(희소 보상이 가장 정보력이 낮은 곳)에서 효과적이며, 다루기 쉬운 작업에서의 유용성을 유지하면서도 환각률을 크게 낮춘다는 것을 시사합니다. 이 연구는 지식 경계 인식을 자기 증류 메커니즘을 통해 학습될 수 있는 도메인 불가지론적 기술로 포지셔닝합니다.