기술 요약: SEARCHSKILL

문제 정의

대형 언어 모델 (LLM) 은 광범위한 매개변수 지식을 보유하고 있지만 근본적으로 정적이며, 오픈 도메인 및 멀티홉 질문 응답 (QA) 과 같은 지식 집약적 작업에 필요한 롱테일 사실이나 최신 정보를 종종 결여하고 있습니다. 검색 엔진과 상호작용할 수 있도록 한 검색 증강 생성 (RAG) 및 도구 사용 프레임워크 (예: ReAct, Toolformer) 가 도입되었음에도 불구하고, 중요한 병목 현상이 여전히 존재합니다: 쿼리 품질.

기존 방법들은 모델에게 무엇을 검색할지 가르치는 경우가 많지만, 고품질 쿼리를 어떻게 구성할지는 가르치지 못합니다. 멀티홉 설정에서 모델들은 종종 광범위하거나, 복사된, 혹은 중복된 쿼리를 발행합니다 (예: 전체 질문을 검색창에 붙여넣기). 이로 인해 검색 예산이 낭비되고, 노이즈가 포함된 증거가 생성되며, 불필요한 도구 호출이 발생하고 추론 정확도가 저하됩니다. furthermore, 현재 에이전트를 위한 "기술 (skill)" 프레임워크들은 검색 궤적의 특정 맥락 내에서 기술이 어떻게 표현, 호출, 업데이트되어야 하는지, 특히 다음 쿼리, 검증 행동, 그리고 중단 결정에 기술이 어떻게 영향을 미치는지에 대해 명시적으로 정의하지 않습니다.

방법론: SEARCHSKILL

저자들은 SEARCHSKILL을 제안합니다. 이는 모든 상호작용 단계를 기술 선택과 그 다음 기술 기반 실행으로 분해하여 검색 도구 사용을 명시화하는 프레임워크입니다. 핵심 혁신은 검색 전략을 위한 외부적이고 재사용 가능한 사전 지식으로 작용하는 진화하는 SkillBank입니다.

1. 기술 조건부 인터페이스

검색을 구분되지 않은 행동으로 취급하는 대신, SEARCHSKILL 은 토큰 수준의 프로토콜을 강제합니다:

1. 기술 선택: 모델이 특정 재사용 가능한 전략을 선언하기 위해 <skill>...</skill> 태그를 출력합니다 (예: bridge-entity-search, parallel-attribute-compare).
2. 실행: 선택된 기술 카드에 조건부로 모델은 <search>...</search> 쿼리 또는 <answer>...</answer>를 생성합니다.
3. 피드백: 검색된 증거는 <information>...</information> 태그를 통해 반환됩니다.

이 인터페이스는 모든 검색 또는 답변 행동 전에 전략 선택을 명시적이고 학습 가능한 제어 변수로 만듭니다.

2. 진화하는 SkillBank

SkillBank 는 정적이지 않으며, 단일 홉에서 MuSiQue 와 같은 복잡한 멀티홉 데이터셋까지 증가하는 작업 난이도에 맞춰 조정되는 실패 주도 외부 루프를 통해 진화합니다:

• 초기화: 일반적인 검색 및 그라운딩 기술을 포함하는 컴팩트한 시드 뱅크 ($B_0$) 로 시작합니다.
• 정제: 각 단계에서 시스템은 모델 롤아웃에서 반복되는 실패 패턴을 분석합니다. 교사 모델 (GPT-5.4) 은 이러한 실패를 기반으로 새로운 기술을 제안하거나 기존 기술을 정제합니다 (예: 멀티홉 추론을 위한 bridge-entity-search 추가).
• 재구성: 뱅크 업데이트가 수락되면 일관성을 보장하기 위해 영향을 받는 궤적이 재구성됩니다.
• 분류체계: 최종 뱅크 ($B_4$) 는 직접 조회, 브리지 해결, 관계 체인 분해, 시간적 고정, 충돌 확인, 그리고 답변 그라운딩을 위한 기술을 포함합니다.

3. 2 단계 지도 미세 조정 (SFT)

학습 레시피는 추론 시 프로토콜과 모델을 정렬합니다:

• 1 단계 (실행): 모델은 <skill> 태그를 출력한 후 <search> 또는 <answer> 태그를 출력하는 기본 행동 형식을 학습합니다. 이 단계는 검증된 교사 궤적 풀을 사용하여 기술 태그가 지정된 쿼리 계획과 그라운딩된 중단을 가르칩니다.
• 2 단계 (라우팅): 모델은 SkillBank 인덱스에서 기술을 선택하는 법을 학습합니다. 각 원래 행동 턴은 기술 선택 턴, 선택된 기술 카드 내용을 포함하는 사용자 턴, 그리고 원래 행동 턴으로 분할됩니다. 모델은 질문별 힌트 없이 SkillBank 를 통해 라우팅해야 하며, 선택된 카드의 내용에 기반하여 다음 행동을 결정해야 합니다.

4. 강화 학습 (보조)

저자들은 또한 SFT 이후 검색 행동을 더 정제하기 위해 경량 GRPO(그룹 상대 정책 최적화) 단계를 탐색합니다. 이는 특히 증거 활용, 답변 그라운딩, 그리고 중단 행동을 목표로 하지만, 주요 성과는 SFT 과정에서 기인합니다.

주요 기여

1. 기술 조건부 인터페이스: 모델이 모든 도구 호출 전에 재사용 가능한 검색 전략을 선택하도록 강제하여 쿼리 구성을 개선하는 새로운 프레임워크로, 광범위하거나 복사된 멀티홉 쿼리 발행 실패를 해결합니다.
2. 진화 가능한 검색 기술 뱅크: 실패 분석, 추가/정제 작업, 그리고 궤적 재구성을 통해 업데이트되는 동적 저장소입니다. 이는 특정 QA 설정을 넘어선 도구 사용을 위한 재사용 가능한 사전 지식을 제공합니다.
3. 2 단계 SFT 레시피: 대규모 RL 기반 검색 에이전트 (Search-R1 등) 와 동등하거나 더 나은 성능을 달성하면서도 RL 롤아웃의 높은 계산 비용을 피하는 학습 방법론입니다.
4. 일반화 능력: 오픈 소스 (Qwen2.5 3B/7B) 와 클로즈드 소스 모델 모두에서 입증된 효과성입니다. 고정된 SkillBank 는 파인튜닝 없이 독점 모델을 위한 외부 계획 가이드로 기능할 수 있습니다.

실험 결과

이 프레임워크는 단일 홉 (Natural Questions, TriviaQA, PopQA) 과 멀티홉 (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle) QA 를 아우르는 7 개의 벤치마크에서 평가되었습니다.

• 성능: SEARCHSKILL 은 Qwen2.5-7B(42.34%) 와 Qwen2.5-3B(36.94%) 모두에서 최상의 매크로 평균 정밀 일치 (EM) 점수를 달성하여 Search-R1(RL 기반) 및 ZeroSearch 를 포함한 강력한 베이스라인을 능가했습니다.
• 쿼리 행동: 이 방법은 "첫 번째 쿼리 복사"(모델이 전체 질문을 복사하는 경우) 비율을 크게 줄이고 "원자적 홉 중심" 쿼리를 증가시켰습니다. 작은 검색 예산 내에서 (예: 검색 3 회 이하에서 정답) 더 높은 정확도를 달성했습니다.
• 절대 실험:
  • SkillBank 를 제거한 경우 (빈 뱅크) 성능이 저하되어 명시적 기술 라우팅의 가치를 확인했습니다.
  • 기술 카드의 내용을 제거하고 ID 만 유지하는 경우에도 성능이 감소하여 기술의 의미론적 내용이 중요함을 나타냈습니다.
  • 진화된 뱅크를 시드 뱅크 ($B_0$) 로 대체하면 성능이 저하되어 반복적 정제의 중요성을 강조했습니다.
• 클로즈드 소스 전이: 고정된 SkillBank 를 독점 모델 (GPT-4o-mini, Gemini 2.5 Flash Lite, Claude Haiku 4.5) 에 대한 계획 가이드로 적용하면 일관된 매크로 향상을 보여주어 학습된 검색 사전 지식의 전이 가능성을 입증했습니다.

중요성 및 주장

이 논문은 명시적 기술 조건부 쿼리 계획이 검색을 구분되지 않은 행동으로 취급하는 것보다 가볍고 효과적인 대안이라고 주장합니다. 검색 전략을 명시적이고 학습 가능하게 만듦으로써 SEARCHSKILL 은 검색 비효율성의 근본 원인인 부실한 쿼리 구성을 해결합니다.

저자들은 이 접근법이 다음과 같다고 주장합니다:

• 전략과 실행의 분리: SkillBank 는 외부 사전 지식으로 작용하여 모델이 SFT 중에 이러한 패턴을 암묵적으로 재발견할 필요 없이 어떻게 검색할지 학습할 수 있게 합니다.
• 효율성 향상: 불필요한 검색을 줄이고 검색된 증거의 품질을 개선하여 더 엄격한 예산 내에서 더 나은 답변을 도출합니다.
• 확장 가능한 학습 경로 제공: 2 단계 SFT 레시피는 RL 을 통해 검색 행동을 주로 학습할 때 발생하는 불안정성과 높은 계산 비용을 피하면서 검색 에이전트를 학습할 수 있는 비용 효율적인 방법을 제공합니다.

이 연구는 RL 이 실행 습관 (예: 중단 행동) 을 더 정제할 수는 있지만, 지능형 검색의 기반 능력은 구조화된 기술 조건부 감독을 통해 가장 잘 확립된다고 시사합니다.