기술 요약: SAAS – 에이전트 검색에서 과도한 검색 억제를 위한 자기 인식 강화 학습

1. 문제 제기

반복적 추론과 외부 검색을 통해 대규모 언어 모델 (LLM) 이 복잡한 다단계 질문을 해결할 수 있게 하는 에이전트 검색 시스템은 실제 적용에서 중요한 한계에 직면해 있습니다: 과도한 검색 (over-search). 이러한 에이전트들은 효과적이지만, 종종 자신의 지식 경계를 인식하지 못합니다. 이는 구체적으로 두 가지 방식으로 나타납니다:

1. 불필요한 검색: 에이전트가 내부 매개변수 지식만으로 질문에 답할 수 있음에도 불구하고 검색 쿼리를 트리거합니다.
2. 중복된 검색: 에이전트가 올바른 답변을 형성하기에 충분한 외부 증거를 이미 수집한 후에도 검색을 계속합니다.

이러한 경계에 대한 자기 인식의 부재는 심각한 과도한 검색을 초래하여 상당한 추론 지연과 prohibitive 한 계산 비용을 유발합니다. 프롬프트 기반 라우팅과 결과 기반 보상을 활용한 강화 학습 (RL) 을 포함한 기존 접근 방식은 세 가지 주요 한계를 겪고 있습니다:

• 에이전트의 훈련 중 진화하는 능력을 포착할 수 없는 정적 휴리스틱이나 고정된 임계값에 의존합니다.
• 결과만 rewarding 하는 방식은 검색을 언제 시작하거나 종료할지에 대한 신호를 제공하지 않아, 에이전트가 검색의 필요성에 대해 '맹목적'이게 만듭니다.
• 검색 패널티를 단순하게 추가하면 에이전트가 실제 필요성 여부와 상관없이 패널티를 최소화하기 위해 검색을 완전히 회피하도록 학습하는 **보상 해킹 (reward hacking)**이 종종 발생합니다.

2. 방법론: SAAS 프레임워크

저자들은 동적 자기 인식을 함양하도록 설계된 새로운 RL 프레임워크인 SAAS(에이전트 검색을 위한 자기 인식 강화 학습) 를 제안합니다. SAAS 는 세 가지 핵심 구성 요소를 통해 정확성을 훼손하지 않으면서 검색 행위를 규제합니다:

(i) 검색 경계 모델링

정적 주석에 의존하는 대신, SAAS 는 진화하는 정책 하에서 각 질문에 대한 검색 경계를 동적으로 식별합니다. 이는 현재 정책 $\pi_\theta$에 의해 생성된 두 그룹의 롤아웃을 대조함으로써 이루어집니다:

• 검색 비활성화 그룹 ($G_d$): 에이전트가 매개변수 지식만을 사용하여 답변을 시도합니다.
• 검색 활성화 그룹 ($G_e$): 에이전트가 검색 엔진과 상호작용할 수 있습니다.

이 두 그룹의 성공률을 비교함으로써 시스템은 각 질문 $q$를 세 가지 상태 중 하나로 분류합니다:

• NOSEARCH: 모델이 외부 증거 없이도 신뢰할 수 있게 답변할 수 있는 경우 ($G_d$에서 충분한 수의 올바른 궤적이 나타남).
• NEEDSEARCH: 모델이 외부 증거가 필요한 경우 ($G_d$는 실패하지만 $G_e$는 성공함).
• UNDETERMINED: 현재 롤아웃 기반으로는 경계가 불분명한 경우.

(ii) 경계 인식 보상 모듈

SAAS 는 식별된 검색 경계를 궤적 수준의 패널티로 변환하여 불필요하고 중복된 검색을 선택적으로 억제합니다:

• NOSEARCH 질문의 경우: 모든 검색 행동에 대해 제로-허용 (zero-tolerance) 패널티가 적용됩니다 ($R_{search} = -\alpha N_i$). 이는 에이전트가 검색하지 말아야 할 때 검색하는 것을 억제합니다.
• NEEDSEARCH 질문의 경우: 검색 자체는 패널티를 받지 않습니다. 대신, 시스템은 검색 활성화 그룹의 올바른 궤적이 요구하는 최소 검색 횟수 $N_{min}$을 계산합니다. 이 임계값을 초과하는 검색 행동에만 패널티가 부과됩니다 ($R_{search} = -\alpha \max(0, N_i - N_{min})$). 이는 구체적으로 중복된 검색을 대상으로 합니다.
• UNDETERMINED 질문의 경우: 추론을 제한하지 않도록 추가적인 제약이 적용되지 않습니다.

안정적인 훈련을 보장하기 위해, 이 프레임워크는 검색 비활성화 그룹과 검색 활성화 그룹 간의 분포 불일치를 처리하기 위해 GRPO(그룹 상대 정책 최적화) 알고리즘 내에서 그룹별 이점 정규화를 사용합니다.

(iii) 단계별 최적화 전략

보상 해킹 (에이전트가 도구 사용 능력을 학습하기 전에 필요한 검색을 회피하는 현상) 을 방지하기 위해, SAAS 는 순차적 커리큘럼을 사용합니다:

• 1 단계 (능력 획득): 에이전트는 검색 제약 없이 기본 추론 및 도구 사용 능력을 학습하기 위해 결과 기반 보상 (답변 정확도) 만을 사용하여 훈련됩니다.
• 2 단계 (효율성 정제): 에이전트가 능력을 입증하면, 경계 인식 보상이 활성화되어 과도한 검색을 억제하면서도 정확성을 유지하도록 검색 행동을 정제합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 한계 식별: 기존 에이전트 검색 모델이 동적 자기 인식이 부족하여 과도한 검색을 초래하며, 정적 제약은 진화하는 모델 능력에 적응하지 못한다는 점을 저자들이 식별했습니다.
2. SAAS 프레임워크: 검색 비활성화 및 검색 활성화 롤아웃을 대조하여 에이전트의 검색 경계를 동적으로 모델링하는 새로운 RL 프레임워크를 제안했습니다.
3. 경계 인식 최적화: SAAS 는 보상 해킹을 유발하지 않으면서 불필요하고 중복된 검색을 억제하는 궤적 수준 패널티로 이 경계 인식을 변환하는 메커니즘을 수립하며, 이는 단계별 최적화 전략을 통해 달성됩니다.
4. 실증적 검증: 광범위한 실험을 통해 SAAS 가 다양한 벤치마크 및 모델 백본에서 과도한 검색을 일관되게 완화하면서도 답변 정확도를 유지하거나 향상시킨다는 것을 입증했습니다.

4. 실험 결과

저자들은 Qwen2.5-3B 및 Qwen2.5-7B 모델을 사용하여 7 개의 오픈 도메인 QA 벤치마크 (TriviaQA, PopQA, NQ, HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle) 에서 SAAS 를 평가했습니다.

• 정확도 대 효율성: SAAS 는 Qwen2.5-3B 에서 평균 정확도 45.8% 를 달성하여 가장 강력한 베이스라인 (HiPRAG) 보다 2.2% 를 상회했으며, 평균 검색 횟수를 1.89(HiPRAG) 에서 1.13으로 줄였습니다. Qwen2.5-7B 의 경우, HiPRAG 의 2.19 에 비해 평균 검색 횟수 0.97로 48.7% 의 정확도를 달성했습니다.
• 과도한 검색 감소:
  • 질문 수준 과도 검색 비율 (QOR): SAAS 는 평균 QOR 를 45.9% 로 감소시켰습니다 (RFT 는 52.5%, StepSearch/HiPRAG 는 100%). 이는 모델이 충분할 때 매개변수 지식을 성공적으로 활용함을 나타냅니다.
  • 단계 수준 과도 검색 비율 (SOR): SAAS 는 **6.3%**의 가장 낮은 평균 SOR 를 달성했습니다 (RFT 는 14.8%, StepSearch 는 24.3%). 이는 충분한 증거가 수집되면 검색을 중단하는 능력을 보여줍니다.
• Ablation 연구: 단계별 최적화를 제거하면 정확도가 45.8% 에서 40.9% 로 크게 하락하여, 초기 검색 정규화가 도구 사용 학습을 방해함을 확인했습니다. 온-폴리시 경계 모델링을 제거해도 성능이 저하되어 동적 경계 추적의 필요성이 입증되었습니다.

5. 중요성 및 주장

본 논문은 SAAS 의 중요성이 에이전트의 진화하는 검색 경계를 동적으로 모델링할 수 있는 능력에 있다고 주장합니다. 정적 휴리스틱이나 고정된 패널티에 의존하는 이전 방법들과 달리, SAAS 는 모델의 실제적이고 변화하는 능력에 맞춰 검색 결정을 정렬합니다.

저자들은 이 접근 방식이 에이전트에게 다음과 같은 능력을 부여한다고 주장합니다:

1. 필요성 구분: 내부 지식이 충분할 때 불필요한 도구 호출을 피할 수 있음을 인식합니다.
2. 충분성 판단: 수집된 증거가 중복된 검색을 중단하기에 충분할 때를 인식합니다.
3. 훈련 안정화: 효율성 정제 전에 능력 획득을 우선시함으로써 단순한 패널티 기반 RL 에서 흔히 발생하는 "보상 해킹"을 피합니다.

궁극적으로, 본 논문은 동적 검색 경계 인식이 계산 비용을 줄이면서도 추론의 질을 희생하지 않는 더 효율적이고 효과적인 검색 증강 추론 시스템을 구축하는 데 필수적이라고 주장합니다. 저자들은 현재 평가가 텍스트 기반 검색에 초점을 맞추고 있지만, 핵심 메커니즘은 모달리티에 구애받지 않으며 향후 작업에서 멀티모달 추론으로 확장될 수 있음을 지적합니다.