기술 요약: DecoupleSearch

문제 정의

검색 증강 생성 (RAG) 시스템은 환각을 완화하기 위해 외부 지식을 기반으로 대규모 언어 모델 (LLM) 을 정립하는 데 필수적이게 되었습니다. 그러나 표준 RAG 는 종종 복잡한 다단계 추론 작업에 어려움을 겪는 정적 워크플로우에 의존합니다. 에이전트 RAG 는 자율 에이전트를 도입하여 반복적으로 계획하고 검색함으로써 이를 해결합니다. 잠재력이 있음에도 불구하고, 에이전트 RAG 는 세 가지 중요한 과제를 직면하고 있습니다:

1. 계획과 검색의 상호 의존성: 추론 과정의 성공은 고품질 계획 (필요한 정보 결정) 과 정확한 검색 (해당 정보 검색) 모두에 달려 있습니다. 어느 단계의 오류든 전파되며, 한 가지를 다른 것 없이 최적화하는 것은 어렵습니다.
2. 중간 감독의 부재: 대부분의 RAG 데이터셋은 최종 답변만 제공하며, 중간 추론 단계 (예: 생성된 계획의 유효성 또는 검색된 문서의 관련성) 의 품질에 대한 명시적인 피드백을 제공하지 않습니다.
3. 지수적 검색 공간: 계획 및 검색을 위한 후보 공간은 지수적으로 증가하여, 무차별 대입 탐색을 통해 최적의 추론 경로를 식별하는 것이 계산적으로 비용이 많이 듭니다.

방법론: DecoupleSearch

저자들은 이중 가치 모델(계획 가치 모델 및 검색 가치 모델) 을 사용하여 계획 및 검색 과정을 분리함으로써 독립적인 최적화를 가능하게 하는 DecoupleSearch 프레임워크를 제안합니다. 방법론은 세 가지 주요 단계로 구성됩니다:

1. MCTS 주석 (훈련 데이터 구축)

중간 감독의 부재를 해결하기 위해 저자들은 훈련 쿼리에 대한 추론 트리를 구축하기 위해 몬테카를로 트리 탐색 (MCTS) 을 사용합니다.

• 과정: LLM 이 에이전트 역할을 하여 계획과 검색 쿼리를 생성하고, 검색기와 상호작용하여 트리를 확장합니다.
• 평가: 시뮬레이션 중 LLM 은 심판 역할을 하여 계획 및 검색 단계 모두에 대해 보상 점수 ($-1$에서$1$) 를 할당합니다. 말단 노드는 최종 답변의 정확도에 기반하여 보상을 받습니다.
• 역전파: 보상이 트리를 통해 역전파되어 노드 값과 방문 횟수를 업데이트하며, 고품질 (정답) 과 저품질 (오답) 추론 경로의 데이터셋을 생성합니다.

2. 모델 훈련

프레임워크는 사전 훈련된 LLM 에서 초기화된 공유 백본 정책 모델 ($\pi_\theta$) 을 활용합니다.

• 아키텍처: 백본에 두 개의 보조 선형 계층과 Tanh 활성화 함수가 추가되어 계획 가치 모델($V_\phi$) 과 검색 가치 모델($V_\psi$) 을 유도합니다. 이 설계는 파라미터 효율성과 공동 최적화를 보장합니다.
• 손실 함수: 멀티 태스크 손실이 적용됩니다:
  • 정책 손실: 토큰 예측을 안내하기 위해 올바른 솔루션 경로에 대한 음의 로그 가능도.
  • 가치 손실: 모든 경로의 계획 및 검색 단계에 대해 예측된 값과 MCTS 에서 유도된 보상 간의 평균 제곱 오차 (MSE).

3. 추론: 계층적 빔 탐색

추론 중 시스템은 지수적 검색 공간을 효율적으로 탐색하기 위해 계층적 빔 탐색 알고리즘을 사용합니다.

• 분리된 탐색: 각 단계에서 정책 모델은 여러 후보 계획을 생성합니다. 계획 가치 모델은 이를 평가하고 가지치기하여 가장 유망한 것들만 유지합니다.
• 검색 정립: 선택된 계획을 기반으로 정책은 여러 검색 쿼리를 생성합니다. 검색 가치 모델은 검색된 문서를 평가하여 저가치 결과를 가지치기합니다.
• 반복: 이 반복적 정제는 최대 깊이에 도달하거나 확장할 노드가 없을 때까지 계속됩니다. 최종 답변은 계획 모델이 할당한 가장 높은 가치에 기반하여 선택됩니다.

주요 기여

1. 분리된 프레임워크: 이중 가치 모델을 통해 계획 및 검색 최적화를 분리하는 DecoupleSearch 도입으로, 추론 논리와 검색 정립의 독립적 정제를 가능하게 함.
2. MCTS 기반 감독: MCTS 를 사용하여 단계별 보상으로 추론 트리에 주석을 다는 에이전트 RAG 를 위한 중간 감독 신호를 생성하는 새로운 접근법으로, 최종 답변만 있는 데이터셋의 한계를 극복함.
3. 효율적인 검색 전략: 이중 가치 모델을 활용하여 지수적 후보 공간을 가지치기하고 탐색과 계산 비용 사이의 균형을 맞추는 계층적 빔 탐색 제안.
4. 실증적 검증: 다양한 정책 모델 크기 (7B 및 14B 파라미터) 와 다양한 QA 데이터셋 전반에 걸쳐 방법의 효과를 입증한 광범위한 실험.

실험 결과

이 방법은 다섯 가지 데이터셋에서 평가되었습니다: HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle(다중 홉), 그리고 TriviaQA(단일 홉). 사용된 정책 모델은 Qwen2.5-7B-Instruct와 Qwen2.5-14B-Instruct였습니다.

• 성능 향상: DecoupleSearch 는 모든 데이터셋에서 최첨단 결과를 달성했습니다. 7B 모델을 사용하면 최상위 베이스라인 대비 25.8% 의 상대적 평균 개선을 보였습니다.
• 비교: 이는 일반 프롬프트 방법 (Direct, CoT), 고급 RAG 방법 (Iterative, Judge-then-retrieve), 그리고 기타 에이전트 RAG 베이스라인 (RAgent, Search-o1, GreedyAgent) 보다 우수한 성능을 발휘했습니다.
• 확장: 더 큰 모델 (14B) 이 일반적으로 더 잘 수행되었지만, 계층적 빔 탐색은 7B 모델이 14B 모델과 비교 가능한 성능을 달성하도록 하여 추론 시간 확장 효율성을 강조했습니다.
• 애블레이션 연구:
  • 계획 또는 검색 확장 중 하나를 제거하면 성능이 저하되었으며, 계획 확장이 더 중요했습니다.
  • 가치 모델이 필수적이었으며, 가치 기반 순위 매기기를 무작위 선택으로 대체하면 특히 검색 확장에서 성능이 크게 떨어졌습니다.
  • 계획 확장 크기가 약 3 일 때 최적의 성능이 관찰되었으며, 더 큰 검색 확장 크기는 일반적으로 더 좋은 결과를 산출했습니다.

중요성 및 주장

이 논문은 계획과 검색을 별개이지만 결합된 최적화 문제로 취급함으로써 현재 에이전트 RAG 시스템의 근본적인 한계를 해결한다고 주장합니다. 이러한 과정을 분리하고 MCTS 를 사용하여 고품질 중간 감독을 생성함으로써, 프레임워크는 LLM 이 복잡한 추론 작업을 더 효과적으로 탐색할 수 있게 합니다.

저자들은 구조화된 추론 전략 (계층적 빔 탐색) 을 통해 파라미터 확장에만 의존하지 않고 더 작은 모델이 더 큰 모델과 경쟁할 수 있음을 강조합니다. 이 작업은 엄격한 검색 정립을 통해 "환각" 문제를 완화하고 가치 기반 탐색을 통해 "계획" 문제를 해결함으로써 지식 집약적 작업에서 자율 에이전트의 신뢰성과 정확성을 향상시키는 견고한 방법론을 제공합니다.

저자들은 MCTS 주석의 계산 비용과 현재 단계당 단일 최상위 경로 유지에 초점을 맞춘 점, 그리고 다중 경로 유지는 향후 과제로 남겨두었음을 인정합니다.