SearchOS-V1: Towards Robust Open-Domain Information-Seeking Agent Collaboration

기술 요약: SearchOS-V1

문제 정의

도구 통합형 대규모 언어 모델(LLM)의 최근 발전은 정보 탐색 에이전트가 반복적인 웹 검색과 추론을 수행할 수 있게 했습니다. 그러나 장기 과제(long-horizon tasks)를 수행하는 동안 상호작용 이력이 확장됨에 따라, 에이전트는 진행 상황을 추적하는 데 어려움을 겪으며 다음과 같은 몇 가지 결정적인 실패 모드로 이어집니다:

• 상태 손실(State Loss): 증거가 컨텍스트 속에 파묻히면서, 에이전트는 확립된 사실과 미해결된 공백을 구분하는 데 어려움을 겪습니다.
• 반복 루프(Repetitive Loops): 검색 경로가 유용한 정보를 제공하지 못할 때, 에이전트는 종종 유사한 쿼리를 반복하거나 막다른 길을 탐색하며 검색 예산을 낭비합니다.
• 비효율적인 협업(Inefficient Collaboration): 다중 에이전트 시스템에서 병렬 작업자들은 노력을 중복하거나, 필드 정의에 대해 서로 이견을 보이거나, 가장 느린 작업을 기다리는 동안 실행 슬롯을 유휴 상태로 남겨둘 수 있습니다.
• 취약한 상태 관리(Fragile State Management): 기존의 에이전트들은 계획, 진행 상황, 실패를 영속적인 시스템 상태가 아닌 일시적인 대화 내용으로 취급합니다.

핵심 문제는 검색 상태를 외재화(externalize)할 시스템 수준의 메커니즘이 부족하여, 진행 상황을 명시적이고 지속적이며 여러 에이전트 간에 공유하여 중복을 방지하고 견고함을 보장하기 어렵다는 점입니다.

방법론

저자들은 취약하고 암묵적인 검색 진행 상황을 명시적이고 공유된 상태로 변환하도록 설계된 시스템 수준의 다중 에이전트 프레임워크인 SearchOS를 소개합니다. 이 방법론은 네 가지 기둥을 기반으로 구축되었습니다:

1. 관계형 검색 정식화 (Relational Search Formulation)

본 시스템은 오픈 도메인 정보 탐색을 근거가 있는 인용(grounded citations)을 동반한 관계형 스키마 완성으로 재정의합니다.

• 스키마: 작업은 기본 키-외래 키 관계로 연결된 테이블 세트로 모델링됩니다.
• 목표: 시스템은 엔티티 행(entity rows)을 발견하고, 속성 값(attribute values)을 채우며, 모든 값을 특정 소스 URL 및 앵커된 발췌문(anchored excerpt)에 연결하는 인용 매트릭스를 유지해야 합니다.
• 이점: 이를 통해 개방형 요청을 엔티티 및 속성 수준에서의 구체적이고 측정 가능한 검색 목표로 전환합니다.

2. 검색 지향 컨텍스트 관리 (Search-Oriented Context Management, SOCM)

실행 상태를 외재화하기 위해, SearchOS는 잠금(locked) 읽기-수정-쓰기 연산을 통해 업데이트되는 네 가지 구성 요소로 이루어진 내구성이 있는 공유 상태 $M_t$를 유지합니다:

• 프런티어 태스크 (Frontier Task): 미해결된 스키마 공백(예: 테이블 내의 특정 셀)을 나타내는 의존성 인식 작업 풀입니다.
• 증거 그래프 (Evidence Graph): 페이지 수준의 요약 대신 원자적 발견(값, 소스, 지원 구간)을 저장하는 그래프로, 미세한 출처(provenance)를 보존하고 충돌을 처리합니다.
• 커버리지 맵 (Coverage Map): 진행 상황을 정량적으로 측정하기 위해 상태(누락됨, 채워짐, 불확실함, 도달 불가능함)를 추적하는 스키마 셀의 구체화된 뷰(materialized view)입니다.
• 실패 메모리 (Failure Memory): 에이전트가 소진된 경로를 다시 추적하는 것을 방지하기 위해 실패한 작업(예: 접근 불가능한 사이트, 반복된 쿼리)을 기록하는 공유 기록입니다.
  에이전트는 전체 이력이 아닌 역할별 투영(projection)된 상태를 전달받아, 컨텍스트의 관련성을 확보하고 오래된 정보가 포함되는 것을 방지합니다.

3. 파이프라인 병렬 오케스트레이션 (Pipeline-Parallel Orchestration)

동기식 배치 처리가 아닌, SearchOS는 파이프라인 병렬 스케줄링을 채택합니다:

• 연속적 디스patch (Continuous Dispatch): 에이전트 슬롯이 해제되는 즉시, 해결되지 않은 커버리지 공백을 대상으로 하는 새로운 작업이 할당됩니다.
• 활용도 (Utilization): 이 방식은 하위 에이전트(탐색, 검색, 작성)의 실행을 중첩시켜, "스트래글러(stragglers, 느린 작업자)"로 인한 유휴 시간을 줄이고 전반적인 처리량을 높입니다.
• 역할 전문화 (Role Specialization): 오케스트레이터는 스키마를 분해하고 전문 에이전트를 조정하며, 작성자(writer)는 축적된 증거를 바탕으로 최종 보고서를 합성합니다.

4. 검색 도구 미들웨어 하네스 (Search Tool Middleware Harness)

시스템 수준의 하네스는 에이전트 프롬프트에 의존하지 않고 글로벌 불변량(invariants)을 강제하기 위해 모델과 도구 간의 상호작용을 가로챕니다:

• 컨텍스트 미들웨어 (Context Middleware): 역할별 컨텍스트를 구성하기 위해 관련 상태를 주입하고 모델 호출 전에 기술(skills)을 검색합니다.
• 증거 추출 미들웨어 (Evidence Extraction Middleware): 도구 관찰 결과로부터 증거를 자동으로 바인딩하고 앵커링하여, 증거 그래프와 커버리지 맵을 원자적으로 업데이트합니다.
• 센서 미들웨어 (Sensor Middleware): 정체(커버리지 성장 부재) 및 예산 소진을 모니터링합니다. 이는 교정 사항을 주입하거나, 전략을 전환하거나, 브랜치를 중단함으로써 개입할 수 있으며, 에이전트가 스스로 수정하지 못하더라도 견고한 실행을 보장합니다.

5. 계층적 검색 기술 (Hierarchical Search Skills)

시스템은 다음으로 분류된 재사용 가능한 기술 라이브러리를 활용합니다:

• 오케스트레이터 기술 (Orchestrator Skills): 작업 분해 및 스키마 정렬을 위한 글로벌 플레이북입니다.
• 전략 기술 (Strategy Skills): 쿼리 재구성 및 추론을 위한 소스 독립적인 방법론입니다.
• 액세스 기술 (Access Skills): 내비게이션과 파싱을 처리하는 소스 특정적 검색 절차(예: 정부 포털 또는 백과사전용)입니다.

주요 기여

1. 관계형 검색 정식화: 정보 탐색을 근거가 있는 인용을 동반한 관계형 스키마 완성으로 정의하여, 엔티티 발견 및 증거 귀속을 위한 통일된 목표를 제공합니다.
2. 상태 유지 및 파이프라인 병렬 협업: SOCM을 도입하고 커버리지 공백을 중심으로 작업을 동적으로 할당하는 연속적 오케스트레이션 체계를 통해 공유 상태를 통한 에이전트 협업을 구현합니다.
3. 미들웨어 제어 실행: 증거 처리, 컨텍스트 관리, 행동 안전장치(정체 감지, 예산 집행)를 전용 미들웨어 하네스를 통해 에이전트 프롬프트 외부로 이동시켰습니다.
4. 계층적 검색 기술: 재사용 가능한 전략과 사이트 특정적 액세스 절차를 분리한 기술 시스템을 설계하여 세션 전반에 걸쳐 검색 프로세스를 강화했습니다.

실험 결과

SearchOS는 WideSearch(대규모 사실 수집) 및 GISA(일반 정보 탐색 어시스턴트) 벤치마크에서 단일 에이전트 베이스라인(ReAct, Plan-and-Solve) 및 다중 에이전트 시스템(A-MapReduce, Web2BigTable, Table-as-Search)과 비교 평가되었습니다.

• WideSearch: SearchOS는 모든 지표에서 최고의 성능을 달-성하여 80.3 Item-level F1에 도달했으며, 가장 강력한 베이스라인인 A-MapReduce보다 4.3포인트 앞섰습니다. 또한 Row-level F1(56.5)에서도 선두를 차지하여, 재현율 향상이 정밀도를 희생하지 않았음을 입증했습니다.
• GISA: SearchOS는 모든 질문 유형에서 선두를 달렸으며, 특히 **Set 질문(76.5 Set F1)**에서 가장 큰 폭의 상승을 보여 베스트 베이스라인보다 13.4포인트 높았습니다. 이는 완전한 열거 작업(complete enumeration tasks)을 효과적으로 처리하는 시스템의 능력을 강조합니다.
• 절제 연구 (Ablation Studies):
  • 스키마 계획 (Schema Planning): 동적 스키마 선택이 고정된 단일 테이블 또는 다중 테이블 스키마보다 훨씬 우수한 성능을 보였으며, 이는 작업에 적합한 구조가 검색 중에 결정되어야 함을 확인시켜 줍니다.
  • 파이프라인 스케줄링 (Pipeline Scheduling): 연속적 디스패치는 배치 스케줄링에 비해 엔드 투 엔드 시간을 24.3% 단축하고 슬롯 활용도를 높이는 동시에 더 높은 F1 점수를 달성했습니다.
  • 미들웨어 거버넌스 (Middleware Governance): 센서 미들웨어의 개입은 정체된 검색 궤적을 성공적으로 재지정하여 초기, 중기, 후기 단계에서 진행 상황을 복구했습니다.
  • 기술 (Skills): 계층적 기술을 사용하면 Item F1은 2.0포인트, Row F1은 3.4포인트 향상되었으며, 세션 시간은 36.6%, 검색 호출은 39.1% 감소했습니다.

의의 및 주장

본 논문은 SearchOS가 검색 상태를 일시적인 대화 이력으로 취급하는 근본적인 한계를 해결함으로써 견고한 정보 탐색 협업을 위한 길을 열었다고 주장합니다. SOCM을 통해 상태를 영속적인 공유 시스템으로 외재화하고 미들웨어 하네스를 통해 실행을 제어함으로써, SearchOS는 다음을 보장합니다:

• 진행 상황이 측정 가능하고 공백이 명시적입니다.
• 중복된 노력과 반복적인 루프가 최소화됩니다.
• 파이프라인 병렬 처리를 통해 검색 예산이 효율적으로 활용됩니다.
• 증거가 엄격하게 근거를 갖추고 검증 가능합니다.

저자들은 SearchOS를 단순한 더 나은 에이전트가 아니라, 프롬프트 기반 추론에만 의존하는 현재의 단일 및 다중 에이전트 접근 방식의 한계를 넘어 장기적 검색을 신뢰할 수 있고, 관찰 가능하며, 확장 가능하게 만드는 시스템 수준의 인프라로 포지셔닝합니다.