기술 요약: PAPERPILOT – 워크플로 유도를 통한 다회차 에이전트 기반 과학 문헌 검색

1. 문제 정의

과학 문헌 검색은 점점 더 복잡해지고 있으며, 사용자의 의도를 충족하기 위해 단일 키워드 쿼리 이상의 과정이 필요한 경우가 많습니다. 연구자들은 인용 네트워크를 탐색하고, 방법론을 비교하며, 노이즈를 필터링하고, 진화하는 선호도(예: 특정 인용 방향, 최신성 또는 응용 도메인)에 따라 검색 전략을 정교화해야 합니다.

기존의 에이전트 기반 검색 시스템은 일반적으로 고정된 검색 파이프라인이나 암시적인 언어 기반 추론에 의존합니다. 이러한 접근 방식은 두 가지 주요 한계를 가집니다:

1. 제어력 부족: 사용자가 피드백(예: "더 최근의 연구에 집중해줘")을 제공할 때 검색 전략을 검사하거나 정교화하기 어렵습니다.
2. 정적 의도 처리: 모호한 정보 요구는 대화형 모호성 해소가 필요하지만, 고정된 파이프라인은 이를 효과적으로 처리하지 못합니다. 현재의 에이전트들은 사용자 피드백을 단순히 추가적인 쿼리 텍스트로 취급할 뿐, 검색 동작 자체를 수정하기 위한 지침으로 취급하지 않습니다.

본 논문은 과학 문헌 검색이 사용자의 피드백을 바탕으로 실행 가능한 검색 전략을 구축하고 정교화하는 다회차 상호작용적 워크플로 유도(multi-turn interactive workflow induction) 문제로 프레임화되어야 한다고 주장합니다.

2. 방법론: PAPERPILOT

저자들은 문헌 검색을 실행 가능한 유향 비순환 그래프(DAG) 형태의 검색 연산자를 유도하는 과정으로 취급하는 다회차 에이전트 시스템인 PAPERPILOT을 소개합니다.

2.1 워크플로 유도 프레임워크

PAPERPILOT은 고정된 파이프라인 대신 각 사용자 요청에 대해 동적인 DAG를 구축합니다:

• 툴셋 (PAPERPILOT-TOOLSET): 키워드 검색, 인용 확장(전방/후방), 필터링, 스코어링, 재순위화(reranking), 증거 추출을 포함하는 타입이 지정된 논문 검색 연산자 라이브러리입니다.
• DAG 구조: 노드는 인스턴스화된 연산자($v_i = (o_i, \theta_i)$)를 나타내며, 엣지는 중간 출력물(논문 집합, 점수, 키워드, 증거)의 흐름을 나타냅니다. 시스템은 노드 간의 타입 일관성을 강제합니다.
• 적응형 실행: 에이전트는 특정 검색 의도(예: "강력한 베이스라인" vs "신흥 후속 연구")에 따라 관련 연산자를 선택하고 그 파라미터(예: 검색 키워드, 인용 방향, 필터 조건)를 구성합니다.

2.2 상호작용 루프

시스템은 다음과 같은 다회차 설정에서 작동합니다:

1. 초기화: 앵커 논문($p_0$)과 사용자 쿼리($q$)가 주어지면, 에이전트는 초기 워크플로($G_0$)를 유도합니다.
2. 실행: 워크플로는 노드 단위로 실행되며, 중간 출력물을 캐싱합니다.
3. 피드백 및 정교화: 사용자(또는 시뮬레이터)가 피드백($f_t$)을 제공합니다. 에이전트는 DAG 구조를 편집하거나, 연산자 파라미터를 수정하거나, 중간 후보 집합을 조정함으로써 워크플로($G_{t+1}$)를 정교화합니다.
4. 최종화: 유한한 횟수의 턴을 거친 후, 에이전트는 증거와 함께 순위가 매겨진 논문 리스트를 출력합니다.

2.3 학습 전략

PAPERPILOT-9B는 유효한 DAG 생성과 견고한 편집 능력을 학습하기 위해 2단계 감독 파이프라인을 사용하여 학습되었습니다:

1. 데이터 구축: 강력한 교사 모델(teacher model)을 통해 5가지 검색 방향(선행 연구, 후속 연구, 형제 연구, 벤치마크, 서베이)에 걸쳐 고품질의 워크플로 궤적을 생성합니다.
2. 지도 미세 조정 (SFT): 골드 논문(gold paper)이 상위 5개 결과 내에 존재하는 5,540개의 워크플로 감독 예시를 통해 모델을 학습시킵니다.
3. 선호도 최적화 (DPO): 안정성과 오류 처리를 개선하기 위해, 성공적인 워크플로에 구조적 및 의미적 오류(예: 잘못된 참조, 누락된 입력, 탈락된 노드)를 주입하여 선호도 쌍을 구축합니다. 모델은 IPO 스타일의 DPO 목적 함수를 사용하여 올바른 워크플로를 손상된 워크플로보다 선호하도록 최적화됩니다.

3. 주요 기여

1. 워크플로 유도 프레임식화: 본 논문은 다회차 과학 검색을 실행 가능한 DAG 구조의 워크플로를 유도하는 것으로 정립하여, 사용자 피드백을 단순한 쿼리 텍스트가 아닌 검색 전략에 대한 구체적인 편집 명령으로 변환합니다.
2. PAPERPILOT-9B 모델: 워크플로 모방 및 손상된 워크플로에 대한 선호도 최적화를 통해 학습된 9B 파라미터 에이전트로, 향상된 검색 품질과 워크플로 안정성을 입증했습니다.
3. 재현 가능한 벤치마크: 공정한 비교를 위해 제어된 상호작용 프로토콜(LLM 기반 사용자 시뮬레이터 사용)을 갖춘 홀드아웃 평가 세트를 제공하여 단회차 및 다회차 설정 간의 비교를 가능하게 합니다.

4. 실험 결과

시스템은 5가지 과학적 검색 방향을 다루는 벤치마크에서 기본 모델(Qwen3.5-9B, Qwen3.5-397B) 및 대규모 독점 시스템(GPT-5.4, OpenAI DeepResearch)과 비교 평가되었습니다.

4.1 검색 성능

다회차 설정에서 PAPERPILOT-9B는 기본 Qwen3.5-9B 툴셋 에이전트를 크게 앞질렀습니다:

• Hit@5: 58.0에서 77.0으로 증가.
• MRR: 47.5에서 59.4로 증가.
• nDCG@10: 26.8에서 32.5로 증가.
• 워크플로 안정성: 실행 오류가 9.5%에서 0%로 감소.

특히, PAPERPILOT-9B는 더 작은 모델과 낮은 추론 비용을 사용했음에도 불구하고 Hit@5, Hit@10, Hit@15, MRR 측면에서 단회차 GPT-5.4 웹 검색 베이스라인을 능가했습니다.

4.2 비용 효율성

PAPERPILOT은 유리한 비용 대비 성능 트레이드오프를 제공합니다:

• OpenAI DeepResearch: 케이스당 약 $6.09 소요, Hit@5 72.0 달성.
• PAPERPILOT-9B: 케이스당 약 $0.018 소요, Hit@5 77.0 달성.
• GPT-5.4 (Toolset 포함): 케이스당 $0.15로 가장 높은 절대 성능(Hit@5 84.0) 달성.

4.3 절제 연구 및 분석

• 워크플로 편집: PAPERPILOT-9B는 기본 모델에 비해 우수한 로컬 편집 일관성(노드 추가, 수정, 제거)을 보여주었으며, 이는 학습을 통해 모델이 피드백을 구조적 지침으로 처리하도록 돕는다는 것을 확인시켜 줍니다.
• 검색 규모: 후보 풀 크기를 $K=8$–$10$ 이상으로 늘리면 일반적으로 성능이 저하되었는데, 이는 더 큰 풀이 다운스트림 필터링을 약화시키는 노이즈를 도입함을 시사합니다.
• 인간 대상 연구: 인간 참여자를 대상으로 한 연구에서, PAPERPILOT는 74.7%의 성공률과 Top-1 거리 2.4를 기록하여, GPT-5.4(성공률 32.0%) 및 OpenAI DeepResearch(성공률 8.0%)를 크게 앞질렀습니다.

5. 의의 및 주장

본 논문은 명시적이고 편집 가능한 검색 워크플로가 복잡하고 진화하는 과학적 의도에 에이전트를 정렬시키기 위한 효과적이고 제어 가능한 인터페이스를 제공한다고 주장합니다.

저자들이 강조한 핵심 사항은 다음과 같습니다:

• 제어 vs. 암시적 추론: 암시적인 언어 추론에서 명시적인 DAG 유도로 전환함으로써 사용자가 검색 전략을 직접 검사하고 정교화할 수 있습니다.
• 학습을 통한 안정성: 다회차 상호작용 중 안정성을 유지하기 위해 손상된 워크플로로 학습하는 것은 필수적이며, 이는 학습되지 않은 에이전트에서 나타나는 오류 누적 현상을 방지합니다.
• 실용성: 이 접근 방식은 고품질의 과학적 검색을 위해 거대한 독점 모델이 반드시 필요하지 않음을 보여줍니다. 구조화된 도구 사용과 워크플로 제어를 통해 훨씬 낮은 비용으로 더 우수한 결과를 얻을 수 있습니다.

저자들은 사전 정의된 연산자 라이브러리에 대한 의존성, 교사 모델 궤적으로 인한 잠재적 편향, 실제 상호작용이 아닌 시뮬레이션된 사용자 피드백 사용 등의 한계를 인정했습니다. 이들은 향후 연구가 더 넓은 도메인과 적응형 연산자 라이브러리를 탐구해야 한다고 제안합니다.