기술 요약: 프로세스 수준 피드백 하에서의 딥 리서치 에이전트에 대한 다회차 평가

문제 정의

기존의 딥 리서치 에이전트(Deep Research Agents, DRAs) 벤치마크는 주로 단발성 출력(single-shot outputs)을 평가하며, 다음과 같은 핵심적인 실무적 질문을 다루지 못한다: DRAs는 피드백에 따라 보고서를 개선할 수 있는가? 실제 시나리오에서 사용자는 첫 번째 초안을 그대로 수용하는 경우가 드물며, 피드백을 통해 보고서를 반복적으로 수정한다. 현재의 평가 방식은 이러한 반복적인 능력을 간과하고 있다. 또한, 일부 연구가 자기 성찰(에이전트가 자신의 작업물을 비판하는 것)이나 기준 수준 피드백(특정 콘텐츠 공백을 겨냥하는 것)을 탐구하고 있지만, 이러한 접근 방식은 부적절한 소스 선택, 좁은 범위 설정, 놓친 하위 주제와 같은 에이전트의 연구 전략에 관한 더 깊은 문제를 해결하는 데 실패하는 경우가 많다. 특히, 전략적 공백을 겨냥한 피드백이 제공되었을 때 DRAs가 자신의 연구 프로세스를 어떻게 적응시키는지에 대한 체계적인 평가가 부족하다.

방법론

실험 프레임-워크

저자들은 LangChain Open Deep Research (LC-ODR) 모듈형 멀티 에이전트 프레임워크 내에서 세 가지 모델—GPT-4.1-mini, GPT-4.1, DeepSeek-V4-Flash—를 평가한다. 평가는 전문가가 설계한 루브릭(rubric)과 결합된 복잡하고 개방적인 연구 과제를 특징으로 하는 DRACO 벤치마크의 50개 과업을 사용한다. 루브릭은 사실적 정확성(FA), 분석의 폭과 깊이(BD), 프레젠테이션 품질(PQ), 인용 품질(CQ)의 네 가지 축을 평가한다.

본 연구는 두 가지 다회차 피드백 설정을 비교한다:

1. 자기 성찰 (Self-Reflection): 에이전트가 외부 진단 신호 없이 오로지 자신의 결함을 식별하는 능력에만 의존하여 보고서를 수정한다.
2. 프로세스 수준 피드백 (Process-Level Feedback): 에이전트가 단순히 특정 누락된 콘텐츠가 아니라, 연구 전략의 공백을 겨냥한 가이드를 받는다.

연구 공백 추론 (Research Gap Inference, RGI)

프로세스 수준 피드백을 가능하게 하기 위해, 저자들은 **연구 공백 추론(RGI)**을 도입한다. 이 방법은 만족된 루브릭 기준과 만족되지 않은 기준의 패턴(특히 PQ를 제외한 FA, BD, CQ)을 분석하여 근본적인 연구 프로세스의 공백을 추론한다.

• 입력: 통과한 기준과 실패한 기준을 모두 포함하는 이전 보고서 평가의 구조화된 요약. 통과한 기준은 "얕은 범위의 커버리지"와 "누락된 소스"를 구분하기 위한 대조 신호 역할을 한다.
• 메커니즘: RGI는 관련 있는 통과 및 실패 항목을 주제별로 클러스터링하여 연구 프로세스의 공백(예: 1차 입법 텍스트 대신 2차 요약본에 의존함)을 식별한다. 그 후, 정답이나 구체적인 인용을 명시하지 않고, 에이전트에게 어디에서 조사를 심화해야 하는지와 어떤 유형의 증거를 우선시해야 하는지를 지시하는 2~3개의 연구 테마를 중심으로 구성된 간결한 피드백 메시지를 생성한다.
• 에이전트 동작: 에이전트는 매 회차마다 원래의 쿼리, 이전 보고서, 그리고 새로운 피드백을 통합하여 보고서의 **전체 재작성(full rewrite)**을 수행한다.

지표

성능은 다음을 사용하여 측정된다:

• 정규화 점수 (Normalized Score): 루브릭 기준의 가중 합계.
• 통과율 (Pass Rate): 만족된 기준의 비가중 비율.
• 포함율 (Incorporation Rate): 새로운 회차에서 이전에 만족되지 않았던 기준의 비율.
• 퇴보율 (Regression Rate): 새로운 회차에서 이전에 만족되었던 기준이 상실된 비율.
• 순 기준 이득 (Net Criterion Gain): 포함된 기준과 퇴보된 기준의 차이.

주요 결과

1. 자기 성찰은 미미한 이득만을 제공함

자기 성찰 하에서 에이전트는 어떤 연구 차원이 개선되어야 하는지를 신뢰성 있게 식별하지 못한다.

• 성능: 정규화 점수는 미미하거나 음수의 변화를 보였다 (예: GPT-4.1-mini +2.42, GPT-4.1 +0.09, DeepSeek-V4-Flash -0.54).
• 동작: 에이전트는 연구 활동(더 많은 검색, 더 많은 소스)을 늘렸으나, 이 노력을 관련 있는 공백으로 유도하는 데는 실패했다. 포함율과 퇴보율이 거의 비슷하여(예: GPT-4.1의 경우 약 15% 대 13%) 순 개선이 거의 제로에 가까웠다.

2. 프로세스 수준 피드백은 상당한 초기 이득을 유도함

단 한 번의 프로세스 수준 피드백(2회차)은 모든 모델에서 유의미한 향상을 이끌어냈다.

• 성능: 정규화 점수가 약 8–15 포인트 상승했다 (예: GPT-4.1-mini +15.35, GPT-4.1 +11.42, DeepSeek-V4-Flash +8.15).
• 메커니즘: 가장 큰 이득은 폭과 깊이(BD) 및 **사실적 정확성(FA)**에서 나타났으며, 이는 에이전트가 전략적 가이드를 받았을 때 누락된 사실을 찾고 더 넓은 차원을 다루기 위해 검색 전략을 성공적으로 조정했음을 나타낸다.
• 포함: 포함율은 약 **35–40%**로 상승하여 자기 성찰보다 성능이 월등히 높았다.

3. 다회차 개선은 안정적으로 누적되지 않음

첫 번째 피드백 라운드의 이득이 두 번째 수정(3회차)에서 일관되게 누적되지 않았다.

• 퇴보: 남은 공백을 해결하기 위해 전체 보고서를 재작성할 때, 에이전트는 이전에 만족되었던 기준에서 빈번하게 퇴보를 보였다.
  • GPT-4.1: 정규화 점수가 4.97 포인트 하락했으며, 퇴보율은 23.57%였다.
  • GPT-4.1-mini: 점수가 미미하게 개선되었으나(+1.34), 퇴보율은 18.59%였다.
  • DeepSeek-V4-Flash: 현저히 낮은 퇴보율(8.96%)과 함께 완만한 이득(+4.01)을 유지했다.
• 원인: "전체 재작성" 패러다임은 에이전트가 모든 기준을 처음부터 다시 충족하도록 강제한다. GPT 모델의 경우, 퇴보된 기준의 수가 새로 포함된 기준의 수를 초과하는 경우가 많았다.
• 헤드룸 효과 (Headroom Effect): 3회차의 개선은 조건부였다. 2회차 점수가 낮았던 과업(상당한 "헤드룸"이 있는 경우)은 개선될 가능성이 높았으나, 2회차 점수가 중간 정도였던 과업은 공격적인 재작성 과정에서의 높은 퇴보 위험으로 인해 저하될 가능성이 높았다.

4. 아키텍처적 한계 및 계산 비용

• 재작성 동작: 인용 유지 및 n-gram 중첩 분석 결과, GPT 모델들은 각 회차에서 연구와 작성을 처음부터 다시 시작하는 경향을 보였다 (인용 30% 미만, 5-gram 7% 미만 유지). 반면 DeepSeek-V4-Flash는 이전 콘텐츠를 더 많이 유지했으며 (~54% 인용, ~27% 5-gram), 이것이 낮은 퇴보율의 이유를 설명한다.
• 비용: 콘텐츠를 가장 잘 보존한 모델(DeepSeek-V4-Flash)은 상당한 계산 비용을 치렀다. 1회차에서 GPT 모델보다 약 3배 많은 입력 토큰과 4배 많은 웹 검색 호출을 소비했으며, 3회차로 갈수록 비용 격차는 더 벌어졌다.

의의 및 주장

본 논문은 현재의 DRA 아키텍처로는 평가된 환경에서 신뢰할 수 있는 다회차 개선이 여전히 어려움을 주장한다. 주요 발견은 근본적인 한계를 강조한다: 즉, 이전의 커버리지를 유지하기 위한 구조적 메커니즘의 부재이다.

• 자기 진단 실패: DRAs는 외부 신호 없이는 연구 공백을 일관되게 스스로 진단할 수 없다.
• 전략적 적응: DRAs는 프로세스 수준 피드백의 안내를 받을 때 연구 전략을 효과적으로 적응시킬 수 있지만, 이 능력은 반복적인 설정에서 취약하다.
• 아키텍처적 병목 현상: "계획-검색-작성"이라는 현재의 패러다임은 전체 재작성을 포함하며, 이는 퇴보와 계산 비용 사이의 트레이드오프를 발생시킨다. 콘텐츠를 암묵적으로 보존하는 모델은 퇴보가 적지만 훨씬 더 많은 연산량을 요구한다.
• 향 향후 방향: 저자들은 신뢰할 수 있는 다회차 개선을 위해서는 단순히 암묵적 보존이나 전체 재작성에 의존하는 것이 아니라, 남은 공백을 해결하면서도 이전의 커버리지를 보존할 수 있는 명시적인 메커니즘을 갖춘 아키텍처가 필요하다고 결론짓는다.

이 연구는 프로세스 수준 피드백을 생성하기 위한 방법으로서 **연구 공백 추론(RGI)**을 확립하였으며, 반복적인 정제 시나리오에서 현재 DRAs의 한계를 드러내는 엄격한 다회차 평가 프레임워크를 제공한다.