기술 요약: TaxoBench – 딥 리서치 에이전트의 합성 격차(Synthesis Gap) 평가

1. 문제 정의

딥 리서치(Deep Research, DR) 에이전트는 웹 검색, 논문 검색 및 구조화된 개요 생성을 통해 학술적 서베이(Survey) 작성을 자동화하는 추세입니다. 그러나 기존 벤치마크는 주로 생성된 텍스트의 품질, 사실성 또는 인용의 정확성을 평가하는 데 치중되어 있으며, 정보 습득과 구조적 생성의 교차점에 있는 두 가지 핵심 역량을 결적으로 평가하지 못하고 있습니다:

1. 검색(Retrieval): 에이전트가 인간 전문가가 서베이를 위해 필수적이라고 간주하는 특정 논문 집합을 검색할 수 있는가?
2. 조직화(Organization): 에이전트가 이 논문들을 전문가가 구축한 구조와 유사한 계층적 분류 체계(Taxonomy)로 조직화할 수 있는가?

현재의 평가 방식은 계층적 구조를 무시하는 평면적 클러스터링 지표(예: ARI, V-Measure)에 의존하거나, 논문-카테고리 할당에 대한 근거 없이 LLM이 판단한 개요만을 사용합니다. 이는 에이전트가 핵심 문헌을 식별하고 이를 일관된 다층적 분류 체계로 합성하는 전문가의 과정을 재현할 수 있는지 여부를 불분명하게 만드는 "합성 격차(Synthesis Gap)"를 야기합니다.

2. 방법론: TaxoBench

저자들은 검색과 조직화 능력을 분리하여 평가하기 위해 설계된 벤치마크인 TaxoBench를 소개합니다.

데이터셋 구축

Taxo even 8개의 AI/ML 하위 도메인에 걸친 72개의 고인용 LLM 관련 서베이를 기반으로 구축되었습니다.

• 정답(Ground Truth): 각 서베이는 전문가가 작성한 분류 체계(카테고리 계층)와 박사급 주석가들이 전문가 카테고리에 수동으로 매핑한 3,815개의 인용 논문을 포함합니다.
• 통계: 이 데이터셋은 서베이당 평균 354.5개의 인용, 4.9의 계층 깊이, 그리고 분류 체계당 14.0개의 논문 카테고리를 특징으로 합니다.

평가 모드

TaxoBench는 검색과 조직을 분리하여 평가하기 위해 두 가지 별도의 모드로 시스템을 평가합니다.

1. 딥 리서치 모드 (End-to-End): 에이전트는 서베이 주제만 전달받습니다. 에이전트는 웹 도구를 사용하여 논문을 검색한 다음 이를 분류 체계로 조직화해야 합니다. 이는 검색과 조직 능력을 동시에 테스트합니다.
2. 바텀업 모드 (조직화 고립): 에이전트에게 전문가가 인용한 정확한 논문 집합($P^*$)이 제공됩니다. 에이전트는 이 고정된 집합을 분류 체계로 조직화해야 합니다. 이는 검색을 변수에서 제외하여 조직화 능력을 고립시켜 평가합니다.

지표

본 논문은 리프 레벨(Leaf-level) 할당과 계층 레벨 구조를 모두 평가하기 위한 지표 세트를 제안합니다.

• 리프 레벨(Leaf-Level): 논문-카테고리 할당을 평가하기 위해 조정 랜드 지수(ARI)와 V-Measure(균질성/완전성)를 사용합니다.
• 계층 레벨(Hierarchy-Level):
  • US-TED / US-NTED (Unordered Semantic Tree Edit Distance): 시맨틱 라벨 유사성(임베딩 활용)을 고려하고 형제 노드의 순서를 무시하여, 모델의 분류 체계와 전문가 참조 간의 전역적 구조적 괴리를 측정합니다.
  • Sem-Path (Semantic Path Similarity): 루트-투-리프(Root-to-leaf) 경로의 일관성을 측정하는 논문별 지표입니다. 이는 조상 체인을 정렬하고 시맨틱 라벨 및 경로 길이의 불일치에 대해 페널티를 부여합니다.
• 교정(Calibration): 저자들은 모델이 전문가보다 더 얕은 트리를 생성하는 경향이 있어 Sem-Path 점수가 인위적으로 낮아지는 현상을 고려하기 위해 "깊이 매칭(Depth-matching)" 컨트롤을 도입했습니다. 또한 원시 점수를 해석하기 위해 "플로어(Floor)" 베이스라인(예: 평면적 분류 체계)을 설정했습니다.

3. 주요 기여

1. TaxoBench 데이터셋: 72개의 전문가 분류 체계와 3,815개의 매핑된 논문을 결합하여, 검색과 조직을 분리하여 평가할 수 있게 하는 벤치마크를 제공합니다.
2. 계층 인식 지표: 평면적 클러스터링을 넘어 구조적 및 시맨틱 정렬을 포착하는 US-TED, US-NTED, Sem-Path를 개발했습니다. 또한 저자들은 정렬 기반의 발견(특정 전문가 참조와의 일치도)과 역량 기반의 발견(특정 라벨과 독립적인 구조적 통계)을 구분합니다.
3. 포괄적 평가: 두 모드 모두에서 7개의 딥 리서스 에이전트와 16개의 프런티어 LLM 구성(o3, GPT-5, Claude, Gemini 등 포함)을 평가했습니다.

4. 주요 결과

검색 병목 현상 (딥 리서치 모드)

• 심각한 검색 결핍: 가장 우수한 에이전트(o3)조차 전문가 인용 논문의 **20.92%**만을 검색(Recall)했습니다. 7개의 에이전트 중 4개가 F1 점수 10% 미만을 기록했습니다.
• 조직화와의 상관관계: 검색 품질은 계층 수준 구조와 강한 상관관계를 보였습니다(F1 대 Sem-Path의 Spearman $\rho=0.89$). 핵심 논문을 검색하지 못한 에이전트는 일관된 계층 구조를 구축하는 데에도 실패했습니다.
• 자기 검색(Self-Retrieval): 일부 에이전트가 해당 서베이 자체를 검색하기도 하지만, 서베이 제목은 전문가 논문 집합에 포함되지 않으므로 Recall 점수를 높이지 않습니다.

조직화 병목 현상 (바텀업 모드)

• 깊이 결핍: 모델들은 지속적으로 깊은 분류 체계를 구축하는 데 실패했습니다. 전문가의 평균 깊이는 4.86인 반면, 70개의 모든 모델 실행(세대 및 구성 전체)은 2.99에서 3.97 사이를 기록했습니다. 가장 깊은 구성조차 전문가보다 0.89 단계가 낮았습니다.
• 과잉 분절(Over-Segmentation): 모델들은 광범위한 전문가 스타일의 카테고리로 통합하기보다는 분류 체계를 미세한 클러스터로 파편화하는 경류가 있습니다(높은 균질성). 예를 들어, GPT-5.6-sol은 전문가의 14.0개 카테고리와 17.0%의 싱글톤 비율(단일 논문 카테고리)에 비해, 28.3개의 카테고리와 43.5%의 싱글톤 비율을 생성했습니다.
• Sem-Path 플로어 효과: 모델들의 원시 Sem-Path 점수는 "평면(Flat)" 분류 체계 베이스라인(27.49%)과 거의 차이가 없는 28~30% 구간에 밀집되어 있습니다. 이는 기회 보정의 부재와 깊이 결핍 때문입니다.
  • 깊이 매칭 분석: 모델의 깊이에 맞춰 전문가 트리를 축소하여 평가했을 때, 점수는 32~42%로 상승하고 편차가 커졌습니다. 그러나 여전히 상당한 격차가 존재합니다: 인간(주석가)은 매칭된 서베이에서 **54.09%**의 Sem-Path를 달 기록한 반면, 모델 평균은 **38.71%**에 그쳤습니다.
• 프롬프트의 영향: 통제된 실험 결과, 모델에게 전문가 깊이를 맞추도록 강제(명시적 지시)하더라도 조직화 능력이 향ellig되지 않았습니다. 오히려 더 많은 파편화(높은 싱글톤 비율)를 초래하고 정렬 점수를 낮추었습니다(ARI 하락, Sem-Path 하락). 이는 깊이 결핍이 단순히 단계를 추가하지 못하는 능력이 아니라, 일관된 계층적 정교화를 구축하는 능력의 실패임을 시사합니다.

인간 베이스라인

10개의 서베이에 대한 매칭된 부분 집합에서, 두 명의 독립적인 인간 주석가는 (전문가 참조를 보지 않은 상태에서) Sem-Path **53.91%**와 약 4.65의 깊이를 달성했습니다. 두 주석가 간의 일치도는 50.56%의 Sem-Path였습니다. 반면 모델들은 플로어(28~30%) 근처의 점수를 기록했으며, 평면적 지표(ARI)에서 인간보다 전문가와 더 많이 일치하는 모습을 보였습니다. 이는 ARI가 이 작업에 대해 포화되었으며 신뢰할 수 없음을 나타냅니다.

5. 의의 및 주장

본 논문은 TaxoBench가 현재의 딥 리서치 에이전트에서 검색과 계층적 조직화를 별개의 핵심 병목 현상으로 식별해 냈다고 주장합니다.

• 검색: 에이전트는 현재 전문가의 문헌 발견 과정을 재현하지 못하며, 필수 논문의 21% 미만을 검색합니다.
• 조직화: 완벽한 검색이 이루어지더라도, 에이전트는 깊고 일관된 분류 체계를 구축하는 데 실패합니다. 이들은 전문가 서베이에서 발견되는 점진적인 정교화가 결여된, 얕고 과하게 분절된 구조를 생성하는 경향이 있습니다.
• 지표 교정: 저자들은 깊이 및 플로어 베이스라인에 대한 교정 없이 원시 계층 지표(Sem-Path 등)를 해석하는 것은 불가능하다고 주장합니다. 모델 생성이 ARI에서 3.68 pp 상승하더라도 원시 Sem-Path에서는 거의 움직임이 없음(0.87 pp)을 보여줌으로써, 얕은 트리 영역에서의 지표 민감도 문제를 입증했습니다.
• 향후 방향: 이 연구는 기회 보정된 계층 지표, 현재의 제품 인터페이스를 넘어서는 더 풍부한 에이전트 워크플로우, 그리고 분류 체계 설계의 주관성을 고려한 다중 참조 평가를 촉구합니다.

결론적으로, 저자들은 딥 리서치 에이전트가 텍스트를 생성할 수는 있지만, 전문가 수준의 서베이 구조를 자율적으로 합성하는 기초적인 역량은 현재 부족하며, 따라서 완전한 자동화보다는 전문가의 감독이 필수적이라고 결론짓습니다.