1. 연구 배경 및 문제 정의 (Problem)

현대 AI 연구에서 기초 모델 (Baseline) 과 데이터셋 선택은 실험 설계의 핵심 단계로, 연구 아이디어를 구체적인 평가 프로토콜로 전환하고 결과의 유효성 및 비교 가능성을 결정합니다. 그러나 다음과 같은 심각한 문제들이 존재합니다:

• 선택의 어려움: 기초 모델과 데이터셋이 급증하고 분산되면서, 어떤 것이 적합한지 판단하기가 점점 어려워졌습니다.
• 맥락 의존성 (Context-dependency): 한 설정에서는 적합한 기초 모델이나 데이터셋이 다른 설정에서는 부적절할 수 있으나, 이는 메타데이터나 공식 설명에 명시적으로 드러나지 않습니다.
• 기존 시스템의 한계:
  1. 커버리지 부족: 기존 시스템 (예: Paper With Code) 은 실제 논문에서 사용된 자료가 아닌 포털에 등록된 목록에 의존하여 중요한 자료가 누락됩니다.
  2. 적합성 모델링 부재: 대부분의 접근법이 주제적 유사성 (Topical similarity) 에만 의존하여, 실제 실험 맥락에서의 사용 적합성을 반영하지 못합니다.
  3. 분리된 선택: 기초 모델과 데이터셋 선택이 분리되어 있어, 두 요소 간의 상호 호환성 (Joint compatibility) 을 고려하지 못합니다.

2. 제안 방법론: AgentExpt

저자들은 위 문제를 해결하기 위해 AgentExpt라는 종합적인 추천 프레임워크를 제안합니다. 이 프레임워크는 크게 세 가지 핵심 단계로 구성됩니다.

A. 대규모 지식 베이스 구축 (Dataset Construction)

• 데이터 수집: NeurIPS, ICML, ICLR 등 10 개 주요 AI 컨퍼런스에서 지난 10 년간 게재된 108,825 편의 논문을 수집했습니다.
• 자동화 파이프라인: PDF 의 실험 섹션을 파싱하고, LLM 을 활용하여 기초 모델과 데이터셋 언급을 추출했습니다.
• 정제 및 정규화: 인용 빈도, 명칭 일관성, 문맥적 위치 등을 기반으로 규칙 기반 및 LLM 기반 필터링을 수행하여 116,970 개의 기초 모델과 68,316 개의 데이터셋을 연결한 고품질 지식 베이스를 구축했습니다. 이는 실제 실험에서 사용된 데이터를 기반으로 하여 기존 포털 데이터보다 훨씬 높은 정확도를 가집니다.

B. 집단 지각 강화 검색 (Collective Perception-Augmented Retrieval)

• 개념: 기초 모델/데이터셋을 단순히 저자의 자기 설명 (Self-description) 만으로 표현하는 것이 아니라, **제 3 자의 인용 문맥 (Citation Context)**을 통해 커뮤니티가 이를 어떻게 인식하고 사용하는지 ('집단 지각', Collective Perception) 를 반영합니다.
• 구현:
  1. 각 후보 항목에 대한 인용 문맥을 추출하고, 이를 LLM 을 통해 요약하여 '집단 지각 프로파일'을 생성합니다.
  2. 자기 설명과 집단 지각을 결합한 이중 뷰 (Dual-view) 표현을 생성합니다.
  3. 이 표현을 기반으로 임베딩 모델을 파인튜닝하여, 주제적 유사성뿐만 아니라 실험적 사용 패턴이 일치하는 후보를 높은 Recall 로 검색합니다.

C. 추론 강화 재순위화 (Reasoning-Augmented Reranking)

• 상호작용 체인 (Interaction Chains): 기초 모델과 데이터셋은 직접적인 인용 관계가 없으므로, 논문 - 기초 모델 - 논문 - 데이터셋 (P-B-P-D) 또는 논문 - 데이터셋 - 논문 - 기초 모델 (P-D-P-B) 형태의 상호작용 체인을 구축합니다.
• 추론 기반 재순위화:
  1. 검색된 상위 후보들에 대해 상호작용 체인을 추출하고, 이를 '추론 사전 (Reasoning Prior)'으로 활용합니다.
  2. LLM 을 파인튜닝하여, 이러한 체인 증거를 바탕으로 후보들을 재순위화하고 **해석 가능한 근거 (Interpretable Justifications)**를 생성합니다.
  3. 이를 통해 단순히 유사한 것이 아니라, 연구 아이디어와 실험적으로 호환되는 최적의 조합을 선정합니다.

3. 주요 기여 (Key Contributions)

1. AgentExpt 프레임워크: 맥락 의존적 적합성을 고려하여 기초 모델과 데이터셋 추천을 자동화하는 통합 프레임워크 제안.
2. 대규모 지식 베이스: 10 만 편의 논문을 분석하여 실제 사용된 10 만 개 이상의 실험 구성 요소를 연결한 고품질 데이터셋 구축.
3. 집단 지각 강화 검색: 자기 설명과 제 3 자 인용 문맥을 통합하여 실제 사용 신호를 포착하는 새로운 검색 전략 도입.
4. 추론 강화 재순위화: 상호작용 체인을 추론 증거로 활용하여 해석 가능한 근거와 함께 정밀한 추천을 제공하는 LLM 기반 재순위화 모듈 개발.

4. 실험 결과 (Results)

AgentExpt 는 4 가지 범주의 기존 베이스라인 (BM25, DataHunter, SciBERT, Graph 기반 방법 등) 과 비교 평가되었습니다.

• 성능 향상: 가장 강력한 베이스라인 (SymTax) 대비 다음과 같은 평균 향상을 보였습니다.
  • Recall@20: +5.85% (기초 모델 및 데이터셋 통합 평균)
  • HitRate@10: +7.90%
  • HitRate@5: +8.30%
• 성분 분석 (Ablation Study):
  • 집단 지각 (Collective Perception): 검색 성능 향상에 가장 큰 기여를 했으며, 이를 제거할 경우 Recall@20 이 약 17% 감소했습니다. 이는 메타데이터 이상의 실제 사용 맥락이 중요함을 시사합니다.
  • 상호작용 체인 (Interaction Chains): 재순위화 단계에서 HitRate 를 크게 향상시켰으며, 추론 없이는 실험적 적합성을 판단하기 어렵다는 것을 입증했습니다.
• 효율성: 추론 과정이 포함된 경우에도 1 쿼리당 약 0.367 초의 지연 시간으로, 실시간 연구 워크플로우에 적용 가능한 수준의 효율성을 유지했습니다.

5. 의의 및 결론 (Significance)

• 과학적 엄격성 강화: 연구자들이 실험 설계 시 널리 사용되고 검증된 기초 모델과 데이터셋을 증거 기반으로 선택할 수 있도록 지원하여, 연구의 재현성과 엄격성을 높입니다.
• 자동화 연구 워크플로우의 진화: 기존 LLM 기반 연구 에이전트가 실험 설계를 임의적으로 수행하거나 단순한 프롬프트에 의존하는 것을 넘어, 실제 학술 커뮤니티의 사용 패턴을 반영한 검증 가능한 (Auditable) 결정을 내릴 수 있는 인프라를 제공합니다.
• 미래 방향: 현재 주요 AI 컨퍼런스에 국한되어 있으나, 이를 다른 과학 분야로 확장하고 실시간으로 업데이트되는 지식 베이스를 구축하는 것이 향후 과제로 제시되었습니다.

요약하자면, AgentExpt는 단순한 정보 검색을 넘어, AI 연구 커뮤니티의 집단적 지혜 (Collective Perception) 와 논리적 연결 고리 (Interaction Chains) 를 활용하여 실험 설계의 핵심인 '무엇을 비교할 것인가'와 '어떤 데이터로 검증할 것인가'에 대한 최적의 답을 자동으로 도출하는 혁신적인 시스템입니다.