기술 요약: 지구 관측 데이터 발견을 위한 에이전트 기반 검색(Agentic Search)의 도입

문제 정의

지구 관측(Earth observation) 데이터 발견은 데이터의 부족이 아니라, NASA와 그 산하 분산 능동 아카이브 센터(DAACs)에 호스팅된 수천 개의 데이터셋에 걸쳐 파편화된 메타데이터, 다양한 도구, 복잡한 접근 경로를 탐색하는 데 따르는 어려움이 특징입니다. 대규모 언어 모델(LLM)은 검색 의도를 표현하기 위한 자연스러운 인터페이스를 제공하지만, 지질과학 분야에 직접 적용할 경우 두 가지 주요 과제에 직면합니다:

1. 도메인 지식 격차: 일반적인 LLM 사전 학습 코퍼스는 특정 지질과학적 관측 데이터 및 도메인 지식이 부족하여, 도메인 특화 질의를 정확하게 이해하는 데 한계가 있습니다.
2. 컨텍스트 제한: 검색 증강 생성(RAG)을 사용하더라도, LLM의 컨텍스트 창은 처리할 수 있는 후보군의 수를 제한합니다. 긴 컨텍스트에서의 어텐션 디케이(Attention decay) 현상으로 인해 상위 랭킹된 후보만이 최종 답변에 영향을 미치게 되며, 이로 인해 랭킹 품질이 결정적인 병목 구간이 됩니다. 또한, 일반적인 임베딩 모델은 지질과학 용어 간의 거리를 어긋나게 만드는 체계적인 평균 편향(mean bias)을 보일 수 있습니다.

본 논문은 지식 그래프(KG)의 잠재적 가치가, LLMM이 정적인 사전 구축 인덱스나 내부 지식에만 의존하는 대신 외부 도구를 자율적으로 호출하여 자신의 추론을 구체화하는 **에이전트 기반 검색(agentic search)**을 통해 증폭될 수 있다고 주장합니다.

방법론

제안된 시스템은 지구 관측 데이터셋을 검색하고 재순위화(rerank)하기 위해 설계된 3단계 에이전트 기반 검색 파이프라인입니다.

1. 파이프라인 아키텍처

• 1단계: 라우터 (공식 도구): 시스템은 먼저 NASA의 기존 생태계(Harmony, Science Discovery Engine, WorldView, Giovanni)를 사용하여 질의를 해결하려고 시도합니다. 도구가 요청을 완전히 충족하면, 출처(provenance)가 주석 처리된 출력과 함께 파이프라인이 조기에 종료됩니다.
• 2단계: 하이브리드 검색: 공식 도구가 불충분할 경우, 시스템은 하이브리드 접근 방식을 사용하여 NASA 공통 메타데이터 저장소(CMR) 코퍼스에서 후보군을 검색합니다:
  • 어휘적 앵커링(Lexical Anchoring): 고정밀 신호인 과학적 식별자(미션 이름, 기기 코드)를 포착하기 위해 BM25를 사용합니다.
  • 태스크 적응형 시맨틱 스코어링(Task-Adaptive Semantic Scoring): 도메인 변화와 쌍별 편향(pair-specific bias) 문제를 해결합니다. 저자들은 두 가지 방법을 제안합니다:
    • NN-SSC (신경망 점수 교정): 백본 인코더를 동결한 상태로, 질의와 데이터셋 임베딩을 결합하여 관련성 점수를 출력하는 경량 다층 퍼셉트론(MLP)을 훈련합니다. 이를 통해 비선형적이고 쌍별 특화된 교정이 가능합니다.
    • 인코더 미세 조정(Fine-tuning): (질의, 긍정, 하드 네거티브) 삼중항(triples)을 사용하여 문장 트랜스포머를 직접 미세 조정합니다.
  • 하이브리드 퓨전(Hybrid Fusion): BM25와 신경망 점수를 볼록 조합($\alpha \cdot \hat{s}_{NN} + (1-\alpha) \cdot \hat{s}_{BM25}$)을 통해 결합합니다. 가중치 $\alpha$는 테스트 세트 튜닝을 피하기 위해 각 스코어러의 독립적인 성능을 바탕으로 분석적으로 도출됩니다.
• 3단계: 에이전트 기반 재순위화(Agentic Reranking): 상위 $K$개의 후보군이 LLM에 전달됩니다. 일반적인 재순위화와 달리, 에이전트 방식은 LLM에 자율적인 도구 접근 권한을 부여합니다. 랭킹을 수행하기 전, 모델은 다음 5단계 루틴을 실행합니다:
  1. 관련 논문을 찾기 위해 arXiv 검색.
  2. 추가 컨텍스트를 위해 웹 검색 활용.
  3. 웹 검색을 통한 후보 설명의 모호성 해소.
  4. 적합성에 대한 단계별 추론.
  5. 최종 랭킹 리스트 출력.
     이는 인라인된 후보 텍스트에만 의존하는 단일 샷(single-shot) LLM 재순위화와 대조됩니다.

2. 벤치마크 구축: NASA-EO-Bench

엄격한 평가를 위해 저자들은 NASA-EO-Bench를 구축하였으며, 이는 NASA 지구 관측 지식 그래프(NASA EO-KG)로부터 유도되었습니다.

• 출처: 10,636개의 최다 인용 피어 리뷰 논문.
• 그라운드 트루스(Ground Truth): KG의 "USES DATASET" 엣지에 명시적으로 인용된 데이터셋을 통해 "실버 라벨(silver labels)"을 형성합니다.
• 규모: 47,654개의 질의-데이터셋 쌍(21,272개의 태스크 기반 질의)으로 구성되며, 훈련 세트(38k 쌍)와 테스트 세트(9.5k 쌍)로 나뉩니다.
• 질의 생성: 전문가의 의도를 시뮬레이션하기 위해 논문 초록으로부터 LLM이 "나는 ~를 원한다..." 스타일의 질의를 생성합니다.
• 지표:
  • 인용 기반: Recall@K, 평균 정밀도(MAP), 평균 역순위(MRR).
  • 시맨틱: 데이터셋이 요구되는 물리적 변수를 측정하는지 판단하기 위해 LLM-as-a-Judge(Qwen3.6-35B-A3B 사용)를 통한 Precision@K.

주요 결과

NASA-EO-Bench 테스트 세트를 사용하여 다양한 베이스라인과 제안된 방법론에 대한 실험을 수행했습니다:

1. 검색 제품군 성능:

   • 어댑테이션되지 않은 코사인 유사도 베이스라인은 낮은 성능(R@10 = 0.0755)을 보였으며, 이는 심각한 도메인 변화를 입증합니다.
   • NN-SSC + BM25 (하이브리드) 방식은 가장 우수한 그라운드 트루스 지표를 달성하여, Recall@10을 0.4275로, MRR을 0.2517로 끌어올렸습니다.
   • 이는 어댑테이션되지 않은 코사인 베이스라인 대비 R@10과 MRR 모두에서 5배 이상의 향상을 나타냅니다.
   • 하이브리드 퓨전은 결정적이었습니다. BM25를 제거했을 때 MAP와 MRR이 하락하였으며, 이는 지질과학을 위한 정확한 어휘 신호의 필요성을 확인시켜 줍니다.

2. NN-SSC의 효율성:

   • NN-SSC(460K 학습 가능한 파라미터)는 완전히 미세 조정된 인코더(~125M 학습 가능한 파라미터)와 대등하거나 더 나은 성능을 보이면서도 훨씬 더 매개변수 효율적이었습니다.

3. 에이전트 기반 vs 단일 샷 재순위화:

   • 단일 샷 LLM 재순위화(예: GPT-5.5)는 검색 백본 단독 사용보다 일관되게 MAP와 MRR을 개선하여, LLM의 추론이 지도 학습 기반 검색을 보완함을 확인시켜 주었습니다.
   • 에이전트 기반 재순위화(도구 접근 권한이 있는 LLM)는 층화된 $N=200$ 서브셋에 대해 단일 샷 재순위화보다 추가적인 방향성 이득을 보였습니다.
     • Claude Opus 4.7의 경우, MRR이 0.367(단일 샷)에서 **0.388(에이전트 기반)**로 증가했습니다.
     • DeepSeek v4 pro의 경우, MRR이 0.366에서 0.374로 증가했습니다.
   • 에이전트 방식은 도구 호출로 인한 왕복 비용 때문에 쿼리당 5~10배 더 많은 비용이 발생했지만, 자율적인 도구 사용이 정적인 프롬프팅보다 보완적인 가치를 제공한다는 점을 입증했습니다.

의의 및 주장

본 논문은 다음 세 가지 기여를 통해 지질과학 도메인에서 "신뢰할 수 있고" "검증 가능한" 에이전트 기반 검색을 구현한다고 주장합니다:

1. NASA-EO-Bench: 소규모 수동 점수 매기기나 느슨한 LLM-as-a-judge 평가를 넘어, 지도 학습을 지원하고 인용 기반 실버 라벨을 사용하는 최초의 대규모 지질과학 데이터셋 검색 벤치마크(21k 질의)를 제시합니다.
2. 검색 교정 제품군: 어휘적(BM25) 신호와 시맨틱(NN-SSC) 신호를 분석적으로 도출된 퓨전을 통해 결합하는 것이 지질과학 용어의 특정 도메인 변화를 해결하며 어댑테이션되지 않은 베이스라인보다 크게 우수함을 입증합니다.
3. 통제된 에이전트 비교: 에이전트 기반 재순위화(LLM + 자율 도구 사용)가 단일 샷 재순위화보다 측정 가능한 이득을 제공한다는 엄격한 동일 모델 비교를 수행했습니다. 저자들은 외부 컨텍스트(웹/arXiv)에 랭킹 결정을 근거 지을 수 있는 능력이 후보군을 식별하고 이벤트 특화 질의를 처리하는 데 있어 독특하고 가치 있는 능력임을 주장합니다.

저자들은 인용 기반 그라운드 트루스가 인기 있는 데이터셋 편향(popular dataset bias)으로 인해 관련 있지만 인용되지 않은 데이터셋을 놓칠 수 있는 "실버 라벨"이라는 점과, 에이전트 실험이 짝을 이룬 부트스트랩 신뢰 구간 없이 층화된 서브셋으로 제한되었다는 점을 인정하며 신중한 입장을 유지합니다. 그러나 결과는 외부 도구에 기반한 에이전트 검색이 정적인 LLM 프롬프팅이 할 수 있는 것 이상으로 검색 파이프라인을 강화한다는 일관된 증거를 제공합니다.