기술 요약: 원격 탐사 에이전트를 위한 양방향 의미론적 상보적 도구 검색 (BSCTR)

1. 문제 정의

대규모 언어 모델(LLM) 기반 에이전트는 원격 탐사(Remote Sensing, RS) 데이터 처리를 자동화하는 유망한 패러다임을 제공한다. 그러나 효과적인 에이전트 워크플로우는 광범위하고 전문화된 도구 라이브러리(예: QGIS, GDAL, Orfeo ToolBox)에 접근하는 능력에 의존한다. 현재의 도구 검색 방법들은 결정적인 "의미론적 비대칭성(semantic asymmetry)" 병목 현상에 직면해 있다:

• 쿼리 측면 (Query Side): 사용자 쿼리는 일반적으로 거시적이고 추상적인 의도(예: "작물 건강도 분석")를 표현하며, 이는 기술적 도구를 트리거하는 데 필요한 구체적인 기능적 의미론이 결여되어 있다.
• 도구 측면 (Tool Side): 도구 문서는 세밀한 기술적 사양(입력/출력)을 제공하지만, 도구가 특정 운영 워크플로우 내에서 어떻게 배치되는지에 대한 맥락적 의미론은 부족하다.

기존의 접근 방식들은 이 격차의 한쪽 측면만을 해결하려 한다. 즉, 쿼리를 재작성하여 기능적 세부 사항을 추가하거나, 도구에 맥락을 추가하기 위해 그래프를 구축하는 방식이다. 그러나 이러한 방식들은 추상적인 사용자 의도와 경직된 기술적 사양 사이의 근본적인 불일치를 해소하지 못한다. 또한, RS 작업은 하나의 도구 출력이 후속 도구의 선택에 엄격한 제약을 가하는 "강한 결합(strong coupling)" 특성을 보이지만, 표준 검색 방식에서는 이러한 의존성이 무시되는 경우가 많다.

2. 방법론

본 논문은 거시적 수준의 사용자 의도와 세밀한 기술적 사양을 정렬하기 위해 3개 모듈 아키텍처로 설계된 양방향 의미론적 상보적 도구 검색(Bidirectional Semantic Complementary Tool Retrieval, BSCTR) 프레임워크를 제안한다.

A. 플랜 모듈 (쿼리 측 기능 강화)

사용자 쿼리의 기능적 의미론 부족 문제를 해결하기 위해, 이 모듈은 LLM의 추론 능력을 활용한다.

• 메커니즘: 계획 기반 전략(예: Plan-and-Solve 프롬프팅)을 사용하여 거친 수준의 사용자 쿼리($Q_{coarse}$)를 일련의 논리적 하위 작업($S = \{s_1, s_2, ..., s_n\}$)으로 분해한다.
• 강화: 각 하위 작업은 원래의 거시적 의도와 융합되어 강화된 쿼리($q_{enhance}^{(i)}$)를 생성한다. 이 과정은 쿼리에 누락된 기능적 의미론을 능동적으로 보충하여, 추상적인 목표를 도구 문서와 더 잘 일치하는 명시적인 기술적 하위 작업으로 변환한다.

B. 그래프 모듈 (도구 측 맥락 주입)

도구 설명의 맥락적 의미론 부족 문제를 해결하기 위해, 이 모듈은 동적인 도구 의존성 그래프를 구축한다.

• 그래프 구축: 도구 라이브러리는 방향성 그래프 $G=(N, E)$로 모델링되며, 여기서 에지는 과거 궤적(trajectory)에 기반한 순차적 호출 의존성을 나타낸다.
• 맥락 집계: 단순화된 그래프 합성곱(Simplified Graph Convolution, SGC)에서 영감을 받아, 이 모듈은 이웃 특징의 다차수 선형 집계를 수행한다. 이는 현재 도구 노드의 표현에 선행 도구로부터의 맥락 정보를 명시적으로 주입한다.
• 방향성: 시스템은 선행(Predecessor), 후속(Successor), 대칭(Symmetric) 모드를 지원한다. 실험적 분석 결과, 선행(Predecessor) 모드가 RS 분야에서 가장 효과적인 것으로 나타났다. 이는 도구의 정체성이 주로 상류의 전제 조건(예: 특징 추출 전에 복사 보정이 선행되어야 함)에 의해 정의되기 때문이다.
• 동적 진화: 그래프는 지속 학습 능력을 갖춘다. 작업 실행이 성공하면, 궤적에서 관찰된 새로운 도구 의존성이 그래프에 동적으로 추가되어 맥락적 표현($V_t$)을 업데이트한다.

C. 양방향 의미론적 정렬 모듈

이 모듈은 강화된 쿼리 표현($V_q$)과 맥락이 풍부해진 도구 표현($V_t$)을 통합하는 운영 허브 역할을 한다.

• 검색: 코사인 유사도를 계산하여 강화된 하위 쿼리와 도구 노드 간의 상위-$k$ 관련 도구를 검색한다.
• 실행 및 진화: 에이전트는 ReAct 추론 루프를 통해 작업을 수행한다. 작업이 성공하면 궤적이 검증되고 도구 그래프가 업데이트되어 새로운 인과 관계를 반영함으로써, 시스템이 오픈셋(open-set) 환경에 적응할 수 있도록 한다.

3. 주요 기여

1. 양방향 상보적 프레임워크: 본 논문은 쿼리를 기능적 의미론으로 강화하고 도구를 맥락적 의미론으로 풍부하게 함으로써 "의미론적 비대칭성"을 동시에 해결하는 새로운 패러다임을 도입한다. 이 시너지 접근 방식은 단일 관점 방식보다 거시적 의도와 미시적 사양을 더 효과적으로 정렬한다.
2. 그래프 기반 맥락 모델링: 실용적 맥락을 노드 표현에 인코딩하기 위해 동적 도구 의존성 그래프를 설계하였다. 이웃 특징을 집계함으로써, 프레임워크는 전문적인 RS 워크플로우에 내재된 "강한 결합"과 순차적 논리를 포착하여 검색된 도구가 이전 단계와 논리적으로 일치하도록 보장한다.
3. 실증적 검증: 제안된 방법은 전문 RS 데이터셋인 GeoPlan-bench와 범용 데이터셋인 API-Bank에서 엄격하게 검증되었다. 결과는 기존의 최첨단(SOTA) 베이스라인 모델들보다 검색 정확도와 실행 논리 면에서 유의미한 향상을 보여주었다.

4. 실험 결과

실험은 GeoPlan-bench(훈련 궤적 248개/테스트 996개, 평균 체인 길이 10.67)와 API-Bank Level-3(테스트 태스크 50개, API 70개)에서 수행되었다.

• GeoPlan-bench 성능:

  • BSCTR은 전체 Recall@k 0.7485 및 Similarity (LCS) 0.3237를 달성하여, BM25, Dense retrieval, Graph RAG-Tool Fusion, Query Rewriting와 같은 베이스라인을 크게 앞질렀다.
  • "Complex" 난이도 계층에서 BSCTR은 Recall@k 0.6970을 유지한 반면, Query Rewriting 베이스라인은 0.6713으로 떨어졌다.
  • 절제 연구(Ablation study) 결과, 플랜 모듈을 제거했을 때 RS 성능이 급격히 저하(Recall@k가 0.7485에서 0.1883으로 하락)되었으며, 이는 사용자 쿼리가 기술적 도구와 키워드를 거의 공유하지 않는 전문 영역에서 기능적 분해의 결정적인 역할을 강조한다.

• API-Bank 성능:

  • BSCTR은 Recall@k 0.9067 및 F1-Score 0.8804로 SOTA 성능을 달성했다.
  • 이 방법은 콜드 스타트 설정(사전 훈련 궤적이 없는 경우)에서도 범용 도메인 작업에 대한 강력한 일반화 능력을 입증하여, 양방향 메커니즘의 다각적 활용 가능성을 증명했다.

• 파라미터 민감도:

  • 최적의 성능은 집계 차수 $k=1$ 및 평활화 계수 $\alpha=0.5$에서 발견되었다. $k$ 값이 높으면 먼 도구로부터의 노이즈가 유입되었고, 극단적인 $\alpha$ 값은 정보 부족 또는 특징의 균질화 문제를 야기했다.

5. 의의 및 주장

본 논문은 제안된 BSCTR 프레임워크가 원격 탐사와 같이 복잡하고 도구 집약적인 도메인에서 LLM 에이전트를 저해하는 "의미론적 불일치"를 효과적으로 해결한다고 주장한다.

• 도메인 특수성: 저자들은 RS 작업이 "강한 결합"과 엄격한 인과적 워크플우를 요구하기 때문에 독특한 접근 방식이 필요하다고 주장한다. 양방향 접근 방식은 비전문가적 자연어와 전문가 수준의 기술적 도구 사이의 간극을 메우는 데 필수적이다.
• 일반화 가능성: RS에 최적화되었음에도 불구하고, API-Bank에서의 성공은 이 프레임워크가 다양한 오픈 도메인 도구 사용 환경의 의미론적 격차를 처리할 수 있는 다재다능한 검색 패러다임임을 시사한다.
• 지속적 적응성: 동적 진화 메커니즘을 통해 시스템은 성공적인 실행으로부터 새로운 도구 의존성을 자율적으로 학습하여, 진화하는 도구 라이브러리에서도 관련성을 유지할 수 있다.

저자들은 LLM의 초기 계획 정확도에 대한 의존성(논리적 환각 위험), 데이터가 희소한 하위 분야에서의 콜드 스타트 문제, 그리고 현재의 멀티모달 통합(예: 센서 메타데이터) 부재 등의 한계를 인정한다. 향후 연구로는 시각적 단서를 통합하고 파라미터 학습을 통해 정보 집계를 최적화하는 방안이 제시되었다.