기술 요약: LoSemB – 귀납적 도구 검색을 위한 논리 가이드형 시맨틱 브릿징 (Logic-Guided Semantic Bridging)

1. 문제 정의

본 논문은 대규모 언어 모델(LLM)을 위한 귀납적 도구 검색(inductive tool retrieval) 문제를 다룹니다. LL-M에 외부 도구를 장착하는 것은 실세계 작업을 위한 유망한 패러다임이지만, 웹 기반 도구 생태계의 급격한 확장은 모든 도구를 LLM의 제한된 컨텍스트 창에 포함하는 것을 불가능하게 만듭니다. 결과적으로, 대규모 저장소에서 관련 도구를 선택하기 위해 검색 기반 방법론이 사용됩니다.

그러나 대부분의 최첨단 방법론은 모든 도구가 학습 중에 관찰된다고 가정하는 전이적 설정(transductive settings) 하에서 작동합니다. 이는 도구가 끊임없이 업데이트되고 새로운 도구가 추가되는 현실과는 차이가 있습니다. 미학습 도구(unseen tools)(학습 중에 접하지 못한 도구)에 적용될 때, 기존의 검색 기반 방법들은 두 가지 결정적인 문제점을 겪습니다:

1. 큰 분포 변화(Large Distribution Shift): 미학습 도구는 기능적 다양성으로 인해 학습된 도구와 상당한 분포적 격차를 보입니다. 학습된 도구에 대해 학습된 리트리버 모델은 미학습 도구의 진정한 기능을 포착하지 못하는 편향된 표현을 학습하게 됩니다.
2. 시맨틱 전용 검색의 민감도(Sensitivity of Semantic-Only Retrieval): 전통적인 방법은 지시문(instruction)과 도구 설명 사이의 의미적 유사성(semantic similarity)을 계산하는 데 크게 의존합니다. 도구 표현이 분포 변화를 겪을 때, 시맨틱 유사성 계산은 오해의 소지가 있는 결과를 낳아 검색 실패로 이어집니다.

저자들은 기존 방법들이 비용이 많이 드는 재학습 없이 미학습 도구를 위한 더 나은 표현을 학습하기 위해 숨겨진 논리적 정보를 효율적으로 추출하고 전이하는 능력이 부족하다고 지적합니다.

2. 방법론: LoSemB 프레임워크

저자들은 귀납적 도구 검색을 용이하게 하기 위해 잠재적인 논리 정보를 채굴하고 전이하도록 설계된 2단계 프레임워크인 **LoSemB (Logic-Guided Semantic Bridging)**를 제안합니다. 이 프레임워크는 오프라인 인덱싱 단계와 온라인 검색 단계로 구성됩니다.

2.1 논리 그래프 구축

LoSemB의 기초는 지시문 노드($Q$)와 도구 노드($T$)를 포함하는 이분 그래프(bipartite graph)인 **논리 그래프(Logical Graph, $G$)**입니다.

• 에지(Edges): 지시문 $q_i$가 도구 $t_j$를 호출하는 경우 두 노드 사이에 에지가 존재합니다. 이는 발생 행렬(incidence matrix 또는 invoke matrix) $R$을 형성합니다.
• 임베딩(Embeddings): 초기 시맨틱 임베딩은 미세 조정된 사전 학습 언어 모델(PLM)을 사용하여 생성됩니다.

2.2 논리 기반 임베딩 정렬

분포 변화를 해결하기 위해, LoSemB는 그래프에서 논리적 특징을 추출하여 이를 미학습 노드로 전이합니다.

• 논리적 특징 추출: 프레임워크는 그래프 전체에 정보를 전파하기 위해 다층 그래프 컨볼루션(LightGCN에서 영감을 받음)을 사용합니다. **논리적 특징(logical features)**은 최종 그래프 임베딩(구조적 논리 관계가 포함된)과 원래의 시맨틱 임베딩 사이의 차이로 정의됩니다. 이 차이는 그래프 내에서의 노드의 기능적 역할을 포착합니다.
• 유사 도구 식별: 미학습 도구의 경우, 시스템은 텍스트 유사성이 아니라 **구조적 전파(structured propagation)**를 통해 기능적으로 유사한 학습된 도구를 식별합니다. 미학습 도구와 관련된 지시문을 인코딩하고, 가장 유사한 상위-$J$개의 학습 지시문을 찾아 발생 행렬을 통해 이 활성화를 전파함으로써 후보 학습 도구들에 대한 점수를 집계합니다. 활성화 점수가 높은 도구들은 기능적으로 유사한 것으로 간주됩니다.
• 논리적 특징 전이: 시스템은 식별된 후보 도구로부터 논리적 특징을 미학습 도구로 전이합니다. 빈도 기반 가중치 전략(도구용)과 유사도 기반 소프트맥스 정규화(지시문용)를 사용하여 가중치가 적용된 논리적 특징을 미학습 도구의 원래 시맨틱 임베딩과 통합합니다. 이는 미학습 도구의 표현을 학습된 데이터의 분포와 일치시킵니다.

2.3 관계 증강 검색

검색 프로세스는 논리적 프루닝(pruning)과 강화된 유사도 매칭을 결속합니다:

• 논리적 프루닝(Logical Pruning): 테스트 지시문이 주어지면, 시스템은 가장 유사한 상위-$I$개의 학습 지시문을 식별하고 이들에 의해 호출되는 모든 도구를 수집합니다. 이는 유사한 논리 패턴에 대해 입증된 관련성을 가진 도구들에 집중함으로써 탐색 공간을 크게 줄여주는 프룬드 후보 세트($T_{logic}$)를 생성합니다.
• 그래프 강화 유사도 매칭: 프룬드된 세트 내에서, 시스템은 테스트 지시문의 그래프 강화 임베딩(전이된 논리적 특징이 포함된)과 후보 도구들의 그래프 임베딩 간의 코사인 유사도를 랭킹하여 상위-$K$개의 도구를 검색합니다. 이는 시맨틱 콘텐츠와 논리적 관계 패턴을 모두 활용합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 명시합니다:

1. 문제 식별: 저자들은 귀납적 설정에서 기존 도구 검색 방법의 핵심 과제, 특히 큰 분포 변화와 시맨틱 전용 검색의 민감성을 식별하고 분석했습니다.
2. 논리 기반 임베딩 정렬: 그래프 컨볼루션에서 유도된 논리적 특징을 미학습 도구의 표현에 통합하여 분포 변화를 해결하는 새로운 모듈을 제 제안했습니다.
3. 관계 증강 검색: 논리적 프루닝(탐색 공간 축소)과 그래프 강화 유사도 매칭(시맨틱 전용 민감도 극복)을 모두 활용하는 검색 메커니즘을 제안했습니다.
4. 실증적 검증: LoSemB가 비용이 많이 드는 재학습 없이도 귀납적 및 전이적 설정 모두에서 우수한 성능을 달성함을 광범위한 실험을 통해 입증했습니다.

4. 실험 결과

저자들은 ToolBench (I1, I2, I3), UltraTool, APIGen의 세 가지 벤치마크에서 LoSemB를 평가했습니다.

• 검색 품질: LoSemB는 전이적 및 귀납적 설정 모두에서 모든 베이스라인(Zero-shot LLM, BM25/AdaEmbedding과 같은 학습이 필요 없는 방법 및 EmbSim/InstRet/RerankRet과 같은 학습 기반 방법 포함)보다 뛰어난 성능을 보였습니다.
  • 30%의 미학습 도구가 포함된 귀납적 설정에서, LoSemB는 최소한의 상대적 하락(예: ToolBench I3에서 약 4.18% 하락)을 유지하며 안정적인 성능을 보인 반면, 학습 기반 베이스라인들은 심각한 성능 저하(예: 10% 이상의 하락)를 겪었습니다.
• 생성 성능: 다운스트림 작업 실행을 가이드하는 데 사용되었을 때(GPT-4o-mini 사용), LoSemB는 베이스라인 대비 가장 높은 Pass Rate와 Win Rate를 달 기록하였으며, 이는 정확한 검색이 작업 완수로 직결됨을 나타냅니다.
• 절제 연구(Ablation Studies): 논리 기반 임베딩 정렬 또는 관계 증강 검색 구성 요소 중 하나라도 제거하면 상당한 성능 저하가 발생하여, 두 모듈의 필요성을 확인했습니다.
• 분포 변화 분석: 연구 결과, 논리 기반 임베딩 정렬이 미학습 도구와 학습된 도구 임베딩 사이의 KL 발산(KL divergence)을 약 0.18에서 약 0.001로 감소시켜 효과적으로 분포를 정렬했음을 보여주었습니다.
• 강건성(Robustness): LoSemB는 레이블 노이즈(잘못된 지시문-도구 쌍)에 대해 베이스라인 방법들보다 우수한 강건성을 보였으며, 노이즈 조건에서도 성능 저하가 미미했습니다.

5. 의의 및 주장

본 논문은 LoSemB가 순수하게 시맨틱 유사성에만 의존하는 것을 넘어선 새로운 도구 검색 패러다임을 도입한다고 주장합니다. 인간의 인지 과정(논리적 관계와 사용 패턴을 사용하여 미학습 도구를 이해하는 과정)을 모방함으로써, 이 프레임워크는 학습된 도구 분포와 미학습 도구 분포 사이의 간극을 효과적으로 메웁니다.

저자들은 LoSemB가 비용이 많이 드는 재학습 없이 귀납적 설정에서 높은 정확도를 달성한다는 점을 강조하며, 이는 진화하는 웹 도구 생태계에 대한 실질적인 솔루션이 됩니다. 이 연구는 논리적 정보(그래프 구조 및 관계 패턴을 통한)를 통합하는 것이 강력한 도구 학습을 위해 필수적임을 시사합니다. 본 논문은 이 접근 방식이 정교한 그래프 신경망(GNN)과 복잡한 그래프 구조를 활용하여 도구 학습을 더욱 향상시키는 미래 기술의 길을 열어준다고 결론짓습니다.