기술 요약: SYNAPSE – 타입형 컴펜디움 아티팩트를 통한 연합 도구 라우팅 (Federated Tool Routing via Typed Compendium Artifacts)

1. 문제 정의

본 논문은 연합 학습(Federated Learning, FL) 패러다임이 **연합 도구 라우팅(federated tool routing)**에 적용될 때 발생하는 한계를 다룬다. 현재의 LLM을 위한 FL 방법들은 고전적인 설정에서 유래한 "평면적(flat)" 협업 단위(예: 가중치, 어댑터, 가공되지 않은 프롬프트 또는 비정형 텍스트 예시)를 그대로 계승한다. 이러한 평면적 단위는 규제가 엄격하고 이질적인 환경에서 요구되는 네 가지 동시 제약 조건을 충족하지 못한다:

1. 동결된 LLM (Frozen LLMs): 클라이언트는 가중치나 그래디언트를 공유할 수 없다.
2. 데이터 프라이버시 (Data Privacy): 클라이언트는 원시 데이터나 도구 사용 패턴(메타데이터만으로도 개인을 재식별할 수 있음)을 통합할 수 없다.
3. 모델 이질성 (Model Heterogeneity): 클라이언트는 서로 다른 LLM 제품군(예: LLaMA, Mistral, GPT)을 실행할 수 있으며, 이로 인해 아키텍처 특정적인 단위(예: 어댑터)는 호환되지 않는다.
4. 충돌 해결 (Conflict Resolution): 평면적인 텍스트 단위는 정보를 유출하거나 구조를 잃지 않으면서 여러 클라이언트 간의 부정적 제약 조건(예: "조건 Y일 때 도구 X를 사용하지 마시오")을 신뢰성 있게 집계할 수 없다.

핵심 문제는 평면적 단위가 연합 경계에서 **타입 시그니처(type signature)**를 결여하고 있어, 필드별 프라이버시, 스키마 인지 병합, 그리고 교차 아키텍처 전송을 위한 명확하게 정의된 연산을 방해한다는 점이다.

2. 방법론: SYNAPSE

저자들은 **타입형 연합 아티팩트(typed federated artifacts)**를 기반으로 구축된 프레임워크인 SYNAPSE를 제안한다. 클라이언트는 원시 데이터나 모델 파라미터를 교환하는 대신, 공유 스키마에 의해 검증된 구조화된 컴펜디움(Compendium) 객체를 교환한다.

2.1 타입형 컴펜디움 (The Typed Compendium)

컴펜디움 $C$는 스키마 $S$에 의해 정의된 튜플 $(M, U, P, T, A)$이다:

• $M$ (Metadata): 도구 식별자, 설명, 그리고 수치적 속성(예: 지연 시간, 성공률). 이 필드들은 선언된 민감도 범위를 가진다.
• $U$ (Usage Scenarios): 도구가 적용되는 시점에 대한 자연어 설명이며, 상위 도구와 태깅되어 있다.
• $P$ (Precautions): 부정적 예시 및 제외 규칙(언제 도구를 호출하지 않아야 하는지에 대한 규칙).
• $T$ (Templates): API 포맷팅을 위한 매개변수화된 프롬프트.
• $A$ (Annex): 검색 및 라우팅 의존성을 위한 구조화된 트리플(triples).

2.2 타입형 병합 연산자 (The Typed Merge Operator)

SYNAPSE는 타입형 병합 연산자(알고리즘 1)를 사용하여 계층적 집계(클라이언트 $\to$ 에지 $\to$ 서버)를 수행한다:

• 스키마 검증 (Schema Validation): 잘못된 형식의 기여는 즉시 거부된다.
• 필드별 디스패치 (Field-wise Dispatch):
  • 수치형 필드 ($M$): 클라이언트에서 클리핑(clipping)되며, 에지에서 Laplace 노이즈와 함께 집계되어 공식적인 $(\epsilon, 0)$-차분 프라이버시(Differential Privacy, DP)를 제공한다.
  • 텍스트 필드 ($U, P, T$): Jina 임베딩을 사용하여 코사인 유사도로 클러스터링된다. 일관된 클러스터는 TextGrad(LLM 생성 텍스트 그래디언트를 통한 프롬프트 최적화)를 통해 요약된다. 불일치하는 클러스터는 **충돌 로그(conflict log)**를 트리거하며, 여기서 이견이 있는 시나리오는 다음 라운드를 위한 구조화된 예방 조치(precautions)로 변환된다.
  • 충돌 해결 (Conflict Resolution): 모호한 문자열에 대한 다수결 투표와 달리, 충돌은 이견을 기록하고 이를 명시적인 제외 규칙(예: "Y를 위해 X를 사용하되, Z일 때는 사용하지 마시오")으로 변환함으로써 해결된다.

2.3 추론 및 라우팅 (Inference and Routing)

추론 시, 쿼리는 임베딩 유사도를 통해 글로벌 컴펜디움에서 상위 5개의 시나리오를 검색한다. 경량 LLM 리랭커(reranker)가 최적의 매치를 선택하고 상위 도구를 식별한다. 이 과정은 컴펜디움이 모델 가중치에 주입되는 것이 아니라 추론 시점에 해석되기 때문에 **모델 불가지론적(model-agnostic)**이다.

3. 주요 기여

1. 타입형 연합 아티팩트 추상화: 필드별 DP, 스키마 제약 병합, 교차 모델 전송을 잘 정의된 연산으로 가능하게 하는 스키마 검증 객체의 공식적 정의.
2. 타입형 병합 연산자: 클라이언트-에지-서버 계층 구조 전반에서 필드별 충돌 해결, 충돌 로깅 및 스키마 검증을 지원하는 집계 알고리즘.
3. 공식적 및 조건부 보장:
   • 정리 1 (Theorem 1): 유저 수준 인접성(user-level adjacency) 하에서의 수치적 메타데이터에 대한 공식적인 $(\epsilon, 0)$-DP 보장.
   • 정리 2 & 3 (Theorem 2 & 3): 리프시츠 가정(Lipschitz assumptions) 하에서의 검색 왜곡(retrieval distortion) 및 수축 가정(contraction assumptions) 하에서의 라우팅 안정성에 대한 조건부 결과. 이는 5개의 분포에서 경험적으로 특성화되었다.
4. 포괄적 평가: GSM8k, BBH, $\tau$-bench, ToolBench, NQ-Open에 대한 광범위한 실험을 통해, SYNAPSE가 중앙 집중식 성능과 유사한 성능을 보이면서도 통신 비용은 현저히 낮고 이질성 및 적대적 클라이언트에 대해 더 우수한 견고성을 가짐을 입증했다.

4. 실험 결과

SYNAPSE는 GSM8k, BBH, $\tau$-bench, ToolBench, NQ-Open에서 평가되었다.

• 성능: GSM8k에서 SYNAPSE는 0.92 ± 0.02의 라우팅 정확도를 달성하였으며, 이는 중앙 집중식 오라클($p=0.31$)과 통계적으로 구별할 수 없을 정도로 유사하며, Fed-ICL(0.79) 및 FedTextGrad(0.90)와 같은 베이스라인을 크게 상회한다.
• 통신 효율성: 시스템은 라운드당 클라이언트당 ~5.3 KB를 전송한다. 이는 FedLoRA(r16-fp16, ~52 MB)의 아키텍처적 하한선보다 약 10,000배 낮은 수치이다.
• 교차 모델 전송: LLaMA-3.1-8B로 구축된 단일 컴펜디움은 단 ~2 퍼센트 포인트의 손실만으로 네 가지 LLM 제품군(LLaMA-3.1, LLaMA-3.2, Mistral-7B, GPT-4o) 간의 라우팅을 성공적으로 수행했다. 가중치 공유 방식은 아키텍처 매칭 없이는 이를 달성할 수 없다.
• 장기 단계 견고성 (Long-Horizon Robustness): 8단계 도구 체인에서 SYNAPSE는 0.71의 성공률을 기록하여, Fed-ICL(0.34)을 압도했다. 타입형 "예방 조치(Precautions)" 필드가 다단계 제외 규칙을 처리하는 데 결정적이었다.
• 적대적 탄력성: 시스템은 성능이 붕괴되는 60% 지점에 도달하기 전까지 최대 40%의 적대적 클라이언트(교차 소스 또는 손상된 시나리오 주입)를 견뎌낸다.
• 일반화: 이 추상화는 NQ-Open의 **검색 정책 아티팩트(retrieval-policy artifacts)**로 성공적으로 전이되었으며, 로컬 전용 방식과 중앙 집중식 검색 사이의 격차를 73% 좁혔다.

5. 의의 및 주장

본 논문은 타입형 연합 아티팩트가 규제가 엄격하고 이질적인 환경에서 연합 LLM 에이전트를 위한 필수적인 협업 단위라고 주장한다. 평면적이고 불투명한 단위에서 스키마 검증 객체로 이동함으로써, SYNAPSE는 프라이버시, 충돌 해결, 교차 아키텍처 전송을 휴리스틱한 근사치가 아닌 "잘 정의된 연산"으로 만든다.

저자들은 SYNAPSE가 다음과 같음을 강조한다:

• 협업을 아키텍처로부터 분리: 가중치나 원시 데이터를 공유하지 않고도 동결된 이질적 LLM 간의 협업을 가능하게 한다.
• 프라이버시를 공식화: 수치적 메타데이터에 대한 엄격한 DP 보장과 텍스트에 대한 경험적 방어를 제공하여, 그래디언트 역전(gradient inversion) 및 프롬프트 추출의 위험을 해결한다.
• "잘못된 단위" 문제를 해결: 평면적인 텍스트나 벡터는 도구 라우팅에 필요한 복잡한 집계를 지원할 수 없지만, 타입형 스키마는 가능하다는 것을 입증한다.

인정된 한계점:

• 공식적인 DP는 수치형 필드에만 적용되며, 텍스트 마스킹은 휴리스틱 방식이다.
• 시스템은 준-정직(semi-honest) 에지 애그리게이터에 의존한다(단, 보안 집계 레이어를 추가할 수 있다).
• 라우팅 안정성에 대한 수축 전제는 특정 LiveBench 서브셋에서 실패하여, 해당 분포에 대한 안정성이 검증되지 않았다.
• 고위험 상황을 위한 정교한 확신 점수(confidence scores)를 아직 제공하지 않는다.

결론적으로, SYNAPSE는 연합이 평면적 데이터가 아닌 타입형 아티팩트 위에서 작동한다면, 최소한의 통신 오버헤드와 강력한 프라이バシー 보장을 유지하면서 중앙 집중식 수준의 성능을 달성할 수 있음을 보여준다.