기술 요약: P2P 네트워크에서의 LLM 분산 추론을 향하여

문제 정의

대규모 언어 모델(LLM) 추론은 단순히 모델의 크기보다는 중복된 계산에 의해 점점 더 제약을 받고 있습니다. 자기회귀적 생성(autoregressive generation) 과정에서, 공통된 접두사(prefix, 예: 시스템 프롬프트, 퓨샷 데모 또는 대화 기록)를 공유하는 요청들은 동일한 Key-Value(KV) 캐시 상태를 요구합니다. 이러한 상태들을 매 요청마다 다시 계산하는 것은 GPU 사이클을 낭비하고 지연 시간을 증가시킵니다. 단일 노드 환경에서는 프리픽스 캐싱(prefix caching)이 이를 효과적으로 완화할 수 있지만, 클러스터로 확장할 때는 다음과 같은 상당한 과제들이 발생합니다:

1. 분할된 캐시(Partitioned Caches): 다중 복제본 배포 환경에서 KV 캐시는 자연스럽게 여러 노드에 분할되어 저장됩니다. 한 워커(worker)에 캐싱된 프리픽스는 다른 노드에서 자동으로 사용할 수 없습니다.
2. 라우팅 병목 현상(Routing Bottlenecks): 기존 솔루션들은 중앙 집중식 라우터에 의존하며(이는 확장성 병목 및 단일 장애점(SPOF)을 생성함), 혹은 공유 원격 KV 캐시 저장소에 의존합니다(이는 긴 컨텍스트를 가진 거대한 KV 텐서를 전송해야 하는 높은 대역폭 비용 때문에 매우 비쌉니다).
3. 네트워크 제약(Network Constraints): P2P, 에지(edge), 또는 이기종(heterogeneous) 환경에서는 기가바이트 규모의 KV 상태를 전송하는 것이 실질적으로 불가능할 수 있습니다.

핵-심 문제는 중앙 집중식 조정 없이, 또한 값비싼 원격 KV 전송 없이, 관련 프리픽스 캐시를 보유할 가능성이 가장 높은 노드로 요청을 어떻게 라우팅할 것인가 하는 것입니다. 이때 네트워크 지연 시간과 오래된(stale) 메타데이터를 허용하면서도 말입니다.

방법론

저자들은 P2P LLM 서빙을 위한 **완전 분산형, 프리픽스 캐시 인지 라우팅 스킴(fully decentralized, prefix-cache-aware routing scheme)**을 제안합니다. 이 시스템은 추론의 정확성을 해치지 않으면서 약한 일관성(weak consistency)을 가진 메타데이터를 사용하여 라우팅 결정을 내릴 수 있다는 원칙에 따라 작동합니다.

핵심 아키텍처

• 로컬 라딕스 트리(Local Radix Trees): 각 노드는 자신의 GPU 메모리에 현재 캐싱된 프리픽스를 나타내는 정확한 라딕스 트리를 유지합니다.
• 분산 추정치(Distributed Estimates): 각 노드는 또한 피어(peer)들의 라딕스 트리에 대한 근사치이자 읽기 전용 복제본을 유지합니다. 이 추정치는 노드들이 압축된 캐시 상태 요약을 교환하는 **주기적 안티-엔트로피(anti-entropy, 가십 프로토콜)**를 통해 비동기적으로 갱신됩니다.
• 라우팅 로직: 요청이 노드에 도착하면, 로컬 라우터는 클러스터에 대한 로컬 뷰를 쿼리하여 가장 긴 추정 프리픽스 매치(longest estimated prefix match)를 가진 피어를 식별합니다.
  • 더 나은 매치가 피어에서 발견되면, 요청은 전달(forwarding)됩니다.
  • 로컬 노드가 최선의 매치이거나 더 나은 매치를 알 수 없는 경우, 요청은 로컬에서 처리됩니다.
• 오래된 데이터 처리(Handling Staleness): 시스템은 약한 일관성에 의존합니다. 오래된 메타데이터는 요청을 프리픽스를 더 이상 보유하지 않는 노드로 라우팅하게 만들어(캐시 미스 발생), 재계산을 강제할 수 있습니다. 결정적으로, 이는 성능(지연 시간)에는 영향을 미치지만 정확성에는 영향을 미치지 않습니다. 모든 노드는 독립적으로 전체 LLM을 실행할 수 있기 때문입니다.

장애 처리 및 안전성

• 크래시 복구(Crash Recovery): 전달된 요청이 실패할 경우(예: 대상 노드 충돌), 기원 노드는 타임아웃을 통해 실패를 감지하고 로컬 실행 또는 다음 최선 타겟으로 폴백(fallback)합니다. 정확성을 위한 명시적인 복구 프로토콜은 필요하지 않습니다.
• 핫스팟 완화(Hotspot Mitigation): 특정 프리픽스로 인해 트래픽이 한 노드로 쏠리는 "전문가 밀어내기(specialist push-back)" 현상을 방지하기 위해, 시스템은 푸시백 메커니즘을 채택합니다. 노드의 큐 깊이가 임계값을 초과하면, 해당 노드는 안티-엔트로피 브로드캐스트에 이를 광고합니다. 기원 노드들은 해당 노드로의 라우팅을 일시적으로 중단하여 부하가 분산되도록 합니다.
• 비동기성(Asynchrony): 설계는 생존성(liveness)을 위해서만 부분 동기(partial synchrony)를 가정합니다(타임아웃은 결국 발생해야 함). 라우팅 결정은 로컬에서 이루어지고 비차단(non-blocking) 방식이므로, 완전 비동기 실행 환경에서도 안전성이 유지됩니다.

주요 기여

1. 분산형 아키텍처: 모든 노드가 동일한 로직을 실행하고 중앙 조정자 없이 로컬 결정을 내리는 완전 분산형 라우팅 시스템을 제공합니다.
2. 근사 라딕스 트리 복제: 비동기 안티-엔트로피를 사용하여 피어 캐시의 읽기 전용 추정치를 유지함으로써 클러스터 전반의 캐시 인지 능력을 갖추는 메커니즘을 제안합니다. 이는 쓰기-쓰기 충돌을 방지합니다.
3. 조정 회피 프레임워크(Coordination-Avoidance Framework): 본 논문은 캐시 인지 라우팅을 조정 회피 문제로 정의하며, 약한 일관성이 충분하다는 것을 입증합니다. 즉, 오래된 결정은 성능 저하(캐시 미스)를 초래할 뿐, 의미론적 오류를 일으키지는 않습니다.
4. 경험적 평가: MMLU 워크로드 상에서 0.5B 파라미터 모델을 사용하는 시뮬레이션된 4노드 클러스터를 통해 평가를 수행하였으며, 지연 시간, 캐시 적중률, 그리고 전문화-방출 사이클(specialization-eviction cycles)의 출현을 분석했습니다.
5. 결함 허용 분석: 시스템이 정확성을 위해 명시적인 복구 프로토콜을 필요로 하지 않는다는 형식적 논거를 제시합니다. 실패는 오직 생존성(liveness)에만 영향을 미칠 뿐입니다.

결과

MMLU 데이터셋과 0.5B 파라미터 모델을 사용하여 프리필(prefill) 중심 워크로드에 초점을 맞춘 시뮬레이션된 클러스터에서 실험이 진행되었습니다.

• 지연 시간 손익분기점(Latency Break-Even): 요청 전달의 이점은 네트워크 지연 시간($\Delta_{comm}$)에 크게 의존합니다.
  • 2 ms(LAN 조건)에서, 분산 라우팅은 원격 캐시를 효과적으로 재사용함으로써 지연 시간을 줄입니다(베이스라인 0.323s 대비 0.310s).
  • 200 ms 및 1000 ms에서는, 전달에 따른 왕복 비용이 프리픽스 재사용을 통한 절감액을 초과하여 라우팅이 오히려 해가 됩니다.
• 워크로드 왜곡(Workload Skew): 시스템은 왜곡된 워크로드(Zipipian 분포)에서 상당한 이점을 보입니다.
  • 낮은 지연 시간을 가진 왜곡된 시나리오에서, 라우팅은 지연 시간을 0.206s(베이스라인 0.266s 대비)로 감소시켰습니다.
  • 캐시 적중률은 왜곡된 설정에서 라우팅이 없을 때의 ~85%에서 라우팅 적용 시 **91.4%**로 향상되었습니다. 이는 지배적인 프리픽스에 대해 깊은 캐시를 축적하는 "전문가(specialist)" 노드의 형성에 기인합니다.
• 전문화-방출 사이클(Specialization-Eviction Cycle): 연구에서는 세 단계의 사이클을 관찰했습니다:
  1. 경쟁(Competition): 어떤 노드도 프리픽스를 보유하지 않아 트래픽이 분산됩니다.
  2. 전문화(Specialization): 한 노드가 특정 주제에 대한 트래픽의 ~100%를 점유하며 캐시가 채워집니다.
  3. 방출(Eviction): LRU 방출 정책이 프리픽스를 밀어내어 트래픽이 다시 분산됩니다.
  • 이 전문화 현상은 부하 불균형을 증폭시키며(왜곡된 설정에서 한 노드에 트래픽의 최대 88% 집중), 이는 푸시백 메커니즘과 느린 안티-엔트로피 폴링을 통해 완화됩니다.

의의 및 주장

본 논문은 LLM 서빙의 새로운 설계 지점인 분산형, 약한 일관성, 지역성 인지 추론 라우팅을 탐구한다고 주장합니다.

• 확장성 및 가용성: 중앙 집중식 라우팅 계층을 제거함으로써, 시스템은 단일 장애점을 피하고 부분적 장애 상황에서도 더 유연하게 확장됩니다.
• 대역폭 효율성: 거대한 KV 텐서를 네트워크를 통해 전송하는 과도한 비용을 피하고, 가벼운 메타데이터만을 교환합니다.
• 배포 유연성: 이 아키텍처는 글로벌 스케줄러가 바람직하지 않거나 실행 불가능한 P2P, 에지, 다중 라우터 배포 환경에 적합합니다.
• 제한적 범위: 저자들은 P2P 캐시 공유의 개인정보 보호 문제를 언급하며, 이는 애플리케이션에 따라 다르며 본 연구의 범위를 벗어난다고 인정합니다. 또한, 이점은 특정 조건(낮은 통신 지연 시간, 프리필 중심 워크로드, 왜곡된 프리픽스 분포)에 따라 달라진다는 점을 명시합니다. 고지연 또는 균등한 워크로드에서는 이점이 감소하거나 역전될 수 있습니다.

궁극적으로, 이 연구는 경량 메타데이터 복제와 조정이 필요 없는 피어 투 피어 라우팅이 분산 시스템의 확장성과 유연성을 유지하면서도 프리픽스 재사용의 이점을 상당 부분 회복할 수 있음을 보여줍니다.