기술 요약: STREAM – 이중 채널 HPC 토큰 스트리밍을 갖춘 다계층 LLM 추론 미들웨어

문제 정의

연구자와 실무자들은 세 가지 불완전한 옵션 사이에서 선택을 강요받으며 파편화된 LLM 배포 환경에 직면해 있습니다:

1. 로컬 추론: 무료이며 프라이버시가 보장되지만, 사용자 하드웨어 제약(작은 모델 규모, 제한된 컨텍스트 창)에 의해 제한됩니다.
2. 기관 HPC: 추가 비용 없이 강력한 GPU 자원을 제공하고 데이터를 기관 경계 내에 유지하지만, 표준 스트리밍 방식을 차단하는 방화벽 뒤에서 작동하며 점진적인 출력 전달 메커니즘이 부족한 배치 실행 모델에 의존합니다.
3. 상용 클라우드 API: 온디맨드 방식으로 최첨단 모델의 품질을 제공하지만, 상당한 토큰당 비용과 민감한 연구 데이터에 부적합한 데이터 보유 정책을 수반합니다.

기존의 어떤 시스템도 이 세 계층을 통합하지 못하여 불필요한 클라우드 지출, 기관 GPU 자원의 저활용, 그리고 파편화된 워크플로우를 초래합니다. 또한, 표준 스트리밍 아키텍처는 컴퓨트 노드가 기관 방화벽 뒤에 위치하여 모든 인바운드 연결을 차단하고, 클라이언트 머신이 종종 NAT 뒤에 있어 VPN이나 방화벽 규칙 변경 없이는 도달할 수 없는 HPC 환경에서 실패합니다.

방법론 및 시스템 아키텍처

STREAM(Smart Tiered Routing Engine for AI Models)은 로컬, HPC, 클라우드 추론을 단일 계층 서비스로 통합하는 미들웨어 계층 역할을 합니다. 시스템은 모든 쿼리를 다음과 같은 표준화된 파이프라인을 통해 처리합니다:

1. 3계층 라우팅 아키텍처

쿼리는 복잡도 판별기(Complexity Judge, 로컬 LLM인 Llama 3.2 3B)에 의해 세 가지 계층으로 분류됩니다:

• LOW (낮음): 사용자 장치 또는 Ollama를 통해 함께 배치된 로컬 모델(예: Llama 3.2 3B, Gemma 3 4B-VL)로 라우팅됩니다.
• MEDIUM (중간): 기관 HPC 자원(예: H100 NVL GPU 상의 Qwen 2.5-VL-72B-AWQ)으로 라우팅됩니다.
• HIGH (높음): 상용 클라우드 API(예: OpenRouter 경유)로 라우팅됩니다.
  시스템에는 가용성 또는 에러 상태에 따라 계층을 격상하거나 격하시키는 폴백(fallback) 메커니즘이 포함되어 있어 연속성을 보장합니다.

2. 이중 채널 HPC 토کن 스트리밍

HPC 스트리밍 문제를 해결하기 위해, STREAM은 **제어 평면(Control Plane)**과 **데이터 평면(Data Plane)**을 분리하는 새로운 아키텍처를 도입합니다:

• 제어 평면 (Globus Compute): 연합 인증 및 작업 디스패치를 처리합니다. 쿼리와 메타데이터를 포함하는 태스크를 제출하지만, 토큰 페이로드는 운반하지 않습니다.
• 데이터 평면 (WebSocket Relay): 클라우드 기반 릴레이 서버가 랑데부 지점 역할을 합니다.
  • 프로듀서(Producer): Globus Compute 태스크 내에서 실행되는 HPC 워커는 외부로 연결(outbound)하여 릴레이에 접속하고, vLLM HTTP SSE 스트림으로부터 토큰을 하나씩 읽어 전달합니다.
  • 컨슈머(Consumer): 클라이언트(또는 프록시)는 릴레이의 동일한 고유 UUID 채널에 외부로 연결하여 토큰을 수신합니다.
• 방화벽 통과: 두 엔드포인트 모두 외부로 연결을 시작하므로(포트 443의 wss://), VPN, 방화벽 규칙 변경, 또는 인바운드 포트 없이도 기관 방화벽을 통과할 수 있습니다.
• 보안: 시스템은 엔드 투 엔드 AES-256-GCM 암호화를 사용합니다. 암호화 키와 채널 비밀값은 워커 환경에 사전 로드되며 태스크 인자로 전송되지 않으므로, 릴레이 운영자가 토큰 페이로드를 읽을 수 없습니다.

3. 계층 인식 컨텍스트 요약

대화 기록이 계층의 컨텍스트 창 제한에 도달하여 단순한 쿼리가 비싼 계층으로 강제 이동되는 것을 방지하기 위해, STREAM은 차등 압축을 구현합니다. 대화가 계층의 컨텍스트 한계의 80%에 도달하면, 오래된 메시지는 (무료 로컬 모델을 사용하여) 요약본으로 압축되는 반면 최근 턴은 원문 그대로 유지됩니다. 이를 통해 단순 쿼리는 40회 이상의 턴이 진행된 후에도 로컬 계층에 머물 수 있습니다.

4. HPC-as-API 프록시 모드

STREAM은 HPC 계층을 OpenAI 호환 엔드포인트(/v1/chat/completions)로 노출합니다. 이를 통해 외부 애플리케이션은 Globus 자격 증명을 관리하거나 릴레이 프로토콜을 직접 구현할 필요 없이 기관 HPC 추론에 접근할 수 있습니다. 이 모드는 이중 채널 스트리밍이 서브 초 단위 수준으로 레이턴시를 낮추기 때문에 실용적으로 작동합니다.

주요 결과

시스템은 HPC, 수학, 물리학 등 10개 도메인에 걸친 1,200개의 쿼리 벤치마크를 통해 로컬, HPC, 클라우드 계층에서 평가되었습니다.

• 라우팅 정확도: Llama 3.2 3B 복잡도 판별기는 49.0%의 전체 정확도(무작위 확률보다 1.5배 높음)와 85.1%의 프리 티어 유지율을 달성하여, 85%의 쿼리를 무료 로컬 또는 HPC 계층에 성공적으로 유지했습니다. 주요 한계점은 "LOW" 복잡도 쿼리에 대한 낮은 재현율이었는데, 이는 "LOW" 쿼리가 "MEDIUM"으로 과도하게 라우팅되는 경향(두 계층 모두 무료이므로 보수적인 오류임)을 보였기 때문입니다.
• 레이턴시 (TTFT):
  • 로컬: 중앙값 0.26초의 첫 토큰 생성 시간(TTFT).
  • HPC (스트리밍): 0.54초 중앙값 TTFT. 이는 배치 폴백 모드(11.40초, TTFF가 총 생성 시간과 동일함) 대비 21.1배 개선된 수치입니다.
  • 클라우드: 1.68초 중앙값 TTFT.
• 처리량: HPC 스트리밍과 배치 모드 모두 동일한 생성 처리량(26.9 tok/s)을 달성하여, 릴레이가 추가적인 토큰당 오버헤드를 발생시키지 않음을 확인했습니다.
• 컨텍스트 요약: 합성 테스트에서, 요약 기능은 원문 컨텍스트가 41K 토큰(40번째 턴)을 초과하더라도 "2+2는 무엇인가?"와 같은 단순 쿼리가 강제로 계층을 업그레이드하는 것을 방지하여 로컬 계층에 머물게 했습니다.

의의 및 주장

본 논문은 STREAM이 자동화된 복잡도 기반 라우팅을 통해 로컬, 기관 HPC, 클라우드 LLM 추론을 통합하는 최초의 시스템이라고 주장합니다. 주요 의의는 HPC 스트리밍 문제를 해결하여, VPN이나 방화벽 수정 없이도 기관 방화벽 뒤에서 실시간 토큰 전달을 가능하게 했다는 점에 있습니다.

HPC TTFT를 11.40초에서 0.54초로 줄임으로써, STREAM은 "HPC-as-API" 배포 패턴을 대화형 애플리케이션을 위한 실용적인 유스케이스로 만들었습니다. 이는 기관의 GPU 자원이 데이터 프라이버시를 유지하면서도 클라우드 API만큼 쉽게 접근 가능하도록 만들 수 있음을 입증합니다. 저자들은 STREAM이 현재 연구 프로토타입임을 명시하며, 향후 LLM 기반 판별기를 미세 조정된 텍스트 분류기로 교체하고 실제 사용자 라우팅 트레이스를 수집할 예정이라고 밝혔습니다. 핵심 구성 요소인 릴레이와 프록시는 도메인 불가지론적인 PyPI 라이브러리(streamrelay 및 hpc-as-api)로 공개되었습니다.