Scalable Inference Architectures for Compound AI Systems: A Production Deployment Study

"Scalable Inference Architectures for Compound AI Systems: A Production Deployment Study" 논문에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 정의

현대 기업용 AI 는 독립적인 대규모 언어 모델 (LLM) 에서 Compound AI Systems(복합 AI 시스템) 로 전환되고 있습니다. 이는 Salesforce 의 Agentforce 와 ApexGuru 와 같이 복잡한 작업을 해결하기 위해 여러 모델, 검색기, 도구를 조율하는 아키텍처입니다. 이러한 시스템을 프로덕션 환경에 배포하는 것은 기존 모델 서빙으로는 해결할 수 없는 고유한 인프라 과제를 제시합니다.

• 이질적이고 동시적인 호출: 단일 사용자 요청은 임베딩, 분류, LLM 생성 등 3~5 개의 서로 다른 모델 호출에 대한 "팬아웃 (fan-out)"을 유발하며, 복잡한 의존성 그래프를 가집니다.
• 연쇄적 콜드 스타트: 정적 배포 환경에서는 유휴 기간이 발생하면 여러 종속 모델에서 동시에 콜드 스타트가 발생합니다. 파이프라인 의존성으로 인해 사용자는 최대값이 아닌 이러한 콜드 스타트의 직렬 합을 기다리게 되어 막대한 지연 시간 급증 (예: 약 180 초) 이 발생합니다.
• 리소스 경쟁 및 비효율성: 정적 GPU 풀은 서로 다른 모델 유형이 동일한 하드웨어를 위해 경쟁할 때 리소스 경쟁을 겪습니다. 또한, 총 사용자 요청 수에 기반한 스케일링은 SQL 실행기 (SQL executors) 와 같은 조건부 구성 요소의 과잉 공급과 임베딩 (embeddings) 과 같은 보편적인 구성 요소의 과소 공급을 초래합니다.
• 급속한 반복의 병목 현상: 기존 모놀리식 배포 파이프라인은 다중 모델 시스템을 최적화하기 위해 필요한 빠른 수준의 구성 요소별 A/B 테스트를 지원할 수 없습니다.

2. 방법론 및 시스템 아키텍처

저자들은 이러한 워크로드를 지원하기 위해 Salesforce 에서 배포된 모듈식, 플랫폼 독립적 추론 아키텍처를 설계했습니다. 이 시스템은 오케스트레이션 로직과 모델 호스팅을 분리합니다.

핵심 구성 요소

• 오케스트레이션 레이어 (Atlas Reasoning Engine): 이벤트 기반의 그래프 기반 인지 워크플로우입니다. 발행 - 구독 패턴을 사용하여 사용자 쿼리를 검색, 계획, 실행과 같은 병렬 추론 작업으로 분해합니다.
• 예측 서비스 (Inference Gateway): 통합 진입점 역할을 합니다. 전처리/후처리를 처리하고, 한 모델이 실패할 경우 우아한 저하 (graceful degradation) 를 허용하는 **구성 요소별 회로 차단기 (per-component circuit breakers)**를 구현하며, 요청 라우팅을 관리합니다.
• 하이브리드 백엔드:
  • 서버리스: 경량 처리 또는 간헐적 워크로드를 위해 사용 (유휴 비용을 제거하기 위해 스케일링 제로까지 확장).
  • 프록시 마이크로서비스: 더 무거운 처리를 위해 기존 모니터링 프레임워크를 재사용합니다.
  • 동적 자동 확장: 실시간 수요에 따라 GPU 인스턴스가 켜지고 꺼집니다.

복합 시스템을 위한 주요 아키텍처 혁신

1. 복합 인식 확장 (Compound-Aware Scaling):
   • 독립적 확장: 모델은 총 사용자 트래픽이 아닌 특정 호출률에 따라 확장됩니다. 이는 보편적인 모델 (예: 임베딩) 이 충분한 용량을 갖도록 보장하면서 조건부 도구의 과잉 공급을 방지합니다.
   • 요청 우선순위 큐: 리소스 고갈을 방지하기 위해 빠른 경로 모델 (임베딩) 이 느린 경로 모델 (LLM) 보다 우선순위를 가집니다.
2. 연쇄적 콜드 스타트 완화:
   • 조정된 사전 온난화: 파이프라인에 접근할 때 하위 종속 항목이 병렬로 온난화됩니다.
   • 계층화 된 프로비저닝 동시성: 핵심 경로 모델 (LLM) 은 온전한 인스턴스의 기준선을 유지하는 반면, 빠른 모델은 제로에서 확장됩니다.
   • 예측적 온난화: 수요 급증 전에 모델을 미리 로드하기 위해 트래픽 신호 (예: 영업 시간) 를 사용합니다.
3. 하이브리드 배포 전략: 시스템은 실시간 용량 임계값에 따라 전용 인스턴스 (고정 QPS 모델용) 와 서버리스 백엔드 (급증/조건부 모델용) 간에 트래픽을 투명하게 라우팅합니다.
4. MLOps 및 관찰 가능성:
   • 구성 요소별 A/B 테스트: 전체 파이프라인을 다시 배포하지 않고 개별 모델 (예: 새로운 검색기) 을 교체할 수 있습니다.
   • 파이프라인 수준 지표: 모델별 지표뿐만 아니라 파이프라인별 종단 간 에이전트 지연 시간과 비용 할당을 추적합니다.

3. 주요 기여

1. 복합 시스템 특유의 과제 특성화: 이 논문은 다중 모델 팬아웃 오버헤드, 연쇄적 콜드 스타트 전파(가산적이 아닌 승법적 지연), 이질적 확장 역학과 같은 고유한 실패 모드를 식별하고 정량화합니다.
2. 병렬 효율성에 대한 정량적 분석: 순차적 호출에 비해 병렬 전송이 최소한의 조정 세금을 (<2% 오버헤드) 도입함을 입증합니다.
3. 운영 교훈: 파이프라인 인식 비용 할당의 필요성과 피크 성능보다 우아한 저하의 우월성을 포함하여 기업 규모 에이전트 시스템을 관리하기 위한 프레임워크를 제공합니다.

4. 결과 및 평가

이 시스템은 12 개월 이상 프로덕션 환경에서 평가되었으며, 2026 년 3 월에는 8,000 명 이상의 기업 사용자를 지원하고 약 1,360 억 토큰을 처리했습니다.

구체적 사용 사례 발견:

• ApexGuru (코드 분석): P95 지연 시간이 절반으로 감소; 비용이 실제 사용량 청구로 전환됨.
• Agentforce (대화형 에이전트): 선형 처리량 확장 관찰; 일관된 5~8 초 응답 시간으로 50 개 이상의 동시 세션 처리.

5. 의의

이 논문은 이론적 복합 AI 아키텍처와 실제 프로덕션 배포 간의 격차를 해소합니다. 그 의의는 다음과 같습니다.

• 패러다임 전환: "모델 확장"에서 "파이프라인 확장"으로의 전환을 통해, 복합 시스템이 의존성 그래프와 이질적 트래픽 패턴을 이해하는 인프라가 필요함을 인식합니다.
• 연쇄적 콜드 스타트 체인 해결: 에이전트 시스템의 사용성을 저해하는 주요 장벽인 "연쇄적 콜드 스타트" 문제에 대한 검증된 솔루션을 제공합니다.
• 급속한 반복 가능: 구성 요소를 분리함으로써 팀이 복잡한 AI 에이전트의 개발 주기를 가속화하기 위해 수주 대신 몇 시간 내에 개별 모델을 최적화 (A/B 테스트) 할 수 있게 합니다.
• 비용 - 성능 균형: 하이브리드 서버리스/전용 접근 방식이 상호작용형 에이전트에 대한 엄격한 SLA 를 유지하면서 비용을 획기적으로 줄일 수 있음을 입증합니다.

저자들은 향후 작업이 GPU 멀티플렉싱, 지역 간 로드 밸런싱, 그리고 파이프라인 단계 간 리소스 할당을 더욱 최적화하기 위한 AI 프로그래밍 프레임워크 (DSPy 등) 와의 긴밀한 통합에 초점을 맞춰야 한다고 결론지었습니다.