기술 요약: 규제 산업을 위한 분류기 게이트형 다계층 LLM 라우팅 (Classifier-Gated Multi-Tier LLM Routing)

문제 정의

대규모 언어 모델(LLM)을 금융 서비스나 의료와 같은 규제 산업에 배포하는 것은 역량, 비용 효율성, 그리고 규제 준수 사이의 결정적인 트레이드오프(trade-off) 문제에 직면해 있습니다. 현재의 서빙 아키텍처는 다음 세 가지 구체적인 제약 조건을 동시에 해결하지 못합니다:

1. 데이터 레지던시 및 컴플라이언스: GDPR, SEBI, RBI 및 인도의 DPDPA와 같은 규정은 개인 식별 정보(PII)가 관할 구역 경계를 넘지 않아야 함을 명시합니다. 단일 모델 배포 방식은 라우팅 결정이 내려지기 전에 데이터가 모델 엔드포인트로 유입되기 때문에 이를 강제할 수 없습니다.
2. 단일 모델 서빙의 비효율성: 모든 쿼리를 하나의 거대 모델로 라우팅하면 쿼리의 복잡도와 상관없이 전체 GPU 용량을 소비하게 됩니다. 이는 인프라 경합을 유발하며, 규제 산업의 대다수 쿼리가 소형 모델만으로도 충분한 단순 조회 작업이라는 현실을 간과합니다.
3. 기존 라우팅 방식의 한계:
   • Mixture-of-Experts (MoE): MoE는 토큰을 전문가 레이어 간에 라우팅하지만, 모든 전문가가 메모리에 로드된 상태로 유지되며 라우팅이 엔드포인트에 데이터가 도착한 후에 발생합니다. 이는 지리적 데이터 레지던시를 강제할 수 없게 만듭니다.
   • 이전 라우팅 방법론 (FrugalGPT, RouteLLM, Hybrid LLM): 이러한 방식들은 비용이나 품질에 초점을 맞추고 있으나, 통합된 PII 탐지 및 지리적 라우팅 기능이 결여되어 있습니다. 이들은 설계 단계에서 컴플라이언스를 강제하지 못하며, 종종 민감한 데이터가 결정이 내려지기 전까지 크로스 리전(cross-region) 인프라를 통과하도록 허용합니다.

방법론

본 논문은 **컴플라이언스 게이트(ComplianceGate)**라 불리는 분류기 게이트형 라우팅 아키텍처를 제안하며, 이는 **추론 전 단계(pre-inference layer)**에서 컴플라이언스를 강제하고 비용을 최적화합니다. 시스템은 프라이빗 네트워크 내에서 작동하며 두 가지 주요 구성 요소로 이루어집니다.

1. 인코더 분류기 (Encoder Classifier)

디코더 추론 이전에 양방향 트랜스포머 인코더(12개 레이어, 768 차원 은닉층, 약 1억 3,400만 개의 파라미터)가 위치합니다.

• 학습: 20억 개의 영어 토큰으로 사전 학습되었으며, 5만 개의 도메인 특화 예시로 미세 조정(fine-tuning)되었습니다.
• 기능: 원시 쿼리 텍스트를 평가하여 복잡도(단순, 중간, 복잡)와 민감도(PII 존재 여부 vs 비민감 정보)를 판별합니다.
• 출력: 6가지 레이블(3단계 복잡도와 2단계 민감도의 교차 생성)에 대한 확률 분포와 신뢰 점수를 출력합니다.
• 성능: 추론 시간은 10ms 미만입니다 (실험 결과 7ms).

2. 라우팅 로직 및 폴백 (Routing Logic and Fallback)

라우팅 레이어는 분류기의 출력을 해석하여 실제 LLM 연산이 시작되기 전에 결정론적인 결정을 내립니다.

• 지리적 강제 실행: PII가 포함된 쿼리는 로컬 엔드포인트(관할 구역 내)로 라우팅됩니다. 민감하지 않은 쿼리는 크로스 리전 인프라로 라우팅됩니다.
• 모델 계층(Tier) 선택:
  • 단순 쿼리 $\rightarrow$ 소형 및 고속 밀집 모델 (예: Nova Lite, Gemma 4B).
  • 중간 쿼리 $\rightarrow$ 중형 모델 (예: Gemma 27B, Ministral 14B).
  • 복잡한 쿼리 $\rightarrow$ 대형 및 고성능 모델 (예: Qwen3-480B).
• 신뢰도 기반 폴백: 분류기의 신뢰도가 설정된 임계값(기본값 80%) 미만으로 떨어질 경우, 시스템은 가장 엄격한 레이블(complex_pii)을 기본값으로 채택합니다. 이는 불확실한 상황에서 쿼리를 로컬의 풀 용량 모델로 라우팅함으로써, 구조적으로 데이터 레지던시 위반을 방지합니다.

3. 배포 아키텍처

시스템은 컨테이너화되어 코드 기반 인프라(IaC)를 통해 배포됩니다. 각 모델 계층은 독립적인 인프라에서 작동하며 공유 메모리나 장애 도메인이 없으므로, 다른 계층에 영향을 주지 않고 독립적인 스케일링 및 업그레이드가 가능합니다.

주요 기여

1. 설계에 의한 컴플라이언스 (Compliance-by-Design): 본 아키텍처는 PII를 탐지하고 LLM 연산 이전에 로컬 엔드포인트로 라우팅함으로써 데이터 레지던시 위반을 구조적으로 불가능하게 만듭니다.
2. 다계층 비용 최적화: 이진 라우팅이나 MoE와 달리, 이 시스템은 다계층 모델을 지원합니다. 단순 쿼리를 프런티어 모델보다 6~8배 저렴한 모델로 라우팅하여, 실제 트래픽 복잡도에 비례하여 서빙 비용을 크게 절감합니다.
3. 성능 및 회복 탄력성: 거대 모델을 통해 단순 요청을 처리하는 오버헤드를 제거함으로써 지연 시간을 줄이고 처리량을 높입니다. 독립적인 계층 구조는 한 모델의 장애가 전체 시스템으로 전이되는 것을 방지합니다.
4. 정식 비용 모델: 본 논문은 분수 절감액($S$)에 대한 수학적 모델을 도출하여, 쿼리 분포가 단순 요청 쪽으로 치우칠 때(금융 서비스의 전형적인 특징) 절감 효과가 극대화됨을 입증합니다.

실험 결과

시스템은 Amazon Bedrock (us-east-2) 환경에서 Qwen3-480B-A35B (MoE)를 베이스라인으로 하여 600개의 쿼리를 대상으로 평가되었습니다.

• 정확도: 인코더 분류기는 99.2%의 정확도와 거의 완벽한 PII 재현율(recall)을 달 기록했습니다.
• 지연 시간 감소:
  • 단순 쿼리: 24배 빠름 (베이스라인 ~1850ms 대비 490840ms).
  • 중간 쿼리: 1.73.3배 빠름 (베이스라인 ~3750ms 대비 11402250ms).
  • 복잡한 쿼리: 차이 없음 (동일한 모델 사용).
  • 중앙값 지연 시간: 전체적으로 39% 감소.
• 처리량 (Throughput): 게이트형 라우팅은 단순/중간 쿼리에 대해 120~200 tokens/second를 달성하였으며, 이는 MoE 베이스라인의 50~64 tokens/second와 비교됩니다.
• 예측 가능성 (분산):
  • MoE 베이스라인은 높은 지연 시간 변동성을 보였습니다 (최대/최소 비율 최대 34.5배).
  • 게이트형 라우팅은 변동성을 1.1~2.0배로 줄여, SLA 보장을 가능하게 했습니다.
• 비용 절감:
  • 균등한 쿼리 분포(단순/중간/복잡 각 33%) 하에서 33% 절감.
  • 금융 서비스의 전형적인 편향된 분포(단순 60%, 중간 25%, 복잡 15%) 하에서 52% 절감.
  • 매우 편향된 분포(단순 70%) 하에서는 74% 절감이 예상됩니다.

의의 및 주장

본 논문은 ComplianceGate가 규제 산업을 위한 프로덕션 레디(production-ready) 대안임을 주장합니다. 그 의의는 "사후적(post-hoc)" 정책 집행에서 "사전 추론적(pre-inference)" 구조적 집행으로의 아키텍처적 전환에 있습니다.

• 구조적 이점: MoE는 데이터가 모델에 진입한 후에는 지리적 라우팅을 강제할 수 없는 반과 달리, 본 아키텍처는 라우팅 레이어에서 관할 구역 경계를 강제합니다.
• 확장성: MoE는 클러스터 전체를 스케일링해야 하지만, 본 시스템은 모델 계층을 독립적으로 스케일링할 수 있습니다.
• 실용성: 무시할 만한 수준의 라우팅 오버헤드(<0.1%의 총 비용)와 높은 분류 정확도를 바탕으로, 학습된 인코더가 복잡한 쿼리에 대한 응답 품질을 저하시키지 않으면서도 엄격한 컴플라이언스 명령(데이터 레지던시)과 공격적인 비용 효율성 목표를 동시에 충족할 수 있음을 입증했습니다.

저자들은 본 연구의 가치가 특정 모델의 선택에 있는 것이 아니라, 관할 구역 및 제약 조건별로 측정 가능한 복잡도와 민감도에 따라 적절한 모델을 매칭할 수 있게 하는 라우팅 프레임워크에 있다고 결론짓습니다.