Target-Workload Auditing for Quality-Constrained LLM Routing
본 논문은 참조 모델의 오류를 활용하여 경제적인 "저비용 전용" 구조(cheap-only rescues)를 가능하게 하는 품질 제약적 LLM 라우팅을 위한 타겟-워크로드 감사 프레임워크를 제안하며, 타겟 인증 무작위 라우팅(target-certified random routing)과 쌍을 이룬 인증(paired certification)이 비용 절감과 엄격한 품질 및 유해성 제약 사이의 균형을 맞추는 데 있어 기존 방법들보다 성능이 훨씬 뛰어나다는 것을 광범위한 실험을 통해 입증한다.