기술 요약: RouteJudge 및 ORBIT

1. 문제 정의

대규모 언어 모델(LLM) 라우팅은 들어오는 쿼리에 대해 비용, 지연 시간, 처리량과 같은 제약 조건을 최적화하면서 이질적인 모델 풀 중에서 가장 적합한 모델을 자동으로 선택하는 것을 목표로 합니다. 기존의 평가 프로토콜은 정적인 벤치마크, "골든(golden)" 정답 또는 자동화된 스코어링 메트릭에 의존하지만, 이러한 접근 방식은 고정된 응답 품질 개념을 강요한다는 결정적인 한계가 있습니다. 실제 상호작용에서 사용자 선호도는 다원적이며 맥락 의존적입니다. 창의적 글쓰기, 번역 또는 튜터링과 같은 작업의 경우, 여러 출력이 사실적으로 유효할 수 있지만, 사용자는 톤, 세부 수준 또는 비용 민감도에 따라 서로 다른 응답을 선호할 수 있습니다. 결과적으로, 오프라인 벤치마크 정렬 메트릭 하에서 잘 작동하는 라우터가 실제 배포 시 사용자가 실제로 선호하는 모델을 선택하지 못할 수 있습니다. 본 논문은 현재의 평가 방법이 현실적인 쿼리 분포 하에서 라우팅 결정이 사용자가 선호하는 응답으로 이어지는지를 충분히 포착하지 못한다는 "다원적 선호도 정렬 문제(pluralistic preference alignment problem)"를 식별합니다.

2. 방법론

본 논문은 오프라인 벤치마킹과 온라인 사용자 선호도 사이의 간극을 메우기 위해 설계된 두 부분의 생태계인 RouteJudge와 ORBIT를 소개합니다.

RouteJudge: 온라인 선호도 평가 프레임워크

RouteJudge는 고정된 참조 답변 대신 익명화된 쌍체 사용자 선호도를 통해 라우팅 전략을 평가하는 온라인 플랫폼입니다.

• 평가 기록: 모델 레벨의 리더보드와 달리, RouteJudge는 사용자 쿼리, 예산 제약, 여러 전략에 의한 라우팅 결정, 선택된 모델 응답, 사용자 선호도 레이블, 추론 비용, 지연 시간 및 작업 메타데이터를 포함하는 "라우팅 중심" 기록($Z$)을 저장합니다.
• 워크플로우:
  1. 제출: 사용자가 쿼리와 비용 예산을 제출합니다.
  2. 라우터 추천: 여러 라우팅 전략($R$)이 예산 내 가능한 모델 집합($M_C$)에서 후보 모델을 독립적으로 선택합니다.
  3. 결투 선택: 플랫폼은 투표 수가 가장 높은 "결투 쌍(duel pair)"의 모델($m_A, m_B$)을 선정하기 위해 투표를 집계합니다.
  4. 익명 판단: 사용자는 블라인드 인터페이스에서 $m_A$와 $m_B$의 응답을 비교하여 "A 승리", "B 승리", "무승부" 또는 "둘 다 나쁨" 중 하나를 선택합니다.
  5. 라우터 귀속: 선호도 신호는 승리(또는 패배)한 모델을 선택한 라우팅 전략에 귀속됩니다. 라우터는 선택한 모델이 판단된 결투에 참여한 경우에만 점수를 받으며, 그렇지 않으면 미참여($\emptyset$)로 표시됩니다.
• 메트릭: 시스템은 라우터 레벨의 승률, Elo 레이팅, 참여율, 비용-품질 파레토 프런티어를 추적하여 작업 조건별 및 예산 인지적 분석을 가능하게 합니다.

ORBIT: 최적 라우팅 및 예산 기반 추론 툴박스

ORBIT는 RouteJudge에서 평가되는 방법론의 지속적인 확장을 지원하기 위해 LLM 라우팅의 엔드 투 엔드 워크플로우를 표준화하는 모듈형 확장 가능 툴박스입니다.

• 표준화: 벤치마크 로딩, 쿼리 표현(다양한 임베딩 레이어 활용), 라우터 구현(규칙 기반, 학습 기반, 검색 기반 등) 및 예산 인지적 평가를 위한 통합된 인터페이스를 제공합니다.
• 구성 가능성: 연구자들은 핵심 로직을 다시 작성하지 않고도 데이터셋, 인코더, 라우터를 독립적으로 교체할 수 있습니다.
• 통합 레이어: ORBIT는 RouteJudge의 제출 인터페이스 역할을 합니다. 연구자들은 ORBIT 내에서 라우터를 구현하고 오프라인에서 검증한 후, 온라인 평가를 위해 호환 가능한 라우터를 제출합니다.
• 2단계 평가 파이프라인:
  1. 역사적 재생(Historical Replay): 제출된 라우터는 과거의 RouteJudge 기록을 대상으로 평가되어, 과거 비교에서 사용자가 선호한 모델을 선택했을지 여부를 결정합니다.
  2. 온라인 평가: 검증된 라우터는 라이브 플랫폼에 배포되어 실시간 익명 쌍체 비교에 참여하고 선호도 귀속을 받습니다.

3. 주요 기여

1. RouteJudge 플랫폼: 익명 쌍체 비교를 통해 LLM 라우팅 시스템을 평가하도록 설계된 최초의 오픈 플랫폼으로, 평가 대상을 모델 레벨의 응답 품질에서 라우터 레벨의 결정 품질로 전환합니다.
2. ORBIT 툴박스: 현재 라우팅 연구의 엔지니어링 파편화를 해결하며, 재현 가능한 오프라인 벤치마킹과 RouteJudge로의 원활한 제출을 가능하게 하는 표준화된 개발 및 통합 레이어입니다.
3. 평가 프로토콜: 정적인 "최적 모델" 가정에 의존하는 대신, 예산 제약, 작업 유형 및 참여율을 고려하여 사용자 선호도를 라우팅 전략에 귀속시키는 새로운 프로토콜을 제시합니다.
4. 오픈 생태계: RouteJudge와 ORBIT의 결합은 방법론을 오프라인에서 개발하고, 역사적 선호도에 대해 검증하며, 실제 사용자 환경에서 테스트할 수 있는 폐쇄 루프(closed loop)를 생성합니다.

4. 예비 결과

저자들은 ORBIT 오프라인 파이프라인과 RouteJudge 온라인 플랫폼(2026년 6월 기준) 모두에서 얻은 초기 경험적 조사 결과를 제시합니다:

• 오프라인 일관성: RouterEval 벤치마크를 사용하여, ORBIT는 다양한 라우팅 방법(예: EmbedLLM, Eagle, EquiRouter)이 통일된 프로토콜 하에서 비교될 수 있음을 성공적으로 입증하였으며, 성능-비용 트레이드오프 곡선과 nAUC, Peak Score와 같은 메트릭을 드러냈습니다.
• 온라인 차별화: 109개의 사용자 투표 비교가 이루어진 RouteJudge에서, 플랫폼은 라우팅 전략 간의 차이를 성공적으로 구분했습니다. RouterLLM-MF가 가장 높은 Elo 점수(1278)를 기록한 반면, NIRT-Router는 가장 높은 관찰된 승률(80.00%)을 보였습니다.
• 오프라인 메트릭과의 괴리: 결과는 강력한 오프라인 설계가 항상 온라인 선호도 성공으로 이어지지는 않는다는 것을 나타냅니다. 명시적인 학습 기반 스코어링 메커니즘을 가진 일부 라우터는 단순한 비매개변수 또는 행렬 분해 기반 방법보다 사용자 선호도에서 낮은 성능을 보였습니다.
• 비용-선호도 트레이드오프: 모델 레벨 데이터 분석 결과, 선호도는 단순히 비용에 의해 결정되지 않음을 보여주었습니다. 일부 저비용 모델이 경쟁력 있는 승률을 달察함으로써, 효과적인 라우팅은 가장 유능한 모델을 기본값으로 설정하는 것이 아니라 사용자의 예산과 작업 맥락에 맞춰 모델 선택을 조정해야 함을 시사합니다.

5. 의의 및 주장

본 논문은 RouteJudge와 ORBIT가 LLM 라우팅의 "다원적 선호도 정렬 문제"를 공동으로 해결한다고 주장합니다. 정적 벤치마크을 넘어섬으로써, 이 생태계는 라우팅 결정이 현실적인 제약 하에서 실제 사용자 선호도와 일치하는지를 연구자들이 평가할 수 있게 합니다. 저자들은 이 작업을 모든 라우팅 방법의 최종 순위 매기기가 아닌, 오픈 평가 생태계를 위한 기초적인 단계로 규정합니다. 그들은 향-래의 라우팅 연구가 벤치마크 최적 모델 선택뿐만 아니라, 사용자 선호도가 반영되고 비용을 인지하며 배포에 민감한 동작을 고려해야 한다고 주장합니다. 이 시스템은 ORBIT 표준을 통해 커뮤니티가 새로운 라우터와 벤치마크를 기여하면서도 재현성을 유지할 수 있도록 지속적으로 확장 가능하도록 설계되었습니다.