기술 요약: LatentRouter

문제 정의

멀티모달 대규모 언어 모델 (MLLM) 은 광학 문자 인식 (OCR), 차트 이해, 공간 추론, 시각적 질문 답변 (VQA) 과 같은 작업에서의 강점, 그리고 운영 비용과 지연 시간 측면에서 상당한 이질성을 보입니다. "더 강력한" 평균 성능이 단일 모델이 보편적으로 최적임을 의미하지는 않지만, 효과적인 라우팅은 밀집된 텍스트 대 다이어그램 레이아웃과 같은 특정 멀티모달 쿼리 요구 사항을 후보 모델의 기능과 매칭하는 것을 필요로 합니다.

기존의 멀티-LLM 시스템용 라우팅 접근법은 주로 텍스트 전용 입력을 위해 설계되었으며, 쿼리 난이도 추정, 신뢰도 점수, 또는 캐스케이드 정책을 의존합니다. 이러한 방법들은 최적의 모델 선택이 시각적 신호, 레이아웃 민감도, 그리고 이미지 - 질문 상호작용에 달려 있으며, 이는 텍스트에서 파생된 특징만으로는 완전히 포착할 수 없기 때문에 멀티모달 영역에서는 종종 실패합니다. 이미지를 명시적인 텍스트 (예: 캡션, OCR) 로 변환하는 것은 비용이 많이 들고 불완전하며, 종종 라우팅 관련 시각적 정보를 처리하기에 충분하지 않습니다. 결과적으로 MLLM 라우팅은 입력으로부터 컴팩트하면서도 정보 풍부한 멀티모달 라우팅 신호를 보존하고, 이러한 쿼리 요구 사항을 이질적인 모델 기능과 정렬하여 유틸리티를 예측하는 두 가지 결합된 과제를 안고 있습니다.

방법론: LATENTROUTER

저자들은 LATENTROUTER를 제안합니다. 이는 MLLM 라우팅을 반사실적 멀티모달 유틸리티 예측으로 공식화합니다. 쿼리를 고정된 모델 ID 로 직접 매핑하는 대신, 라우터는 현재 이미지 - 질문 입력에 대해 각 후보 MLLM 이 어떻게 수행할지 추정하고, 예측된 유틸리티가 가장 높은 모델을 선택합니다.

핵심 아키텍처

이 시스템은 다섯 가지 주요 구성 요소로 이루어져 있습니다:

1. 멀티모달 라우팅 캡슐:
   단일 풀링된 쿼리 벡터를 사용하는 대신, LATENTROUTER 는 학습된 멀티모달 라우팅 캡슐 ($R(x)$) 의 작은 집합으로 쿼리를 표현합니다. 이들은 학습된 캡슐 쿼리를 이미지 - 질문 결합 시퀀스에 교차 어텐션시켜 추출됩니다. 이들은 어떤 후보 모델이 잘 수행할지 예측하는 데 필요한 정보만 유지하도록 엔드 - 투 - 엔드로 학습됩니다.

2. 모델 기능 토큰:
   각 후보 MLLM 은 보정 프로파일, 정규화된 비용, 지연 시간, 그리고 슬라이스 수준 또는 쌍별 행동 통계와 같은 메타데이터로 구성된 기능 토큰 ($a_i$) 으로 표현됩니다. 이를 통해 라우터는 고정된 분류기 차원 없이 가변적인 모델 풀을 처리할 수 있습니다.

3. 잠재적 통신:
   라우터는 다단계 잠재적 통신 과정을 통해 쿼리 요구 사항을 모델 기능과 정렬합니다:

   • 모델 조건부 어텐션: 각 모델 토큰은 라우팅 캡슐을 읽으며, 서로 다른 모델이 서로 다른 신호 (예: 시각적 텍스트 대 공간적 단서) 에 주의를 기울일 수 있게 합니다.
   • 쌍별 비교: 모델 토큰은 쌍별 비교 편향을 가진 가용성 마스킹 자기 어텐션을 통해 상호작용하여 상대적 강점을 평가합니다.
   • 피드백: 라우팅 캡슐은 모델 상태로부터 가중치된 피드백을 받아, 결정 경계 근처의 후보를 강조하여 쿼리 표현을 정제합니다.

4. 분포적 반사실적 결과 예측:
   공유 헤드는 각 후보 모델에 대한 답변 품질의 분포 (평균 $\mu_i$ 및 불확실성 $\sigma_i$) 를 예측합니다. 이 분포적 접근법은 훈련 흔적에서 관찰된 결과의 전체 벡터를 활용하여 상대적 강점과 약점을 모델링합니다.

5. 경계 캡슐 보정:
   예측된 평균에 잔차 보정 항 ($\Delta^{cap}_i$) 이 추가됩니다. 이 보정은 스칼라 $\rho$ ( $\tanh$ 활성화 사용) 에 의해 경계 지어지며, 이는 신뢰할 수 있는 기본 예측을 지배하는 노이즈 잔차 신호를 허용하지 않으면서도 가까운 결정을 정제하도록 보장합니다.

훈련 및 정책

라우터는 모델 풀 결과 흔적을 사용하여 복합 손실 함수로 훈련됩니다:

• 분포 손실: 평균과 불확실성을 예측하기 위한 이질 분산 가우스 음의 로그 가능도.
• 쌍별 순위 손실: 관찰된 유틸리티가 더 높은 모델에 대해 더 높은 점수를 장려합니다.
• 리스트웨어 손실: 예측된 유틸리티 분포를 관찰된 분포와 일치시킵니다.
• 유틸리티 회귀 및 정규화: 직접 유틸리티 회귀 및 잔차 정규화.

최종 라우팅 정책은 성능과 비용 간의 균형을 조절하는 $\lambda$를 사용하여 $s_i(x) = \tilde{\mu}_i(x) - \lambda c_i$를 최대화하는 모델 $m_i$를 선택합니다. 사용 불가능한 모델은 점수 매기기 동안 마스킹됩니다.

주요 기여

1. 반사실적 유틸리티 공식화: 이 논문은 MLLM 라우팅을 동일한 쿼리에 대한 모든 후보 모델의 결과를 예측하는 것으로 재정의하여, 성능 중심 및 성능 - 비용 라우팅을 지원하고 공유 점수 매기기 및 가용성 마스킹을 통해 동적 모델 풀을 지원합니다.
2. 잠재적 기능 매칭 아키텍처: 학습된 라우팅 캡슐과 모델 기능 토큰을 잠재적 통신을 통해 연결하여 쿼리 요구 사항을 모델 기능과 정렬하는 라우터의 도입.
3. 종합적 평가: MMR-Bench 및 VL-RouterBench에 대한 광범위한 실험을 통해 고정 모델, 특징 수준, 및 학습된 라우터 기준선보다 우월함을 입증했습니다.

실험 결과

• 성능: LATENTROUTER 는 성능 중심 및 성능 - 비용 설정 모두에서 두 벤치마크에서 가장 좋은 오라클이 아닌 결과를 달성했습니다. 개선은 통계적으로 유의미합니다 (예: VL-RouterBench 비용 설정에서 $p < 0.001$).
• 작업 민감도: 이득은 OCR, 차트/다이어그램 이해, 수학/STEM 추론과 같이 미세한 멀티모달 신호가 필요한 작업에서 가장 두드러지며, 이러한 작업에서는 모델 선택이 시각적 및 레이아웃 특징에 크게 의존합니다.
• 반사실적 예측: 라우터는 순위 지표 (NDCG, 스피어만 상관관계, Top-3 재현율) 에서 기준선보다 우수하여, 평균 점수뿐만 아니라 모델 기능의 상대적 순서를 효과적으로 예측함을 나타냅니다.
• 절제 연구: 잠재적 통신이 성능 향상의 주요 기여자로 확인되었습니다. 이를 제거하면 가장 큰 성능 저하가 발생합니다. 분포 헤드와 경계 보정은 일관되지만 더 작은 개선을 제공합니다.
• 유연성 및 효율성: 라우터는 가용성 마스킹을 통해 변경되는 후보 풀을 효과적으로 처리합니다. 학습된 라우터 중 가장 낮은 지연 시간 (0.06ms 대 다른 것들의 0.10–0.17ms) 을 유지하면서 가장 좋은 평균 주요 지표를 달성합니다.

중요성 및 주장

이 논문은 LATENTROUTER 가 쿼리별 시각적 요구 사항과 모델 기능 간의 상호작용을 명시적으로 모델링함으로써 멀티모달 시스템에서 텍스트 중심 라우팅의 특정 한계를 해결한다고 주장합니다. 저자들은 이득이 벤치마크별 단락이 아니라 더 효과적인 쿼리 - 모델 매칭 메커니즘에서 비롯된다고 단언합니다.

이 연구는 쿼리 캡슐과 모델 토큰 간의 잠재적 통신과 결합된 반사실적 예측 문제로서의 라우팅 처리가 이질적인 모델 풀 전반에 걸쳐 견고한 선택을 가능하게 함을 보여줍니다. 저자들은 라우터가 효율성과 비용 효율성을 개선하지만, 모델 기능 프로파일을 위해 보정 데이터에 의존하며, 실시간 배포, 새로운 모델에 대한 적응형 보정, 그리고 다단계 라우팅으로의 확장이 필요하다고 지적합니다. 이 논문은 라우터가 고위험 도메인에서 특히 정확성이나 안전성을 보장하는 것이 아니라 모델 선택 메커니즘임을 강조합니다.