기술 요약: 라우팅은 언제 의미 있는가? 언어 모델 사회의 다양성과 강건성

문제 정의

멀티 모델 시스템(언어 모델, 도구 또는 에이전트의 사회)에 대한 현재의 라우팅 정책 평가는 거의 전적으로 다운스트림 유용성, 즉 작업 정확도와 추론 비용에만 집중되어 있습니다. 저자들은 높은 정확도만으로는 라우팅이 "의미 있는" 상태임을 보장하지 못한다고 주장합니다. 라우팅 정책이 모든 행위자가 동일하게 행동하는 중복된 사회 위에서 작동하거나, 입력의 표면적인 변화에 따라 쿼리를 서로 다른 행위자에게 일관성 없게 할당함으로써 높은 성능을 달래낼 수도 있기 때문입니다. 이러한 경우, 행위자들이 안정적인 전문화(specialization)를 발전시키는 데 필요한 구조적 조건이 결여됩니다.

본 논문은 의미 있는 라우팅을 위해 필요한 두 가지 직교하는 구조적 속성을 식별합니다:

1. 행동적 차별화(Behavioral Differentiation): 사회는 쿼리에 대해 다르게 반응하는 행위자들을 포함해야 합니다. 모든 행위자가 동일하게 행동한다면 라우팅은 공허합니다.
2. 라우팅 안정성(Routing Stability): 라우팅 정책은 표면 형태의 변화에 강건해야 합니다. 의미론적으로 동등한 쿼리(예: 오타, 유의어 교체, 또는 구절 변경이 포함된 쿼리)는 동일한 행위자에게 할당되어야 합니다. 이러한 안정성이 없다면 행위자들은 신뢰할 수 있는 전문화를 이룰 수 없습니다.

방법론

1. 사회적 다양성 측정: 계층적 사회 엔트로피 (HSE)

행동적 차별화를 정량화하기 위해, 저자들은 로봇 군집(Balch, 2000)을 위해 제안되었던 **계층적 사회 엔트로피(Hierarchic Social Entropy, HSE)**를 언어 모델 사회에 맞게 변형하여 적용했습니다.

• 행동 벡터: 모델 가중치를 비교하는 대신, 이 방법은 평가 세트 $E$에 대해 행위자들을 평가하여 각 요소가 특정 프롬프트에 대한 행위자의 점수를 나타내는 행동 벡터 $b_k \in \mathbb{R}^L$를 생성합니다.
• 거리 척도: 행위자 간 거리는 이러한 행동 벡터의 $1 - \text{코사인 유사도}$를 사용하여 계산됩니다. 이는 절대적인 성능 크기보다는 프로필의 유사성을 포착합니다.
• 계층적 클러스터링: 모든 가능한 거리 임계값 $h$에서 단일 연결법(single linkage)을 사용하여 행위자들을 클러스터링합니다.
• 엔트로피 계산: 각 임계값 $h$에서의 파티션에 대해 단순 사회 엔트로피(Shannon entropy)를 계산합니다. HSE는 모든 분류 수준(Taxonomic levels, $h=0$에서 $h \to \infty$까지)에 걸친 이 엔트로피의 적분값입니다.
• 특성: HSE는 절대 영점(동일한 행위자)을 갖는 연속적인 비율 척도입니다. 또한 서로 다른 규모의 사회 간 비교가 가능하도록 정규화되었습니다. 이 지표는 단순히 그룹의 수가 아니라 그룹 간의 분리 정도에 민감하도록 설계되었습니다.

2. 라우팅 강건성 측정

라우팅 안정성을 정량화하기 위해, 저자들은 섭동 기반 척도 $\rho(\pi, Q)$를 도입했습니다.

• 섭동 분류 체계: 쿼리는 증가하는 다섯 단계의 의미론적 거리에 따라 섭동됩니다:
  1. 문자 수준 (오타, 띄어쓰기).
  2. 단어 수준 (유의어, 철자 오류).
  3. 구문 수준 (수동태, 재배치).
  4. 구절 변경 (전체 재작성, 동일한 의미).
  5. 횡설수설 (무관한 맥락 추가).
• 지표 정의: 쿼리 $q_i$가 행위자 $a_i$로 라우팅될 때, 강건성 $\rho_i$는 해당 쿼리의 $p$개 섭동 중 $a_i$로도 라우팅되는 섭동의 비율입니다. 데이터셋 수준의 강건성은 모든 쿼리에 대한 $\rho_i$의 평균입니다.
• 가정: 만약 $q_i$와 그 섭동이 의미론적으로 동등하다면, 최적의 행위자 할당은 동일하게 유지되어야 합니다. 이로부터의 이탈은 정책의 불안정성을 나타냅니다.

3. 실험 설정

이 방법론은 두 가지 벤치마크를 통해 검증되었습니다:

• EmbedLLM: 112개의 모델을 10개의 벤치마크(예: MMLU, GSM8K)에 걸친 36,054개의 질문으로 평가.
• RouterBench: 11개의 모델을 8개의 데이터셋에 걸친 36,497개의 쿼리로 평가.
• 합성 사회(Synthetic Societies): 이론적 한계를 테스트하기 위해, 저자들은 다음을 기준으로 하는 이진 성능 지표를 가진 "전문가"들의 합성 사회를 구축했습니다:
  • RD (추론 깊이): 5단계의 인지 복잡도.
  • SA (주제 영역): 15개의 뚜렷한 학술적/실용적 도메인.
  • RD+SA: 부분적 중첩이 있는 결합된 풀.
• 라우팅 정책: 무작위(Random), 프롬프트 기반(Prompted, 역할 설명을 사용하는 LLM 기반 선택), 그리고 KNN (임베딩 공간에서의 k-최근접 이웃).

주요 결과

1. 다양성의 한계 효용 체감

• 실제 vs 합성: 목적에 맞게 설계된 전문가 사회(SA, RD)는 동일한 크기의 실제 세계 모델 풀보다 현저히 높은 HSE를 보입니다. 예를 들어, SA 사회(HSE=3.91)는 기본 EmbedLLM 풀(HSE=1.62)보다 두 배 이상 다양합니다.
• 코어셋 휴리스틱(Coreset Heuristic): HSE는 강력한 한계 효용 체감을 보입니다. 기본 EmbedLLM 사회에서는 약 9개 이상의 에이전트를 추가해도 다양성 이득이 미미합니다. 합성 사회에서는 이 곡선이 훨씬 더 빠르게 평탄해집니다(4~5개 에이전트). 이는 대규모 풀에서 대부분의 다양성을 회복하기 위해 10개 미만의 선별된 하위 집합을 사용하는 것이 효과적임을 시사합니다.

2. 정확도-강건성 트레이드오프 (Accuracy-Robustness Trade-off)

• KNN 라우터: KNN 기반 라우터는 전문가 사회(경계가 뚜렷한 사회)에서 높은 작업 정확도를 달성합니다. 그러나 섭동 상황에서는 강건성이 급격히 붕괴됩니다. 작은 표면적 변화가 쿼리 임베딩을 도메인 경계 너머로 이동시켜, 의미론적으로 동등한 쿼리를 서로 다른 행위자에게 할당하게 만듭니다.
• 프롬프트 기반 라우터: 프롬프트 기반 라우팅(자연어 설명을 사용)은 모든 섭동 유형과 사회 구성에서 높은 강건성을 유지합니다. 전문가 사회에서 깨끗한 쿼리에 대한 작업 정확도는 KNN보다 약간 낮을 수 있지만, 섭동된 상태에서의 정확도는 안정적입니다. 이들은 임베딩 근접성이 아닌 의미적 의도에 집중합니다.

3. 사회 구성의 영향

• 최대 HSE 하위 집합(max-HSE subset)(탐욕적 알고리즘으로 선택된 작고 다양한 하위 집합)으로 전환하면 프롬프트 기반 라우터의 강건성이 향상됩니다.
• KNN 라우터에 미치는 영향은 데이터셋에 따라 다릅니다. RouterBench의 경우, max-HSE 하위 집합이 KNN의 강건성을 회복시킵니다. 반면 EmbedLLM에서는 KNN의 강건성이 감소하거나 거의 개선되지 않는데, 이는 Embed-LLM 풀의 특정 행동 구조(최대 HSE에서도 구조적 분리가 덜 뚜렷함)가 KNN 라우팅을 표면적 변화에 본질적으로 취약하게 만든다는 것을 시사합니다.

의의 및 주장

본 논문은 LM 라우팅 분석을 위한 최초의 행동적 다양성 지표와 그에 따른 강건성 지표를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 평가의 재정의: 라우팅의 의미 있는 수행을 위해서는 작업 정확도와 구별되는, 차별화된 사회와 안정적인 정책이 모두 필요하다고 주장합니다.
2. 실용적 설계 휴리스틱: HSE의 강력한 한계 효용 체감 발견은 매우 다양하고 이질적인 모델 풀이 종종 중복적임을 시사합니다. 10개 미만의 신중하게 큐레이션된 에이전트로 사회를 설계하는 것은 비용을 늘리지 않고 다양성을 극대화하는 실용적인 전략입니다.
3. 진단적 통찰: KNN의 정확도와 강건성 사이의 괴리는 높은 성능이 반드시 강건한 라우팅 시스템을 의미하지 않음을 보여줍니다. 프롬프트 기반 라우팅이 입력 변화 하에서도 전문화 조건을 유지하는 데 더 안정적인 접근 방식임이 입증되었습니다.

저자들은 본인들의 지표가 시간의 흐름에 따른 전문적 역량의 실제 발현보다는 할당의 안정성을 측정한다는 점과, 합성 사회가 실제 에이전트보다 더 날카로울 수 있는 이상적인 이진 성능 프로필을 사용했다는 점을 언급하며 연구의 범위를 겸허하게 제한하였습니다.