DiSRouter: Distributed Self-Routing for LLM Selections

이 논문은 다양한 LLM 의 성능과 비용 균형을 위해 중앙 집중식 라우팅의 한계를 극복하고, 각 에이전트의 자기 인식 능력을 기반으로 한 분산형 자기 라우팅 시스템인 'DiSRouter'를 제안하며, 이를 통해 기존 방법보다 뛰어난 유연성과 일반화 성능을 입증했습니다.

핵심

🚀 디스루터 (DiSRouter): 지능형 AI 팀의 '스스로 판단하는' 새로운 리더십

이 논문은 **"어떤 질문을 어떤 AI 가 답해야 할지, 중앙의 지시자가 아니라 각 AI 가 스스로 판단하게 하자"**는 혁신적인 아이디어를 제시합니다. 이를 **DiSRouter(분산형 자기-라우터)**라고 부릅니다.

기존 방식과 새로운 방식을 쉽게 비유해서 설명해 드릴게요.

---

1. 문제: "모든 일을 한 명의 지휘관이 결정하는 것의 한계"

지금까지의 AI 시스템은 **중앙 집중식 (Centralized)**이었습니다.

• 비유: 거대한 회사에서 모든 업무 지시는 오직 **단 한 명의 '팀장'**만 합니다.
  • 팀장은 "이건 A 직원이 할 수 있겠네, B 직원은 너무 어렵겠네"라고 판단해서 업무를 배정합니다.
• 문제점:
  1. 유연성 부족: 새로운 직원이 들어오면 팀장은 다시 모든 것을 배워야 합니다. (시스템을 다시 훈련해야 함)
  2. 판단 오류: 팀장 (작은 AI) 이 모든 직원의 능력 한계를 완벽하게 알 수 없습니다. "아, 이거 B 가 할 수 있겠구나"라고 생각했는데, B 가 실패하는 경우가 생깁니다.
  3. 비효율: 팀장이 판단하는 데 시간이 걸리고, 팀장 자체가 병목 현상이 됩니다.

2. 해결책: "스스로 판단하는 AI 팀원들 (DiSRouter)"

이 논문이 제안하는 DiSRouter는 중앙의 팀장을 없애고, 모든 직원이 스스로 판단하게 합니다.

• 비유: 이제 모든 직원이 '자기 능력'을 잘 아는 전문가가 되었습니다.
  • 작은 직원 (저렴한 AI): "이 질문은 내가 쉽게 풀 수 있겠다!" → 바로 답함.
  • 중간 직원: "어? 이 질문은 내가 잘 모르겠는데... 내 능력 밖이야." → 스스로 거절하고 ("I don't know"), 더 큰 능력의 동료에게 넘김.
  • 큰 직원 (비싼 AI): "이건 내가 해결할 수 있어." → 답함.

이 과정은 **계단식 (Cascade)**으로 이루어집니다. 질문은 가장 작은 AI 에서 시작해, 스스로 해결할 수 없으면 다음으로 큰 AI 로 넘어갑니다.

3. 핵심 기술: "자기 인식 훈련 (Self-Awareness Training)"

그런데 AI 가 "내가 이거 못 해"라고 말하는 게 정말 가능할까요? 보통 AI 는 모르는 것도 억지로 답하려 합니다. 그래서 연구팀은 AI 에게 두 단계의 훈련을 시켰습니다.

1. SFT (지도 학습): "정답을 모르는 질문에는 '모르겠다'라고 솔직하게 말해라"라고 가르쳤습니다.
2. RL (강화 학습): 상황에 따라 행동을 조절하게 했습니다.
   • 성능 우선 모드: "무조건 정확해야 해! 조금이라도 의심되면 넘겨버려!" (실수 방지)
   • 비용 우선 모드: "비용을 아껴야 해! 내가 할 수 있을 것 같으면 일단 해봐!" (비용 절감)

이 훈련을 통해 각 AI 는 **자신의 지식의 한계 (Knowledge Boundary)**를 정확히 알게 되었습니다.

4. 왜 이것이 더 좋은가요? (장점)

• 🧩 레고 블록처럼 유연함 (Modularity): 새로운 AI 모델을 팀에 추가하고 싶다면, 기존 시스템을 다 고칠 필요 없이 그 AI 만 훈련하면 됩니다. 바로 끼워 넣으면 됩니다.
• 🌍 어디든 잘 적응함 (Generalization): 훈련받지 않은 새로운 분야의 질문이 들어와도, 각 AI 가 "이건 내 영역이 아니야"라고 판단해서 적절한 사람에게 넘겨줍니다.
• 💰 비용과 성능의 완벽한 균형: 쉬운 질문은 저렴한 AI 가, 어려운 질문은 비싼 AI 가 처리하므로 전체 비용은 줄이면서 정확도는 높입니다.

5. 결론: "중앙 통제보다 '스스로 아는 것'이 더 강력하다"

이 연구는 **"작은 AI 가 큰 AI 의 능력을 판단하는 것보다, 각 AI 가 자신의 능력을 스스로 판단하는 것이 훨씬 정확하고 효율적"**임을 증명했습니다.

마치 중앙 지휘관 하나에 의존하는 군대보다, 각 병사가 전황을 보고 스스로 판단하고 행동하는 특수부대가 더 빠르고 유연한 것과 같습니다. DiSRouter 는 이렇게 각 AI 가 스스로 책임지는 분산형 지능 시스템의 새로운 시대를 열었습니다.

---

한 줄 요약:

"모든 일을 지시하는 '팀장'을 없애고, 각 AI 가 '내가 이거 할 수 있나?'를 스스로 판단하여 가장 적합한 AI 가 답하게 만든, 훨씬 똑똑하고 저렴한 시스템입니다!"

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 급증으로 인해 성능과 비용이 다양한 모델들이 공존하는 생태계가 형성되었습니다. 사용자의 질의 (Query) 에 대해 비용 효율성을 유지하면서도 높은 성능을 내기 위해 적절한 모델을 선택하는 '쿼리 라우팅 (Query Routing)' 이 핵심 과제로 대두되었습니다.

기존의 라우팅 시스템은 주로 중앙 집중식 외부 라우터 (Centralized External Router) 에 의존합니다. 그러나 이러한 방식은 다음과 같은 근본적인 한계를 가집니다:

• 유연성 부족 (Inflexibility): 외부 라우터는 고정된 모델 세트로 훈련됩니다. 새로운 모델을 추가하거나 기존 모델을 업데이트하려면 전체 라우팅 시스템을 다시 훈련해야 하므로 확장성이 떨어집니다.
• 정확한 능력 평가 불가 (Inaccurate Capability Assessment): 외부 라우터는 상대적으로 작은 모델로 구현되는 경우가 많아, 각 LLM 의 내재적 지식 경계 (Knowledge Boundaries) 를 완전히 이해하지 못합니다. 이로 인해 특정 질의에 대해 어떤 모델이 해결할 수 있는지 정확히 판단하지 못해 비효율적인 라우팅이 발생합니다.

2. 방법론 (Methodology)

저자들은 중앙 집중식 제어에서 분산형 자기 라우팅 (Distributed Self-Routing) 으로 패러다임을 전환한 DiSRouter (Distributed Self-Router) 를 제안합니다.

핵심 아이디어

• 분산형 아키텍처: 단일 외부 라우터 대신, 각 LLM 에이전트가 자기 인식 (Self-Awareness) 을 기반으로 독립적으로 "답변할지" 아니면 "다음 에이전트로 전달할지" 결정합니다.
• 캐스케이드 구조 (Cascade Structure): 질의는 비용이 낮은 작은 모델에서 시작하여, 해당 모델이 해결할 수 없다고 판단 (거부) 할 경우 비용이 더 큰 다음 모델로 전달됩니다. 최종 모델은 모든 질의를 처리하는 '마지막 보루' 역할을 합니다.
• 시나리오 적응성 (Scenario Adaptability): 시스템은 사용자의 선호도 (성능 우선 vs 비용 우선) 에 따라 동적으로 행동을 조정합니다.

자기 인식 훈련 파이프라인 (Self-Awareness Training Pipeline)

각 에이전트의 자기 인식 능력을 향상시키기 위해 2 단계 훈련 과정을 도입했습니다:

1. 지도 미세 조정 (SFT):
   • 모델이 특정 질의에 대해 확신이 없을 때 "모른다 (I don't know)"라고 거부하는 행동을 학습시킵니다.
   • 거부 임계값 (Rejection Threshold, $\delta$): 시나리오 선호도 인자 $\alpha$(비용 중요도) 에 따라 동적으로 설정됩니다 ($\delta = 1 - \alpha$). 성능 우선 시나리오에서는 높은 확신 (높은 $\delta$) 만 답변하고, 비용 우선 시나리오에서는 더 낮은 확신에서도 답변합니다.
2. 강화 학습 (RL):
   • 지역적 보상 함수 (Localized Reward Function): 각 에이전트가 독립적으로 훈련될 수 있도록 설계되었습니다.
   • 보상 구조:
     • 정답 시: 1
     • 오답 시: 0
     • 거부 시: $(1 - \alpha)\gamma$ (여기서 $\gamma$는 신뢰도 인자)
   • 이 보상 구조를 통해 모델은 답변할 때 기대 보상이 거부할 때의 보상보다 높을 때만 답변하도록 학습됩니다.

3. 주요 기여 (Key Contributions)

1. DiSRouter 프레임워크 제안: 중앙 집중식 라우터를 제거하고 각 에이전트의 내재적 자기 인식에 기반한 분산형, 모듈형, 확장 가능한 라우팅 시스템을 구축했습니다.
2. 자기 인식 훈련 파이프라인 개발: 지역적 보상 함수를 통해 에이전트 간 통신 없이도 병렬로 독립적인 훈련이 가능하도록 하여, 시스템의 유연성과 확장성을 극대화했습니다.
3. 성능 및 일반화 검증: 다양한 시나리오 (성능 우선, 균형, 비용 우선) 에서 기존 라우팅 방법보다 우수한 유틸리티 (Utility) 를 달성했으며, 도메인 외 (Out-of-Domain) 작업에서도 강력한 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: GSM8K, MMLU 등 7 개의 도메인 내 데이터셋과 SQuAD 등 3 개의 도메인 외 데이터셋을 사용했습니다. 모델 풀은 Qwen2.5-Instruct 시리즈 (0.5B ~ 14B) 5 개 크기로 구성되었습니다.
• 성능 비교:
  • 유틸리티 (Utility): 모든 시나리오 (성능 우선, 균형, 비용 우선) 에서 기존 방법 (RouteLLM, FrugalGPT, GraphRouter 등) 보다 높은 유틸리티를 기록했습니다.
  • 오라클 (Oracle) 대비 성능: 이상적인 라우팅 전략 (Oracle) 의 유틸리티를 최대 74.29% 까지 달성했습니다.
  • 비용 효율성: 기존 라우터 기반 방법들보다 낮은 비용으로 더 높은 정확도를 달성했습니다.
• 일반화 능력:
  • 도메인 외 (OOD): 훈련되지 않은 새로운 데이터셋에서도 질의의 난이도를 효과적으로 구분하여 라우팅했습니다.
  • 모델 아키텍처: Qwen 시리즈 외에도 Gemma, Phi 등 다른 모델 패밀리에서도 동일한 훈련 파이프라인이 효과적으로 작동함을 확인했습니다.
  • 모듈성: 에이전트 풀을 변경 (예: 5 개에서 3 개로 축소) 하더라도 에이전트 재훈련 없이도 시스템이 잘 작동하여 '플러그 앤 플레이' 특성을 입증했습니다.
• 자기 인식 분석:
  • DiSRouter 가 훈련된 모델은 답변한 질의의 정확도가 거부한 질의의 정확도보다 현저히 높았습니다. 이는 모델이 자신의 능력 한계를 정확히 인지하고 있음을 의미합니다.
  • 외부 분류기 (BERT 기반 등) 보다 모델 자체의 자기 평가가 더 정확했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 외부 평가자가 아닌 LLM 의 내재적 자기 인식 (Intrinsic Self-Awareness) 을 라우팅의 핵심 메커니즘으로 활용함으로써, 라우팅 시스템의 정확성과 효율성을 동시에 개선했습니다.
• 확장성과 유연성: 새로운 모델이 추가되거나 제거될 때 전체 시스템을 재훈련할 필요가 없어, 동적으로 변화하는 LLM 생태계에 이상적인 솔루션을 제공합니다.
• 실용성: 사용자의 비용/성능 선호도에 따라 시스템 전체의 라우팅 전략을 실시간으로 조정할 수 있어, 실제 산업 환경에서의 적용 가능성이 매우 높습니다.

이 연구는 다중 에이전트 시스템 (Multi-Agent Systems) 의 효율성을 높이고, LLM 의 자기 인식 능력을 체계적으로 활용하는 새로운 방향을 제시했다는 점에서 중요한 의의를 가집니다.