RADAR: Reasoning-Ability and Difficulty-Aware Routing for Reasoning LLMs

이 논문은 다양한 추론 모델과 예산 간의 성능과 비용 트레이드오프를 해결하기 위해, 심리측정학에 영감을 받아 질문 난이도와 모델 능력을 학습하여 최적의 모델 - 예산 쌍으로 쿼리를 라우팅하는 경량화되고 해석 가능한 RADAR 프레임워크를 제안합니다.

핵심

🧠 라다 (RADAR): 똑똑한 AI 비서가 "어떤 문제를 풀 때, 얼마나 노력해야 할지" 결정하는 방법

이 논문은 최근 뜨겁게 주목받는 **'추론형 AI(Reasoning LLM)'**들을 더 똑똑하고, 저렴하게, 그리고 빠르게 사용할 수 있는 새로운 방법을 소개합니다.

이걸 이해하기 위해 먼저 비유를 하나 해보죠.

🚗 비유: "차량 선택"과 "운전 노력"

지금 여러분이 택시 회사 사장님이라고 상상해 보세요.
여러분에게는 두 가지 선택지가 있습니다.

1. 슈퍼 스포츠카 (고성능 AI): 아주 빠르고 똑똑하지만, 기름값 (비용) 이 엄청 비싸고, 운전사 (AI) 가 모든 문제를 풀려고 하면 지쳐서 오히려 실수를 할 수도 있습니다.
2. 경제형 경차 (저성능 AI): 기름값은 싸지만, 아주 복잡한 문제 (예: 수학 경시대회 문제) 를 풀면 한참 걸리거나 못 풀 수도 있습니다.

기존의 문제점:
대부분의 사람들은 "무조건 가장 비싼 스포츠카를 타고, 운전사에게 "최대한 열심히 생각해보라"고 지시하는 것"이 정답이라고 믿었습니다.
하지만, "오늘의 우유 배달" 같은 간단한 문제에도 스포츠카를 타고 운전사가 1 시간 동안 고민하게 하면? 돈만 낭비하고, 오히려 운전사가 지쳐서 우유를 쏟을 수도 있습니다. 반대로, "우주선 설계" 같은 어려운 문제를 경차에 태우고 "간단히 생각해보라"고 하면? 일처리가 안 됩니다.

RADAR 가 해결하는 일:
RADAR 는 바로 이 현명한 비서 역할을 합니다.
"오늘 들어온 주문 (질문) 이 얼마나 어려운지"를 미리 파악해서,

• 간단한 주문 → 경제형 경차 + 짧은 생각으로 처리 (비용 절감!)
• 어려운 주문 → 슈퍼 스포츠카 + 깊은 생각으로 처리 (성능 보장!)

이렇게 질문의 난이도와 AI 의 능력을 실시간으로 맞춰주는 시스템이 바로 RADAR입니다.

---

🛠️ RADAR 가 어떻게 작동할까요? (3 단계)

1. "시험지"를 만들어 능력을 측정하다 (IRT 모델)

RADAR 는 심리학에서 쓰이는 **'문항 반응 이론 (IRT)'**이라는 기술을 가져왔습니다.

• 아이디어: 학생 (AI) 이 문제를 풀 때, 문제의 난이도와 학생의 실력을 동시에 계산할 수 있다는 원리입니다.
• 적용: RADAR 는 수많은 AI 모델과 다양한 '생각 시간 (예산)' 조합으로 질문들을 풀어보며 데이터를 쌓습니다.
  • "이 질문은 정말 어렵구나 (난이도 높음)"
  • "이 AI 는 이 정도 난이도면 잘 풀 수 있겠구나 (능력 중간)"
  • "이 AI 는 이 질문을 풀려면 엄청난 시간이 필요하겠구나 (비용 높음)"
  • 이런 지식을 학습합니다.

2. "최적의 조합"을 찾아내는 나침반 (다목적 최적화)

이제 새로운 질문이 들어오면 RADAR 는 나침반을 꺼냅니다.

• 목표: "최대한 잘 풀면서, 비용은 최대한 적게 들이기"
• RADAR 는 "이 질문을 이 AI 가 5 분 동안 풀면 90% 성공할 거야. 하지만 이 AI 가 1 분 동안 풀면 95% 성공하고 비용은 1/10 이야"라고 계산합니다.
• 사용자의 성향 (비용을 아끼고 싶나? 성능을 최우선으로 하고 싶나?) 에 따라 **가장 완벽한 균형점 (파레토 프론트)**을 찾아냅니다.

3. 새로운 AI 가 오면? "간단한 테스트"로 즉시 적응

새로운 AI 모델이 회사에 들어오면, RADAR 는 그걸 바로 쓸 수 있습니다.

• 기존 방식은 새로운 AI 를 완전히 다시 학습시켜야 했지만, RADAR 는 **적응형 테스트 (Adaptive Testing)**를 합니다.
• 마치 진단 검사처럼, 아주 적은 수의 대표 질문만 물어보고 "이 AI 의 실력은 대략 이 정도구나"라고 빠르게 추정합니다.
• 그래서 새로운 AI 가 나와도 즉시 시스템에 통합되어 작동합니다.

---

🌟 왜 이 기술이 중요할까요?

1. 돈을 아껴줍니다:

   • 실험 결과, RADAR 는 OpenAI 의 최고 성능 모델 (o4-mini) 과 90% 만큼 똑같은 성능을 내면서도, 비용은 1.31% 수준으로 줄였습니다. (약 76 배 저렴!)
   • 즉, 같은 일을 하더라도 훨씬 적은 돈으로 해결할 수 있습니다.

2. 생각을 멈추게 합니다 (Overthinking 방지):

   • AI 가 간단한 질문에도 "생각을 너무 많이" 하면 오히려 틀릴 수 있습니다. RADAR 는 "이건 간단하니까 생각 좀 줄여!"라고 지시해서 실수를 막습니다.

3. 예측 불가능한 상황에도 강합니다:

   • 훈련 데이터에 없던 완전히 새로운 종류의 질문 (예: 긴 문서 요약, 복잡한 법률 문제) 이 들어와도, 질문의 난이도를 파악해서 적절한 AI 를 골라냅니다.

💡 한 줄 요약

RADAR는 "모든 질문에 최고의 AI 를 쓰는 게 정답이 아니다"라는 사실을 증명합니다. 대신 **"질문의 난이도에 맞춰, 적절한 AI 와 적절한 생각 시간을 골라주는 똑똑한 비서"**가 되어주면, 우리는 더 싸고, 더 빠르고, 더 정확한 AI를 쓸 수 있게 됩니다.

이제부터는 AI 를 쓸 때, "어떤 차를 타고, 얼마나 노력하게 할지"를 RADAR가 대신 결정해 줄 것입니다! 🚀

기술 요약

RADAR: 추론 능력과 난이도를 인지하는 라우팅 (Reasoning-Ability and Difficulty-Aware Routing)

이 논문은 추론 언어 모델 (Reasoning Language Models, RLMs) 의 배포 시 발생하는 성능과 비용 간의 트레이드오프 문제를 해결하기 위해 제안된 RADAR 프레임워크에 관한 연구입니다. ICLR 2026 에 발표된 이 논문은 다양한 RLM 구성 (모델 크기와 추론 예산) 사이에서 최적의 조합을 실시간으로 선택하여, 주어진 쿼리에 대해 최소 비용으로 최대 성능을 달성하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

최근 강화학습 (RL) 을 통해 연산 (Chain-of-Thought) 능력을 갖춘 RLM 들이 수학, 과학, 코딩 등 복잡한 작업에서 뛰어난 성능을 보이고 있습니다. 그러나 실제 배포 환경에서는 다음과 같은 딜레마가 존재합니다.

• 성능 - 비용 트레이드오프: 더 큰 모델과 더 높은 추론 예산 (Reasoning Budget, 생성되는 추론 토큰 수) 은 일반적으로 더 높은 정확도를 제공하지만, 비용과 지연 시간 (Latency) 을 크게 증가시킵니다.
• 과도한 추론 (Over-thinking): 간단한 질문에도 고비용의 대형 모델을 사용하면 성능이 오히려 저하되거나 비용만 낭비될 수 있습니다.
• 최적 구성 선택의 어려움: 모든 쿼리에 대해 가장 강력한 모델을 사용하는 것은 비효율적이며, 각 쿼리의 난이도에 맞춰 적절한 모델과 추론 예산을 동적으로 선택하는 것이 필수적입니다.

기존의 모델 라우팅 방법들은 주로 모델 선택에 집중하거나, 추론 예산을 고려하지 않은 경우가 많아, RLM 의 특성을 충분히 활용하지 못했습니다.

2. 방법론 (Methodology)

RADAR 는 다목적 최적화 (Multi-Objective Optimization, MOO) 관점에서 모델 라우팅 문제를 재정의하고, 문항 반응 이론 (Item Response Theory, IRT) 을 활용하여 해석 가능한 파라미터를 학습합니다.

2.1. 이산화된 모델 - 예산 구성 (Discretization)

RADAR 는 각 RLM 을 사용 가능한 추론 예산 (예: Low, Medium, High 또는 토큰 수 0~16k) 과 결합하여 이산적인 '모델 구성 (Configuration)'으로 정의합니다. 이를 통해 모델 선택과 추론 예산 조절을 하나의 라우팅 문제로 통합합니다.

2.2. 다목적 최적화 (MOO) 형식화

라우팅 문제를 성능 (Performance) 과 비용 (Cost) 두 가지 목적 함수를 가진 MOO 문제로 공식화합니다.

• 목표: 주어진 성능 - 비용 트레이드오프 프로필 (사용자가 설정한 가중치 $w_1$) 에 따라, 파레토 프론트 (Pareto Front) 상의 최적 구성을 선택합니다.
• 해결 기법: 선형 스칼라화 (Linear Scalarization) 와 체비셰프 스칼라화 (Chebyshev Scalarization) 를 사용합니다. 특히 체비셰프 스칼라화는 파레토 프론트의 오목 (concave) 부분까지 탐색할 수 있어, 선형 스칼라화만 사용하는 기존 방법보다 더 넓은 최적 해 공간을 찾을 수 있습니다.

2.3. IRT 기반 교정 (Calibration)

성능 예측 함수를 모델링하기 위해 교육 심리학에서 유래한 2-파라미터 로지스틱 (2PL) IRT 모델을 적용합니다.

• 쿼리 난이도 (Query Difficulty): 쿼리 임베딩을 통해 학습 가능한 벡터로 표현되며, 쿼리의 난이도를 추정합니다.
• 모델 능력 (Model Ability): 각 모델 구성 (RLM + 예산) 에 대해 학습 가능한 스칼라 값으로 표현되며, 모델의 추론 능력을 나타냅니다.
• 적응형 테스트 (Adaptive Testing): 새로운 RLM 이 추가될 때, 전체 데이터가 아닌 피셔 정보 (Fisher Information) 가 가장 높은 소수의 쿼리만 선별하여 평가함으로써, 새로운 모델의 능력을 빠르고 정확하게 추정합니다.

2.4. 실시간 라우팅

쿼리가 들어오면 RADAR 는 IRT 모델을 통해 쿼리의 난이도를 추정하고, 현재 설정된 성능 - 비용 가중치에 따라 최적의 모델 구성을 실시간 (약 7ms 지연) 으로 선택합니다. 생성 과정 중 모델 전환이 없으므로 KV 캐시 재계산 등의 오버헤드가 없습니다.

3. 주요 기여 (Key Contributions)

1. 블랙박스 환경에서의 적응형 추론 라우팅: RLM 의 추론 예산을 포함한 이산화된 구성을 대상으로, 파레토 최적의 성능 - 비용 목표를 달성하는 라우팅 프레임워크를 최초로 제안했습니다.
2. 해석 가능한 IRT 기반 라우팅: IRT 를 적용하여 쿼리 난이도와 모델 능력을 해석 가능한 파라미터로 학습함으로써, 저지연 라우팅과 미시적인 일반화 (OOD) 능력을 동시에 달성했습니다.
3. 플러그 앤 플레이 확장성: 적응형 테스트 기법을 통해 새로운 RLM 이 등장할 때 소수의 쿼리만으로 능력을 빠르게 추정하여 시스템에 통합할 수 있습니다.
4. 광범위한 벤치마크에서의 우수성: 8 개의 어려운 추론 벤치마크 (MATH-500, GPQA, FRAMES 등) 에서 기존 최첨단 라우팅 방법들보다 우수한 성능 - 비용 트레이드오프를 입증했습니다.

4. 실험 결과 (Results)

• 성능 - 비용 최적화: MATH-500 벤치마크에서 RADAR 는 OpenAI o4-mini(고예산) 의 성능을 90% 달성하는 데 드는 비용이 o4-mini 자체 비용의 **1.31%**에 불과했습니다. 이는 기존 최선 방법 (IRT-Router 등) 보다 훨씬 효율적입니다.
• OOD 일반화: 훈련 데이터와 분포가 다른 (Out-of-Distribution) 쿼리, 특히 긴 문맥의 다중 문서 QA (FRAMES) 에서도 강력한 일반화 성능을 보였습니다.
• 새로운 모델 확장: Qwen3-14B 와 같은 새로운 모델을 추가할 때, 전체 데이터의 약 12% 만을 사용하여 적응형 테스트로 능력을 추정함으로써 라우팅 성능을 개선했습니다.
• 지연 시간: RADAR 의 라우팅 오버헤드는 쿼리당 약 6.89ms로, 가장 작은 모델이 답변을 생성하는 시간 (약 869ms) 에 비해 무시할 수준입니다.

5. 의의 및 결론 (Significance)

RADAR 는 단순히 모델을 선택하는 것을 넘어, 추론 과정 자체 (예산) 를 제어할 수 있는 라우팅 패러다임을 제시합니다.

• 경제적 효율성: 불필요한 고비용 모델 사용을 줄여 대규모 RLM 배포의 경제성을 높입니다.
• 해석 가능성: IRT 를 통해 '어떤 쿼리가 어렵고', '어떤 모델이 적합한지'에 대한 인사이트를 제공하여 시스템의 투명성을 높입니다.
• 유연성: 새로운 모델이나 구성 요소 (예: RAG, 도구 사용) 가 추가되더라도 적응형 테스트를 통해 쉽게 통합할 수 있어, 빠르게 진화하는 RLM 생태계에 적합합니다.

결론적으로 RADAR 는 추론 언어 모델의 실용적 배포를 위한 원칙적이고 해석 가능한 기반을 마련하며, 성능과 비용의 균형을 최적화하는 새로운 표준을 제시합니다.