arXiv💬 cs.CL

RouteGoT: Node-Adaptive Routing for Cost-Efficient Graph of Thoughts Reasoning

RouteGoT 는 그래프 기반 추론 과정에서 계획 및 종합 단계에는 강력한 모델을, 하위 작업에는 경량 모델을 동적으로 할당하고 예산 제약을 통합하여 정확도를 유지하거나 향상시키면서 토큰 사용량을 대폭 줄이는 비용 효율적인 라우팅 프레임워크를 제안합니다.

Yuhang Liu, Ruijie Wang, Yunlong Chu, Bing Hao, Yumeng Lin, Shengzhong Liu, Minglai Shao

게시일 2026-03-09
📖 3 분 읽기☕ 가벼운 읽기
보기: arXiv ↗PDF ↗

Each language version is independently generated for its own context, not a direct translation.

RouteGoT: 복잡한 생각의 길을 더 똑똑하고 저렴하게 만드는 방법

이 논문은 거대한 인공지능 (LLM) 이 복잡한 문제를 풀 때, 어떻게 하면 더 적은 비용으로 더 좋은 결과를 얻을 수 있는지에 대한 해법을 제시합니다.

기존의 방법들은 "무조건 가장 똑똑한 모델을 써서 모든 문제를 해결하자"는 식으로 접근했는데, 이는 마치 작은 동네 가게 문제를 해결하기 위해 전 세계 최고의 컨설팅 회사를 부르는 것과 같은 비효율이었습니다. 이 논문은 그 비효율을 해결하는 RouteGoT라는 새로운 시스템을 소개합니다.

🎬 비유로 이해하는 RouteGoT

1. 문제: "모든 일을 CEO 가 처리하는 회사"

기존의 복잡한 추론 시스템 (GoT, AGoT 등) 은 문제를 풀 때 다음과 같은 방식으로 작동했습니다.

  • 상황: 회사가 거대한 프로젝트를 맡았습니다.
  • 방식: 프로젝트의 모든 단계 (기획, 자료 조사, 보고서 작성, 최종 검토) 를 **가장 비싸고 똑똑한 'CEO 모델' (Large Model)**이 혼자서 처리합니다.
  • 문제: 자료 조사나 간단한 사실 확인 같은 단순한 일까지 CEO 가 직접 하면, 시간과 돈 (토큰 비용) 이 엄청나게 낭비됩니다. 게다가 너무 많은 일을 하려다 보니 오히려 실수가 나거나, 예산이 부족해 프로젝트가 중단되기도 합니다.

2. 해결책: "현명한 팀장 (RouteGoT)"

RouteGoT 는 이 문제를 해결하기 위해 **현명한 팀장 (라우터)**을 도입합니다. 팀장은 각 작업의 난이도를 미리 파악하고, 적절한 사람을 배치합니다.

  • 전략:
    • 복잡한 기획이나 최종 결론: 가장 똑똑하고 비싼 CEO 모델이 담당합니다. (이건 실수가 나면 안 되니까요.)
    • 단순한 자료 조사나 사실 확인: 저렴하고 빠른 인턴이나 주니어 모델이 담당합니다. (이건 쉽게 풀 수 있으니까요.)
    • 예산 관리: 팀장은 "우리 예산은 여기까지야"라고 정해두고, 예산이 부족해지면 더 이상 복잡한 작업을 시작하지 않고 현재까지의 결과를 정리합니다.

🚀 RouteGoT 가 어떻게 작동하나요? (3 단계)

이 시스템은 문제를 풀 때 세 가지 핵심 단계를 거칩니다.

  1. 예측하기 (Success & Budget Predictor):

    • 팀장은 "이 문제를 풀려면 얼마나 돈이 들까?", "이 문제를 이 사람이 풀 수 있을까?"를 미리 예측합니다.
    • 마치 요리사가 "이 요리는 고급 재료가 필요할까, 아니면 일반 재료로 충분할까?"를 미리 판단하는 것과 같습니다.

  2. 할당하기 (PolicyNet):

    • 예측 결과를 바탕으로, 각 작업에 맞는 모델을 선택합니다.
    • "이건 쉽네? -> 인턴에게 줘!" / "이건 어렵네? -> CEO 가 직접 해!"
    • 이때 **예산 (Budget)**을 고려합니다. 예산이 부족하면 더 이상 복잡한 작업을 분할하지 않고, 현재 상황을 정리합니다.

  3. 실행하기 (Global Scheduler):

    • 전체 프로젝트의 예산을 감시하며, "이 정도면 충분해, 더 이상 확장하지 말자"라고 신호를 보냅니다.
    • 만약 예산이 부족해서 모든 작업을 끝내지 못하더라도, 최종 결론을 내릴 때 예산이 부족했다는 사실을 명시하여 AI 가 엉뚱한 것을 만들어내지 않도록 방지합니다.

🏆 왜 이 방법이 좋은가요? (실제 효과)

논문에서 여러 테스트 (수학 문제, 복잡한 질문, 퀴즈 등) 를 해본 결과:

  • 정확도 상승: 기존 방법보다 정확도가 약 8% 더 높아졌습니다. (더 적은 돈으로 더 좋은 결과!)
  • 비용 대폭 절감: 사용된 토큰 (비용) 이 약 79% 줄었습니다.
    • 비유: 같은 일을 하는데, 기존에는 고급 호텔 5 개를 빌렸다면, RouteGoT 는 1 개만 빌리고 나머지는 저렴한 게스트하우스로 해결한 셈입니다.
  • 예산에 대한 강인함: 예산이 매우 적게 주어졌을 때도, 다른 방법들은 엉망이 되거나 아예 실패했지만 RouteGoT 는 최소한의 예산으로도 꽤 좋은 결과를 냈습니다.

💡 핵심 요약

RouteGoT는 "모든 일을 최고의 전문가에게 맡기는 것"이 아니라, **"일단 난이도를 보고 적절한 전문가를 배치하고, 예산을 철저히 관리하는 것"**이 훨씬 효율적임을 증명했습니다.

이 방법은 AI 를 실제 비즈니스나 일상생활에 적용할 때, 비용을 아끼면서도 높은 품질을 유지할 수 있는 길을 열어줍니다. 마치 현명한 팀장이 팀원들의 능력을 최대한 활용하여 프로젝트를 성공시키는 것과 같습니다.

유사한 논문

DeReason: A Difficulty-Aware Curriculum Improves Decoupled SFT-then-RL Training for General Reasoning

이 논문은 일반 STEM 도메인에서 추론 능력을 향상시키기 위해 문제 난이도에 따라 데이터를 분할하여 지도 학습 (SFT) 과 강화 학습 (RL) 을 순차적으로 수행하는 'DeReason'이라는 커리큘럼 학습 전략을 제안하고, 이를 통해 기존 방법들보다 뛰어난 성능을 입증합니다.

Hanxu Hu, Yuxuan Wang, Maggie Huan, Jannis Vamvas, Yinya Huang, Zhijiang Guo, Rico Sennrich2026-03-13💬 cs.CL

MDER-DR: Multi-Hop Question Answering with Entity-Centric Summaries

이 논문은 지식 그래프 기반의 다단계 질문 응답 (QA) 에서 삼중항 (triple) 변환 시 발생하는 맥락 손실 문제를 해결하기 위해, 엔터티 중심 요약과 통합 인덱싱 기법 (MDER) 과 질의 분해 및 추론 메커니즘 (DR) 을 결합한 새로운 RAG 프레임워크를 제안하고, 이를 통해 기존 베이스라인 대비 최대 66% 의 성능 향상을 입증했습니다.

Riccardo Campi, Nicolò Oreste Pinciroli Vago, Mathyas Giudici, Marco Brambilla, Piero Fraternali2026-03-13💬 cs.CL

Markovian Generation Chains in Large Language Models

이 논문은 대규모 언어 모델이 이전 출력을 기반으로 반복적으로 텍스트를 생성하는 '마르코프 생성 사슬' 과정을 분석하여, 온도 파라미터와 초기 입력에 따라 문장 다양성이 증가하거나 감소할 수 있음을 규명하고 다중 에이전트 시스템에 대한 시사점을 제시합니다.

Mingmeng Geng, Amr Mohamed, Guokan Shang, Michalis Vazirgiannis, Thierry Poibeau2026-03-13💬 cs.CL