당신이 수천 개의 서로 다른 로봇들이 당신의 질문에 답하기 위해 기다리고 있는 거대하고 미래적인 도서관으로 걸어 들어간다고 상상해 보세요. 어떤 로봇들은 복잡한 수학 문제를 풀 수 있는 천재적인 지능을 가졌지만 고용 비용이 엄청나게 비쌉니다. 또 다른 로봇들은 빠르고 저렴한 일꾼들로, 간단한 이야기를 쓰는 데는 뛰어나지만 까다로운 퍼즐에는 혼란을 느낄 수도 있습니다. 인공지능의 세계에서 이 로봇들은 '대규모 언어 모델(LLM)'이라고 불립니다. 이들은 오늘 우리가 사용하는 챗봇과 코드 도우미들의 엔진입니다. 하지만 여기에는 함정이 있습니다. 모든 로봇이 모든 일에 적합한 것은 아니라는 점입니다. 때로는 천재가 필요한 것이 아니라, 그저 빠르고 저렴한 일꾼이 필요할 뿐입니다. 과학자들이 던지는 큰 질문은 이것입니다: 어떻게 하면 돈을 낭비하거나 잘못된 답을 얻지 않고, 당신이 가진 특정 작업에 딱 맞는 로봇을 선택할 수 있을까?

여기서 '라우팅(routing, 경로 배정)'이라는 개념이 등장합니다. 라우팅을 똑똑한 사서라고 생각해 보세요. 사서는 당신의 질문을 듣고, 당신이 정확히 어떤 종류의 도움이 필요한지 파악한 다음, 도서관에 있는 완벽한 로봇을 당신에게 안내합니다. 오랫동안 이 사서들은 '블랙박스'였습니다. 그들은 아무도 볼 수 없거나 이해할 수 없는 비밀스럽고 복잡한 수학적 계산에 근거하여 결정을 내렸습니다. 만약 사서가 당신을 엉뚱한 로봇에게 보냈다면, 당신은 왜 그런 일이 일어났는지 알 수 없었고, 이를 고칠 방법도 없었습니다. 이 새로운 논문은 이와는 다른 새로운 종류의 사서를 소개합니다. 이 사서는 단순히 추측하는 것이 아니라, 선택을 내리기 전에 자신의 생각을 평이한 언어로 설명합니다.

Routesplain을 만나보세요: 자신의 선택을 설명하는 사서

이 논문의 저자들은 컬럼비아 대학교와 오라클 AI(Oracle AI)의 연구진과 함께 협력하여 Routesplain이라는 새로운 시스템을 구축했습니다. 그들의 목표는 매우 구-체적인 문제를 해결하는 것이었습니다. 즉, 소프트웨어 관련 질문(예: "이 깨진 코드를 수정해줘" 또는 "파이썬으로 프로그램을 작성해줘")을 가장 적합한 AI 모델로 전달하면서, 비용을 절감하고 답변이 실제로 정확한지 확인하는 것입니다.

Routesplain은 어떤 AI를 사용할지 결정하기 위해 신비로운 블랙박스를 사용하는 대신, 모든 질문을 단순하고 이해하기 쉬운 단서들로 분해하는 탐정처럼 행동합니다. 그들은 이 단서들을 '개념(concepts)'이라고 부릅니다. 당신이 질문을 던지면, Routesplain은 단순히 단어만을 보는 것이 아니라 다음과 같은 몇 가지 구체적인 질문을 스스로에게 던집니다:

• 작업(Task)은 무엇인가? (코드를 작성하는 것인가, 버그를 수정하는 것인가, 아니면 과학 질문에 답하는 것인가?)
• 관련된 언어는 무엇인가? (파이썬인가, 러스트(Rust)인가, 아니면 스페인어 같은 특정 자연어인가?)
• 난이도는 어느 정도인가? (단순한 요청인가, 아니면 매우 복잡한 퍼즐인가?)
• 도메인(Domain)은 무엇인가? (네트워크에 관한 것인가, 시간(time)에 관한 것인가, 아니면 일반 수학에 관한 것인가?)

이러한 개념들을 식별하고 나면, Routesplain은 두 번째 단계를 통해 어떤 AI 모델이 가장 적합한지 결정합니다. 이는 마치 "오, 이것은 까다로운 러스트 프로그래밍 문제니까, 저렴한 범용 모델이 아니라 러스트 전문가 로봇에게 보내야겠어"라고 말하는 것과 같습니다.

왜 이것이 중요한가: "블랙박스" 문제
이 논문 이전의 대부분의 모델 선택 시스템은 마법의 8번 구슬(Magic 8-ball)과 같았습니다. 질문을 하면 답을 주긴 하지만, 그 논리를 볼 수 없었습니다. 저자들은 이것이 나쁜 이유가 시스템이 실수를 했을 때 이를 고칠 수 없기 때문이라고 주장합니다. Routesplain은 다릅니다. 이 시스템은 **해석 가능(interpretable)**합니다. 결정에 사용된 개념들을 당신에게 보여줍니다. 만약 당신이 시스템이 작업의 난이도를 잘못 이해했다고 생각한다면, 당신은 직접 개입하여 "잠깐, 이건 어려운 게 아니라 쉬운 거야"라고 말할 수 있고, 그러면 시스템은 즉시 마음을 바꿔 더 저렴한 로봇을 선택할 것입니다. 이것을 **개입(intervention)**이라고 하며, 이는 인간을 다시 운전석에 앉히는 게임 체인저가 됩니다.

대규모 테스트: 16개의 로봇, 8개의 작업
그들의 아이디어가 효과가 있는지 확인하기 위해, 연구진은 거대한 테스트를 설정했습니다. 그들은 16개의 가장 진보된 AI 모델(GPT-4.1, o3, Llama 4와 같은 유명한 모델 포함)을 모았고, 이를 8가지 유형의 소프트웨어 작업에 대해 테스트했습니다. 이 작업들은 코드 작성과 깨진 프로그램 수정부터 29가지 언어로 된 컴퓨터 과학 질문 답변까지 다양했습니다.

그들은 놀라운 사실을 발견했습니다: 모델마다 잘하는 작업이 극명하게 달랐습니다.

• 어떤 모델은 코드를 수정하는 데는 뛰어났지만, 코드를 작성하는 데는 형편없었습니다.
• 어떤 모델은 영어에는 강했지만, 힌디어 나 월로프어(Wolof) 같은 언어에는 어려움을 겪었습니다.
• 어떤 모델은 매우 비쌌지만, 단순한 작업에서는 저렴한 모델보다 아주 조금 더 나은 수준에 불과했습니다.

이러한 차이 때문에, 모든 것에 대해 단순히 "가장 똑똑한" 모델을 선택하는 것은 돈 낭비였습니다. 때로는 저렴한 모델이 실제로 최선의 선택이 되기도 했습니다.

결과: 더 똑똑하고 더 저렴하게
연구진이 Routesplain을 테스트했을 때, 이 시스템은 놀라운 성과를 보여주었습니다. Routesplain은 (이해하기 어려운) 가장 진보된 '블랙박스' 시스템들과 대등한 성능을 보이면서도, 훨씬 더 많은 비용을 절감했습니다.

• 정확도(Accuracy): Routesplain은 최고의 블랙박스 라우터들과 대등한 성능을 기록했습니다.
• 비용(Cost): 질문을 적절한 모델로 전달함으로써 많은 돈을 아꼈습니다. 예를 들어, 하나의 모델만 사용할 때보다 8.5 퍼센트 포인트 더 정확한 답변을 얻으면서도, 비용은 39% 적게 들었습니다.
• 병목 현상(The Bottleneck): 연구진은 또한 이 '설명 가능한' 시스템을 사용하여 어디에서 문제가 발생하는지 찾아냈습니다. 그들은 시스템이 저지른 가장 큰 실수가 작업의 **복잡성(complexity)**을 추측하는 과정에서 발생한다는 것을 발견했습니다. 만약 시스템이 어려운 작업을 쉽다고 판단하면, 저렴한 모델을 선택하게 되어 나쁜 답변을 얻게 됩니다. 이는 미래의 엔지니어들에게 정확히 무엇을 고쳐야 할지 알려줍니다: 바로 "복잡성 감지기(complexity detector)"를 더 똑똑하게 만드는 것입니다.

핵심 요약
이 논문은 우리가 결정을 내리기 위해 신비롭고 설명 불가능한 AI에 의존할 필요가 없다는 것을 시사합니다. 질문을 '언어', '도메인', '난이도'와 같이 인간이 읽을 수 있는 단순한 개념으로 분해함으로써, 우리는 정확할 뿐만 아니라 공정하고, 투명하며, 편집 가능한 라우팅 시스템을 구축할 수 있습니다.

저자들은 우리가 두 마리 토가끼를 잡을 수 있음을 보여줍니다. 즉, 가장 똑똑한 AI 모델의 높은 성능을 누리면서도, 더 저렴한 모델의 낮은 비용을 지불할 수 있으며, 동시에 결정이 내려진 이유를 정확히 알 수 있다는 것입니다. 이는 마치 당신에게 단순히 책을 가리키는 것이 아니라, "당신이 추리 소설을 찾으셨기 때문에 이 책을 골랐습니다. 이 도서관에서 이 책이 최고의 추리 소설입니다"라고 말해주는 사서와 같습니다. 그리고 만약 당신이 "아니요, 사실 저는 로맨스 소설을 원해요"라고 말한다면, 사서는 당신이 방을 떠날 필요도 없이 즉시 책을 바꿔주는 것과 같습니다.