당신은 거대한 지식의 도서관을 위한 매우 바쁘고 첨단 기술이 집약된 우체국을 운영하고 있다고 상상해 보세요. 매일 수백만 통의 편지(질의)가 도착하여 법률 계약부터 의료 조언에 이르기까지 모든 것에 대한 도움을 요청합니다. 하지만 여기 함정이 있습니다. 어떤 편지는 위험하고, 어떤 것은 엉터리이며, 어떤 것은 도서관이 다루지 않는 주제에 대해 묻고 있습니다. 만약 당신이 위험한 편지를 의학 전문 사서에게 보낸다면, 잘못된 답변을 얻거나 안전상의 문제를 일으킬 수 있습니다. 그래서 어떤 편지가 전문가에게 도달하기 전에, 반드시 입구에서 "가디언(Guardian)"을 통과해야 합니다. 이 가디언은 두 가지 임무를 수행합니다. 첫째, 이 편지가 안전한지, 그리고 도서관에 속하는 내용인지 결정하는 것이고, 둘째, 만약 안전하다면 어떤 특정 전문가(법률, 금융 또는 의료)가 읽어야 할지 빠르게 파악하는 것입니다.

오랫동안 사람들은 이 작업이 까다롭기 때문에 이 가디언 역할을 수행하기 위해 거대하고 초지능적인 로봇이 필요하다고 생각했습니다. 하지만 거대한 로봇은 느리고, 비싸며, 전기를 많이 소비합니다. 이 논문은 재미있는 질문을 던집니다. 우리는 더 작고, 저렴하며, 빠른 "주머니 속 로봇(Small Language Models)"을 사용하여 이 가디언 역할을 수행할 수 있을까요? 문제는 이 작은 로봇들이 가끔 혼란을 겪는다는 점입니다. 그들은 엉터리를 찾아내는 데는 뛰어날지 모르지만, 실제 질문을 마주하면 너무 수줍어하며 특정 전문가를 선택하지 못하거나 게임의 규칙을 잊어버리기도 합니다. 연구진은 로봇 자체를 다시 만들지 않고도, 단지 우리가 주는 지침(instructions)을 변경함으로써 이 작은 로봇들이 규칙을 더 잘 따르도록 가르칠 수 있는지 알아보고자 했습니다.

가디언의 딜레마

인공지능의 세계에는 이야기를 쓰고, 수학 문제를 풀고, 무엇에 대해서든 대화할 수 있는 천재적이고 모든 것을 아는 마법사 같은 "대규모 언어 모델(Large Language Models)"이 있습니다. 하지만 이들은 무겁고 느립니다. 실시간 작업에 유용하게 만들기 위해, 우리는 종종 그 앞에 "라우터(router)"를 둡니다. 이 라우터를 클럽의 문지기라고 생각해 보세요. 문지기는 두 가지를 즉시 결정해야 합니다. "이 사람이 들어올 자격이 있는가?" (안전성/분포 외 데이터 여부) 그리고 "어느 VIP 라운지로 가야 하는가?" (의도/분포 내 데이터 여부).

만약 문지기가 너무 엄격하면, 좋은 손님을 쫓아내게 됩니다(유효한 질문을 거절함). 만약 너무 느슨하면, 문제아들을 들여보내게 됩니다(안전하지 않은 질문을 허용함). 논문에서는 이를 "가드된 쿼리 라우팅(Guarded Query Routing)"이라고 부릅니다. 목표는 클럽을 안전하게 유지하면서 적절한 사람들을 적절한 방으로 보내기에 충분히 빠르고, 저렴하며, 정확한 문지기를 찾는 것입니다.

실험: 주머니 속 로봇 훈련시키기

연구진은 다양한 크기(2억 7천만 개의 "뇌 세포(파라미터)"를 가진 아주 작은 것부터 700억 개에 달하는 큰 것까지)를 가진 22개의 서로 다른 "주머니 속 로봇(Small Language Models)"을 모았습니다. 그들은 이 로봇들을 세 가지 유형의 유효한 질문(법률, 금융, 의료)과 일곱 가지 유형의 까다롭거나 주제에서 벗어난, 혹은 위험한 질문들로 채워진 거대한 장애물 코스인 GQR-Bench로 테스트했습니다.

연구진은 유효한 질문을 얼마나 잘 포착했는지와 나쁜 질문을 얼마나 잘 거절했는지 사이의 균형을 나타내는 특별한 점수인 GQR-Score를 사용하여 로봇을 측정했습니다. 만약 로봇이 모든 것을 거절한다면 쓸모가 없기 때문에 낮은 점수를 받게 됩니다. 반대로 모든 것을 허용한다면, 안전하지 않기 때문에 역시 낮은 점수를 받게 됩니다.

커다란 발견: 중요한 것은 크기가 아니라 지침이다

팀이 발견한 첫 번째 사실은 크기가 전부가 아니라는 점입니다. 가장 크고 강력한 로봇인 (Gemma 3 27B)는 96.01이라는 환상적인 점수를 받았습니다. 그런데 놀랍게도, 훨씬 작은 로봇인 (Qwen3.5 9B)도 표준 지침 세트를 사용했을 때 거의 동일한 점수(94.55)를 기록했습니다. 중간 크기의 로봇인 (Mistral 7B) 역시 81.79라는 꽤 괜찮은 점수를 기록했습니다.

하지만 아주 작은 로봇들은 이상한 문제를 보였습니다. 그들은 모든 것에 대해 "아니오!"라고 말하는 데 너무 능숙했습니다. 예를 들어, Granite 4 Tiny 로봇은 실수를 할까 봐 너무 겁을 먹은 나머지 모든 질문의 **99.75%**를 거절했습니다! 심지어 좋은 질문들조차 말이죠. 이 로봇은 유효한 질문을 단 **37.29%**의 확률로만 올바르게 식별했습니다. 이는 마치 클럽을 운영하는 가장 안전한 방법은 문을 잠그고 아무도 들여보내지 않는 것이라고 결정해 버린 문지기와 같았습니다.

마법 같은 해결책: "예시" 기법

연구진은 궁금했습니다. "우리가 지침을 바꾸는 것만으로 이 수줍은 로봇들을 고칠 수 있을까?" 그들은 로봇을 재학습시키지 않았습니다(이는 로봇의 뇌를 다시 만드는 것과 같습니다). 대신, **프롬프트 엔지니어링(Prompt Engineering)**이라는 기술을 사용했습니다. 이것은 로봇에게 일을 시작하기 전에 요약 노트나 일련의 예시를 주는 것과 같습니다.

그들은 몇 가지 방법을 시도했지만, 결과는 로봇마다 달랐습니다. Granite 4 Tiny 로봇에게 가장 효과적이었던 방법은 사실 "예시" 기법이 아니라, DSPy Baseline이라 불리는 더 단순한 지침 형식이었습니다. 이 방법은 불필요한 수식어를 제거하고 로봇에게 엄격하고 핵심적인 템플릿을 제공했습니다. 이 방식은 로봇의 점수를 형편없는 54.29에서 훌륭한 83.05로 끌어올렸습니다. 이제 로봇은 모든 것을 거절하는 대신 실제로 우편물을 분류하기 시작했습니다.

Mistral 7B와 같은 다른 로봇들의 경우, "예시" 기법(이를 Few-Shot Prompting이라 부름)이 진짜 마법이었습니다. 당신이 신입 직원에게 우편물을 분류하는 법을 가르치고 있다고 상상해 보세요. 단순히 "우편물을 분류해"라고 말하는 대신, 세 가지 예시를 보여주는 것입니다:

1. "이 편지는 소송에 관한 것입니다 -> 법률로 보내세요."
2. "이 편지는 주식에 관한 것입니다 -> 금융으로 보내세요."
3. "이 편지는 고양이에 관한 것입니다 -> '거절'함에 넣으세요."

연구진이 Mistral 7B 로봇에게 이 예시들을 주었을 때, 점수는 81.79에서 90.87로 뛰어올랐습니다. Qwen3.5 9B 로봇 또한 이 방법을 통해 거의 거대 로봇만큼이나 뛰어난 95.74에 도달했으며, 이는 훨씬 더 빠르게 작동합니다.

논문은 문제가 작은 로봇들이 답을 몰라서가 아니라, 게임의 규칙을 따르는 법을 몰랐던 것이라고 시사합니다. 예시(또는 엄격한 템플릿)는 올바른 답변이 어떤 모습인지 정확히 보여주었고, 로봇들은 즉시 감을 잡았습니다.

트레이드오프: 속도 vs 정확도

하지만 작은 함정이 있습니다. 로봇에게 예시가 담긴 요약 노트를 주면, 로봇이 읽어야 할 메시지가 길어집니다. 이로 인해 로봇은 약간 더 느려집니다. 연구에 따르면 이러한 예시를 사용하는 것은 질문 하나당 답변 시간을 약 2배에서 6배 정도 길게 만들었습니다. 하지만 여론은 여전히 매우 빨랐습니다(질문당 약 0.05초에서 0.28초). 이는 대부분의 실제 애플리케이션에 충분히 빠른 속도입니다.

연구진은 또한 교사가 로봇에게 지침을 자동으로 다시 써주는 것과 같은 더 복잡한 방법인 GEPA를 시도했습니다. 하지만 이는 단순히 몇 가지 명확한 예시를 주는 것만큼 효과적이지 않았습니다. 사실, 일부 가장 작은 로봇들의 경우, 복잡한 재작성은 오히려 상황을 악화시켜 로봇을 다시 혼란에 빠뜨렸습니다.

이것이 미래에 의미하는 바

핵적인 결론은, 훌륭한 가디언이 되기 위해 항상 가장 크고 비싼 로봇이 필요한 것은 아니라는 점입니다. 더 작고 저렴한 로봇도 적절한 지침을 준다면 그 역할을 충분히 해낼 수 있습니다. 구체적으로, 몇 가지 예시를 보여주는 것(Few-Shot)은 로봇이 수줍음을 극복하고 규칙을 따르도록 돕는 데 효과적이며, 어떤 특정 로봇들에게는 엄격하고 핵심적인 템플릿이 가장 잘 작동합니다.

그러나 논문은 만약 로봇이 너무 작다면(예: 0.8 빌리언 파라미터 모델), 최고의 예시조차도 그것을 구원하기에 충분하지 않을 수 있다고 경고합니다. 또한, 로봇이 이미 훌륭하게 수행하고 있다면 예시를 추가하는 것이 큰 도움이 되지 않을 뿐더러 불필요하게 속도만 늦출 수도 있습니다.

요약하자면, 안전하고 빠른 AI 시스템을 구축하기 위한 비결은 단순히 더 큰 뇌를 사는 것이 아니라, 당신이 가진 뇌와 어떻게 대화하느냐에 달려 있습니다. 약간의 "프롬프트 엔지니어링"은 혼란스러워하고 지나치게 조심스러운 로봇을 날카롭고 효율적인 가디언으로 탈바꿈시킬 수 있습니다.