인공지능의 세계를 거대하고 중요한 책들이 가득한 거대한 도서관이라고 상상해 보십시오. 오랫동안 사람들이 읽을 수 있었던 책은 오직 "거대 전집(Giant Tomes)"뿐이었습니다. 이 전집들은 엄청나게 똑똑한 백과사전이지만, 서가에 꽂아두기 위해서만 해도 사서 팀 전체와 발전소 하나가 필요할 정도의 거대한 규모를 자랑했습니다. 이 거대 전집들은 거의 모든 것에 답할 수 있었지만, 너무 비싸고 너무 무거워서 대부분의 사람이 소유하기에는 무리가 있었습니다. 현재 AI 과학의 핵심 질문은 단순히 "어떻게 하면 거대 전집을 더 똑똑하게 만들 것인가?"가 아니라, "우리는 어떻게 하면 슈퍼컴퓨터 없이도 특정 업무를 수행할 수 있을 만큼 똑똑하면서도, 주머니에 쏙 들어가는 크기의 작은 수첩을 만들 수 있을까?"입니다.

이를 이해하려면 두 가지를 알아야 합니다. 첫째, **소형 언어 모델(SLM)**이 있습니다. 이것은 '주머니 속의 수첩'과 같습니다. 이들은 일반적인 컴퓨터나 심지어 노트북에서도 실행될 수 있도록 설계된, 거대한 AI 뇌의 훨씬 작은 버전입니다. 둘째, **미세 조정(Fine-Tuning)**입니다. 이것은 모든 것에 대해 조금씩 알고 있는 범용 수첩을 가져다가 "이메일 분류하는 법"이나 "글자 수를 세는 법"과 같은 특정 주제에 대해 집중 과외를 시키는 것을 상상해 보십시오. 이는 책 전체를 다시 쓰는 것이 아니라, 단지 몇 개의 포스트잇을 붙이고 주요 섹션을 강조 표시하는 과정입니다. 이 논문은 다음과 같이 질문합니다. 만약 우리가 이 작은 수첩들을 가져다가 특정 목표를 향한 집중 과외를 시킨다면, 그것들이 로컬 환경의 일상적인 작업들을 수행할 수 있는 신뢰할 수 있는 전문가가 될 수 있을까?

논문의 미션: 주머니 속 수첩을 로컬 전문가로 만들기

"소형 언어 모델을 통한 AI의 민주화(Democratizing AI with Small Language Models)"라는 제목의 이 논문은, 방 안에서 가장 크고 비싼 AI를 갖는 것에 걱정하는 대신, 우리가 실제로 소유하고 통제할 수 있는 더 작고 저렴한 AI를 사용하는 방법을 확인하기 위한 통제된 실험입니다. 저자인 다니엘 세르소시모(Daniel Cersosimo)는 AI를 "민주화"한다는 것이 모든 사람이 슈퍼컴퓨터를 가져야 한다는 의미가 아니라, 작은 모델을 선택하고, 테스트하고, 특정 작업을 위해 커스터마이징하는 신뢰할 수 있는 단계별 프로세스를 갖는 것을 의미한다고 주장합니다.

이를 테스트하기 위해, 연구자는 9개의 서로 다른 소형 AI 모델을 위한 특별한 "시험"을 만들었습니다. 이 모델들은 아주 작은 것(135M 파라미터)부터 중간 크기의 소형 모델(3B 파라미터)까지 다양했습니다. 이 시험은 AI가 횡설수설할 수 있는 채팅 세션이 아니었습니다. 대신 글자 수 세기, 이메일 주소 추출하기, 또는 세차를 하는 것이 걷는 것보다 나은지 결정하기와 같은 16가지 주제를 다루는 1,085개의 문항으로 구성된 엄격한 객관식 시험이었습니다. 규칙은 엄격했습니다. AI는 반드시 정확히 하나의 글자(A, B, C, 또는 D)만을 출력해야 했으며, 그 외에는 아무것도 출력해서는 안 되었습니다. 만약 마침표를 찍거나, 공백을 넣거나, 완전한 문장을 썼다면 오답 처리되었습니다. 이는 컴퓨터 프로그램이 계속 작동하기 위해 깨끗하고 완벽한 답변이 필요한 실제 상황을 모사한 것입니다.

초기 결과: 훈련 전 누가 가장 똑똑한가?
특별한 훈련을 거치기 전, 모델들은 시험을 치렀습니다. 승자는 Qwen Coder 3B로, **75.67%**의 정답률을 기록했습니다. 그 뒤를 Qwen2.5 1.5B가 **67.10%**로 이었으며, 다른 몇몇 모델들도 64% 범위에 머물렀습니다. SmolLM2 135M과 같은 가장 작은 모델들은 약 **30%**의 점수를 기록하며 고전했습니다.

하지만 논문은 중요한 세부 사항을 지적합니다. 심지어 "승자"들조차 완벽하지 않았으며, 더 작은 모델들은 정답을 맞히지는 못하더라도 규칙(포맷팅)을 따르는 데는 놀라울 정도로 뛰어났습니다. 이는 작은 모델들이 이미 탄탄한 기초를 가지고 있음을 시사합니다. 즉, 그들은 단지 특정 업무를 위한 논리를 배울 필요가 있을 뿐이라는 것입니다.

실험: "집중 과외" (미세 조정)
다음으로, 연구자는 이 모델들의 일부를 가져와 **매개변수 효율적 미세 조정(PEFT)**이라는 기술을 사용하여 "집중 과외"를 실시했습니다. 이것은 똑똑한 학생을 데려다가 시험 문제 중 108개(시험의 작은 조각)에 대해서만 전문 튜터에게 집중 교육을 시키는 것과 같습니다. 이 과정은 예산 친화적인 컴퓨터 칩(NVIDIA L4)에서 수행되었으며, 이를 위해 슈퍼컴퓨터가 필요하지 않다는 것을 증명했습니다.

결과는 극적이었습니다. 이 짧은 훈련 후에:

• Qwen Coder 3B는 **65.74%**에서 **92.59%**로 상승했습니다. 이는 무려 +26.85 포인트의 개선입니다.
• SmolLM2 1.7B는 **46.30%**에서 **72.22%**로 올라갔으며, +25.92 포인트의 이득을 얻었습니다.
• Qwen2.5 1.5B는 +19.44 포인트 개선되어 **89.81%**에 도달했습니다.

가장 작은 모델들조차 개선되었지만, 일종의 "한계치"에 부딪혔습니다. SmolLM2 135M은 단 +5.55 포인트만 향상되었는데, 이는 어떤 모델들은 아무리 훈련하더라도 복잡한 작업을 배우기에는 너무 작다는 것을 시사합니다.

이것이 실제로 의미하는 바
이 논문은 우리가 다음 세대의 거대 AI 모델이 나올 때까지 기다릴 필요가 없다고 제안합니다. 대신, 우리는 다음과 같은 "워크플로우"를 사용할 수 있습니다:

1. 구체적이고 좁은 범위의 작업(예: 데이터 분류)을 선택한다.
2. 몇 가지 오픈 소스 소형 모델을 테스트하여 어떤 모델이 본래 그 작업에 적합한지 확인한다.
3. 표준 컴퓨터에서 해당 모델에 대해 저렴하고 빠르게 훈련(미세 조정)을 실시한다.
4. 이를 "로컬 전문가"로 배포한다.

이 연구는 모든 것을 위해 거대하고 중앙 집중화된 AI 시스템에 의존해야 한다는 생각에 명시적으로 반대합니다. 연구는 구조화되고, 규칙 기반이며, 틈새적인 워크로드를 위해 적절히 튜닝된 소형 모델이 매우 실행 가능하고 효과적인 솔책이 될 수 있음을 보여줍니다. 이 모델들은 여러분의 자체 하드웨어에서 실행되며, 데이터를 비공개로 유지하고, 비용은 훨씬 저렴합니다. 이는 이러한 특정 유형의 작업에 대해 거대 모델의 실질적인 대안이 됩니다.

주의점과 확신
저자들은 이것이 모든 문제에 대한 마법의 해결책은 아니라고 주의를 기울입니다. 결과는 이와 같은 유형의 "객관식, 엄격한 포맷" 시험과 제한된 작업에 특화되어 있습니다. 그들은 훈련 테스트가 작았기 때문에(단 108개의 질문) 어느 정도의 불확실성이 존재함을 인정하지만, 추세는 명확합니다. 또한 가장 작은 모델들은 하드 리밋(한계)이 있다는 점도 언급했습니다. 즉, 1억 3,500만 개의 파라미터를 가진 모델을 30억 개의 파라미터를 가진 모델만큼 똑똑하게 훈련시킬 수는 없습니다.

요약하자면, 이 논문은 접근 가능한 AI의 미래가 방 안에서 가장 큰 뇌를 갖는 것이 아니라, 작업에 적합한 도구를 갖추고, 로컬에서 커스터마이징하며, 그것을 사용하는 사람들이 직접 소유하는 것에 있다고 제안합니다. 이는 "모두를 위한 AI"라는 개념을 비싼 접근 권한의 꿈에서, 특정적이고 구조화된 필요를 위한 작고 전문화되며 저렴한 조력자라는 실질적인 현실로 바꾸어 놓습니다.