인공지능의 세계를 거대한 로봇들이 세상의 모든 언어를 말하는 법을 배우려고 애쓰는, 북적이는 거대한 도서관이라고 상상해 보세요. 오랫동안 이 로봇들은 인터넷이라는 생명줄에 연결된 채, 멀리 떨어진 곳의 거대하고 초저온으로 유지되는 데이터 센터에 살아야만 했습니다. 그들은 마치 거대한 전력망에 연결되어 있어야만 생각할 수 있는 똑똑한 학자들과 같았습니다. 하지만 만약 당신이 주머니 속, 즉 당신의 휴대폰 안에 살면서 신호가 없는 동굴 속에서도 작동할 수 있는 학자를 원한다면 어떨까요? 이것이 바로 "온디바이스(on-device)" AI의 꿈입니다. 이를 실현하기 위해 과학자들은 이 거대한 뇌들을 지능을 잃지 않으면서도 작은 공간에 들어갈 수 있도록 축소하려고 노력하고 있습니다. 큰 문제는 더 작은 뇌는 보통 더 멍청한 로봇을 의미한다는 것입니다. 아주 구체적이고 고품질인 수업을 통해 아주 잘 가르치지 않는다면 말이죠.

여기, 독일어를 위해 특별히 작고 매우 똑똑한 언어 모델을 만들기로 결정한 프라운호퍼 연구소(Fraunhofer Institute) 연구진의 새로운 프로젝트, ELMOD가 있습니다. 언어 모델을 수십억 권의 책을 읽으며 배우는 학생이라고 생각해 보세요. 보통 학생을 천재로 만들기 위해서는 산더미 같은 책을 던져줍니다. 하지만 ELMOD의 제작자들은 어떤 책을 읽을지 훨씬 더 신중하게 결정함으로써 학생을 똑같이 똑똑하게 만들 수 있는지 확인하고 싶었습니다. 그들은 단순히 인터넷에서 무작위로 페이지를 긁어모은 것이 아닙니다. 그들은 소음을 걸러내고, 문법을 수정하며, 심지어 지루한 부분을 교육적으로 더 유익하게 다시 쓰는 엄격한 사서처럼 행동했습니다. 그들의 목표는 모바일 기기에서 효율적으로 실행될 수 있는 27억 개의 파라미터(뇌의 크기를 측정하는 단위)를 가진 모델을 만들어, 똑똑한 독일어 비서를 갖기 위해 슈퍼컴퓨터가 필요하지 않다는 것을 증명하는 것이었습니다.

주머니 속 천재를 위한 레시피

ELMOD의 이야기는 단순한 질문에서 시작됩니다: 휴대폰에 들어갈 만큼 작으면서도 훨씬 더 큰 모델과 경쟁할 수 있을 만큼 똑똑한 독일어 구사 AI를 만들 수 있을까? 연구진은 인터넷에서 가져온 혼란스러운 쓰레기 더미와 같은 방대한 데이터 뭉치에서 시작했습니다. 그들에게는 4.83조 개의 단어가 있었지만, 대부분은 광고, 깨진 링크, 반복적인 헛소리 같은 쓰레기였습니다.

1단계: 위대한 청소
먼저, 데이터를 청소해야 했습니다. 마치 미식 요리를 만들려는데 재료에 돌과 플라스틱 포장지가 섞여 있는 상황과 같습니다. 팀은 "돌"을 제거하기 위해 일련의 필터를 사용했습니다. 숫자로만 이루어진 페이지를 버리고, 독일어를 원하는데 주로 영어로 된 텍스트를 제거했으며, 심지어 너무 무례하거나 부적절한 단어들도 걸러냈습니다. 또한 누군가 요리책에 똑같은 레시피 카드를 수천 번 복사해 붙여넣은 것을 찾아내어 제거하는 것과 같은 "중복 제거(deduplication)"라는 영리한 기술을 사용했습니다. 이 과정은 똑같은 지루한 내용을 반복해서 읽느라 시간과 에너지를 낭비하는 것을 방지했기에 매우 중요했습니다.

2단계: 품질 검사
쓰레기를 제거한 후, 그들은 새로운 문제에 직면했습니다. 남은 책들이 모두 학습에 좋은 것은 아니라는 점이었습니다. 어떤 것은 단순한 뉴스 헤드라인이었고, 어떤 것은 깊이 있는 과학 논문이었습니다. 연구진은 AI가 "최고의" 책들로부터 배우기를 원했습니다. 그들은 스마트한 AI 판사(더 큰 모델)를 사용하여 텍xt의 교육적 가치를 0에서 5까지의 척도로 채점했습니다. 그들은 최고 품질의 책(점수 2점 이상)으로 훈련하는 것이 모델을 더 똑똑하게 만들지만, 그보다 더 높은 점수(3점 이상)로 올라가도 추가적인 상승 효과는 없다는 것을 발견했습니다. 하지만 여기서 영리한 부분이 나옵니다. 그들은 "중간 정도"의 점수(약 1.5~2점)를 가진 책들도 업그레이드할 수 있다는 사실을 깨달았습니다.

3단계: 재작성 마법
여기서 마법이 일어났습니다. 팀은 "중간 품질"의 텍스트를 가져와 다른 AI에게 재작성을 요청했습니다. 그들은 AI에게 이렇게 말했습니다. "이 지루한 블로그 포스트를 전문가를 위한 교과서의 한 장이나, 아이들을 위한 재미있는 이야기, 또는 전문적인 블로그처럼 다시 써줘." 이렇게 함으로써, 그들은 평범한 데이터를 고품질의 수업으로 탈바 것입니다. 이는 마치 이야기의 초안을 가져와 빛이 날 때까지 다듬는 것과 같았습니다. 그들은 이 방식으로 약 730억 개의 새로운 토큰(텍스트 덩어리)을 생성하여, 새로운 책을 찾을 필요 없이 도서관을 효과적으로 업그레이드했습니다.

4단계: 훈련
정제되고 업그레이드된 도서관이 준비되자, 그들은 모델 훈련을 시작했습니다. 그들에게는 엄격한 예산이 있었습니다. 강력한 H100 GPU(AI 훈련을 구동하는 엔진)를 55,000시간만 사용할 수 있었습니다. 이를 최대한 활용하기 위해, 그들은 모델이 학습하는 방식을 실험했습니다. 그들은 숫자 처리 방식과 독일어, 영어, 코드의 다양한 혼합 비율을 시도했습니다. 그들은 영어 50%, 독일어 40%, 코드 10%의 특정 조합이 가장 효과적이라는 것을 발견했습니다. 또한 학습 과정의 마지막 단계에서 학습 속도를 늦추는 기술("애닐링(annealing)")이 모델이 지식을 더 잘 정착시키는 데 도움이 된다는 것을 발견했는데, 이는 마치 학생이 큰 시험 전에 노트를 차분하게 복습하는 것과 같습니다.

결과: 작지만 강하다

완료되었을 때, 그들은 27억 개의 파라미터를 가진 ELMOD-2.7B를 갖게 되었습니다. 이를 설명하자면, 이 분야를 지배하는 거물들에 비하면 매우 작은 규모입니다. 하지만 그들이 독일어 챌린지에 이 모델을 테스트했을 때, 결과는 놀라웠습니다.

ELMOD는 단순히 잘한 수준을 넘어, 그 크기 급(30억 파라미터 미만)에서 가장 강력한 성능을 보였으며, 특히 독일어 벤치마크에서 거의 3배 더 큰 모델(70억 파라미터)과 대등한 성능을 보여주었습니다. 그것은 마치 거대한 트럭만큼 빠르게 달릴 수 있는 컴팩트 스포츠카와 같았습니다. 연구진은 까다로운 논리 질문에 답하는 것부터 복잡한 이야기를 이해하는 것까지 다양한 과제를 통해 테스트를 진행했고, 두 배의 데이터로 훈련된 훨씬 더 큰 모델들과도 대등하게 맞섰습니다.

그들은 또한 모델이 안전하고 실생활에 준비되었는지 확인했습니다. 그들은 이메일 주소나 신용카드 번호와 같은 개인 정보를 훈련 데이터에서 제거하여, AI가 실수로 개인적인 세부 정보를 암기하지 않도록 했습니다. 마지막으로, 그들은 이 모델이 실제로 휴대폰에서 실행될 수 있음을 증명했습니다. 그들은 다양한 안드로이드 폰과 맥북 프로에서 모델을 실행하는 데모 앱을 구축하여, 근처에 슈퍼컴퓨터가 없더라도 인간 사용자에게 유용할 만큼 빠르게 텍스트를 처리할 수 있음을 보여주었습니다.

이것이 중요한 이유

이 논문은 위대한 AI를 만들기 위해 무제한의 돈을 가진 거대 기술 기업이 될 필요는 없다는 것을 보여줍니다. 노이즈를 걸러내고, 평균적인 것을 업그레이드하며, 모델을 어떻게 가르칠지 주의를 기울이는 등 데이터 품질에 대해 영리하게 행동함으로써, 당신의 주머니에 쏙 들어가는 강력한 도구를 만들 수 있습니다. ELMOD는 독일어의 경우, 작고 효율적인 모델이 크고 비싼 모델만큼 유능할 수 있음을 입증하며, 언제 어디서나 작동하는 프라이버시 친화적인 오프라인 AI 비서의 길을 열어줍니다.