당신이 초지능형 로봇에게 인간처럼 말하는 법을 가르치려 한다고 상상해 보십시오. 당신은 책, 웹사이트, 코드, 이메일로 이루어진 거대한 도서관을 로봇에게 먹여야 합니다. 하지만 여기서 까다로운 점이 있습니다. 모든 책이 다 똑같은 가치를 지닌 것은 아니라는 사실입니다. 만약 로봇에게 요리 레시피를 99% 먹이고 수학 교과서를 1%만 먹인다면, 그 로봇은 대수학을 못 하는 요리사가 될 것입니다. 만약 주로 오래된 이메일을 먹인다면, 기업용 로봇처럼 말하는 법을 배울 수도 있습니다. 이것이 바로 챗봇이나 글쓰기 보조 도구의 뒤에 있는 AI 두뇌인 **거대 언어 모델(LLMs)**의 세계입니다. 이들을 천재적으로 만드는 비결은 단순히 얼마나 많은 데이터를 먹이느냐가 아니라, 어떤 '혼합물'을 소비하게 하느냐에 달려 있습니다.

오랫동안 인간들은 코드 한 줌, 뉴스 한 스푼, 위키피디아 한 꼬집을 섞는 식으로 완벽한 레시피를 손으로 직접 추측하려 노력했습니다. 하지만 데이터의 도서관이 수십억 개로 늘어나면서, 인간의 추측은 더 이상 통하지 않게 되었습니다. 서로 다른 유형의 데이터 사이의 관계가 너무 복잡해졌기 때문입니다. 일부 연구자들은 작은 테스트에서 로봇이 얼마나 잘 수행하는지를 바탕으로 각 데이터 유형을 얼마나 사용할지 예측하는 '수정구슬'을 만들어 이 문제를 해결하려 했습니다. 다른 이들은 그냥 로봇이 모든 것을 맛보게 하고 실시간으로 혼합물을 조절하게 만들기도 했습니다. 불행히도, 수정구슬은 데이터가 너무 커지면 깨져버렸고, "맛보고 조절하는" 방식은 너무 혼란스럽고 느려서 작업을 끝내는 것이 사실상 불가능했습니다.

이 논문은 완벽한 데이터 레시피를 찾는 새로운 방법인 ByDoRe를 소개합니다. 데이터를 고정된 규칙에 따라 예측하거나 추측하는 대신, 저자들은 데이터 혼합을 확률 게임처럼 다룹니다. 그들은 **베이지안 추론(Bayesian inference)**이라는 영리한 수학적 트릭을 사용하는데, 이는 단순히 하나의 정답을 고르는 것이 아니라, 학습하면서 자신의 확신을 업데이트하며 일련의 "아마도"라는 답변들을 계속 염두에 두는 스마트한 조수와 같습니다. 이 방법을 사용하여 팀은 학습 과정을 안정화하여 이전의 시도들보다 더 빠르고 신뢰할 수 있게 만들었습니다. 그들의 실험은 이 접근 방식이 데이터가 예측 불가능하게 움직이는 상황에서도, 다른 방법들에 비해 훨씬 적은 컴퓨터 전력을 사용하면서도 더 나은 데이터 혼합을 찾아낼 수 있음을 시사합니다.

문제점: 로봇의 까다로운 입맛

당신이 궁극의 스무디를 만들려는 셰프라고 상상해 보십시오. 당신에게는 블렌더, 산더미 같은 과일, 그리고 레시피 북이 있습니다. 만약 그냥 아무거나 무작위로 던져 넣는다면, 스무디 맛은 엉망이 될 것입니다. 만약 10년 전 인간 셰프가 쓴 레시 recipe를 따른다면, 괜찮을 수는 있겠지만 완벽하지는 않을 것입니다.

AI의 세계에서 "스무디"는 훈련 데이터이며, "셰프"는 각 재료(코드, 뉴스, 이야기 등)를 얼마나 넣을지 결정하는 알고리즘입니다. 초기 AI 모델은 인간 셰프의 추측에 의존했습니다. 하지만 데이터의 양이 폭발적으로 증가하면서, 이러한 추측은 쓸모없어졌습니다. AI는 혼합물을 결정할 더 스마트한 방법이 필요했습니다.

일부 과학자들은 작은 스무디 한 컵을 보고 전체 배치의 완벽한 레시피를 추측하는 "예측기"를 만들려고 시도했습니다. 그들은 특정 과일(예: 위키피디아)이 작은 컵에서 맛이 좋다면, 그것이 거대한 통 안에서도 가장 중요한 재료가 될 것이라고 가정했습니다. 하지만 이 논문은 이것이 종종 틀린다는 것을 보여줍니다. 작은 규모에서 맛이 좋다고 해서 그것이 전체를 위한 최고의 선택이라는 뜻은 아닙니다. 실제로 이 논문은 데이터가 커짐에 따라 서로 다른 재료의 "중요도"가 뒤바뀔 수 있다는 것을 발견했습니다. 작은 규모에서 최고였던 재료가 큰 규모에서는 최악의 재료가 될 수도 있습니다. 이것은 마치 소량의 소금이 수프를 완벽하게 만든다고 생각했다가, 거대한 솥에서는 수프를 못 먹게 만든다는 것을 깨닫는 것과 같습니다.

다른 과학자들은 다른 접근 방식을 시도했습니다. 그들은 AI가 데이터를 맛보고 실시간으로 혼합물을 조절하게 했습니다. 이것은 셰프가 매 초마다 스무디를 맛보고 설탕이나 과일을 더 넣는 것과 같습니다. 문제는 무엇일까요? 셰프가 어지러움을 느낀다는 것입니다. 조정 과정이 너무 격렬하고 요동쳐서 스무디의 맛이 안정되지 않습니다. 이를 바로잡는 데 시간이 너무 오래 걸리고, 컴퓨터가 너무 지쳐서(실행 비용이 많이 들어서) 그럴 만한 가치가 없게 됩니다.

해결책: 베이지안의 "스마트한 추측"

이 논문의 저자인 샹 위안(Xiang Yuan)과 그의 팀은 추측하기를 멈추고 데이터를 엄격한 틀에 가두는 것을 그만두기로 했습니다. 대신, 그들은 ByDoRe(Bayesian Domain Reweighting)라고 불리는 시스템을 구축했습니다.

ByDoRe를 특정한 레시피 하나를 고르는 셰프가 아니라, 모든 가능한 좋은 레시피의 정신적 지도를 가지고 있는 셰프로 생각하십시오. "위키피디아가 30% 필요하다"라고 단정하는 대신, 시스템은 "위키피디아가 약 30% 필요할 것 같지만, 로봇의 상태에 따라 25%에서 35% 사이 어디쯤일 수 있다"라고 말합니다.

이 "정신적 지도"는 **디리클레 분포(Dirichlet distribution)**라는 수학적 개념에 기반합니다. 색깔별로 다른 데이터 유형을 나타내는 구슬 주머니를 상상해 보십시오. 시스템은 구슬 하나를 꺼내 "이것이 필요한 색이다"라고 말하는 대신, 전체 주머니를 바라보며 각 색깔이 정답일 확률을 이해합니다. 이는 이전 방식들이 실패했던 격렬한 변동과 요동치는 조정을 완화하는 데 도움을 줍니다.

더 빠르게 만들기 위해, 그들은 로봇의 현재 성능을 보고 다음 "정신적 지도"가 어떻게 되어야 할지 추측하는 "스마트 예측기"(신경망)를 추가했습니다. 이것은 로봇이 스무디를 맛보는 것을 지켜보고는 즉시 "헤이, 로봇이 코드 부분을 좋아했으니, 코드의 확률을 조금 높여보자"라고 제안하는 부주방장(sous-chef)을 두는 것과 같습니다.

발견한 것: 더 부드럽고 빠른 여정

팀은 과학 논문부터 채팅 로그까지 17가지 유형의 데이터가 포함된 The Pile이라는 거대한 데이터셋을 사용하여 새로운 방법을 테스트했습니다. 그들은 ByDoRe를 격렬한 "맛보고 조절하는" 방식(DoReMi)과 "예측기" 방식(RegMix, AutoScale)을 포함한 기존의 최고 방법들과 비교했습니다.

그들이 발견한 내용은 다음과 같습니다:

1. 안정적이다: 기존의 "맛보고 조절하는" 방식이 데이터 혼합물이 위아래로 격렬하게 요동치는 롤러코스터였다면, ByDoRe는 부드러운 기차 여행 같았습니다. 가중치(레시피 비율)가 빠르게 안정되었고 그 상태를 유지했습니다.
2. 저렴하다: 이것이 핵심입니다. 최적의 혼합물을 찾기 위해 기존 방식들은 엄청난 양의 컴퓨터 전력을 요구했습니다. ByDoRe는 최고 경쟁자인 RegMix가 필요로 했던 컴퓨터 전력(FLOPs로 측정)의 단 **0.8%**만을 사용하여 더 나은 혼합물을 찾아냈습니다. 데이터가 까다로웠던 케이스 2의 경우, ByDo Re는 최고 경쟁자의 비용 중 단 **1.2%**만을 사용했습니다.
3. 다른 방식이 실패할 때도 작동한다: 논문은 데이터가 (다른 방식들이 의존하는) "규칙"을 위반하며 나쁘게 행동하는 시나리오를 테스트했습니다. 기존 방식들은 무너지고 형편없는 결과를 냈습니다. 그러나 ByDoRe는 적응하여 훌륭한 혼합물을 찾아냈으며, 일부 테스트에서는 인간 전문가를 능가하기도 했습니다.

한 특정 테스트에서 ByDoRe는 다양한 언어 작업에서 평균 점수 **48.50%**를 기록하며, 이전의 최고 자동화 방식인 RegMix(48.22%)를 앞질렀습니다. 더욱 인상적인 것은, 데이터가 일반적인 범위를 크게 벗어난 특수 테스트에서 ByDoRe는 **38.35%**를 기록한 반면, 다른 자동화 방식들은 35% 미만에 머물며 고전했다는 점입니다.

이것이 왜 중요한가

이 논문은 AI에게 올바른 데이터를 먹이는 법을 가르치기 위해 엄격한 규칙이나 비용이 많이 들고 혼란스러운 추측에 의존할 필요가 없음을 시사합니다. 불확실성과 싸우는 대신 불확실성을 수용하는 확률적 접근 방식을 사용함으로써, 우리는 훨씬 더 빠르고 적은 컴퓨팅 전력을 사용하여 더 나은 데이터 혼합을 찾을 수 있습니다.

저자들은 이 방법이 "안정적이고 민첩한 프레임워크"를 제공한다고 결론짓습니다. 이 방식은 단 한 종류의 데이터에만 국한되지 않고, 현실 세계의 무질서하고 예측 불가능한 정보를 처리할 수 있을 만큼 견고해 보입니다. 이 논문이 AI의 모든 문제를 해결했다고 주장하는 것은 아니지만, 데이터 선택을 정답이 하나뿐인 수학 문제가 아니라, AI가 자신의 진화하는 직관을 신뢰하는 법을 배우는 역동적이고 확률적인 여정으로 취급해야 한다는 유망한 새로운 방향을 제시하고 있습니다.