당신이 완벽한 케이크를 굽기 위해 노력하고 있다고 상상해 보세요. "빅 데이터(Big Data)"의 세계에서는 전 세계 모든 곳에서 온 수백만 개의 케이크가 가득 찬 거대한 창고를 가지고 있습니다. 이 케들을 모두 섞고, 수천 개의 샘플을 맛보며, 모두에게 통하는 평균적인 레시피를 찾아낼 수 있습니다. 이는 강력하지만, 한 가지 약점이 있습니다. 매우 희귀한 성분에 알레르기가 있는 사람의 구체적인 필요를 놓칠 수도 있고, 아주 작고 독특한 주방을 위한 케이크를 굽는 법은 모를 수도 있습니다. 여기서 "스몰 데이터(Small Data)"가 등장합니다. 스몰 데이터를 단순히 작은 부스러기 더미라고 생각하지 마세요. 그것은 돋보기와 같습니다. 그것은 단 몇 가지의 재료나 하나의 독특한 레시피만을 가지고 있을 때, 어떻게 하면 탁월한 추측과 현명한 결정을 내릴 수 있는지에 대한 예술입니다. 이는 당신이 가지고 있는 것—예를 들어 초콜릿 케이크가 브라우니와 비슷하다는 사실이나, 특정 알레르기 규칙이 소수의 집단에 적용된다는 점—을 활용하여 큰 그림이 빠져 있는 빈틈을 채우는 방법입니다. 이것은 단지 수학에 관한 것이 아닙니다. 이것은 공정함에 관한 것입니다. 만약 우리가 수백만 명의 목소리에만 귀를 기울인다면, 소수의 사람들을 잊어버릴 수 있습니다. 그리고 개인 맞춤형 의료, 맞춤형 기술, 공정한 정책이 중요한 세상에서, 소수를 잊는다는 것은 사람들을 뒤처지게 만드는 것을 의미합니다.

과학자들과 정책 전문가들로 구성된 팀이 작성한 이 논문은 "헤이, 똑똑한 AI를 만들기 위해 데이터가 가득 찬 창고가 꼭 필요한 건 아니에요!"라고 말해주는 친절한 가이드북과 같습니다. 저자들은 빅 데이터가 일반적인 트렌드를 포착하는 데는 훌륭하지만, 특정 개인, 희귀 질환, 또는 독특한 상황을 해결해야 할 때는 종종 실패한다고 주장합니다. 그들은 전통적인 통계학(오랫동안 적은 숫자로 작업하는 데 능숙했던 학문)의 지혜와 인공지능의 새로운 초능력을 결합함으로써, 다수뿐만 아니라 모두를 위해 더 똑똑하고, 더 공정하며, 더 도움이 되는 시스템을 구축할 수 있다고 제안합니다.

핵심 아이디어: 왜 "작은 것"이 "부족한 것"이 아닌가

논문은 데이터가 많을수록 항상 더 좋다는 흔한 미신을 깨뜨리는 것으로 시작합니다. 저자들은 데이터셋의 크기가 거대하더라도, 당신이 묻고자 하는 특정 질문에 적합한 정보를 가지고 있지 않다면 여전히 "작게" 느껴질 수 있다고 설명합니다. 백만 권의 책이 있는 도서관(빅 데이터)을 상상해 보세요. 하지만 당신은 당신의 뒷마당에 있는 단 하나의 바위에서만 자라는 매우 희귀한 종류의 이끼에 관한 단 한 권의 책을 찾아야 합니다. 도서관은 거대하지만, 당신이 필요로 하는 정보는 너무 희귀하고 구체적이기 때문에 실질적으로는 "작은" 데이터가 됩니다.

이 논문은 "스몰 데이터"가 단순히 숫자가 적은 것을 의미하지 않는다고 강조합니다. 그것은 *맥락(Context)*에 관한 것입니다. 예를 들어, 6명의 인간 환자를 대상으로 한 임상 연구는 인간이 서로 너무 다르기 때문에 "작다"고 간주될 수 있습니다. 하지만 유전적으로 동일한 6마리의 생쥐를 대상으로 한 실험은 그 생쥐들이 거의 복제 인간 수준으로 비슷하기 때문에 작다고 간주되지 않을 수 있습니다. 질문의 복잡성 또한 중요합니다. 거대한 AI를 훈련시켜 이야기를 쓰게 하려면 수백만 개의 문서가 필요하지만, 특정 의사가 희귀 질환을 치료하는 것을 돕도록 AI를 가르치는 데는 단 몇십 명의 환자 기록만 필요할 수도 있습니다.

스몰 데이터의 세 가지 초능력

이 까다로운 상황들을 이해하기 위해, 저자들은 세 가지 주요 주제를 제시하며 이를 스몰 데이터의 "빅 3(Big Three)"라고 부릅니다: 유사성(Similarity), 전이(Transfer), 그리고 **불확실성(Uncertainty)**입니다.

1. 유사성 (The "Look-Alike" Trick - 닮은꼴 기법):
   당신이 단 한 명의 목격자만을 가진 채 사건을 해결하려는 형사라고 상상해 보세요. 혼자서는 해결할 수 없기에, 당신의 목격자와 비슷하게 생겼거나 비슷하게 행동하는 다른 목격자들을 찾습니다. 논문에서 이것은 당신이 관심을 갖는 대상과 "유사한" 사람이나 데이터 포인트를 찾는 것에 관한 것입니다. 만약 의사가 희귀 질환을 가진 새로운 환자를 만났다면, 그는 다른 환자들의 데이터베이스를 살펴보고 나이, 증상, 또는 병력이 가장 유사한 환자들을 찾을 수 있습니다. 비록 그들이 완벽하게 일치하지 않더라도, 누가 가까운지 아는 것은 의사가 더 나은 추측을 하는 데 도움이 됩니다.

2. 전이 (The "Hand-Me-Down" Knowledge - 지식의 대물림):
   이것은 자전거 타기를 배우는 것과 같습니다. 이미 자전거를 탈 줄 안다면, 스쿠터를 배우는 것은 균형 잡는 기술을 "전이"할 수 있기 때문에 훨씬 쉽습니다. 논문은 거대한 데이터셋(예: 방대한 의료 기록 라이브-도서관)으로부터 지식을 가져와서 아주 작은 데이터셋(예: 단 한 명의 환자 파일)을 돕는 데 사용할 수 있다고 설명합니다. 이는 종종 "파운데이션 모델(Foundation Models)"이라고 불리는 고급 AI 도구를 사용하여 수행됩니다. 이 모델들은 세상의 거의 모든 것을 읽은 매우 똑똑한 학생과 같습니다. 만약 당신이 그들에게 특정 문제에 대한 아주 작은 힌트만 준다면, 그들은 방대한 배경 지식을 사용하여, 설령 그 문제를 이전에 본 적이 없더라도 문제를 해결하는 데 도움을 줄 수 있습니다.

3. 불확실성 (The "I'm Not 100% Sure" Factor - "확신할 수 없음"의 요소):
   데이터가 많을 때는 답변에 대해 매우 확신할 수 있습니다. 하지만 데이터가 적을 때는 자신이 무엇을 모르는지에 대해 정직해야 합니다. 논문은 스몰 데이터 방식이 훌륭한 이유가 우리가 추측하고 있다는 사실을 인정하도록 강제하기 때문이라고 강조합니다. 답을 알고 있는 척하는 대신, 이러한 방식은 우리가 얼마나 "불확실한지"를 계산합니다. 이는 의료 결정이나 정책 수립과 같은 일에서 매우 중요합니다. "이 약이 효과가 있을 것이라고 생각하지만, 사례가 몇 개뿐이라 완전히 확신할 수는 없습니다"라고 말하는 것이, 모든 것을 다 아는 척하는 것보다 훨씬 낫습니다.

이것이 실생활에서 중요한 이유

저자들은 이 내용이 왜 중요한지를 보여주기 위해 몇 가지 재미있고 실제적인 예시를 사용합니다:

• 희귀 질환: 한 아이를 치료하는 의사를 상상해 보세요. 그 아이는 매우 희귀한 유전 질환을 앓고 있습니다. 세상에 같은 상태를 가진 아이는 손에 꼽을 정도일 수 있습니다. 빅 데이터는 패턴을 찾을 만큼 충분한 데이터가 없기 때문에 여기서는 큰 도움이 되지 않습니다. 하지만 스몰 데이터 방식은 유사한 질병을 살펴보고, 다른 분야로부터 지식을 전이하며, 의사의 전문 지식을 활용하여 최선의 치료법을 찾아낼 수 있습니다.
• 웨어러블 기술: 노인들의 낙상을 감지하는 스마트워치를 생각해 보세요. 시계는 오직 한 명의 사람에 대한 데이터만을 가지고 있습니다. 시계는 당신이 어떻게 움직이는지 알지 못하며, 오직 착용자의 움직임만을 압니다. 스몰 데이터 방식은 단 며칠간의 데이터만으로도 시계가 당신의 특정한 보행 스타일을 빠르게 학습하도록 도와서, 당신의 독특한 움직임 때문에 혼란을 겪지 않게 해줍니다.
• 공정한 AI: 때때로 AI 시스템은 주로 젊고 건강하며 기술에 익숙한 사람들로 구성된 거대한 데이터셋으로 훈련됩니다. 만약 우리가 이 AI를 노인이나 장애인을 돕기 위해 사용하려 한다면, 그들을 충분히 보지 못했기 때문에 실패할 수 있습니다. 스몰 데이터 접근 방식은 이러한 "누락된" 그룹을 구체적으로 살펴보고, AI가 그들로부터도 배울 수 있도록 함으로써 이 문제를 해결하는 데 도움을 줍니다.

실제로 어떻게 하나요?

논문은 "방법론" 부분으로 들어가, 서로 다른 과학자들이 각자의 영역에서 어떻게 작업해 왔는지 설명합니다. 수학자와 통계학자들은 규칙과 논리를 사용하여 빈틈을 채우는 "지식 기반(knowledge-driven)" 방식을 오랫동안 사용해 왔습니다. 반면, 컴퓨터 과학자들은 "퓨샷 러닝(few-shot learning, 적은 예시로부터 학습)"이나 "메타 러닝(meta-learning, 학습하는 법을 학습)"과 같은 "데이터 기반(data-driven)" AI 방법을 발전시켜 왔습니다.

저자들은 미래가 이 두 세계를 섞는 데 있다고 제 제안합니다. 그들은 파운데이션 모델(거대하게 사전 훈련된 AI)을 기반으로 사용하는 것을 제안합니다. 이 모델들은 이미 많은 것을 알고 있습니다. 그런 다음, 우리는 특정 작업에 완벽하게 맞추기 위해 아주 작은 특정 데이터(스몰 데이터)로 이 모델들을 "미세 조정(fine-tune)"할 수 있습니다. 이것은 세상의 모든 요리를 할 줄 아는 마스터 셰프에게 고객의 아주 특정한 알레르기에 맞춘 요리를 해달라고 요청하는 것과 같습니다. 셰프는 자신의 방대한 지식을 사용하면서도, 제공된 작고 구체적인 세부 사항에 따라 레시피를 조정합니다.

또한 논문은 위험성에 대해서도 경고합니다. 주의하지 않으면 데이터를 "과적합(overfit)"할 수 있는데, 이는 AI가 실제 규칙을 배우는 대신 가지고 있는 몇 가지 예시를 통째로 암기해 버리는 것을 의미합니다. 이는 마치 연습 시험 세 개를 통째로 외웠지만, 개념을 이해하지 못해 실제 시험에서는 낙제하는 학생과 같습니다. 저자들은 우리의 모델이 보지 못한 새로운 데이터에서도 작동하는지 확인하는 **검증(validation)**과, 불확실성에 대해 정직해지는 것이 중요하다고 강조합니다.

앞으로의 과제는?

논문은 행동 촉구를 하며 결론을 맺습니다. 저자들은 통계학자, 컴퓨터 과학자, 그리고 정책 입안자들이 서로 혼동하지 않고 대화할 수 있는 "공통 언어"가 필요하다고 제안합니다. 그들은 단순히 더 많은 데이터가 나타나기를 기다리는 것이 아니라, 우리가 이미 가지고 있는 데이터로 잘 작동하는 방법을 적극적으로 개발해야 한다고 주장합니다. 특히 소외된 사람들과 집단들을 위해서 말입니다.

저자들은 유사성, 전이, 그리고 불확실성에 집중함으로써, 기술이 다수가 아닌 모두를 위해 작동하는 미래를 만들 수 있다고 믿습니다. 그들은 전통적인 지혜와 새로운 AI를 적절히 혼합한다면, 이전에는 불가능해 보였던 문제들을 해결할 수 있다고 믿습니다. 그것은 가장 큰 도서관을 갖는 것이 아니라, 설령 선반 위에 단 한 권의 책뿐이라 할지라도 그 올바른 책을 읽는 법을 아는 것에 관한 것입니다.