On the missing data layer and a potential solution

로컬 브레인을 위한 누락된 재료들

완벽한 케이크를 굽고 싶지만, 당신이 찾는 모든 레시피가 한 번도 본 적 없는 재료를 사용하고 온도가 다른 오븐을 사용하는 다른 주방을 위해 쓰인 상황을 상상해 보세요. 이것이 현재 라틴 아메리카 인공지능(AI)이 처한 상황입니다. 이것이 왜 중요한지 이해하려면 두 가지 간단한 개념을 살펴봐야 합니다. 첫째, AI 모델은 매우 똑똑한 학생과 같습니다. 이들은 문제를 해결하는 방법을 알아내기 위해 방대한 양의 정보(데이터)를 읽으며 학습합니다. 둘째, 벤치마크는 표준화된 시험과 같습니다. 이 학생들이 실제로 지식을 갖추고 있는지, 아니면 그저 추측하고 있는 것인지를 확인하기 위해 치르는 시험입니다.

현재 라틴 아메리카의 대부분의 AI "학생"들은 다른 나라의 선생님들에게서 배우고 있으며, 다른 언어로 쓰인 교과서를 사용하고 있습니다. 이 학생들은 수학이나 코딩 같은 일반적인 과업에는 뛰어나지만, 지역 특유의 속어 이해, 지역 식물 인식, 또는 지역 법률 탐색과 같이 자신들의 동네에 특화된 일을 요청받으면 종종 비틀거립니다. 중요한 질문은 단순히 더 똑똑해지는 것이 아닙니다. 한 지역이 자신의 사람들을 진정으로 이해하는 자신만의 뇌를 구축할 수 있느냐, 아니면 특정 요구사항을 신경 쓰지 않을 수도 있는 외부에서 만들어진 뇌에 영원히 의존해야 하느냐의 문제입니다.

---

AI 하우스의 두 가지 누락된 층

SURUS 팀의 새로운 논문에 따르면, 라틴 아메리카는 AI 하우스에서 두 개의 중요한 층, 즉 데이터셋 레이어와 벤치마크 레이어가 빠져 있습니다. 데이터셋 레이어를 AI가 학습하기 위해 읽는 책들의 도서관이라고 생각하고, 벤치마크 레이어를 AI가 정말로 똑똑한지 확인하는 테스트 센터라고 생각하십시오. 이 두 가지가 없다면, 이 지역은 자체적인 AI를 구축할 수 없으며, 심지어 사용하는 외산 AI가 제대로 역할을 수행하고 있는지조차 제대로 확인할 수 없습니다.

저자들은 이러한 부재가 두 가지 종류의 문제를 일으킨다고 주장합니다. 기업의 경우, 문제는 유럽의 들판을 위해 만들어진 가이드북을 사용하여 브라질 농장의 해충을 식별하려는 것과 같습니다. 과업(벌레 찾기)은 동일하지만, 벌레는 다릅니다. 잘못된 데이터를 사용하면, 실제 수확을 망치는 해충을 놓칠 수 있습니다. 정부와 공공 기관의 경우, 문제는 더 깊은 곳에 있습니다. 그것은 바로 '정체성'에 관한 것입니다. 만약 AI가 외국의 이야기와 가치관으로 훈련된다면, 현지 시민들을 실제 삶의 방식과 맞지 않는 방식으로 묘사하거나 결정을 내릴 수 있습니다. 이는 마치 다른 언어를 말하고 현지 문화를 이해하지 못하는 시장을 둔 것과 같습니다. 그 시장은 예의 바를 수는 있겠지만, 당신을 잘 통치하지는 못할 것입니다.

거대한 데이터 보물찾기

논문은 라틴 아메리카의 데이터가 사라진 것이 아니라, 단지 길을 잃었을 뿐이라고 지적합니다. 데이터는 연구 논문, Hugging Face와 같은 플랫폼, 그리고 민간 기업의 아카이브 등에 흩어져 있는 퍼즐 조각처럼 인터넷 여기저기에 숨겨져 있습니다. 이들을 찾을 수 있는 단 하나의 지도도 존재하지 않습니다. 설령 이들을 모두 찾을 수 있다고 해도, 미국이나 유럽이 가진 것에 비하면 양 자체가 턱없이 부족합니다.

이는 악순순환을 만듭니다. 데이터를 공유했을 때 공로를 인정받을 수 있는 쉬운 방법이 없기 때문에 사람들은 공유하지 않습니다. 사람들이 공유하지 않기 때문에, 다른 이들의 참여를 유도할 만한 거대한 컬렉션도 만들어지지 않습니다. 저자들은 이 고리를 끊기 위해 설계된 중앙 도서관인 DataHub라는 솔루션을 제안합니다. 이것은 단순한 목록이 아니라, 사람들에게 보상을 주는 시스템입니다. 만약 당신이 데이터셋을 기여한다면, 당신은 가시성과 인정을 얻게 되며, 이는 당신의 데이터를 개방할 가치가 있게 만듭니다.

도서관을 조직하는 새로운 방법

이 논문에서 가장 창의적인 부분 중 하나는 이 새로운 도서관을 어떻게 조직할 것인가에 대한 제안입니다. 데이터를 "외형"(이미지나 텍스트 등)이나 "대상 모델"에 따라 분류하는 대신, 저자들은 AI가 수행해야 할 작업에 따라 분류할 것을 제안합니다.

책이 색상이나 크기가 아니라, 그 책이 당신이 수행하려는 작업에 어떤 도움을 주는지에 따라 분류되는 도서관을 상상해 보세요. 저자들은 3단계 사다리를 제안합니다:

1. 과업(Task): 작업이 무엇인가? (예: "오디오 전사")
2. 도메인(Domain): 구체적인 분야는 무엇인가? (예: "의료" 대 "법률")
3. 언어 및 지역(Language & Region): 누가 말하고 있는가? (예: "리오플라텐세 스페인어" 대 "콜롬비아 스페인어")

이것이 중요한 이유는 부에노스아이레스의 의사가 보고타의 변호사보다 다른 종류의 의료 전사 AI를 필요로 하기 때문입니다. 일반적인 AI는 단어는 맞출 수 있겠지만, 특정 의학 용어나 지역 억양을 놓칠 수 있습니다. 데이터를 이런 방식으로 조직함으로써, DataHub는 당신이 구축하는 AI가 정확히 당신의 특정 요구에 맞춰지도록 하여 성능을 높이고 더욱 "로컬"하게 느껴지도록 보장합니다.

열린 문과 인센티브

논문은 이것이 어떻게 구축되어야 하는지에 대해 강력한 입장을 취합니다: 설계부터 개방형으로(Open by design). 저자들은 뒤처지고 있는 지역이 승리할 수 있는 유일한 방법은 협력이라고 믿습니다. 데이터를 닫힌 문 뒤에 숨기는 것은 도움이 되지 않습니다. 공유하는 것이 모두가 더 빨리 배울 수 있게 합니다. 그러나 그들은 사람들이 단순히 선의만으로 공유하지 않을 것이라는 점도 알고 있습니다. 시스템은 "인센티브 중심"이어야 합니다. 즉, 기여자들은 자신의 작업에 대한 인정이나 소속 기관의 이름을 데이터에 부착하는 것과 같은 혜택을 볼 수 있어야 합니다.

앞으로의 길

저자들은 이것이 완성된 제품이라기보다는 하나의 "킥스타트(시작)"임을 분명히 합니다. 그들은 여전히 큰 장애물이 남아 있음을 인정합니다. 라틴 아메리카의 각 국가는 개인정보 보호에 관한 서로 다른 법률을 가지고 있으며, 데이터를 라벨링하거나 라이선스를 부여하는 방법에 대한 합의된 규칙도 아직 없습니다. 그들은 이 문제들을 해결했다고 주장하는 것이 아니라, 기업, 대학, 정부 등 모든 이들이 이를 함께 해결해 나가도록 초대하고 있는 것입니다.

논문은 행동 촉구로 끝을 맺습니다. 라틴 아메리카 AI를 위한 데이터셋 레이어는 그 지역에 의해, 그 지역을 위해 구축되어야 하며, 그렇지 않으면 구축되지 않을 것입니다. DataHub는 그 첫 단계로서, 데이터를 가진 누구나 들어와서 공유하고, 라틴 아메리카가 인공지능 세계에서 자신만의 목소리를 가질 수 있는 미래를 만드는 데 기여할 수 있도록 하는 살아있는 초대장입니다.