보이지 않는 점수판: 왜 AI에 지역 맞춤형 테스트가 필요한가

인공지능의 세계를 수많은 셰프(AI 모델)들이 모두가 먹을 음식을 요리하는 거대하고 첨단적인 주방이라고 상상해 보십시오. 오랫동안 가장 유명한 셰프들은 그저 몇몇 특정 주방에서 자신들의 동네 레시피와 재료를 사용하여 요리를 해왔습니다. 그들은 믿기지 않을 정도로 유능하지만, 다른 지역에 사는 가족들에게 완벽한 맛을 선사할 수 있는 요리를 만드는 법은 항상 알지 못합니다. 이것이 바로 AI의 세계입니다. 한 곳에서 만들어진 강력한 도구들이지만, 종종 전 세계에서 사용되는 것입니다.

어떤 셰프가 특정 음식을 정말 잘 만드는지 알기 위해서는 맛 테스트가 필요합니다. AI의 세계에서 이 맛 테스트를 **벤치마크(benchmark)**라고 부릅니다. 벤치마크를 표준화된 시험이나 점수판이라고 생각하십시오. 그것은 단순히 "AI가 말을 할 수 있는가?"라고 묻는 것이 아닙니다. "AI가 이 특정 언어로, 이 특정한 규칙을 적용하여 이 구체적인 문제를 해결할 수 있는가?"라고 묻는 것입니다. 이러한 지역 맞춤형 점수판이 없다면, 국가와 기업들은 마치 음식이 신선한지, 안전한지, 혹은 원래 어떤 맛이어야 하는지도 모른 채 식사를 하는 손님과 같습니다. 그들은 오직 셰프의 말만을 믿어야 합니다. 이 논문은 라틴 아메리카에 자신들만의 '주방 점수판'이 결여되어 있으며, 이것 없이는 지역 사회가 사용하는 AI가 제대로 작동하는지 확인하거나 고유한 문제를 해결하기 위해 개선하는 것이 불가능하다고 주장합니다.

사라진 점수판: 라틴 아메리카의 AI 격차 이야기

SURUS 팀과 한 독립 연구자로 구성된 이 논문의 저자들은 라틴 아메리카 기술 지도의 거대한 구멍을 지적하고 있습니다. 그들은 이를 "사라진 벤치마크 계층(missing benchmark layer)"이라고 부릅니다. 이것이 왜 중요한지 이해하려면, 다른 브랜드의 자동차를 위한 도구만을 가지고 자동차를 수리하려고 노력하는 상황을 상상해 보십시오. 일을 마칠 수는 있겠지만 완벽하지는 않을 것이며, 엔진의 어느 부분이 덜컹거리는지 정확히 알 수 없을 것입니다. 그것이 바로 라틴 아메리카가 AI를 통해 직면한 상황입니다.

두 가지 큰 문제: 블라인드 감사와 멈춰버린 엔진

논문은 이 누락된 계층이 두 가지 주요한 골칫거리를 일으킨다고 설명합니다.

첫째, **감사 문제(Audit Problem)**가 있습니다. 정부 기관이 공공 기록 관리를 돕기 위해 새로운 AI 시스템을 구매한다고 가정해 봅시다. 해당 AI가 다른 나라에서 만들어졌기 때문에, 기관은 그 AI가 현지 법률을 이해하는지 또는 현지 방언을 정확하게 구사하는지 독립적으로 확인할 방법이 없습니다. 그들은 판매자의 주장만을 믿어야 합니다. 저자들은 이러한 벤치마크가 없다면 이 기관들이 "눈이 먼(blind)" 상태가 된다고 제안합니다. 그들은 현지 작물의 질병을 잘못 식별하거나 특정 법률 용어를 오해하는 것과 같이, 자신들의 특수한 맥소에서만 문제가 되는 오류를 AI가 범하고 있는지 알 수 없습니다.

둘째, **최적화 문제(Optimization Problem)**입니다. 이는 멋진 AI 도구를 만들려는 기업들을 위한 것입니다. 현대의 AI 개발은 더 높은 점수를 얻기 위해 설정을 조정하는 비디오 게임과 같습니다. 하지만 더 높은 점수를 얻으려면 진행 상황을 측정할 점수판이 필요합니다. 논문은 지역 벤치마크가 없다면 기업들이 목표로 삼을 대상이 없다고 주장합니다. 그들은 자신의 AI가 지역 문제를 해결하는 데 점점 더 나아지고 있는지 알 수 없습니다. 왜냐하면 그것을 채점할 '시험'이 없기 때문입니다. 이는 마치 결승선 없이 경주를 하는 것과 같습니다. 당신은 빠르게 달리고 있을지 모르지만, 실제로 이기고 있는지는 알 수 없습니다.

제안된 해결책: EvalsHub와 LatamBoard

그렇다면 해결책은 무엇일까요? 저자들은 EvalsHub라는 새로운 인프라 구축을 제 제안하며, 그 첫 번째 버전으로 LatamBoard를 제시합니다.

LatamBoard를 이 지역을 위한 거대하고 오픈 소스 형태인 "시험장"이라고 생각하십시오. 이곳은 대학, 정부, 기업들이 자신만의 테스트(벤치마크)를 게시하고 다양한 AI 모델이 그 테스트에서 어떻게 수행되는지 확인할 수 있는 곳입니다.

• 태스크 중심(Task-First): 단순히 "AI가 얼마나 똑똑한가?"를 테스트하는 대신, 테스트는 구체적인 작업(job)을 중심으로 구축됩니다. 예를 들어, "칠레 보건 기록에서 의료 정보 추출하기"나 "콜롬비아 커피 작물의 해충 분류하기"와 같은 특정 작업을 위해 설계될 수 있습니다.
• 재사용 가능성(Reusable): 논문은 "한 번 구축하여 영원히 측정한다(Built once, measured forever)"라는 훌륭한 문구를 사용합니다. 일단 테스트가 생성되면, 이를 반복해서 실행할 수 있습니다. 새로운 AI 모델이 출시되거나 기업이 소프트웨어를 수정할 때마다, 동일한 테스트를 실행하여 성능이 향상되었는지 확인할 수 있습니다. 이는 벤치마크를 일회성 프로젝트가 아니라 도로 나 다리처럼 영구적인 인프라로 만듭니다.

"접근성 문제": 구축이 어려운 이유

논문은 또한 이러한 점수판을 구축하는 것이 매우 어렵다는 점을 인정합니다. 이는 단순히 코드를 작성하는 문제가 아닙니다. 특정 작업(예: 질병 진단)에 대한 유효한 테스트를 만들기 위해서는 네 가지 유형의 전문가가 협력해야 합니다.

1. 무엇이 "정답"인지 아는 도메인 전문가(의사나 변호사 등).
2. 그 지식을 컴퓨터 테스트로 전환할 수 있는 ML 엔지니어.
3. 테스트 질문이 공정하고 대표성이 있는지 확인하는 통계학자.
4. 테스트가 원활하게 실행되도록 하는 개발자.

저자들은 이를 "접근성 문제(Access Problem)"라고 부릅니다. 보통 직업에 대해 가장 많이 아는 사람(의사)은 테스트를 코딩하는 법을 모르고, 코더는 의료적 세부 사항을 모릅니다. 이러한 불일치는 매우 적은 수의 사람들만이 이러한 벤치마크를 독자적으로 구축할 수 있게 만듭니다. 논문은 LatamBoard가 성공하기 위해서는 전문가들이 코딩의 마법사가 되지 않고도 자신의 지식을 기여할 수 있도록 장벽을 낮추는 방법을 찾아야 한다고 제안합니다.

미래를 위한 비전: 개방적이고 다극적인 구조

저자들은 이것이 어떻게 작동해야 하는지에 대해 확고한 입장을 가지고 있습니다. 그들은 한두 국가가 모든 AI 규칙을 통제하는 것이 아닌, "다극적인(multipolar)" 세상을 원합니다. 그들은 라틴 아메리카가 자신만의 목소리와 기준을 갖기를 바랍니다.

이를 실현하기 위해, 저자들은 LatamBoard가 **설계 단계부터 개방적(open by design)**이어야 하며(모두가 테스트와 결과를 볼 수 있음), **구조적으로 인센티브 중심(incentive-driven by construction)**이어야 한다고(사람들이 도움을 준 것에 대해 인정과 명성을 얻음) 제안합니다. 만약 한 대학이 지역 농업을 위한 훌륭한 테스트를 만든다면, 그들은 기여자로서 이름을 올릴 수 있고, 다른 모든 이들은 그 테스트로부터 혜ft를 얻게 됩니다. 이는 지식을 공유함으로써 모두가 더 똑똑해지고 강력해지는 시스템입니다.

여전히 알려지지 않은 것들

논문은 이것이 완성된 제품이 아니라 시작점이라는 점을 솔직하게 밝히고 있습니다. 그들은 다음과 같은 여전히 답해야 할 큰 질문들이 남아 있음을 인정합니다.

• AI가 더 똑똑해짐에 따라 테스트의 공정성을 어떻게 유지할 것인가?
• 이러한 테스트를 실행하는 데 필요한 컴퓨터 비용은 누가 지불할 것인가?
• 개인정보 보호가 매우 중요한 의료와 같은 민감한 분야를 어떻게 다룰 것인가?

저자들은 이 모든 문제를 이미 해결했다고 주장하는 것이 아닙니다. 대신, 그들은 커뮤니티에 도전장을 던지고 있습니다. 그들은 대학, 정부, 기업들이 모여 이 인프라 계층을 함께 구축하도록 초대하고 있습니다. 목표는 라틴 아메리카가 단순히 AI의 소비자가 아니라, 자신이 사용하는 기술을 측정하고 개선하며 신뢰할 수 있는 자신만의 도구를 가진, AI의 형성자가 되는 것입니다.