당신이 거대하고 치열한 요리 경연 대회의 수석 심사위원이라고 상상해 보십시오. 당신에게는 20명의 놀라운 셰프들이 있지만, 오직 제한된 수의 요리만을 맛볼 수 있는 시간과 비용만이 있습니다. 옛날 방식은 모든 셰프가 메뉴의 모든 요리를 만들게 하고, 모든 셰프의 모든 접시를 맛보는 것이 표준이었습니다. 공정하긴 했지만, 그 과정은 믿을 수 없을 정도로 느리고 비용이 많이 들었습니다. 22번째 셰프의 마지막 접시를 맛볼 때쯤이면 당신은 이미 돈을 다 써버렸을지도 모르고, 상위 3명의 셰프 중 누가 진정한 최고인지 알아내기 위해 여전히 헤매고 있을 것입니다. 왜냐하면 명백히 우승 가능성이 낮은 셰프들의 요리를 맛보는 데 너무 많은 시간을 허비했기 때문입니다.

이것이 바로 지금 인공지능(AI) 세계가 직면한 문제입니다. 과학자들은 매년 수십 개의 새로운 AI 모델을 구축하지만, 이들을 모두 철저하게 테스트하는 것은 모든 셰프의 모든 요리를 맛보는 것과 같습니다. 이는 엄청난 비용과 컴퓨팅 파워를 소모합니다. 당신이 읽게 될 이 논문은 이 "테이스팅 예산(tasting budget)" 문제를 다룹니다. 이 논문은 더 스마트한 판단 방식을 제안합니다. 모든 사람의 것을 조금씩 맛보아 대략적인 감을 잡은 다음, 남은 모든 에너지를 승리할 것 같은 셰프들의 요리를 맛보는 데 쏟아붓는 것입니다. 이렇게 하면, 명백히 패배하고 있는 셰프들에게 자원을 낭비하지 않고도 더 빠르고, 저렴하며, 확신을 가지고 진정한 챔피언을 찾아낼 수 있습니다.

위대한 AI 맛보기 테스트: 승자를 뽑는 새로운 방법

제한된 예산이 있을 때 최고의 AI 모델을 어떻게 뽑을 수 있을까요? 이 논문의 저자들(ETH 취리히와 마이크로소프트 등지의 연구진)은 이 문제를 슬롯머신 게임, 즉 수학자들이 말하는 "멀티 암드 밴딧(multi-armed bandit)" 문제처럼 다루기로 했습니다.

한 줄로 늘어선 슬롯머신( "암(arms)")들을 상상해 보십시오. 각 머신은 서로 다른 AI 모델을 나타냅니다. 당신에게는 플레이할 수 있는 정해진 수의 코인("예산")이 있습니다. 당신의 목표는 전체적으로 가장 많은 돈을 따는 것이 아니라, 어떤 머신이 가장 높은 확실성을 가지고 '최고'인지 알아내는 것입니다. 전통적인 방식에서는 모든 레버를 정확히 같은 횟수만큼 당깁니다. 머신 A를 열 번, 머신 B를 열 번 하는 식이죠. 하지만 여기 함정이 있습니다. 만약 머신 A가 처음 몇 번의 당김에서 큰 수익을 내기 시작하고 머신 B가 계속 아무것도 주지 않더라도, 당신은 "공정함"을 지키기 위해 여전히 머신 B에 코인을 낭비하게 됩니다.

저자들은 동적인 접근 방식을 제안합니다. 모든 레버를 똑같이 당기는 대신, 먼저 모든 레버를 몇 번씩 당겨 기계들의 느낌을 파악합니다. 그런 다음, 수익이 가장 많이 나는 것처럼 보이는 머신들에 코인을 집중하기 시작합니다. 만약 어떤 머신이 패배자처럼 보인다면, 더 이상 플레이하지 않습니다. 만약 어떤 머신이 승자처럼 보인다면, 그것이 정말 최고인지 확인하기 위해 계속 플레이합니다.

실행되는 "밴딧(Bandit)" 전략

논문은 다음에 어떤 "머신"(AI 모델)을 테스트할지 결정하는 몇 가지 영리한 방법을 소개합니다. 그들이 가장 선호하는 전략 중 하나는 **가중 샘플링(Weighted Sampling)**입니다. 이것은 인기 투표와 비슷합니다. 더 인기 있는 모델일수록 다시 기회를 얻을 확률이 높습니다. 하지만 이것은 단순히 현재 이기고 있는 모델에 관한 것이 아닙니다. 누가 '이길 가능성이 높은가'에 관한 것입니다.

저자들은 만약 당신이 상위 순위에 대해 정말 확신하고 싶다면, 단순히 현재의 리더를 선택해서는 안 된다는 것을 수학적으로 증명했습니다. 대신, 특정 공식에 따라 모델을 선택해야 합니다. 모델을 선택할 확률은 해당 순위가 얼마나 중요한지의 제곱근과 관련이 있어야 합니다. 쉽게 말해, 상위권 경쟁자들에게 집중하되, 그들을 완전히 무시해서는 안 된다는 뜻입니다. 그들이 몰래 실력을 키웠을 가능성을 확인하기 위해 적절한 수준의 체크는 계속 유지해야 합니다.

또한 **혼란 최소화(Confusion Minimization)**라는 방법도 시도했습니다. 두 명의 선수가 막상막하로 달리고 있다고 상상해 보십시오. 압도적으로 앞서가는 사람의 기록을 잴 필요는 없습니다. 당신은 실제로 누가 이기는지 보기 위해, 가장 치열하게 1위를 다투는 두 사람 사이의 경주를 더 많이 치러야 합니다. 이 알고리즘은 점수가 가장 근접한 모델들을 살펴보고 다음과 같이 묻습니다. "이 두 사람 중 누구를 더 테스트해야 우리의 혼란을 없앨 수 있는가?" 그리고 그곳에 예산을 투입합니다.

발견한 것 (그리고 발견하지 못한 것)

연구진은 실제 번역 대회 데이터(AI가 언어 간 텍-스트를 번역하는 대회)를 사용하여 이러한 아이디어들을 테스트했습니다. 그들은 예산을 사용하는 과정을 시뮬레이션했습니다.

여기 중요한 소식이 있습니다: 그들은 기존 예산의 40%만 사용하여 동일한 정확도의 상위 모델 순위를 얻을 수 있다는 것을 발견했습니다.

시뮬레이션 결과, 새로운 동적 방식을 사용했을 때 20개 모델 중 상위 3개 모델의 순위를 95%의 확신도로 신뢰할 수 있게 파악할 수 있었으며, 이는 기존 방식보다 절반도 안 되는 돈과 시간만을 사용한 결과였습니다. 모든 모델에게 동일한 횟수의 테스트를 부여하는 전통적인 "공정한" 방식은 최선이 아닌 모델들에 엄청난 노력을 낭비했습니다.

하지만 염두에 두어야 할 몇 가지 중요한 한계가 있습니다. 이 논문은 이 방법이 모든 상황에서 완벽하게 작동한다고 말하는 것이 아닙니다.

• 시뮬레이션입니다: 결과는 기존 데이터를 사용한 컴퓨터 시뮬레이션에서 나온 것입니다. 이 방법으로 완전히 새로운 실시간 경연을 처음부터 진행한 것은 아닙니다(물론 계획은 있습니다).
• 마법이 아닙니다: 이 방법은 '상위' 모델을 찾는 데 가장 효과적입니다. 만약 모든 모델을 최상위부터 최하위까지 동일한 정밀도로 순위를 매기고 싶다면, 이 방법은 최선의 선택이 아닐 수 있습니다. 이 방식은 모든 이의 완벽한 목록을 만드는 것이 아니라, 승자를 찾는 데 효율적이도록 설계되었습니다.
• 예열 단계가 필요합니다: 처음부터 바로 선호하는 모델로 뛰어들 수는 없습니다. 알고-리즘은 기초적인 기준을 잡기 위해 모든 모델을 몇 번씩 테스트하는 "예열(warmup)" 단계가 필요합니다. 이 단계를 건너뛰면, 나중에 승자가 될 수도 있었던 '느린 출발자'를 실수로 무시하게 될 수 있습니다.

이것이 왜 중요한가

이 접근 방식은 스마트한 쇼핑 리스트와 같습니다. 어떤 것이 가장 맛있는지 알기 위해 식료품점의 모든 물건을 다 사는 대신, 모든 것을 조금씩 샘-플로 사서 맛을 본 다음, 정말 맛있는 제품의 봉지를 세 개 더 사는 것과 같습니다. 돈을 아끼면서도 최고의 제품을 얻을 수 있습니다.

AI 분야에서 이는 우리가 이미 좋지 않다고 판단한 모델을 테스트하는 데 수백만 달러와 수많은 인간의 시간을 낭비하는 것을 멈출 수 있음을 의미합니다. 우리는 "최고의 AI"라는 타이틀을 놓고 경쟁하는 모델들에 에너지를 집중할 수 있습니다. 이를 통해 AI를 개선하는 과정이 더 빠르고, 저렴하며, 무엇이 정말 중요한지에 집중할 수 있게 됩니다.

저자들은 이 방법이 AI 개발 과정 중 최적의 구성을 선택하거나, 모델들이 서로 맞붙는 토너먼트 방식의 경연 등 다른 분야에서도 사용될 수 있다고 제안합니다. 하지만 현재 가장 중요한 핵심은 간단합니다. 모든 AI 모델을 똑같이 대하지 마십시오. 승자에게 더 많은 관심을 기울이면, 훨씬 더 빨리 진정한 챔피언을 찾을 수 있습니다.