과학자들이 데이터 시트(예: 주택 가격 목록이나 의료 기록)를 보고 미래를 예측하는 방법을 찾아내는 '학습 기계'를 만드는 세상을 상상해 보십시오. 이 분야를 AutoML(자동 머신러로닝)이라고 부릅니다. 목표는 컴퓨터가 스스로 수천 가지의 서로 다른 수학적 기법을 시도하여 가장 잘 작동하는 것을 찾아내도록 하는 것입니다. 보통 이 기계들은 규칙을 위반하지 않도록 엄격히 감시되는 가운데 몇 시간 동안 진행되는 길고 신중한 마라톤을 통해 테스트됩니다. 하지만 현실 세계에서 개발자들은 종-종 빠른 결과를 원합니다. 그들은 어떤 기계가 가장 빠른 승자인지 확인하기 위해 단 30초 또는 60초 동안만 기계를 실행합니다. 이것은 마라톤 대신 스프린트(단거리 경주)를 하는 것과 같습니다. 문제는, 경주를 너무 빠르게 하면 자신도 모르는 사이에 규칙을 어기기 매우 쉽다는 것이며, 이로 인해 느리고 서투른 주자가 마치 세계 기록을 세운 스프린터처럼 보이게 만들 수 있다는 점입니다.

이 논문은 "Orcetra"라는 자신만의 작고 단순한 학습 기계를 만든 한 연구자의 이야기를 들려줍니다. 그들은 Orcetra를 두 명의 유명하고 강력한 헤비급 챔피언(FLAML과 AutoGluon)과 함께 513회의 짧은 60초 경주에 내놓았습니다. 첫눈에 결과는 놀라워 보였습니다. Orcetra는 거물들을 압도하며 절반 이상의 경주에서 승리했습니다. 수치들이 너무나 완벽하고 수학적으로 설득력이 있어서, 마치 거대한 돌파구를 찾은 것처럼 보였습니다. 하지만 저자들은 자신들의 실험에 속았다는 사실을 깨달았습니다. 그들은 Orcera가 실제로 더 똑똑해서가 아니라, 두 가지 매우 교묘한 방식으로 규칙을 위반했다는 것을 발견했습니다. 첫째, Orcetra는 연습하는 동안 "정답지"(테스트 데이터)를 훔쳐보았고, 이로 인해 실력이 아닌 운에 기반해 승자를 선택할 수 있었습니다. 둘째, Orcetra는 스톱워치를 무시하고, 정해진 시간보다 두 배나 더 오래 실행되면서도 마치 제시간에 멈춘 것처럼 행동했습니다. 규칙을 바로잡고, 훔쳐보기를 차단하고, 시간 제한을 강제했을 때, Orcetra의 "초능력"은 사라졌습니다. 그것은 챔피언에서 평범한 수준으로 떨어졌으며, 이는 빠른 AI 테스트의 세계에서는 경주를 얼마나 빨리 달리느냐만큼이나 어떻게 측정하느냐가 중요하다는 것을 증명했습니다.

설정: 고장 난 스톱워치와 함께하는 경주

이 이야기를 이해하기 위해 세 명의 경주자를 살펴보겠습니다. FLAML과 AutoGluon은 몇 시간 동안 훈련하는 프로 운동선수와 같습니다. 이들은 긴 시간 동안 최적의 솔루션을 찾도록 설계된 복잡하고 강력한 시스템입니다. 논문의 저자들이 만든 시스템인 Orcetra는 언더독(약자)입니다. 이것은 단 1,661줄의 코드로 작성된 아주 작고 단순한 스크립트입니다. 화려한 기술은 없으며, 그저 표준적인 수학 모델들을 시도하고, 그중 최고를 골라 다음 단계로 넘어갈 뿐입니다.

연구자들은 "스프린트" 대회를 설정했습니다. 그들은 513개의 서로 다른 데이터셋을 가져와 모든 기계에게 최적의 예측을 찾는 데 정확히 60초를 주었습니다. 원래의 규칙을 사용한 첫 번째 라운드에서 Orcetra는 기적처럼 보였습니다. Orcetra는 다른 두 기계가 각각 21.6%와 10.9%의 승률을 기록한 반면, 57.1%의 경주에서 승리했습니다. 30초 스프린트에서 FLAML만을 상대로 했을 때, Orcetra의 승률은 무려 78.4%에 달했습니다. 수학적 수치는 이것이 거대하고 부정할 수 없는 승리라고 말하고 있었습니다.

하지만 저자들은 무언가 잘못되었다고 의심했습니다. 그들은 이 가짜 승리를 유발했을 수도 있는 기계 속의 "유령"을 찾기 위해 자신들의 실험을 감사하기로 했습니다.

첫 번째 결함: "훔쳐보기" 문제

첫 번째 주요 결함은 Orcetra가 승자를 선택하는 방식이었습니다. 학생이 연습 시험을 치르는 상황을 상상해 보십시오. 공정한 학생은 공부를 하고, 시험을 치른 뒤, 점수를 받습니다. 하지만 Orcetra는 다르게 행동했습니다. Orcera는 연습 시험을 치르고, 답을 훔쳐보고, 다시 시험을 치르고, 또 치는 과정을 반복했습니다.

기술적인 용어로 말하자면, 이 기계는 자신이 시도하는 모든 모델을 테스트 분할(최종 시험을 위한 데이터)에 대해 점수를 매겼습니다. 그 60초 동안 수십 개의 모델을 시도했고, 테스트 데이터에서 얼마나 잘했는지 확인한 뒤, 자신이 본 가장 높은 점수를 단순히 보고했습니다. 이것은 **선택 편향(selection bias)**이라 불리는 전형적인 함정입니다.

주사위를 던지는 상황을 생각해 보십시오. 주사위를 한 번 던지면 무작위 숫자가 나옵니다. 하지만 만약 제가 주사위를 50번 던진 뒤 가장 높은 숫자만 보여준다면, 당신은 제가 항상 6이 나오는 마법의 주사위를 가졌다고 생각할지도 모릅니다. 실제로는 그저 운 좋게 높은 숫자가 나올 때까지 충분히 많이 던졌을 뿐입니다. Orcetra는 수많은 모델을 시도했고, 테스트 데이터를 바탕으로 가장 "운이 좋은" 모델을 골냈기 때문에 그 점수는 인위적으로 부풀려졌습니다. 다른 기계들인 FLAML과 AutoGluon은 정직했습니다. 그들은 오직 연습 데이터(훈련 데이터)만을 사용하여 최적의 모델을 골랐고, 테스트 데이터는 맨 마지막에 단 한 번만 확인했습니다.

두 번째 결함: "루프홀(허점)" 스톱워치

두 번째 결함은 훨씬 물리적인 문제였습니다. 실험에는 "60초 후에 멈춘다"는 규칙이 있었습니다.

FLAML과 AutoGluon은 이 규칙을 준수했습니다. 만약 60초가 되었을 때 계산 중간이었다면, 그들은 멈추거나 빠르게 마무리하려고 노력했습니다. 그들은 규율이 있었습니다. 그러나 Orcetra는 로직에 버그가 있었습니다. Orcetra는 새로운 작업을 시작하기 전에 시간을 확인했지만, 일단 작업을 시작하면 타이머가 끝나는지 신경 쓰지 않았습니다. 일단 시작되면 계산이 원하는 만큼 계속 실행되도록 내버려 두었습니다.

데이터에 따르면, 예산이 60초로 설정되었음에도 불구하고 Orcetra는 실제로 중앙값 120초 동안 실행되었습니다. 즉, 제한 시간보다 두 배나 더 오래 실행된 것입니다! 실제로 Orcetra는 **78%**의 데이터셋에서 시간 제한을 초과했습니다. 반면 다른 기계들은 60초 지점에 가깝게 유지되었습니다. 이는 다른 주자들은 결승선에서 멈추는데, Orcetra는 한 바퀴를 더 돌며 문제를 해결할 시간을 더 많이 확보하는 경주와 같습니다. "60초"라는 라벨은 Orcetra에게 규칙이 아니라 단지 권고사항에 불과했습니다.

세 번째 오류: "조작된" 결과

논문을 쓰는 과정에서 발견된 세 번째의 작은 문제가 있었습니다. 연구자들은 나중에 두 번째 실험을 수행했는데, 첫 번째 실행의 결과와 두 번째 실행의 결과를 합쳐서 승수를 계산하는 실수를 범했습니다. 이 "결합(splicing)"은 Orcetra를 실제보다 훨씬 더 뛰어나 보이게 만들었고, 일부 계산에서 승률을 **61.2%**까지 끌어올렸습니다. 실행 결과를 분리하자 수치는 다시 내려갔습니다. 이는 단순한 인간의 실수였지만, 파일 관리에 주의를 기울이지 않으면 결과가 얼마나 쉽게 왜곡될 수 있는지를 보여주었습니다.

위대한 수정: 공정하게 경주하기

진실을 찾기 위해, 저자들은 새로운 엄격한 프로토콜로 전체 실험을 다시 수행했습니다. 그들은 세 가지 문제를 해결했습니다:

1. 더 이상의 훔쳐보기 금지: Orcetra는 "검증(validation)" 세트(연습 시험)를 사용하여 최적의 모델을 골라야 했고, 다른 기계들과 마찬가지로 맨 마지막에 단 한 번만 "테스트(test)" 세트(최종 시험)를 확인해야 했습니다.
2. 엄격한 시간 제한: 프로세스가 60초를 넘어가면 강제로 종료하는 외부 타이머를 사용하여 누구도 추가 시간을 갖지 못하게 했습니다.
3. 공정한 자원: 모든 기계가 동일한 양의 컴퓨터 성능을 사용하도록 하여, 누군가가 코어 수가 많아서 더 빠른 일이 없도록 했습니다.

결과: 마법이 사라지다

공정하게 경주를 진행했을 때, "기적"은 사라졌습니다.

• 원래 (규칙 위반) 승률: 재실행된 하위 집합에서 Orcetra는 **59.4%**의 승률을 보였습니다.
• 수정된 (공정) 승률: Orcetra의 승률은 **34.3%**로 급락했습니다.

공정한 경주에서 Orcetra는 더 이상 거물들을 이기지 못했습니다. Orcetra가 **34.3%**의 승률을 기록할 때, FLAML은 28.0%, AutoGluon은 **27.3%**를 기록했습니다. 이 차이는 너무 작아서 단순히 무작위 확률에 의한 것일 수도 있었습니다. 원래의 결과가 거대한 발견처럼 보이게 했던 통계적 "유의성"(p-value)은 천문학적인 수치(예: 9.5 × 10⁻⁴⁶)에서 전혀 주목할 만한 수준이 아닌(예: 0.39, 즉 거의 동전 던지기 수준) 수치로 변했습니다.

우리는 무엇을 배웠는가?

논문은 "승리"가 두 가지 요인에 의해 만들어진 환상이었다고 결론짓습니다.

1. 훔쳐보기 (선택 편향): 이는 승률에서 약 4.8 퍼센트 포인트를 차지했습니다. 실제 효과가 있었지만, 그리 크지는 않았습니다.
2. 추가 시간 (컴퓨팅 자원): 이것이 결정적이었습니다. Orcetra가 다른 모델들보다 두 배나 더 오래 실행되었기 때문에 더 많은 모델을 시도할 수 있었습니다. 이 불공정한 이점이 나머지 엄청난 승률을 설명해 주었습니다.

저자들은 또한 "훔쳐보기"가 정확히 어느 정도 도움이 되는지 측정했습니다. 그들은 훔쳐보기가 약간의 이득을 주기는 하지만, 일부 수학 이론이 예측했던 것만큼 엄청나지는 않다는 것을 발견했습니다. 모든 모델이 동일한 데이터로 테스트되었기 때문에, "운"이 상당 부분 상쇄되었기 때문입니다. 이 효과는 약 0.27 정확도 포인트였으며, 이는 그들이 처음에 보았던 거대한 격차에 비하면 매우 미미한 수준이었습니다.

모두를 위한 교훈

이 이야기는 단 하나의 코드에 관한 것이 아닙니다. 빠른 AI 도구들을 비교하려는 모든 이들을 향한 경고입니다. 만약 60초 테스트를 수행한다면, 매우 주의해야 합니다.

• 테스트 데이터 훔치기를 방지하십시오: 기계가 최종 답안을 보기 전에 승자를 선택하도록 해야 합니다.
• 시간 제한을 강제하십시오: 60초라고 했다면, 반드시 60초에 멈춰야 합니다.
• 시계를 확인하십시오: 기계가 실제로 얼마나 실행되었는지 항상 보고하십시오.

논문은 이러한 빠른 비교를 수행하는 모든 이들을 위한 체크리스트를 제시하며 끝을 맺습니다. 만약 어떤 시스템이 짧은 시간 안에 엄청난 차이로 승리하고 있다면, 그것은 아마도 그 시스템이 더 똑똑해서가 아니라 규칙을 위반했기 때문일 가능성이 높습니다. 원래 경주의 "승자"는 천재가 아니었습니다. 그는 단지 심판의 휘슬을 무시하고 달린 주자였습니다.