From Programs to Predictions: A Scalable, Multilingual Platform for Automated Evaluation of Machine-Learning Olympiads

당신이 거대하고 높은 판돈이 걸린 요리 경연 대회에 있다고 상상해 보세요. 하지만 참가자들은 완성된 요리를 맛보여주는 대신, 예측된 맛의 목록이 담긴 비밀 레시피 카드를 당신에게 보냅니다. 옛날 방식의 컴퓨터 경진 대회는 엄격한 맛 테스트와 같았습니다. 프로그램을 제출하면 심사위원이 그것을 실행하고, 출력이 정답지와 정확히 일 일치하지 않으면 탈락하는 방식이었죠. 하지만 이 새로운 세상인 "머신러닝 올림피아드"에서는 규칙이 바뀌었습니다. 심사위원들은 코드가 완벽하게 실행되는지에는 관심이 없습니다. 그들은 예측값이 진실에 얼마나 가까운지에 관심을 두며, 이를 위해 매 문제마다 눈송이처럼 독특하게 변하는 기묘하고 맞춤 제작된 점수 산정 규칙을 사용합니다.

이 기묘하고 빠른 '맛의 도전'을 처리하기 위해 구축된 디지털 플랫폼인 MLCompete를 만나보십시오. 이는 루마니아 국가 AI 올림피아드의 공식 심판 역할을 수행하며, 다른 어떤 시스템도 해내지 못하는 일을 해내고 있습니다. 즉, 수천 명의 학생들이 자신의 "맛 예측값"을 제출하고 점수를 즉시 받을 수 있게 하면서도, 그 점수 산정 규칙이 눈송이처럼 독특할 때조차 이를 처리해내는 것입니다.

거대한 변화: 코드 실행에서 예측값 채점으로

이 논문은 기존의 구식 컴퓨터 심사 시스템을 단순히 수정하는 것만으로는 부족하다고 주장합니다. 그것은 마치 스톱워치를 사용하여 수프의 맛을 측정하려는 것과 같습니다. 기존 시스템은 프로그램이 실행을 마칠 때까지 기다렸다가 답을 내놓습니다. 그러나 MLCompete는 AI 경진 대회에서 핵심적인 작업은 제출 전에 이미 이루어진다는 점을 깨달았습니다. 학생들은 외부(또는 플랫폼 위)에서 모델을 학습시킨 후, 예측값이 가득 담긴 파일을 업로드합니다. 플랫폼의 역할은 그 파일을 가져와 숨겨진 "정답지"(ground truth)와 비교하고, 해당 문제에 특화된 메트릭을 사용하여 점수를 계산하는 것입니다.

저자들은 이것이 단순히 표준 프로그래밍 경진 대회의 "더 큰 버전"이 아니라는 점을 명시적으로 밝힙니다. 그들은 전달되는 결과물이 프로그램이 아니라 예측값의 집합이며, 점수 산정이 "맞다 혹은 틀리다"가 아니라 "얼마나 좋은 추측인가"에 대한 슬라이딩 스케일(연속적인 척도)이기 때문에 인프라가 근본적으로 달라야 한다고 말합니다.

작동 원리: 조립 라인

MLCompete를 매우 효율적이고 자동화된 공장 라인이라고 생각해보세요.

1. 접수(The Drop-Off): 학생이 예측 파일을 업로드하면, 시스템은 그들을 기다리게 하지 않습니다. 이는 마치 택배에 즉시 "수령 완료" 도장을 찍고 "곧 처리해 드리겠습니다"라고 말하는 스마트 우편실과 같습니다. 이것이 비동기적(asynchronous) 방식입니다. 학생은 실제 작업이 백그라운드에서 진행되는 동안 다른 게임을 하러 갈 수 있습니다.
2. 대기열(The Queue): 제출물은 디지털 대기 줄(메시지 큐)에 놓입니다. 이것이 비법입니다. 이 방식 덕분에 만약 1,000명의 학생이 동시에 제출하더라도 시스템이 다운되지 않고, 단지 줄을 세울 뿐입니다.
3. 채점 팀(The Scoring Crew): 보이지 않는 작업자들(평가자라고 불림)이 대기 줄에서 다음 파일을 가져와 특정 점수 스크립트(표준 수학 공식일 수도 있고, 문제 저자가 작성한 커스텀 스크립트일 수도 있음)를 실행하여 점수를 계산합니다.
4. 결과(The Result): 점수가 준비되면 시스템은 이를 학생의 화면으로 거의 실시간으로 밀어 넣어줍니다.

논문은 이 설정이 믿을 수 없을 정도로 빠르다는 것을 보여줍니다. 15일 동안 시스템은 810만 건 이상의 요청을 처리했습니다. 운영의 뇌 역할을 하는 백엔드는 매우 빨라서, 95%의 경우 255밀리초 미만 안에 응답했습니다. 이는 눈 깜빡임보다 빠릅니다.

"2단계" 점수판

여기서 논문이 부정행위를 막기 위해 사용하는 영리한 트릭이 설명됩니다. 현재 자신이 어떻게 하고 있는지 보여주는 리더보드가 있다고 상상해 보세요. 하지만 이 리더보는 오직 작고 공개된 테스트 질문들만을 기반으로 합니다. 이는 학생들이 계속 참여하도록 유도합니다. 하지만 진짜 최종 순위는 아무도 본 적 없는 비밀스럽고 사적인 질문 세트를 기반으로 합니다.

플랫폼은 두 가지 점수를 한 번에 계산합니다. 이는 학생들이 실수로 비밀 정답을 맞힐 때까지 수천 번 제출하여 "시스템을 이용(gaming the system)"하는 것을 방지합니다. 승리하려면 학생은 마감 전까지 자신의 **두 가지 최선(two best submissions)**을 명시적으로 선택해야 합니다. 그러면 시스템은 그 두 개 중 비밀 리더보드에서 더 높은 점수를 취합니다. 이는 학생들이 시스템에 스팸을 보내는 대신 자신의 최선의 결과물을 신뢰하도록 강제합니다.

코드를 위한 "안전실(Safe Room)"

때때로 학생들은 예측값을 생성하기 위해 플랫폼의 슈퍼컴퓨터에서 직접 코드를 실행해야 합니다. 이는 위험한 일인데, 학생의 버그 섞인 코드가 데이터를 훔치거나 전체 시스템을 다운시킬 수 있기 때문입니다.

논문은 "심층 방어(defense-in-depth)" 보안 모델을 설명합니다. 가장 고도화된 단계(국가 대표 선발 캠프)에서 학생들은 강력한 NVIDIA H200 GPU에 접근할 수 있습니다. 하지만 여기서 마법이 일어납니다. 플랫폼은 하나의 거대한 GPU를 다섯 개의 작은, 격리된 조각으로 나누는 MIG(Multi-Instance GPU) 기술을 사용합니다. 각 학생은 자신만의 작은 메모리와 컴퓨팅 파워 조각을 갖게 됩니다. 이는 마치 모든 참가자에게 거대한 도서관 속의 개인용 방음 부스를 제공하는 것과 같습니다. 한 학생의 코드가 통제 불능 상태가 되더라도, 다른 사람의 데이터나 나머지 컴퓨터에 영향을 줄 수 없습니다.

또한, 학생들이 온라인에서 답을 찾아내는 부정행위를 방지하기 위해 "화이트리스트 프록시"를 사용합니다. 이는 마치 특정하게 사전 승인된 책 목록만 읽을 수 있도록 허용하는 엄격한 사서와 같습니다. 대회 기간 동안 학생들은 오직 플랫폼, 신원 제공자(identity provider), 그리고 Jupyter 코딩 환경하고만 통신할 수 있습니다. 인터넷, 공개 모델 허브, 그리고 무작위 웹사이트들은 완전히 차단됩니다.

숫자: 얼마나 잘 작동했는가?

저자들은 단순히 이것을 만든 것이 아니라, 실제 국가 경연의 불길 속에서 이를 검증했습니다.

• 신뢰성: 시스템은 거의 완벽하게 가동되었습니다. "서버 오류" 발생률은 고작 **0.007%**였습니다. 즉, 10,000번의 요청 중 약 7번만이 실패했다는 뜻입니다.
• 비용: 이 모든 것을 단 하나의 겸손한 컴퓨터 서버(범용 K3s 노드)로 관리했습니다. 이는 마치 관객이 몰릴 때만 창구를 더 여는 단 하나의 티켓 박스로 거대한 테마파크를 운영하는 것과 같습니다.
• 급증(The Spike): 국가 대표 선발 캠프 기간 동안 트래픽은 평소보다 3~6배 높게 치솟았습니다. 시스템은 줄이 길어질 때 자동으로 더 많은 "작업자"를 추가하는 능력을 통해 이 급증을 흡수하며 속도 저하나 다운 없이 견뎌냈습니다.
• 확장성: 저자들은 수백 명의 학생이 동시에 제출할 경우 어떤 일이 벌어질지 확인하기 위해 시뮬레이션(실제 테스트가 아닌 컴퓨터 모델)을 실행했습니다. 그 결과, 단 10개의 작업자 풀만 있어도 대기 시간 거의 없이 초당 최대 5건의 제출을 처리할 수 있음을 발견했습니다. 줄이 길어지면 시스템이 자동으로 더 많은 작업자를 추가할 뿐입니다.

한계점

논문은 아직 증명하지 못한 부분에 대해서도 신중하게 언급합니다. 저자들은 자신들의 라이브 데이터가 "적당한" 경연 스파이크를 포함한 15일간의 기간만을 다루고 있으며, 수백 명의 학생이 경쟁하는 거대한 "봄" 단계는 포함하지 않았음을 인정합니다. 따라서 시스템이 팀 캠프의 스파이크는 완벽하게 처리했지만, 가장 큰 규모의 행사에서도 이만큼 확장될 수 있다는 점은 입증했다기보다 제안한 수준입니다. 또한, 보안이 강력하지만, 코드 실행을 해커로부터 절대적으로 방어하기 위해 더욱 강력한 "커널 수준" 샌드박싱을 여전히 연구 중이라고 밝혔습니다.

결론

MLCompete는 예측을 우편물처럼 취급하고 점수 산정을 공장 조립 라인처럼 처리함으로써, AI 경진 대회를 위한 거대하고 다국어 지원이 가능하며 안전하고 저렴한 플랫폼을 구축할 수 있음을 증명합니다. 이것은 모든 AI 문제를 해결하는 마법 지팡이는 아니지만, 학생들이 컴퓨터가 다운될까 걱정하는 대신 학습과 경쟁에 집중할 수 있게 해주는 견고하고 작동 가능한 청사진입니다. 논문의 결론처럼, 이 아키텍처는 작동하며 데이터가 이를 뒷받침하고 있으며, AI 교육의 미래를 운영하는 새로운 방법을 제시합니다.