당신이 퍼즐을 푸는 데 특화된 똑똑한 로봇 팀을 훈련시키는 코치라고 상상해 보세요. 누가 가장 뛰어난지 확인하기 위해 당신은 테스트를 실시합니다. 처음에는 점수가 제각각입니다. 어떤 로봇은 40%, 어떤 로봇은 80%, 그리고 몇몇 천재적인 로봇들은 95%를 기록합니다. 이것은 아주 좋습니다! 누가 이기고 있고 누가 더 연습이 필요한지 명확하게 알 수 있기 때문입니다. 하지만 얼마 지나지 않아 이상한 일이 벌어집니다. 모든 로봇이 99% 또는 100%를 받기 시작합니다. 점수가 더 이상 움직이지 않습니다. '좋은' 로봇과 '위대한' 로봇 사이의 격차가 사라집니다. 테스트가 너무 쉬워져서 차이를 구별할 수 없게 된 것입니다. 인공지능(AI)의 세계에서는 이를 '포화(saturation)'라고 부릅니다. 이는 마치 게임 개발자들이 더 어려운 단계를 발명해야 할 정도로, 모든 사람이 너무 많이 클리어해서 리더보드가 무용지물이 된 비디오 게임 레벨과 같습니다.

"AI 벤치마크가 정체될 때(When AI Benchmarks Plateau)"라는 제목의 이 논문은 바로 이 문제에 대해 깊이 파고듭니다. 연구진은 AI 언어 모델의 지능을 측정하는 데 사용되는 60가지의 서로 다른 테스트를 조사했습니다. 그들은 왜 어떤 테스트는 빠르게 작동을 멈추는 반면, 어떤 테스트는 수년간 유용함을 유지하는지 알아내고자 했습니다. 그들은 점수가 얼마나 평탄해졌는지를 정확히 측정하기 위해 특별한 "포화 지수(saturation meter)"를 구축했습니다. 그들의 거대한 발견은 무엇이었을까요? 오래되었고 가장 많이 사용되어 온 테스트들이 가장 먼저 망가진다는 것이었습니다. 단순히 정답을 숨기는 것(테스트를 "비공개"로 유지하는 것)이나 객관식 문제를 만드는 것이 테스트가 쓸모없어지는 것을 막아주지는 못한다는 사실이 밝혀졌습니다. 테스트를 신선하게 유지하는 진짜 영웅은 엄청난 양의 질문을 보유하는 것과 전문가들이 문제를 까다롭게 설계하는 것이었습니다. 만약 테스트가 오래되고 규모가 작다면, 최고의 AI와 나머지를 구분할 수 없는 천장에 도달하는 것이 거의 확실합니다.

멈춰버린 스코어보드의 이야기

AI 벤치마크의 세계를 거대한, 높은 판돈이 걸린 스포츠 리그라고 상상해 봅시다. 매년 새로운 팀(AI 모델)들이 리그에 합류하며, 그들은 자신이 최고임을 증명해야 합니다. 이를 위해 그들은 일련의 경주(벤치마크)를 치릅니다. 어떤 경주는 단거리 스프린트이고, 어떤 것은 마라톤이며, 어떤 것은 장애물 달리기입니다.

오랫동안 이 경주들은 완벽하게 작동했습니다. 더 빠른 러너가 나타나면 기존 기록을 갈아치웠고, 모두가 환호했습니다. 하지만 곧 리그는 이상한 경향을 감지했습니다. 러너들은 모두 점점 빨라지고 있었지만, 결승선은 점점 혼잡해졌습니다. 곧, 상위 5명의 러너가 밀리초 단위까지 거의 동시에 결승선을 통과하게 되었습니다. 스코어보드가 멈춰버린 것입니다. 경주가 너무 짧거나 타이밍이 너무 불분명했기 때문에, 누가 실제로 가장 빠른지 더 이상 알 수 없게 되었습니다.

이것이 이 논문의 저자들이 해결하고자 했던 문제입니다. 그들은 질문했습니다. "왜 이 경주들은 제대로 작동하지 않는가? 러너들이 너무 잘하게 되었기 때문인가, 아니면 경주 트랙이 잘못 설계되었기 때문인가?"

위대한 조사: 현미경 아래의 60가지 경주

연구진은 단순히 추측하지 않았습니다. 그들은 거대한 탐정 임무를 수행했습니다. 그들은 가장 큰 AI 기업들과 연구자들이 사용하는 "경주"인 60가지의 서로 다른 AI 벤치마크에서 데이터를 수집했습니다. 그들은 경주의 연령, 질문의 개수, 정답이 공개되었는지 혹은 비밀인지, 그리고 누가 질문을 작성했는지(인간 혹은 컴퓨터) 등 모든 것을 살펴보았습니다.

스코어보드가 "멈춘 정도"를 측정하기 위해, 그들은 **포화 지수(Saturation Index)**라는 영리한 도구를 발명했습니다. 이것을 "노이즈 탐지기"라고 생각하면 됩니다.

• 상위 러너들 사이의 차이가 "노이즈"(타이밍의 무작위 오차)에 비해 크다면, 지수는 낮으며 경주는 여전히 공정합니다.
• 상위 러너들이 너무 가까워져서 그들의 차이가 노이즈보다 작아지면, 지수는 올라갑니다. 경주가 "포화"된 것입니다. 이는 허리케인 속에서 속삭임을 들으려고 노력하는 것과 같습니다. 바람 소리가 너무 커서 누가 말하고 있는지 알 수 없는 것과 같습니다.

그들은 연구한 60개의 경주 중 거의 절반이 이미 포화 상태라는 것을 발견했습니다. 어떤 것들은 너무 포화되어 상위 모델들을 거의 구별할 수 없을 정도였습니다.

그들이 깨뜨린 미신들

이 연구 전에는 사람들에게 경주를 오랫동안 공정하게 유지하는 방법에 대한 몇 가지 생각이 있었습니다. 연구진은 이러한 아이디어들을 테스트했고, 그중 일부는 틀린 것으로 드러났습니다.

미신 1: "정답을 숨기면 경주가 더 오래 공정하게 유지된다."
많은 이들이 테스트 질문을 비밀로 유지하면(비공개 테스트 세트) 로봇들이 정답을 암기할 수 없을 것이라고 생각했습니다. 연구진은 공개 테스트와 비공개 테스트를 비교함으로써 이를 확인했습니다.

• 결과: 상관없었습니다. 비공개 테스트도 공개 테스트만큼 빠르게 "멈췄습니다". 일단 테스트가 유명해지면, 설령 정답이 비밀이라 하더라도 AI 모델들은 질문의 스타일을 너무 잘 학습하여 모두 똑같이 높은 점수를 받게 됩니다. 테스트를 숨기는 것은 안개 속에 결승선을 숨기는 것과 같습니다. 결국 모두가 그 위치를 알아내고 맙니다.

미신 2: "객관식 문제가 문제다."
어떤 이들은 AI가 단순히 A, B, C, D를 고르는 대신 긴 서술형 답변을 쓰게 하면 테스트가 더 오래 지속될 것이라고 생각했습니다.

• 결과: 아닙니다. 연구 결과, 객관식 질문이 있는 테스트와 서술형 글쓰기가 있는 테스트 모두 비슷한 속도로 포화되었습니다. 답변의 형식이 테스트를 구원하지 못했습니다.

미신 3: "영어 전용 테스트가 다국어 테스트보다 더 빨리 깨진다."
대부분의 AI가 주로 영어로 훈련되기 때문에 영어로만 된 테스트는 너무 쉬워질 것이라는 논리가 있어 보였습니다.

• 결과: 영어 테스트가 더 빨리 깨지는 것처럼 보였지만, 연구진은 이것이 시간의 함정이라는 것을 깨달았습니다. 영어 테스트는 단지 더 오래되었을 뿐이었습니다. 다국어 테스트는 신규 테스트였기에, 아직 포화될 만큼 충분히 실행되지 않았던 것입니다. 같은 연령대의 테스트를 비교했을 때, 언어는 생각만큼 중요하지 않았습니다.

진짜 범인: 연령과 규모

그렇다면 정답을 숨기거나 형식을 바꾸는 것이 효과가 없다면, 실제로 무엇이 테스트를 망가뜨리는 것일까요? 연구진은 두 가지 주요 악당을 찾아냈습니다.

1. 연령 (시간): 이것이 가장 큰 요인이었습니다. 테스트가 오래될수록 포화될 가능성이 높습니다. 인기 있는 노래를 생각해보세요. 처음 들을 때는 신선합니다. 하지만 천 번을 듣고 나면 모든 음을 다 알게 됩니다. AI 모델도 마찬가지입니다. 테스트가 수년에 걸쳐 더 많이 사용될수록, 모델들은 단순히 암기하는 것이 아니라 그 특정 유형의 퍼즐에 대한 전문가가 됨으로써 테스트를 "공략(gaming)"하는 법을 배웁니다. 연구는 60개월보다 오래된 테스트가 새로운 테스트보다 훨씬 더 포화될 가능성이 높다는 것을 보여주었습니다.

2. 규모 (질문의 수): 이것이 두 번째로 큰 요인이었습니다. 질문이 매우 적은 테스트(작은 테스트 세트)는 훨씬 더 빨리 포화되었습니다. 장애물이 단 3개뿐인 경주를 상상해 보세요. 하나에서 넘어지면 큰일입니다. 하지만 장애물이 100개라면, 한 번의 실수가 승자를 바꾸지는 못합니다. 작은 테스트는 "노이즈"가 많습니다. AI가 몇 개의 질문에서 운 좋게 맞히면 점수가 급등하여 천재처럼 보일 수 있습니다. 하지만 수천 개의 질문이 있는 거대한 테스트를 가진다면, 운은 큰 영향을 미치지 못합니다. 연구는 더 많은 질문을 가진 테스트가 더 오랫동안 공정하고 유용하게 유지된다는 것을 발견했는데, 이는 가장 똑똑한 모델들 사이의 미세한 차이를 포착할 수 있기 때문입니다.

좋은 소식: 더 나은 경주를 만드는 법

이 논문은 단순히 "모든 것이 망가졌다"고 말하는 데 그치지 않습니다. 테스트를 오래 지속시키기 위한 레시피를 제공합니다.

• 테스트를 거대하게 만드세요: 테스트가 계속 유용하게 유지되길 원한다면, AI에게 단 몇십 개가 아닌 수천 개의 질문을 주십시오. 이는 "노이즈"를 줄이고 실제 차이를 보여줄 수 있게 합니다.
• 신선함을 유지하세요: 똑같은 질문을 영원히 사용하지 마세요. 최고의 테스트는 변화하고, 새로운 질문을 추가하며, AI를 속일 줄 아는 전문가들에 의해 설계된 테스트입니다.
• 비밀에 의존하지 마세요: 테스트를 숨기는 것이 마법의 방패는 아닙니다. AI가 규칙을 알더라도 승리하기 위해 여전히 열심히 노력해야 할 만큼 테스트를 잘 설계해야 합니다.

핵심 요약

저자들은 높은 점수를 받는 것이 항상 나쁜 것은 아니라고 조심스럽게 언급합니다. 만약 단순한 것을 측정하도록 설계된 테스트이고 모든 AI가 100%를 받는다면, 그것은 아주 좋은 것입니다! 이는 문제가 해결되었음을 의미합니다. 하지만 문제는 테스트가 좋은 AI와 위대한 AI의 차이를 구별할 수 있어야 함에도 불구하고, 너무 오래되었거나 규모가 작아서 더 이상 구별할 수 없을 때 발생합니다.

이 연구는 우리가 이러한 테스트를 영구적인 트로피처럼 취급하는 것을 멈추고, 살아있는 생명체처럼 취급해야 한다고 제안합니다. 우리가 만들고 있는 초지능 로봇들을 따라잡기 위해 테스트는 성장하고, 변화하고, 더 커져야 합니다. 그렇지 않으면 우리의 리더보드는 그냥 평평한 직선만을 보여줄 것이며, 우리는 누가 실제로 최고인지 알 수 없게 될 것입니다.