당신이 거대한 도서관의 관장이라고 상상해 보세요. 매일 수천 명의 사람들이 자신이 쓴 이야기를 제출합니다. 당신의 업무는 그 이야기들을 읽고, 가장 훌륭한 것을 골라내어 상을 주는 것입니다. 인공지능의 세계에서도 컴퓨터가 다른 컴퓨터를 심사할 때 정확히 이런 일이 일어납니다. 우리는 이를 "LLM-as-a-judge(심판으로서의 LLM)"라고 부르는데, 이는 초지능 AI가 두 개의 답변을 읽고 승자를 결정하는 방식입니다. 이것은 AI 모델이 얼마나 우수한지 테스트하는 표준적인 방법이 되었습니다. 하지만 커다란 문제가 있습니다. 초지능 AI에게 모든 이야기를 다 읽으라고 요청하는 것은 엄청나게 비용이 많이 들고, 느리며, 때로는 AI가 실제로는 말이 되지 않는 근거를 들어 선택의 이유를 지어내기도 한다는 점입니다. 이는 마치 유명하고 비싼 비평가를 고용해 도서관의 모든 책을 읽게 하는 것과 같습니다. 결국 돈은 바닥날 것이고, 비평가가 공정하게 판단하고 있는 것인지 아니면 그저 기분이 안 좋은 상태인지를 알 수조차 없게 될 것입니다.

여기서 새로운 논문이 등장합니다. 연구진들은 간단한 질문을 던졌습니다. 유명한 비평가에게 모든 책을 읽게 하는 대신, 비평가에게 규칙 책(rulebook)을 한 번 작성하게 한 뒤, 그 규칙에 따라 책을 읽을 빠르고 저렴한 로봇 팀을 투입하면 어떨까? 그들은 이를 "프로그램 증류(program distillation)"라고 부릅니다. 매번 비싼 AI에게 생각을 시키는 대신, AI에게 판단을 수행할 수 있는 일련의 지침(컴퓨터 프로그램)을 작성하도록 가르치는 것입니다. 이는 느리고 비싼 전문 셰프를, 올바른 레시피만 주어지면 언제나 완벽한 토스트를 만들어내는 빠르고 자동화된 토스터기로 바꾸는 것과 같습니다. 이 논문은 이 새로운 방법이 훨씬 더 빠르고 저렴할 뿐만 아니라, 코드를 직접 읽어볼 수 있기 때문에 왜 특정 대상을 선택했는지에 대해 훨씬 더 정직하게 설명할 수 있다는 것을 보여줍니다.

이 논문의 핵심 아이디어: 뇌를 도구 상자로 바꾸기

위스콘신 대학교 매디슨 캠퍼스의 황쯔헝(Tzu-Heng Huang), 치우성치(Shengqi Qiu), 프레데릭 살라(Frederic Sala) 연구진은 AI 심사의 "비싸고 불투명한" 문제를 해결하고자 합니다. 그들은 PAJAMA(Program-As-a-Judge Automated Model Assessment)라고 불리는 시스템을 제안합니다. PAJAMA를 단순한 단일 심판이 아니라, 채점을 수행하기 위해 특화된 도구 팀을 구축하는 작업장이라고 생각하십시오.

마법이 일어나는 단계는 다음과 같습니다:

1. 단 한 번의 "브레인 덤프(Brain Dump)"
보통 AI에게 두 답변을 심사하게 하려면, 매번 질문과 답변을 AI에게 보내야 합니다. 이는 비용과 시간이 소모됩니다. PAJAMA는 이 판도를 바꿉니다. 모든 답변을 직접 심사하게 하는 대신, AI에게 심사 방법을 아는 프로그램(코드 조각)을 작성하도록 요청합니다.
당신에게 천재적이지만 속도가 느린 미술 비평가가 있다고 가정해 봅시다. 그에게 1만 점의 그림을 하나하나 보라고 하는 대신, 로봇을 위한 매뉴얼을 작성하라고 시키는 것입니다. 매뉴얼에는 "그림에 푸른 하늘이 있으면 5점을 준다. 하늘이 지저도 하면 2점을 뺀다"와 같은 내용이 담깁니다. 비평가가 이 매뉴얼을 작성하고 나면, 더 이상 그 비평가는 필요하지 않습니다. 당신은 그저 로봇을 실행하기만 하면 됩니다. 논문은 AI가 논리적 오류를 찾아내거나, 이야기가 앞뒤가 맞는지 확인하거나, 답변이 너무 짧은지를 파 detecting하는 데 놀라울 정도로 뛰어난 "심사 매뉴얼"(프로그램)을 작성할 수 있음을 보여줍니다.

2. 로봇 위원회
한 명의 로봇은 수학에는 약하지만 문법에는 강할 수 있습니다. 또 다른 로봇은 거짓말을 잡아내는 데는 뛰어나지만 문체에는 약할 수 있습니다. 따라서 PAJAMA는 단 하나의 프로그램만을 만드는 것이 아니라, 전체 위원회를 만듭니다. 그들은 AI에게 각기 다른 각도에서 답변을 살펴보는 여러 개의 서로 다른 프로그램을 작성하도록 요청합니다.
이 로봇들이 모두 똑같은 말만 해서 지루하거나 무의미해지는 것을 방지하기 위해, 연구진은 그들에게 서로 다른 "루브릭(rubric)"이나 체크리스트를 제공합니다. 어떤 로봇은 논리적 흐름을 체크하고, 다른 로봇은 주제의 일관성을, 또 다른 로봇은 형식(formatting)을 체크합니다. 이는 마치 한 명은 국어 선생님, 한 명은 논리학 교수, 한 명은 스타일 코치로 구성된 심사 위원회를 두는 것과 같습니다.

3. "신뢰도" 스위치
때때로 로봇 위원회조차 혼란에 빠질 수 있습니다. 두 답변이 너무 비슷해서 로봇들이 결정을 내리지 못할 수도 있습니다. 여기서 PAJAMA는 영리해집니다. "신뢰도 측정기"를 갖추고 있는 것입니다. 로봇들이 확신이 있다면 승자를 외칩니다. 하지만 로봇들이 확신이 없거나, 혹은 모두가 기권(예: "잘 모르겠습니다")한다면, PAJAMA는 백업 플랜을 가동합니다. 그 까다로운 사례들만 골라 비싸고 똑똑한 AI 심판(LLM)에게 보냅니다.
이는 박물관의 보안 요원과 같습니다. 방문객이 평범해 보이면 보안 요원이 즉시 통과시킵니다. 하지만 누군가 수상해 보이면, 보안 요원은 더 자세히 살펴보기 위해 관리자를 호출합니다. 이렇게 함으로써, 쉬운 문제들에 대해서는 돈을 아끼고, 오직 어려운 사례들에 대해서만 비싼 관리자에게 비용을 지불하게 됩니다.

연구 결과: 빠르고, 저렴하며, 놀라울 정도로 스마트함

연구진은 다섯 가지 데이터셋과 네 가지 AI 모델 제품군을 대상으로 이 시스템을 테스트했습니다. 그들이 발견한 사실은 다음과 같습니다:

• 속도가 왕이다: 프로그래밍된 심판들은 믿을 수 없을 정도로 빠릅니다. 이 프로그램들은 표준적인 AI 심판보다 47.25배 더 빠르게 답변을 처리할 수 있습니다. 일반적인 AI 심판이 생각하는 데 1~2초가 걸릴 때, 이 프로그램들은 단순한 수학과 논리 규칙을 실행할 뿐이므로 순식간에 처리를 끝냅니다.
• 높은 정확도: 빠르고 저렴함에도 불구하고, 이들은 여로 매우 뛰어납니다. 프로그램 팀은 평균적으로 130억 개의 파라미터를 가진 대규모 AI 모델의 정확도와 일치하는 모습을 보였습니다. 어떤 경우에는 단 8개의 프로그램으로 구성된 작은 팀이 70억 개의 파라미터를 가진 모델만큼 정확했습니다.
• "파레토 프런티어(Pareto Frontier)"의 돌파구: 과학에서 "파레토 프런티어"는 속도와 정확도처럼 두 가지 요소 사이의 최적의 균형을 의미합니다. 보통 속도를 높이려면 정확도를 포기해야 합니다. 하지만 PAJAMA는 이 규칙을 깹니다. 프로그램을 통해 쉬운 일을 처리하고 AI가 어려운 일을 처리하게 함으로써, 더 높은 정확도와 더 빠른 속도를 동시에 얻는 최적의 지점을 찾아냈습니다. 예를 들어, 특정 AI 모델과 결합했을 때 정확도를 5% 향상시키면서도 속도는 거의 3배 더 빠르게 만들었습니다.
• 저렴한 학습: 그들은 또한 이 프로그램들을 사용하여 다른 AI 모델을 훈련(리워드 모델 증류 과정)시켰습니다. 그 결과, 새로운 AI를 가르치는 데 유명하고 비싼 AI를 사용하는 것보다 이 프로그램들을 사용하는 것이 50배 더 저렴하다는 것을 발견했습니다. 프로그램의 데이터로 훈련된 새로운 AI는 비싼 데이터를 사용해 훈련된 모델과 대등하거나 오히려 더 나은 성능을 보였습니다.
• 정직함과 편향성: AI 심판의 문제 중 하나는 편향될 수 있다는 점입니다. 단순히 답변이 길다는 이유로 높은 점수를 주거나, 화려한 형식을 선호할 수도 있습니다. PAJAMA의 심판들은 실제 컴퓨터 프로그램이기 때문에, 그들이 무엇을 하고 있는지 정확히 볼 수 있습니다. 만약 프로그램이 답변 길이에 편향되어 있다면, 코드를 열어 "길이에 따라 점수 추가"라고 적힌 줄을 찾아 삭제하기만 하면 됩니다. 연구진은 이 프로그램들을 "교정(calibration)"함으로써 이러한 편향을 크게 줄일 수 있으며, 이를 통해 훨씬 더 공정한 심사를 할 수 있음을 보여주었습니다.

이것이 왜 중요한가

이 논문은 AI가 AI를 심사하게 하기 위해 계속해서 막대한 비용을 지불할 필요가 없다고 주장합니다. 심판의 "사고" 과정을 재사용 가능하고 투명한 규칙의 집합으로 변환함으로써, 평가를 확장 가능한 구조로 만들 수 있습니다. 이는 블랙박스(AI가 왜 그런 선택을 했는지 알 수 없는 상태)를 검사 가능한 명확한 프로세스로 바꿉니다.

저자들은 이것이 모든 AI 심판을 대체하는 마법 지팡이는 아니라는 점을 분명히 합니다. 때때로 문제는 단순한 규칙으로 해결하기엔 너무 복잡할 수 있으며, 그렇기에 어려운 경우를 대비해 비싼 AI를 백업으로 남겨두는 것입니다. 하지만 대다수의 일상적인 심사 작업에 있어서, 이 "프로그램 증류" 방식은 현재의 방식이 가진 높은 비용, 높은 지연 시간, 그리고 숨겨진 편향 없이도 고품질의 결과를 얻을 수 있는 길을 제시합니다. 이는 천재에게 모든 일을 시키는 것에서, 천재가 효율적인 일꾼 팀을 구축하도록 가르치는 방식으로의 전환입니다.