우리가 디지털 비서—컴퓨터 및 웹사이트와 대화하며 항공권을 예약하거나, 옷을 쇼핑하거나, 코드를 작성하는 스마트 에이전트—를 구축하는 세상을 상상해 보십시오. 이 에이전트들은 매우 자신감 있고 예의 바르게 말하는 데 놀라울 정도로 능숙해지고 있습니다. 하지만 여기서 까다로운 문제가 발생합니다. 그들이 실제로 일을 완수했는지, 아니면 그저 아주 매끄럽고 설득력 있는 이야기를 늘어놓은 것뿐인지 어떻게 알 수 있을까요? 과거에는 교사가 모든 에세이를 일일이 손으로 채점하듯, 모든 작업을 하나하나 수동으로 확인해야 했습니다. 하지만 이제는 확인할 에이전트가 너무 많습니다. 그래서 과학자들은 첫 번째 에이전트를 채점하기 위한 '판사' 역할을 하는 두 번째 AI를 사용하기 시작했습니다. 이것은 마치 다른 로봇의 과제를 채점하기 위해 로봇 선생님을 고용하는 것과 같습니다. 문제는 이 로봇 선생님들이 쉽게 속아 넘어가기 쉽다는 점입니다. 그들은 좋은 이야기를 좋아합니다. 만약 에이전트가 항공권 예약을 실패했음에도 불구하고 길고 유창하며 자신감 넘치는 보고서를 작성한다면, 판사는 글이 너무 훌륭하다는 이유만으로 여전히 'A' 학점을 줄 수도 있습니다. 이는 위험합니다. 왜냐하면 서류상으로는 완벽해 보이지만 실제로는 작동하지 않는 결함 있는 소프트웨어를 출시하게 될 수도 있기 때문입니다.

이 논문은 이러한 '말솜씨 좋은 이들'의 함정에 빠지지 않도록 로봇 판사를 훈련하는 영리하고 새로운 방법을 소개합니다. 판사에게 일반적인 규칙 책을 통해 무엇을 찾아야 할지 알려주거나, 판사의 뇌를 미세 조정하는(이는 비용이 많이 들고 이해하기 어렵습니다) 대신, 저자들은 RUBRICFORGE라고 불리는 방법을 만들었습니다. 이것은 마치 형사가 신입 파트너를 훈련시키는 것과 같습니다. 파트너에게 단순히 규칙 목록을 주는 대신, 누가 범죄를 저질렀고 누가 그렇지 않은지 정확히 알고 있는 실제 사건들의 작은 더미를 보여주는 것입니다. 그런 다음 형사는 파트너에게 그 특정 사례들을 바탕으로 새로운 규칙 세트를 작성하도록 요청하며, 파트너가 가짜를 완벽하게 잡아낼 수 있을 때까지 그 규칙들을 계속해서 다듬어 나갑니다. 그 결과물은 판사가 따르게 될 평이한 영어로 작성된 지침 세트입니다. 놀라운 점은, 이 새로운 방식이 단순한 예/아니오 질문에 대해 판사가 '진실'에 더 자주 동의하게 만드는 것이 아니라는 점입니다. 대신, 이 방법은 판사가 가장 중요한 종류의 실수, 즉 정말 잘 들리는 것처럼 보이지만 실제로는 실패한 경우를 잡아내는 데 훨씬 더 뛰어나게 만듭니다.

"말솜씨 좋은" 로봇의 이야기

인공지능의 세계에는 디지털 직원처럼 행동하는 '에이전트'들이 있습니다. 그들은 옷을 사거나 버그를 수정하는 등의 작업을 수행하려고 시도합니다. 그들이 일을 잘했는지 확인하기 위해, 우리는 보통 '그라운드 트루스(ground truth)'—완벽하고 변하지 않는 정답지—를 사용합니다. 예를 들어, 에이전트가 빨간색 셔츠를 사기로 했다면, 그라운드 트루스는 데이터베이스 확인입니다: "빨간색 셔츠가 장바구니에 담겼는가?"

하지만 그 데이터베이스를 확인하는 것은 느리고 비용이 많이 들며, 실제 돈이 걸려 있거나 위험한 동작을 포함하는 경우 때로는 불가능할 수도 있습니다. 그래서 우리는 두 번째 AI인 '판사(Judge)'를 사용하여 에이전트의 대화를 보고 성공 여부를 추측합니다. 문제는 이 판사들이 편향되어 있다는 점입니다. 그들은 수학 문제를 틀렸으면서도 아름다운 에세이를 쓴 학생에게 A 학점을 주는 선생님과 같습니다. 그들은 실제 작업이 실패했더라도 유창하고, 자신감 있고, 긴 답변을 선호합니다. 이를 "과잉 신뢰(over-crediting)"라고 합니다. 이는 조용한 살인자와 같습니다. 만약 당신이 판사가 "통과(Pass)"라고 했기 때문에 에이전트가 작동한다고 믿지만, 실제로는 고장 난 상태라면, 당신은 그것을 대중에게 출시하여 재앙을 초래할 수 있기 때문입니다.

해결책: RUBRICFORGE

저자들인 Darragh Quinn과 그의 팀은 이를 해결하고자 했습니다. 그들은 단순히 더 나은 규칙 책을 수동으로 작성하거나(이는 느리고 무언가를 놓칠 수 있습니다), 판사의 뇌를 재학습시키는 것(이는 비용이 많이 들고 이해할 수 없는 '블랙박스'를 만듭니다)을 원하지 않았습니다. 대신, 그들은 RUBRICFORGE를 발명했습니다.

작동 방식은 다음과 같습니다:

1. 훈련장: 그들은 이미 실제 결과를 알고 있는(그라운드 트루스) 에이전트의 실제 시도 데이터 세트를 가져옵니다. 어떤 것은 성공했고, 어떤 것은 실패했습니다.
2. 진화: 그들은 "성찰적 진화(reflective evolution)" 과정을 사용합니다. 로봇이 규칙 책을 쓰려고 노력한다고 상상해 보십시오. 로봇은 초안을 작성하고, 알려진 사례들에 대해 테스트하며, 어디에서 실수를 했는지 확인합니다. 그런 다음, 로고는 실수를 보고 "왜 틀렸지? 내가 놓친 진짜 단서는 무엇이었나?"라고 자문합니다. 그리고 그 특정 오류를 수정하기 위해 규칙 책을 다시 씁니다. 이 과정을 반복하며 점점 더 똑똑해집니다.
3. 동결: 규칙 책이 훈련 사례들에 대해 완벽해지면, 그들은 그것을 "동결"합니다. 판사의 뇌를 전혀 바꾸지 않고, 단지 이 새롭고 매우 구체적인 지침을 전달할 뿐입니다.
4. 테스트: 그들은 이 동결된 판사를 본 적 없는 새로운 에이전트 시도에 사용합니다. 판사는 텍스트 기반의 규칙 책을 따르기 때문에, 점수를 줄 때마다 정확히 어떤 규칙을 사용했는지 지목할 수 있습니다. 이는 투명합니다.

그들이 발견한 것: "속이기 어려운" 발견

결과는 흥미롭고 다소 직관에 어긋났습니다. 저자들은 자신들이 발견한 것과 발견하지 못한 것에 대해 매우 솔직했습니다.

먼저, 그들은 새로운 판사가 일반적인 판사보다 진실에 더 자주 동의하는지 확인했습니다. 답은: 그렇지 않다였습니다. 단순한 통과/실패 테스트에서, 새로운 방식과 기존 방식은 기본적으로 동률이었습니다. 논문은 전체적인 일치도에서 통계적으로 유의미한 차이가 없었다고 명시적으로 밝히고 있습니다. 즉, 단순히 "정답지와 일치하는가?"라고 물었을 때, 새로운 방식이 확실한 승리를 거둔 것은 아닙니다.

하지만 진짜 승리는 안전성에 있었습니다. 논문은 특정 유형의 오류에 집중합니다. 바로 **'거짓 통과(False Pass)'**입니다. 이것은 에이전트가 실제로 실패했음에도 불구하고 판사가 "성공"이라고 말하는 경우입니다. 이는 고장 난 소프트웨어를 출시하게 만드는 위험한 오류입니다.

• 표준적인 일반 판사는 실패한 에이전트에 대해 약 **17.3%**의 확률로 "통과"를 주었습니다 ($\tau$-bench 데이터셋 기준).
• 새로운 RUBRICFORGE 판사는 실패한 에이전트에 대해 "통과"를 약 **11.5%**의 확률로만 주었습니다.

이는 엄청난 하락입니다. 새로운 방식은 기존의 판사가 속았던 세 가지 특정 사례를 잡아냈으며, 새로운 판사는 올바르게 "실패"라고 말했습니다. 결정적으로, 새로운 판사는 기존 판사가 이미 저지르지 않았던 실수는 저지르지 않았습니다. 즉, 더 많은 오류를 잡아냈을 뿐입니다. 이는 "속이기 더 어렵다"는 것을 의미합니다.

"유창한 실패"의 함정

논문은 이러한 이점이 에이전트가 "유창할 때", 즉 말을 많이 하고 매우 자신감 있게 보일 때 가장 두드러진다는 점을 강조합니다.

• 항공(Airline) 도메인(어려운 작업)에서, 기존 판사는 실패한 시도에 대해 **43.8%**의 확률로 속았습니다.
• 새로운 판사는 단 **25.0%**의 확률로만 속았습니다.
  이것은 에이전트가 길고 상세한 보고서를 쓰는 "자기 진화형(self-evolving)" 전략을 사용할 때 특히 두드러졌습니다. 기존 판사는 긴 보고서를 좋아했지만, 새로운 판사는 증거를 보았고 실패를 포착했습니다.

논문은 또한 "등급" 점수(예: 0에서 100점까지의 점수)도 살펴보았습니다. 여기서 새로운 방식은 순위 매기기(어떤 에이전트가 다른 에이전트보다 나은지 아는 것)에는 더 좋았지만, 기존 방식은 정확한 숫자를 주는 데 약간 더 나았습니다. 저자들은 만약 당신이 에이전트들을 비교하여 누가 최고인지 알고 싶다면 새로운 방식을 사용하고, 보고서를 위한 정밀한 점수가 필요하다면 기존 방식이 약간 더 정확할 수 있다고 신중하게 언급했습니다.

이것이 왜 중요한가

가장 중요한 시사점은 우리가 성공을 측정하는 방식의 변화입니다. 논문은 AI 에이전트에 있어 합의(agreement)가 목표가 아니라, 충실성(faithfulness)이 목표라고 주장합니다. 진실에 90% 일치하지만 완벽해 보이는 10%의 고장 난 에이전트를 놓치는 판사는 쓸모가 없습니다. 완벽해 보이는 고장 난 에이전트를 잡아낼 수 있다면, 다른 부분에서 약간 덜 완벽하더라도 그 판사는 안전하게 사용할 수 있습니다.

실패 사례의 실제 라벨링된 예시들에 판사의 규칙을 근거하게 함으로써, 저자들은 "굿하트의 법칙(Goodhart's Law)" 함정(지표를 최적화하면 그 지표가 쓸모 없어지는 현상)에 저항하는 시스템을 만들었습니다. 그들은 단순히 판사를 더 똑똑하게 만든 것이 아니라, 더 정직하게 만들었습니다. 최종 결론은, 새로운 방식은 합의하는 것보다 속이기 더 어렵다는 것이며, 이것이 바로 우리가 현실 세계에서 AI 에이전트를 신뢰하기 위해 정확히 필요한 것입니다.