AsymmetryZero: A Framework for Operationalizing Human Expert Preferences as Semantic Evals

해당 논문은 모델 전용 및 에이전트 환경 모두에서 인간 전문가의 선호도를 명시적이고 재사용 가능한 평가 계약으로 구체화하는 AsymmetryZero 프레임워크를 제시하며, 내부 이견이 더 높음에도 불구하고 비용과 지연 시간을 크게 줄이면서도 최첨단 배심원단과 비교 가능한 작업 수준의 결과를 달성할 수 있는 소형 배심원단이 있음을 입증합니다.

핵심

거대한 요리 대회를 운영한다고 상상해 보세요. 수천 명의 셰프 (AI 모델) 가 완벽한 요리를 만들려고 노력하지만, '완벽함'은 주관적입니다. 한 심사위원은 소금기를 중요하게 여기고, 다른 이는 플레이팅을, 또 다른 이는 조리 시간을 중시할 수 있습니다.

과거에는 이러한 요리를 평가하려 할 때 혼란스러웠습니다. 때로는 심사위원들이 "맛이 좋습니다"라는 모호한 메모만 남기거나, 왜 한 요리가 다른 요리보다 나은지에 대해 끝없이 논쟁하기도 했습니다. 이 논문은 그 혼란을 해결하기 위해 AsymmetryZero라는 새로운 시스템을 도입하고, 심사위원을 고용하는 두 가지 다른 방식을 테스트합니다.

간단한 용어로 정리해 보면 다음과 같습니다:

1. 문제: "모호한 심사위원"의 함정

현재 AI 를 테스트할 때, 종종 초지능 AI 에게 다른 AI 의 작업을 평가하도록 요청합니다. 하지만 단순히 "이 에세이를 평가해 주세요"라고만 말하면, 채점자가 자신의 숨겨진 규칙을 사용할 수 있습니다. 긴 답변을 선호하거나 주제에 혼란을 느낄 수도 있습니다. 이는 체크리스트 없이 음식을 평가하는 미식가를 고용하는 것과 같습니다. 그들이 음식을 평가하는지 아니면 단순히 기분에 따라 평가하는지 알 수 없습니다.

2. 해결책: "평가 계약서"

저자들은 AsymmetryZero를 개발했는데, 이는 기본적으로 엄격한 채점 레시피입니다.

모호한 프롬프트 대신, 모든 작업에는 "계약서"가 함께 제공됩니다. 이 계약서는 다음과 같은 상세한 채점표와 같습니다:

• 무엇을 평가하는가? (예: "셰프가 소금을 사용했는가?")
• 어떻게 확인하는가? (예: "'소금'이라는 단어가 나타나면 10 점 부여")
• 누가 결정하는가? (단일 심사위원인가, 그룹인가?)
• 합격 점수는 무엇인가?

이 계약서는 간단한 AI(단순 텍스트 작성) 와 복잡한 AI 에이전트 (도구를 사용하고 여러 단계를 거치는 로봇) 모두에 적용됩니다. 흥미로운 점은 동일한 계약서를 간단한 텍스트 봇이나 복잡한 로봇을 평가하는 데 사용할 수 있으며, 그 점수들이 비교 가능하다는 것입니다.

3. 실험: "거대 심사위원" 대 "소형 심사위원"

저자들은 궁금해했습니다: 이러한 계약서를 평가하기 위해 비싸고 초지능인 심사위원이 필요한지, 아니면 더 저렴하고 작은 심사위원으로 충분할지.

그들은 75 개의 복잡한 작업 (고급 수학이나 코딩 문제 해결 등) 으로 구성된 테스트를 설계했습니다. 그리고 4 개의 서로 다른 "참가자"AI 모델을 사용하여 작업을 해결하게 한 뒤, 두 가지 다른 "심사위원"AI 그룹을 통해 그 해결책을 평가했습니다:

• 프런티어 배심원 (거대 심사위원): 이용 가능한 가장 강력하고 비싸며 지능적인 AI 모델 5 개로 구성된 패널.
• 컴팩트 배심원 (소형 심사위원): 더 작고 저렴하며 빠른 AI 모델 5 개로 구성된 패널.

4. 결과: "저렴한 심사위원"은 더 많은 노이즈를 생성함

그들이 발견한 바는 다음과 같습니다:

• 최종 점수는 유사함: 모든 점수를 합산하면, "거대 심사위원"과 "소형 심사위원"은 일반적으로 누가 대회를 이겼는지 동의했습니다. 어떤 작업이 거대 심사위원에게 합격했다면, 소형 심사위원에게도 일반적으로 합격했습니다.
• 세부 사항은 혼란스러움: 그러나 개별 단계 (채점표의 특정 기준) 를 살펴보면, 소형 심사위원은 거대 심사위원과 15% 에서 25% 사이에서 이견을 보였습니다.
• "지적하기" 문제: 가장 큰 문제는 소형 심사위원들이 서로조차 동의하지 못했다는 점입니다.
  • 거대 심사위원은 차분한 위원회처럼 행동하여 거의 항상 동의했습니다 (분열되는 경우는 6~11% 에 불과했습니다).
  • 소형 심사위원은 혼란스러운 방처럼 행동하여 서로 끊임없이 논쟁했습니다 (3 대 2 로 분열되는 경우가 약 **30%**였습니다).

비유: 수학 시험을 채점한다고 상상해 보세요.

• 거대 심사위원: 다섯 명의 교수가 모두 정답을 보고 "네, 맞습니다"라고 말합니다.
• 소형 심사위원: 세 명의 교수는 "맞습니다"라고 하지만, 두 명은 "손글씨가 지저분해서 틀렸습니다"라고 말합니다. 수학은 맞는데 말입니다. 그들은 스스로와 논쟁을 벌입니다.

5. 트레이드오프: 비용 대 일관성

소형 심사위원은 놀라울 정도로 저렴하고 빨랐습니다.

• 비용: 거대 심사위원보다 약 97% 저렴했습니다.
• 속도: 약 82% 더 빨랐습니다.

판단:
시스템이 전반적으로 작동하는지 확인하기 위한 빠르고 저렴한 점검 (예: "정신 건강 점검") 만 원한다면, 소형 심사위원은 훌륭합니다. 그들은 막대한 비용을 절약해 줍니다.

하지만, 무언가가 실패한 이유를 정확히 알아내거나 고위험 의사결정을 위한 완벽한 감사 추적이 필요하다면, 소형 심사위원은 너무 "노이즈"가 많습니다. 그들은 세부 사항에 대해 신뢰할 수 있을 만큼 서로 너무 많이 논쟁합니다.

요약

이 논문은 채점 규칙 (계약서) 을 어떻게 작성하느냐가 누구를 채점자로 고용하느냐만큼 중요하다고 주장합니다.

더 작고 저렴한 AI 심사위원을 사용하면 많은 돈을 절약할 수 있지만, 그들이 서로 더 자주 논쟁할 것이라는 점을 받아들여야 합니다. 차분하고 일관된 판결이 필요하다면 여전히 비싼 "프런티어"심사위원이 필요합니다. 단순히 대략적인 추정이 필요하다면 저렴한 것으로도 충분합니다.

기술 요약

기술 요약: AsymmetryZero

문제 제기

본 논문은 현재 강화학습 (RL) 및 AI 평가 파이프라인에서 중요한 간극을 지적합니다: 주관적, 절차적, 도메인 특화적 인간 전문가 요구사항을 확장 가능한 평가 신호로 운영화하는 데 따른 어려움입니다. 정확한 일치 (exact-match) 지수는 결정론적 작업에는 충분하지만, 의미론적, 다요인적, 또는 개방형 작업에는 실패합니다. 반대로, 개방형 LLM 판정은 종종 프롬프트 내에 채점 정책을 암묵적으로 남겨두어 불안정성과 감사 불가능성을 초래합니다. 저자들은 후학습 (post-training) 의 핵심 과제가 단순히 모델을 점수화하는 것이 아니라, 전문가 요구사항을 평가 자체에 충실히 인코딩하는 것이라고 주장합니다.

방법론: AsymmetryZero 프레임워크

이를 해결하기 위해 저자들은 AsymmetryZero를 소개합니다. 이는 **안정적인 평가 계약 (evaluation contract)**을 통해 인간 전문가의 선호도를 **의미론적 평가 (semantic evals)**로 운영화하는 프레임워크입니다.

핵심 구성 요소

1. 평가 계약 (Evaluation Contracts): 단일 프롬프트나 정답 키 대신, 작업을 실행 입력 (프롬프트, 참조) 과 채점 입력 (기준, 가중치, 임계값) 을 분리하는 이식 가능한 계약으로 정의합니다.

   • 구조: 각 기준은 가중치, 프롬프트, 채점자 유형 (정확히 일치하는 ExactMatch 또는 llm-judge) 을 명시적으로 선언합니다.
   • 집계: 기준 수준의 결정은 작업 점수로 집계됩니다 ($S = \sum w_i \hat{v}_i$). 작업은 $S \ge \tau$일 경우 통과합니다.
   • 배심원 합의: llm-judge 기준의 경우, 채점자 패널 ($J_i$) 이 투표합니다. 합의는 엄격한 다수결로 결정됩니다 ($\hat{v}_i = 1$ if $\sum v_{ij} > |J_i|/2$); 동점일 경우 실패로 간주됩니다.

2. 이중 실행 하네스 (Dual Execution Harnesses): 이 프레임워크는 평가 의미론을 실행과 분리합니다.

   • Inspect: 모델 전용 평가에 사용됩니다.
   • Harbor: 에이전트 평가에 사용됩니다 (특히 terminus2 에이전트 사용).
   • 두 하네스 모두 동일한 계약을 소비하여 모델 및 에이전트 출력 간 비교 가능한 점수와 공유 감사 산출물을 보장합니다.

3. 감사 가능성 (Auditability): 시스템은 기준별 결과, 채점자 투표, 근거, 가중치 기여도를 기록하는 상세한 추적 기록을 생성하여 실패 모드와 이의 분석을 가능하게 합니다.

실증 연구: 채점자 역량과 대체

본 논문은 PORTEX-COMPOSITE 벤치마크를 사용하여 더 작고 저렴한 "컴팩트" 배심원이 평가 무결성을 훼손하지 않고 고비용의 "프런티어" 배심원을 대체할 수 있는지 여부를 실증적으로 연구합니다.

실험 설정

• 작업: 4 개의 솔버 모델 (Claude Opus 4.6, GPT-5.4, Grok-4.20, Gemini-3.1-Pro) 로 평가된 75 개의 프런티어급 작업.
• 배심원 조건:
  • 프런티어 배심원: 5 개의 대규모 최첨단 오픈 가중치 모델.
  • 컴팩트 배심원: 5 개의 소형 오픈 가중치 모델.
• 지표: 기준별 일치도, 풀 내 불일치 (이의율), 작업별 점수 안정성, 경제적 효율성 (비용, 지연 시간, 토큰).

주요 결과

1. 기준별 이질성: 컴팩트 및 프런티어 배심원은 완벽하게 일치하지 않습니다.

   • 다수 일치: 실행 간 75.9% 에서 89.6% 범위 (엄격한 공통 부분집합: 77.8%–92.1%).
   • 함의: 컴팩트 채점자를 대체하면 의미론적 기준 결정의 상당 부분이 변경됩니다.

2. 내부 이의 (안정성): 컴팩트 배심원은 훨씬 더 높은 내부 불안정성을 보입니다.

   • 3–2 분할: 프런티어 배심원의 평균 분할률은 **6.1%–11.5%**인 반면, 컴팩트 배심원은 **28.7%–32.4%**를 평균했습니다.
   • 결론: 컴팩트 배심원은 프런티어 배심원과도 더 많이, 그리고 서로 간에도 더 많이 이의를 제기합니다.

3. 작업별 안정성: 기준별 이질성에도 불구하고, 집계된 작업 결과는 종종 유사합니다.

   • 상관관계: 프런티어 및 컴팩트 작업 점수 간의 피어슨 상관관계는 0.88입니다 (범위 0.81–0.93).
   • 점수 변화: 채점된 작업의 70%–87% 는 풀 간 점수 변화가 없었습니다.
   • 미묘한 차이: 이 안정성은 일관된 기준 수준 판단보다는 가중 합계에서의 오류 상쇄에 의존하는 "취약한" 것으로 보입니다.

4. 경제적 효율성: 컴팩트 배심원은 막대한 효율성 향상을 제공합니다.

   • 비용: 기준당 약 97% 감소.
   • 지연 시간: 약 82% 감소.
   • 토큰: 출력 토큰이 약 75% 감소.

5. 이유 분석:

   • 응답 길이: 더 긴 응답이 더 높은 이의율과 상관관계가 있지만, 통계적 모델링 (순서형 혼합 모델) 은 컴팩트 배심원이 프런티어 배심원보다 길이에 더 민감하다는 강력한 증거를 찾지 못했습니다. 이의의 주요 원인은 풀 유형 자체입니다 (컴팩트 풀은 본질적으로 더 노이즈가 많습니다).
   • 실패 모드: 정성적 검토에 따르면 컴팩트 배심원은 프런티어 배심원과 동일한 이유 (예: 문자적 해석 대 실질적 내용) 로 실패하지만, 기준을 덜 일관되게 적용합니다.

주요 기여

1. 운영 프레임워크: AsymmetryZero 는 전문가 지식을 모델과 에이전트 모두에 적용 가능한 감사 가능하고 실행 가능한 평가 계약으로 전환하는 구체적인 시스템을 제공합니다.
2. 규칙 기반 의미론적 채점: 개방형 프롬프팅을 넘어 명시적 집계 규칙을 갖춘 구조화된 기준 중심 채점으로 이동합니다.
3. 채점자 역량에 대한 실증적 증거: 이 연구는 컴팩트 배심원이 고처리량 모니터링에는 경제적으로 타당하지만, 더 높은 분산과 내부 이의로 인해 기준 감사 가능 평가에는 아직 프런티어 배심원과 의사결정 동등성이 없다는 데이터 기반 증거를 제공합니다.

중요성과 주장

본 논문은 평가의 신뢰성은 채점자만큼이나 계약에 달려 있다고 주장합니다.

• 실무자를 위해: 이 프레임워크는 조직이 "무엇이 중요한지" (계약) 와 "얼마나 비용이 드는지" (채점자 선택) 를 분리할 수 있게 합니다.
• 전략적 통찰: 컴팩트 배심원은 최종 작업 점수가 특정 기준 추적보다 중요한 저비용 결과 모니터링에 적합합니다. 그러나 기준 수준의 감사 가능성이 필요한 고위험 의사결정의 경우, 우수한 내부 합의를 가진 프런티어 배심원이 기본값으로 남아 있습니다.
• 향후 방향: 저자들은 컴팩트와 프런티어 행동 간의 격차를 온-정책 증류 (컴팩트 평가자를 프런티어 배심원 결정 모방하도록 학습) 를 통해 좁힐 수 있다고 제안하지만, 이는 현재 기능이 아닌 향후 과제로 식별됩니다.

저자들은 겸손하게도, 본 연구는 인간 기준 정답에 대한 절대적 정확성이 아닌 배심원 간 비교 가능성을 평가하며, 결과는 테스트된 STEM 중심 작업 및 Harbor 에이전트 구성에 국한된다고 명시합니다.