기술 요약: 합의 기반 다양성 (Agreement Before Diversity, ABD)

문제 정의

이질적인 언어 모델 앙상블은 후보 응답의 공간을 확장하여 다양성을 통한 정확도 향상의 잠재력을 제공한다. 그러나 기존 방식들은 이미 지원되고 있는 답변을 언제 새로운 생성 답변으로 대체해야 하는지를 결정하는 원칙적인 기준이 부족하다. 현재의 방법들은 후보 헤드룸(다양한 출력의 가공되지 않은 잠재력)과 교체 권한(현재 답변을 변경하기 위한 정당성)을 자주 혼동한다. 다양한 오류 또한 여전히 오류이며, 유창한 합성 모델(synthesizer)은 정답을 수정하는 것만큼이나 쉽게 정답을 덮어쓸 수 있다. 핵심 과제는 검증 불가능한 가정(예: 샘플 독립성이나 보정된 신뢰도 점수)에 의존하지 않고, 더 많은 옵션을 갖는 것과 어떤 옵션을 신뢰할지 아는 것 사이를 구별하는 것이다.

방법론: 합의 기반 다양성 (ABD)

저자들은 후보 생성과 교체 권한을 분리하는 고정된, 레이블이 필요 없는 결정 규칙인 **Agreement-Before-Diversity (ABD)**를 제안한다. 이 방법은 특정 항목 $x$에 대해 다음과 같이 작동한다:

1. 앵커 및 프로브(Anchor and Probes): 앵커 모델이 답변 $y_0$를 생성한다 (온도 0). 동일한 모델로부터 두 개의 추가적인 신뢰할 수 있는 샘플 $y_1$과 $y_2$가 생성된다 (온도 0.7).
2. 검증 이벤트 ($A$): 고정된 동치 관계 $E$(예: 코드의 경우 정규화된 문자열 일치, 객관식의 경우 정확한 옵션 매칭)가 파싱된 답변들을 비교한다.
   • 만약 $y_0, y_1, y_2$가 모두 null이 아니고 $E(y_0, y_1)$ 및 $E(y_0, y_2)$가 성립하면, 합의 이벤트 $A(x) = 1$이 된다.
   • 그렇지 않으면 $A(x) = 0$이다.
3. 의사결정 분기:
   • $A(x) = 1$ 인 경우 (보호됨): 앵커 $y_0$를 유지한다. 총 비용: 3회의 추론 호출.
   • $A(x) = 0$ 인 경우 (에스컬레이션): 시스템은 4개의 이질적인 피어(peer) 모델과 리졸버(resolver)를 사용하여 새로운 답변 $s$를 합성한다. 총 비용: 8회의 추론 호출 (3개의 프로브 + 4개의 피어 + 1개의 리졸버).

동치 관계 $E$는 의도적으로 보수적이며 레이블이 필요 없다. 이는 정답 여부를 인증하는 것이 아니라, 오직 다양성이 앵커를 대체하는 것을 허용할지 결정하는 게이트 역할을 수행한다.

주요 기여 및 이론적 프레임워크

이 논문의 주요 기여는 튜닝된 코디네이터가 아니라 정확한 회계가 포함된 결정 원칙이다. 저자들은 독립성이나 보정된 신뢰도에 대한 가정 없이도 두 극단적인 정책과 비교하여 ABD의 성능을 분해하는 두 가지 정확한 항등식을 도출한다.

1. 항등식 1 (무조건적 합성 대비):
   $$E[U - Q] = q(a - b)$$
   ABD와 항상 합성하는 방식 간의 정확도 격차는 합의 커버리지($q$)에 의해 곱해진, 보호된 부분 집합에서의 앵커의 이점($a - b$)에 의해 결정된다. 이 항등식은 ABD가 무조건적 합성보다 우수하려면, 합의가 발생하는 항목에서 앵커가 합성 모델보다 더 정확해야 함을 보여준다.

2. 항등식 2 (합성 미실시 대비):
   $$E[U - Z] = (1 - q)(r - d)$$
   ABD와 항상 앵커를 유지하는 방식 간의 정확도 격차는 에스컬레이션 비율($1-q$)에 의해 곱해진, 에스컬레이션된 부분 집합에서의 순 허가된 회복률 마이너스 허가된 파괴율($r - d$)에 의해 결정된다. 여기서 $r$은 합성이 잘못된 앵커를 바로잡는 경우를, $d$는 합성이 올바른 앵커를 손상시키는 경우를 나타낸다.

3. 비용 항등식:
   $$E[C] = 8 - 5q$$
   기대 추론 비용은 커버리지의 선형 함수이다. ABD는 커버리지 $q > 0.4$인 경우에만 항상 켜져 있는 합성 방식(6회 호출)보다 저렴하다.

이러한 항등식들은 모든 집계적 차이를 열거 가능한 보호된 층위로 국지화하여, 시스템의 동작을 완전히 감사(audit) 가능하게 만든다.

실험 결과

이 방법은 두 가지 별개의 벤치마크인 LiveCodeBench-v6(175개 태스크, 실행 가능한 테스트)와 GPQA-Diamond(180개 미접촉 항목, 정확한 옵션 점수)에서 엄격하고 블라인드된 조건 하에 평가되었다.

• LiveCodeBench-v6: ABD는 **59.43%**의 정확도를 달성하여 Single9(52.57%)과 HAC(52.00%)를 능가했다. 또한 Heterogeneous MoA(항상 합성)와 동률을 기록했으며, Homogeneous MoA를 넘어섰다.
  • 메커니즘: 독립적으로 생성된 코드는 거의 일치하지 않기 때문에 합의 커버리지($q$)가 매우 낮았다(1.71%). 결과적으로 게이트가 거의 작동하지 않았으며, 시스템은 사실상 이질적 합성으로 축소되었다. 이론적 경계는 최대 1.71포인트의 기여를 예측했으나, 관찰된 기여는 정확히 0이었으며, 이는 이론을 확인시켜 주었다.
• GPQA-Diamond (Untouched): ABD는 **75.00%**의 정확도를 달성하여 Single9, HAC, Heterogeneous MoA(72.78%)를 앞질렀다.
  • 메커니즘: 여기서 커버리지는 높았다(73.33%). 항상 합성 방식 대비 얻은 이득(2.78포인트)은 전적으로 보호된 부분 집합에서 올바른 앵커 답변을 보존함으로써 설명된다($q(a-b)$).
• 섭동 연구 (Perturbation Study): 앵커 모델을 더 약한 모델로 교체했을 때(고정된 섭동), 커버리지는 39.44%로 떨어졌으나 보호된 집합에서의 앵커 이점은 크게 증가했다. ABD는 여전히 베이스라인보다 높은 성능을 보였으며, 이는 메서드가 재학습 없이도 앵커 품질에 적응함을 입증한다.

구성 요소 절제 실험 (Ablations):

• 게이트 제거 (항상 합성): 다양성 그 자체만으로는 개선을 보장하지 못함을 보여주었다. LiveCodeBench에서 게이트 제거의 영향은 0.00이었으나, GPQA에서는 하락을 초래했다.
• 제안자 이질성 제거 (Homogeneous MoA): 다양성이 항상 우월한 것은 아님을 보여주었다. 코드에서는 도움이 되었으나, GPQA에서는 이질적 버전과 비교했을 때 해가 되었다.

의의 및 주장

본 논문은 ABD가 언어 모델 앙상블에서의 안정성과 탐색 사이의 긴장을 관리하기 위한 원칙적인 프레임워크를 제공한다고 주장한다.

• 감사 가능한 의사결정: 휴리스틱 코디네이터와 달리, ABD는 모든 집계적 차이를 설명하는 정확한 항등식을 제공한다. 실무자는 레이블이 있는 검증 세트 없이도 커버리지($q$), 보호된 집합의 이점($a-b$), 그리고 회복/파괴율($r-d$)을 측정하여 시스템 동작을 진단할 수 있다.
• 잠재력과 권한의 분리: 결과는 다양성이 잠재력(헤드룸)을 제공하지만, 검증 구조가 이를 실현할 권한을 제공한다는 것을 보여준다. 다양한 풀은 게이트가 앵커를 신뢰할 시점과 에스컬레이션을 수행할 시점을 정확히 식별할 때만 유익하다.
• 제한된 범위: 저자들은 ABD의 증거가 코드 생성 및 전문가 수준의 객관식 문제로 한정되어 있음을 명시한다. 그들은 ABD가 모든 작업에 대한 보편적인 해결책이라고 주장하지 않으며, 오히려 동치 관계 $E$를 정의하기 위해 도메인 인지적 검증 신호(예: 코드의 실행 시그니처, 추론의 근거)를 사용하는 것이 필수적임을 강조한다.
• "정답 오라클"의 부재: 이 방법은 정답(ground truth)을 안다고 주장하지 않는다. 단지 합의에 의해 지지를 받는 경우 답변을 보존할 권한을 부여하거나, 그러한 지지가 실패할 때 교체할 권한을 부여할 뿐이다.

결론적으로, ABD는 코디네이션 문제를 블랙박스 최적화 작업에서 정확도, 비용, 다양성 사이의 트레이드오프가 명시적으로 정량화되는 투명하고 측정 가능한 프로세스로 전환한다.