기술 요약: 분리된 프로버-베리파이어 게임을 통한 가독성 세금 완화

문제 정의

대규모 언어 모델(LLM)의 복잡한 추론 능력이 발전함에 따라, 모델의 출력을 인간이나 더 작은 규모의 모델과 같은 덜 유능한 시스템이 안정적으로 검증할 수 있도록 보장하는 것이 중요한 과제로 떠오르고 있습니다. 프로버-베리파이어 게임(Prover-Verifier Games, PVG)은 인간의 감독 없이도 모델이 "검증 가능한" 출력을 생성하도록 훈련하는 유망한 프레임워크를 제공하지만, **가독성 세금(legibility tax)**이라 불리는 중대한 단점을 가지고 있습니다.

이전 연구(Kirchner et al., 2024)는 정답률과 검증 가능성을 동시에 극대화하도록 단일 모델을 훈련할 경우, 정답만을 위해 훈련된 베이스라인(예: 초등 수학 벤치마크에서 80%에서 60%로 하락)에 비해 상당한 정확도 저하가 발생함을 보여주었습니다. 이러한 현상은 최적화 목표가 모델에게 검증자에게 "설득력 있게" 보이기 위한 제약 조건을 충족시키기 위해 모델의 추론 능력을 타협하도록 강요하기 때문에 발생합니다.

방법론

저자들은 정답의 정확성과 검증 가능성을 분리하는 **분리된 프로버-베리파이어 게임(Decoupled Prover-Verifier Game, DPVG)**을 제안합니다. 이 프레임워크는 정답의 정확성과 출력의 검증 가능성을 별도로 다루기 위해 세 가지 뚜렷한 구성 요소를 도입합니다.

1. 솔버(Solver, $s$): 순수하게 정확성에 최적화된 고정된 모델입니다. 이는 검증 가능성을 고려하지 않고 솔루션(추론 및 정답)을 생성합니다.
2. 트랜슬레이터(Translator, $\tau$): 솔버의 솔루션을 검증 가능한 형태로 변환하는 임무를 맡은 모델입니다. 결정적으로, 트랜슬레이터는 **충실(faithful)**해야 하며, 즉 최종 답변이 솔버의 답변과 일치해야 합니다.
3. 베리파이어(Verifier, $v$): 정답을 포함하는 증명과 오답을 포함하는 증명을 구별하도록 훈련된 모델입니다.

분리된 게임 구조

게임은 충실한 트랜슬레이터(Faithful Translator)와 속임수 트랜슬레이터($\tau'$)가 베리파이어와 경쟁하는 구조를 가집니다.

• 충실한 트랜슬레이터: 솔버의 답변에 대해 설득력 있는 증명을 작성하려고 시도합니다.
• 속임수 트랜슬레이터: 오답에 대해 설득력 있는 증명을 작성하려고 시도합니다. 이를 용이하게 하기 위해, 속임수 트랜슬레이터는 대안적인 오답을 스스로 찾아내야 하는 부담을 줄이기 위해 정답 $y$를 제공받아, 무엇이 오답인지 인지한 상태에서 작업합니다.
• 베리파이어: 충실한 트랜슬레이터와 속임수 트랜슬레이터의 출력을 판별하는 분류 목표를 최적화합니다.

최적화 및 평형

저자들은 베리파이어가 선도하는 스택켈버그 게임(Stackelberg game)을 공식화합니다. 그들은 이 게임의 평형이 정확히 충실하고 검증 가능한 트랜슬레이터에 대응함을 증명합니다(정리 1).

• 충실성(Faithfulness): 트랜슬레이터의 답변이 솔버의 답변과 일치합니다.
• 검증 가능성(Checkability): 시스템이 완전성(검증자가 올바른 증명을 수용함)과 건전성(검증자가 잘못된 증명을 거부함)을 만족합니다.

훈련 과정은 베리파이어를 훈련시키는 라운드(교차 엔트로피 손실 사용)와 트랜슬레이터를 훈련시키는 라운드(RLOO를 이용한 강화 학습)를 교대로 수행합니다. 트랜슬레이터를 위한 보상 함수는 역할 정렬(충실한 트랜슬레이터의 경우 충실성, 속임수 트랜슬레이터의 경우 기만)과 설득력 있는 증명을 위한 높은 베리파이어 점수를 장려하도록 설계되었습니다.

주요 기여

1. 분리 프레임워크: 본 논문은 추론의 정확성(솔버가 처리)과 출력의 검증 가능성(트랜슬레이터가 처리)을 분리하는 새로운 아키텍처를 도입합니다.
2. 이론적 보장: 저자들은 제안된 게임의 평형이 충실하고 검증 가능한 트랜슬레이터에 대응함을 공식적으로 증명하여, 검증 가능성 목표가 근본적인 정확성을 해치지 않음을 보장합니다.
3. 가독성 세금 완화: 이 프레임워크는 기존 PVG 설정에서 관찰되었던 정확도 저하 없이 검증 가능한 출력을 생성하도록 모델을 훈련하는 것이 가능하다는 것을 입증합니다.

실험 결과

저자들은 솔버/트랜슬레이터로는 Llama-2-7b-chat을, 베리파이어로는 Qwen2-1.5B를 사용하여 GSM8K-Aug 데이터셋에서 방법을 평가했습니다.

• 정확도 보존: DPVG 모델은 테스트 세트에서 **56.9%**의 정확도를 달 기록했으며, 이는 훈련된 솔버 베이스라인인 57.0%와 거의 동일합니다. 반면, 표준 PVG 방식(Kirchner et al., 2024에서 재현됨)은 **22.3%**로 크게 하락하여, 베이스라인에서 가독성 세로가 존재함을 확인시켜 주었습니다.
• 충실성: 충실한 트랜슬레이터는 훈련 중에 충실성 점수 1.0(100%)으로 수렴하였고, 별도의 테스트 세트에서도 **99.8%**를 기록하여 트랜슬레이터가 솔버의 답변을 성공적으로 보존했음을 나타냈습니다.
• 훈련 역학: 속임수 트랜슬레이터에 대한 베리파이어 점수가 라운드가 진행됨에 따라 증가하여, 베리파이어가 더 견고해졌음을 보여주었습니다. 반대로, 충실한 트랜슬레이터의 출력은 훈련 라운드가 진행됨에 따라 더 구조화되고 간결해졌으며, 이는 가독성 개선을 시사합니다.

의의 및 주장

본 논문은 정답 생성과 검증 가능한 증명 생성을 분리함으로써, 시스템 정확도를 해치지 않으면서도 가독성을 개선할 수 있는 안정적인 훈련 역학을 달 수 있다고 주장합니다. 저자들은 이를 "가독성 세금"에 대한 해결책으로 제시하며, 매우 유능한 추론 모델을 덜 유능한 시스템에 의해 검증 가능한 상태로 배포할 수 있게 합니다.

저자들은 다음과 같은 점을 언급하며 주장에 대해 신중한 태도를 유지합니다.

• 가독성 개선을 대규모로 정밀하게 측정하기 위한 인간 평가 연구를 수행하지 않았으며, 대신 질적 샘플과 베리파이어 점수에 의존했습니다.
• 이전 연구의 "가독성 세금"은 프로버의 사고 사슬(chain-of-thought) 추론 부족 때문일 수도 있으며, 이는 향후 조사가 필요한 요소라고 제안했습니다.
• 향후 연구에는 대안적인 보상 공식 탐색과 증명 생성 전의 사고 사슬(chain-of-thought) 추가가 포함됩니다.

핵심 기여는 트랜슬레이터 기반 접근 방식이 솔버의 높은 정확도를 유지하면서도 신뢰할 수 있는 AI 감독에 필요한 엄격한 검증 가능성 조건을 충족할 수 있음을 입증한 데 있습니다.