기술 요약: LOVER (논리 정규화 검증기)

문제 정의

검증기 (Verifiers) 는 (RL 을 통한) 매개변수 최적화나 (추론 확장 을 통한) 최적 출력 선택을 통해 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 데 필수적입니다. 그러나 기존 검증기들은 두 가지 주요 한계에 직면해 있습니다:

1. 데이터 의존성: 전통적인 지도 학습 기반 검증기는 비용이 많이 들고 자원 집약적인 레이블이 지정된 데이터셋을 필요로 합니다. 특히 전문 도메인이나 단계별 과정 주석에 대한 고품질 주석을 수집하는 것은 비용이 많이 들고 시간이 소요됩니다.
2. 다양성과 일반화: 전문가 주석에 대한 의존성은 주석 작성자가 직관적이지는 않지만 동등하게 유효한 추론 패턴보다 익숙한 추론 패턴을 선호할 수 있으므로, 솔루션의 다양성 부족으로 이어질 수 있습니다. furthermore, 최근의 비지도 접근 방식인 CoT-Decoding 은 백본 모델 선택에 민감한 반면, CCS 와 같은 다른 방법들은 Yes-No 질문으로 제한되며 일반적인 추론 작업으로 확장하는 데 어려움을 겪습니다.

이 논문이 다루는 핵심 질문은, LLM 에 이미 내재된 지식을 활용하여 감독 과정을 거치지 않고 효과적인 검증기를 구축할 수 있는지 여부입니다.

방법론: LOVER

저자들은 논리 규칙으로 정규화된 비지도 확률적 검증기인 LOVER(Logic-Regularized Verifier) 를 제안합니다. LOVER 는 LLM 의 가중치를 수정하거나 레이블이 지정된 데이터를 요구하지 않고, LLM 의 내부 활성화에 기반하여 이진 잠재 변수 (진실 값) 를 추론하는 방식으로 검증 작업을 처리합니다.

핵심 구성 요소

1. 대조적 진술 (Contrastive Assertions):
   주어진 질문 $q$와 생성된 추론 경로 $s_i$에 대해, 입력은 텍스트 템플릿을 추가하여 대조적 진술로 확장됩니다:

   • $x^+_i = q \oplus s_i \oplus \text{"This is a true answer."}$
   • $x^-_i = q \oplus s_i \oplus \text{"This is a false answer."}$
     이 과정은 추론 경로의 유효성에 대한 모델의 내부 "신념"이나 "지식"을 이끌어내는 것을 목표로 합니다.

2. 잠재 검증기 모델:
   검증기는 진술의 숨겨진 상태 표현 (특히 중간 레이어에서) 을 입력으로 받는 경량의 다층 퍼셉트론 (MLP) 입니다. 이는 진술의 유효성을 나타내는 $z \in \{0, 1\}$인 확률 $p_\theta(z|x)$를 출력합니다.

3. 논리적 제약 (정규화):
   이산적 논리 규칙과 연속적 신경망을 연결하기 위해, LOVER 는 부드러운 확률적 목적 함수를 통해 세 가지 논리적 제약을 부과합니다:

   • 부정 일관성: 대조적 진술 쌍 ($x^+_i, x^-_i$) 에 대해, 그 진실 확률의 합은 1 이어야 하며 유의미하게 달라야 합니다 (배중률). 이는 둘 다 동일한 확률을 할당받는 퇴화된 솔루션을 방지합니다.
   • 그룹 내 일관성: 동일한 최종 답으로 그룹화된 추론 경로는 유사한 정확도 확률을 공유해야 합니다. 이는 동일한 결론으로 이어지는 솔루션들 간의 일관성을 강제합니다.
   • 그룹 간 일관성: 여러 개의 추론 경로 그룹 (각 그룹은 서로 다른 최종 답에 해당) 사이에서, 정확히 하나의 그룹의 "진실" 진술만 유효해야 합니다. 이는 합 제약과 엔트로피 정규화 항을 사용하여 그룹 간 균일한 확률 분포를 방지하도록 강제됩니다.

4. 학습 및 추론:

   • 학습: 모델은 논리적 제약에서 유도된 세 가지 손실 함수의 합을 최소화함으로써 엔드 투 엔드 방식으로 학습됩니다. 실제 레이블 (ground-truth labels) 은 사용되지 않습니다.
   • 추론: 주어진 질문에 대해 $N$개의 후보 솔루션이 생성됩니다. 각 솔루션에 대해 검증기는 "진실" 진술의 정확도 확률을 예측합니다. 솔루션들은 최종 답별로 그룹화되며, 최대 (max) 또는 합 (sum) 전략 중 하나를 사용하여 집계된 점수가 가장 높은 그룹이 최종 답으로 선택됩니다.

주요 기여

1. 원칙적인 비지도 프레임워크: LOVER 는 논리 규칙으로 정규화된 내재적 LLM 지식을 활용하여 추론 경로를 검증하는 확장 가능한 프레임워크를 제공하며, 지도 데이터의 필요성을 제거합니다.
2. 부드러운 확률적 목적 함수: 이 논문은 이산적 논리 제약을 위한 부드러운 확률적 공식을 도입하여 검증기의 미분 가능한 엔드 투 엔드 학습을 가능하게 합니다.
3. 일반적인 호환성: 이 방법은 시중의 모든 화이트박스 LLM 과 호환되며, Yes-No 와 같은 특정 질문 유형으로 제한되지 않고 일반적인 추론 작업에 적용 가능합니다.

실험 결과

실험은 수학 추론 (GSM8K, iGSM), 오픈 도메인 지식 (HotpotQA, MMLU-Pro), 그리고 BIG-Bench Hard 의 분포 외 (OOD) 작업을 포함한 10 개의 데이터셋에서 수행되었습니다.

• 기존 방법 대비 성능: LOVER 는 비지도 기반선 (Greedy, 다수결 투표, CoT-Decoding) 보다 현저히 우수한 성능을 보입니다.
  • 평균적으로 **LOVER (sum)**은 지도 학습 기반 검증기와 유사한 성능을 달성하여, 약 **95%**의 지도 학습 기반 검증기 성능 수준에 도달합니다.
  • LOVER (sum) 은 다수결 투표 대비 평균 절대 정확도 향상 3.3%, CoT-Decoding 대비 **2.9%**를 달성합니다.
  • LOVER 는 다양한 모델 규모 (0.5B 에서 32B 매개변수까지) 와 해독 전략 전반에 걸쳐 견고성을 입증합니다.
• 절차 제거 연구 (Ablation Studies):
  • 논리적 제약: 그룹 간 일관성 손실 ($L_{inter}$) 을 제거하면 가장 큰 성능 저하가 발생하여, 올바른 답 그룹을 구분하는 데 있어 그 역할이 결정적임을 보여줍니다. 부정 일관성 ($L_{nega}$) 또한 진실/거짓 진술의 동일한 점수 매김을 방지하는 데 필수적이었습니다.
  • 해독 전략: LOVER 는 자연스러운 CoT 해독과 함께 가장 잘 작동하며, 특정 출력 형식에 크게 의존하는 CoT-Decoding 에 비해 해독 전략 변경에 덜 민감합니다.
  • 숨겨진 상태: 중간 레이어 (예: Mistral-7b 의 15 층 또는 20 층) 의 숨겨진 상태를 활용하면 최적의 성능을 얻을 수 있습니다.
• OOD 일반화: LOVER 는 분포 외 (OOD) 데이터셋 (부울 표현식, 거짓말의 웹 등) 에서 강력한 일반화 능력을 보여주며, 모든 테스트 시나리오에서 다수결 투표와 CoT-Decoding 을 능가합니다. 이는 진술의 정확성을 평가하기 위한 도메인 무관 패턴을 학습했음을 시사합니다.

의의 및 주장

이 논문은 LOVER 가 값비싼 감독 과정에 의존하지 않는 검증기를 구축하는 중요한 단계라고 주장합니다. 검증기를 이진 잠재 변수로 취급하고 여러 추론 경로에 논리적 일관성을 부과함으로써, LOVER 는 LLM 내부의 "잠재 지식"을 효과적으로 활용합니다.

저자들은 LOVER 를 논리 규칙에 의해 안내되는 비지도 프로브로 위치시켜, 지도 학습 기반 검증기에 대한 실용적인 대안을 제시합니다. 이는 기존 비지도 방법들의 한계 (경험적 규칙 기반이며 모델 선택에 민감하거나 특정 질문 유형으로 제한됨) 를 해결하여, 일반적인 추론 작업을 위한 유연하고 확장 가능한 솔루션을 제공합니다. 이 연구는 논리적 제약이 인간 주석 없이 LLM 의 추론 능력을 해제하기 위한 효과적인 사전 지식 (priors) 으로 작용할 수 있음을 시사합니다.

지적된 한계: 이 방법은 본질적으로 LLM 의 숨겨진 상태에 대한 접근이 필요하므로, 화이트박스 모델에 국한된 적용을 요구하며 블랙박스 시나리오에서는 직접 사용할 수 없습니다.