기술 요약: 검증자-생성자 정렬을 통한 LLM 개선 (FLORA)

문제 정의

대규모 언어 모델(LLM)은 생성자-검증자(Generator-Validator, G-V) 간극이라고 불리는 근본적인 불일치 현상을 보입니다. 이 현상은 LLM이 생성자로서 높은 확률로 응답을 생성하더라도, 다시 검증자로서 질문받았을 때 동일한 응답을 틀렸다고 판단하거나(또는 그 반대의 경우), 이는 자기 개선(self-refinement), 백트래킹(backtracking), 보상 모델링에 의존하는 애플리케이션의 신뢰성을 저해합니다.

생성자와 검증자의 점수 간 상관관계를 최대화하여 이 간극을 메우려 했던 기존의 시도들은 두 가지 결정적인 문제에 직면했습니다:

1. 빈도 편향(Frequency Bias): 생성자는 유효한 문자열이라 할지라도 그것이 사전적으로 발생 확률이 낮은 경우(예: 희귀한 유의어나 특정 형식) 단순히 발생 빈도가 낮다는 이유로 낮은 가능성을 부여할 수 있습니다. 단순한 일관성 지표는 이러한 요소를 고려하지 못하며, 유효하지만 빈도가 낮은 응답에 대해 부당한 페널티를 부여합니다.
2. 알레아토릭 불확실성(Aleatoric Uncertainty): 여러 개의 정답이 존재하는 작업(예: "기체 종류 하나를 대시오")에서 검증자는 모든 정답에 높은 점수를 주어야 하지만, 생성자는 거대한 어휘 집합에 대해 확률 법칙을 위반하지 않으면서 모든 유효한 옵션에 동일한 확률을 할당할 수 없습니다.

이러한 요인들을 무시하는 기존 방식들은 정답을 억제하거나 모순된 학습 신호를 도입하는 등의 병리적 행동을 초래할 위험이 있습니다.

방법론: FLORA

저자들은 응답의 빈도를 교정하면서 생성자와 검증자의 행동을 정렬하도록 설계된 학습 목적 함수인 **빈도 교정 순위 정렬 학습(Frequency-corrected Learning of Ordered Rank Alignment, FLORA)**을 제안합니다.

1. 이론적 정식화

본 논문은 LLM을 모든 가능한 응답에 대한 잠재적 믿음 상태 $v$(유효성 라벨의 벡터)를 가진 합리적 확률 에이전트로 모델링합니다.

• 검증자 ($p_V$): 프롬프트 $x$가 주어졌을 때 응답 $y$가 정답일 것이라는 모델의 믿음을 나타냅니다.
• 생성자 ($p_G$): $y$를 생성할 확률을 나타내며, 이는 유효한 집합에 대한 모델의 믿음과 유효한 옵션들 사이에서 표면 형식을 선택하는 정책의 혼합으로 구성됩니다.

저자들은 검증자의 로그 오즈(log-odds)와 생성자 확률 사이의 이론적 관계(정리 1)를 도출합니다. 그들은 일관성이 유지되기 위해서는 생성자 점수가 해당 응답이 틀리게 요청되었을 때와 옳게 요청되었을 때의 빈도와 관련된 인자에 의해 조정되어야 함을 보여줍니다.

이는 빈도 교정 생성자 점수($s_{Adj}$)의 정의로 이어집니다:
$$s_{Adj}(y | x) = \log p_G(y | x) - \log p_G'(y | x)$$
여기서:

• $p_G(y | x)$는 표준 생성 확률입니다.
• $p_G'(y | x)$는 명시적으로 오답을 제공하도록 요청했을 때(또는 "안티-전문가" 프롬프트를 사용했을 때) $y$를 생성할 확률입니다.

실제 구현에서 $p_G'$를 신뢰성 있게 이끌어내는 것은 어렵기 때문에, 저자들은 두 가지 경험적 근사치를 제 제안합니다:

1. NegFC: 부정적 프롬프트(negative prompt)를 사용하여 $p_G'$를 유도합니다.
2. 무조건적 FC (PMI): 문자열의 빈도가 정답 여부와 독립적이라는 가정하에, 더 저렴한 대리 지표로서 무조건적인 토큰 시퀀스의 로그 확률을 사용합니다.

2. 학습 목적 함수

FLORA는 생성자가 검증자가 선호하는 응답을 더 높게 순위 매기도록 정렬하기 위해 쌍별 선호도 손실(pairwise preference loss)을 활용합니다. 전체 손실 함수는 다음을 결합합니다:

• 선호도 손실 ($L_{pref}$): 빈도 교정된 점수 $s_{Adj}$를 기반으로, 검증자가 선호하는 응답($y^+$)을 비선호 응답($y^-$)보다 높게 평가하도록 유도하는 로지스틱 손실입니다.
• 음의 로그 가능도 (NLL) 항: 생성자가 정확성을 유지하고 검증자가 보정(calibration)을 유지하도록 하기 위해 레이블이 지정된 예시에 적용되는 표준 지도 학습 항입니다.

학습 데이터는 동일한 프롬프트 $x$에 대한 응답 쌍 $(y_i, y_j)$로 구성되며, 여기서 검증자의 점수 차이가 크게 나타납니다. 이 방법은 정답 여부가 알려진 레이블링된 쌍과, 검증자의 상대적 선호도만 알 수 있는 레이블링되지 않은 쌍을 모두 사용하는 준지도 학습(semi-supervised) 환경에서 작동합니다.

주요 기여

1. 원칙적인 G-V 일관성: 본 논문은 빈도 효과로 인해 단순한 상관관계만으로는 불충분함을 입증하며, 합리적 에이전트 모델에 기반하여 G-V 일s성을 정식화했습니다.
2. 빈도 교정: 단순한 생성 점수에서 '오답' 생성 확률(또는 빈도 대리 지표)을 차감해야 진정한 일관성을 달ieve할 수 있다는 이론적 관계를 도출했습니다.
3. FLORA 알고리즘: 빈도 교정 정렬을 통해 검증 성능을 저하시키지 않으면서 생성자의 판별력을 향상시키는 구체적인 학습 목적 함수를 구현했습니다.

실험 결과

저자들은 지시 이행(IFEval), 코딩(HumanEval), 분류 지식(Hyponymy)의 세 가지 작업에 대해 FLORA를 평가했습니다.

• 성능 향상: FLORA는 기존의 정렬 방식(SFT, Consistency FT, RankAlign 포함)을 크게 상회하는 성능을 보였습니다.
  • 생성자-검증자 상관관계 ($\rho$): 가장 강력한 기존 베이스라인 대비 최대 27 퍼센트 포인트의 이득을 달성했습니다 (예: IFEval 및 HumanEval).
  • 생성자 판별력 (AUROC): 생성자의 AUROC를 최대 7.3 퍼센트 포인트 향상시켰습니다.
• 빈도 교정의 효능: 테스트 시점에도(학습 없이) 빈도 교정(NegFC 또는 PMI)을 적용하면, 정답과 오답을 구분하는 원본 생성자의 능력이 유의미하게 개선되고 검증자와의 상관관계가 높아짐을 확인했습니다.
• 검증자 보존: 결정적으로, FLORA 학습은 검증자의 품질을 저하시키지 않았습니다. 여러 설정에서 검증자의 정확도와 AUROC가 실제로 향상되었으며(예: HumanEval에서 +14 ~ +17 pp), 이는 선호도 학습이 모델이 정렬된 것처럼 보이게 만들기 위해 검증자의 성능을 떨어뜨리는 "가능도 전이(likelihood displacement)" 문제를 일으킨다는 우려를 반박합니다.
• 질적 정렬: 시각적 분석 결과, FLORA 학습은 생성자 점수와 검증자 로그 오즈 사이의 훨씬 더 명확하고 구조적인 관계를 형성하여, 분포의 꼬리 부분에서도 정답과 오답을 효과적으로 분리해 냈습니다.

의의 및 주장

본 논문은 FLORA가 응답 빈도와 응답 정확도의 혼동이라는 근본 원인을 해결함으로써 G-V 간극에 대한 원칙적인 솔루션을 제공한다고 주장합니다.

• 이론적 엄밀성: 휴리스틱한 접근 방식과 달리, FLORA는 합리적 에이전트의 생성자 및 검증자 확률이 어떻게 관계를 맺어야 하는지에 대한 이론적 도출에 근거합니다.
• 강건성: 이 방법은 다양한 작업(단문 및 장문 생성)과 다양한 모델 제품군(Gemma, Qwen)에서 작동합니다.
• 실용적 유용성: 생성자가 (희귀한 응답이라도) 정답을 더 높게 순위 매기는 능력을 향상시키고 검증자의 판단력을 보존함으로써, FLoma는 LLM의 더 신뢰할 수 있는 자기 수정 및 개선 파이프라인을 가능하게 합니다.

저자들은 $r(y,x)$가 1에 가깝다고 가정하는 점(직접 검증하기 어려운 가정)과 현재 프레임워크가 부분적 정확성이 아닌 이진 정확성에 집중하고 있다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지했습니다. 또한, 평가는 단일 최적 그리디 디코딩 출력보다는 고정된 출력 집합(분포의 꼬리)에 초점을 맞추고 있습니다.