기술 요약: ACTIVEDPO

문제 정의

대형 언어 모델(LLM) 을 인간의 선호도에 정렬시키는 것은 질문 답변, 추론, 코드 생성과 같은 작업에 있어 필수적입니다. 인간 피드백을 통한 강화 학습 (RLHF) 과 직접 선호도 최적화 (DPO) 와 같은 방법들은 효과적이었음에도 불구하고, 고품질의 인간 선호도 주석 데이터셋에 크게 의존합니다. 이러한 데이터셋을 수집하는 것은 비용이 많이 들고 자원을 많이 소모하여 효율적인 정렬을 위한 병목 현상을 초래합니다.

주석 비용을 줄이기 위한 기존 활성 데이터 선택 접근법들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 휴리스틱 방법: 일부 접근법 (예: Muldrew 등, 2024) 은 엄격한 이론적 기반이 부족하여 다양한 작업과 모델 전반에 걸쳐 신뢰할 수 없는 성능을 보입니다.
2. 제한적인 가정: 이론적으로 근거를 둔 방법들 (예: Mehta 등, 2023; Das 등, 2024) 은 종종 선형 잠재 보상 함수를 가정하는데, 이는 LLM 정렬에 내재된 복잡하고 비선형적인 보상 함수에는 적용되지 않습니다.
3. 분리된 선택: 많은 기존 방법들은 정렬 대상이 되는 특정 LLM 과 독립적인 별도의 보상 모델이나 선택 기준에 의존합니다. 이는 데이터 선택이 LLM 의 학습 역학과 암시적 보상 함수에 직접적으로 미치는 영향을 고려하지 못합니다.

핵심 과제는 비선형 보상 함수에 대해 이론적으로 근거를 두면서도 LLM 자체를 명시적으로 활용하여 실질적으로 효과적인 활성 선호도 데이터 선택 알고리즘을 개발하는 것입니다.

방법론: ACTIVEDPO

저자들은 데이터 선택 과정에 LLM 을 직접 통합하는 알고리즘인 ACTIVEDPO(활성 직접 선호도 최적화) 를 제안합니다. 이 방법론은 반복적인 사이클로 운영됩니다:

1. 데이터 생성: 각 반복 단계 $t$에서, 현재 LLM($\pi_{\theta_{t-1}}$) 은 프롬프트 집합 $x$에 대한 응답 쌍 $(y_1, y_2)$을 생성하여 후보 풀 $D_t$를 형성합니다.
2. 활성 선택: 별도의 보상 모델을 사용하는 대신, ACTIVEDPO 는 $\theta_{t-1}$로 매개변수화된 LLM 의 자체 암시적 보상 함수를 사용하여 인간 주석을 위해 가장 정보량이 풍부한 삼중항 $(x, y_1, y_2)$을 선택합니다.
3. 이론적 기반: 선택 기준은 두 응답 간의 보상 차이 추정 오차에 대한 상한을 설정하는 명제 1에서 유도됩니다. 이 오차 상한은 보상 함수를 나타내는 신경망의 기울기에 의존합니다. 구체적으로, 불확실성은 기울기 차이의 노름으로 정량화됩니다:
   $$\|\nabla r_{\theta_{t-1}}(x, y_1) - \nabla r_{\theta_{t-1}}(x, y_2)\|_{V_{t-1}^{-1}}$$
   여기서 $V_{t-1}$은 이전에 선택된 데이터의 기울기 특징 외적 (outer products) 을 누적하는 행렬입니다. 알고리즘은 이 불확실성 측정을 최대화하는 삼중항을 선택함으로써, 이전에 주석된 데이터와 다양하고 보완적인 데이터 포인트를 선택합니다.
4. 최적화: 인간 주석자들은 선택된 배치에 대한 선호도 피드백 ($y_w \succ y_l | x$) 을 제공합니다. 그런 다음 LLM 은 이 새로운 라벨이 지정된 데이터에 대해 DPO 목적 함수를 사용하여 업데이트됩니다.

실용적 효율성 기법

현대 LLM 에 대해 완전한 기울기를 계산하고 큰 공분산 행렬을 저장하는 계산적 비실용성을 해결하기 위해, ACTIVEDPO 는 세 가지 핵심 기법을 도입합니다:

• 배치 선택: 한 번에 하나의 샘플을 선택하는 대신, 알고리즘은 크기 $B$의 배치를 선택합니다. 행렬 $V$는 배치 내에서 점진적으로 업데이트되어 다양성을 유지하면서도 비싼 기울기 재계산 및 모델 업데이트의 빈도를 줄입니다.
• LoRA 와 무작위 투영: 저장 및 계산을 줄이기 위해 저자들은 저랭크 적응 (LoRA) 매개변수를 사용하여 기울기를 계산합니다. 그런 다음 이 기울기는 존슨 - 린덴스트라우스 (Johnson-Lindenstrauss) 보조정리에 의해 정당화된 무작위 투영을 사용하여 낮은 차원 (예: 8192) 으로 투영됩니다. 이는 선택 기준에 필요한 내적 구조를 유지하면서 차원을 획기적으로 줄입니다.
• 기울기 정규화: 선택 기준이 자연스럽게 더 큰 $L_2$ 노름 기울기를 생성하는 더 긴 응답으로 편향되는 것을 방지하기 위해, 모든 기울기는 선택 점수를 계산하기 전에 단위 노름으로 정규화됩니다.

주요 기여

1. 비선형 보상을 위한 이론적으로 근거를 둔 기준: 이 논문은 LLM 에 의해 매개변수화된 비선형 보상 함수에 적용 가능한 신경 듀얼링 밴딧 (neural dueling bandits) 이론에서 유도된 선택 기준을 제시하여, 기존 이론적 작업들의 선형성 가정을 극복합니다.
2. LLM 중심 데이터 선택: 외부 보상 모델을 사용하는 방법들과 달리, ACTIVEDPO 는 데이터 선택을 안내하기 위해 LLM 의 자체 기울기를 명시적으로 사용합니다. 이는 선택된 데이터가 특정 모델의 현재 상태와 학습 필요에 맞게 조정되도록 보장합니다.
3. 확장 가능한 구현: 배치 선택, LoRA 기울기, 무작위 투영의 통합은 이론적으로 엄격한 접근 방식을 대규모 모델에 실행 가능하게 만들어 계산 비용과 라벨 효율성 사이의 균형을 맞춥니다.
4. 실증적 검증: 광범위한 실험은 ACTIVEDPO 가 다양한 모델 계열 (Llama, Gemma, Qwen) 과 데이터셋 (TLDR, WebGPT) 에 걸쳐 기존 베이스라인 (Random, APO, APLP) 보다 일관되게 우수한 성능을 발휘함을 보여줍니다.

실험 결과

저자들은 세 가지 LLM(Llama-2-7B, Gemma-2B, Qwen3-4B) 을 사용하여 두 가지 데이터셋 (TLDR 요약 및 WebGPT 장형 QA) 에서 ACTIVEDPO 를 평가했습니다.

• 성능: ACTIVEDPO 는 무작위 선택, 선형 보상을 가정하는 APO, 휴리스틱 DPO 방법인 APLP 에 비해 일관되게 더 높은 평균 보상 점수와 승리율을 달성했습니다.
• 모델 의존성: 실험은 서로 다른 LLM 들이 (동일한 계열이라도 다른 SFT 데이터로 훈련된 경우) 최적 정렬을 위해 서로 다른 데이터 하위 집합을 필요로 함을 보여주어, 모델별 선택 전략의 필요성을 입증했습니다.
• 절대 연구 (Ablation Studies):
  • 무작위 투영: 성능은 투영 차원이 8192 일 때 정체되어, 품질에 큰 손실 없이 더 낮은 차원을 사용할 수 있음을 확인했습니다.
  • 기울기 정규화: 기울기 정규화는 더 긴 응답으로 인한 선택 편향을 방지하여 선택이 길이가 아닌 정보량에 의해 주도되도록 함으로써 성능을 향상시키는 것으로 나타났습니다.

중요성과 주장

이 논문은 ACTIVEDPO 가 이론적 보장과 실용적 적용 사이의 간극을 메워 샘플 효율적인 LLM 정렬에서 중요한 진전을 이루었다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• "별도의 보상 모델" 병목 현상 제거: 선택을 위한 보상 모델로 LLM 자체를 사용함으로써, 다른 대상 모델을 위한 데이터 수집을 안내할 때 발생할 수 있는 정렬 불일치를 피합니다.
• 비선형성 처리: 이전 이론적 방법들이 실패했던 현대 LLM 의 복잡하고 비선형적인 보상 지형에 대한 활성 학습을 위한 엄격한 프레임워크를 제공합니다.
• 라벨 효율성: 이 방법은 더 적은 인간 주석으로 우수한 정렬 성능을 달성하여 데이터 수집의 높은 비용을 해결합니다.

저자들은 이 방법이 단순한 휴리스틱에 비해 기울기 계산에 추가적인 계산 오버헤드를 수반하지만, 이 비용은 비싼 인간 라벨링 필요성의 상당한 감소로 정당화된다고 인정합니다. 또한 기울기 계산의 추가 가속화는 향후 연구 영역으로 남아 있다고 지적합니다.