기술 요약: 이진 피드백을 통한 LLM 개인화 (C-BPO)

1. 문제 제기

대형 언어 모델 (LLM) 개인화는 모델의 행동을 개별 사용자의 선호도와 일치시키려는 목표를 가집니다. 기존 방법들은 고립된 사용자 기록에 기반한 검색 기반 프롬프팅이나 매개변수 효율적 미세 조정 (PEFT) 을 활용하지만, 종종 사용자 간 차이의 중요한 역할을 간과합니다. 최근 행동과학 통찰력은 개성이란 일반 인구 집단에서 사용자가 어떻게 벗어남으로써 정의된다고 시사합니다.

현재 선호도 최적화 프레임워크인 직접 선호도 최적화 (DPO) 와 같은 방법들은 동일한 입력에 대한 선호되는 완료와 선호되지 않는 완료의 대비 쌍을 필요로 하는데, 이는 원시적인 비연결형 사용자 역사 데이터에서는 사용할 수 없습니다. 최근의 진보가 개별 데이터 포인트에 대한 이진 피드백(예: '좋아요' 또는 '싫어요') 을 통한 정렬을 가능하게 하지만, 이러한 방법을 개인화에 직접 적용하는 것은 선호도 중복이라는 근본적인 결함을 도입합니다.

개인화된 맥락에서 다른 사용자의 데이터를 순수하게 '부정적'(싫어요) 신호로 취급하는 것은 문제가 있습니다. 이러한 보조 데이터셋은 필연적으로 대상 사용자와 작업별 일반 지식 및 커뮤니티 전체의 스타일적 선호도를 공유합니다. 이러한 데이터를 단순히 패널티로 부과하면 모델이 공유된 유용한 특징들을 오류로 억제하게 되어, 개별 뉘앙스를 포착하려는 시도 중 전반적인 성능이 저하됩니다.

2. 방법론: C-BPO 프레임워크

저자들은 C-BPO(선호도 보정 이진 피드백 선호도 최적화) 를 제안합니다. 이는 사용자 간 변이를 자연스러운 대비 신호로 활용하면서 선호도 중복을 보정하여 LLM 을 개인화하는 프레임워크입니다.

2.1 핵심 공식화

C-BPO 는 개인화를 이진 피드백 최적화 문제로 다음과 같이 공식화합니다:

• 긍정 신호 ($D_+$): 대상 사용자의 역사적 상호작용 데이터 ($H_{tar}$).
• 암묵적 부정 신호 ($D_-$): 보조 사용자 풀 ($H_{aux}$) 의 데이터.

'깨끗한' 부정 라벨을 가정하는 표준 이진 피드백 선호도 최적화 (BPO) 방법 (예: KTO, BCO) 과 달리, C-BPO 는 $H_{aux}$가 진정한 부정 신호 (사용자별 dislikes) 와 긍정 신호 (공유된 커뮤니티 선호도) 가 혼합된 것임을 인식합니다.

2.2 PU 학습을 통한 선호도 보정 목적 함수

선호도 중복 문제를 해결하기 위해 C-BPO 는 양성 - 라벨 없는 (Positive-Unlabeled, PU) 학습 이론에 기반한 최적화 목적 함수를 유도합니다. 핵심 통찰은 보조 데이터가 양성과 부정 분포가 혼합된 라벨 없는 집합으로 작용한다는 것입니다.

저자들은 '긍정 편향'(더 넓은 사용자 데이터 내에서 발견된 대상 선호도의 기대 위험) 을 차감하여 진정한 부정 위험을 복구하도록 위험 추정을 재구성합니다. 최종 목적 함수 ($L_{C-BPO}$) 는 다음과 같이 정의됩니다:

$$L_{C-BPO} = L_{pos} + \frac{1}{1-\alpha} \max \{0, L_{pure\_neg}\}$$

여기서:

• $L_{pos}$: 대상 사용자 데이터에 대한 손실 (긍정 정렬).
• $L_{pure\_neg}$: 정제된 부정 손실로, $E_{H_{aux}}[l(g, -1)] - \alpha E_{H_{tar}}[l(g, -1)]$로 계산됩니다.
• $\alpha$: 대상 사용자와 보조 사용자 간의 선호도 특징 중복 정도를 나타내는 보정 계수 ($0 < \alpha < 1$). 이는 기능적으로 긍정 신호로 작용하는 보조 데이터의 비율을 정량화합니다.

이 공식은 부정 신호를 명시적으로 '정제'하여 모델이 일반적인 유용성을 억제하는 대신 고유한 개인적 특이점에 집중하도록 보장합니다.

2.3 데이터 불균형 처리

개인화된 시나리오에서 보조 데이터 양은 종종 대상 사용자 데이터를 훨씬 초과합니다. 표준 BPO 방법은 배치 전체의 보상을 평균화하여 기준점 ($\delta$) 을 추정하는데, 배치가 불균형할 경우 이 값이 편향될 수 있습니다. C-BPO 는 독립적인 지수 이동 평균 (EMA) 기준점 추정을 도입합니다. 이는 양성과 보조 보상에 대해 별도의 EMA 통계를 유지하고, 이들의 평균으로 $\delta_{EMA}$를 계산합니다. 이를 통해 배치 수준의 데이터 불균형에 불변인 안정적인 결정 경계를 보장합니다.

3. 주요 기여

1. 새로운 프레임워크: 본 논문은 LLM 개인화를 이진 피드백 선호도 최적화 문제로 처음 프레임화하여, 쌍을 이루는 데이터 없이 사용자 간 변이를 개인 수준 정렬을 위한 자연스러운 대비 신호로 활용합니다.
2. 이론적 혁신: 저자들은 개인화를 위한 표준 BPO 의 '선호도 중복' 문제를 식별하고, 편향 없는 선호도 정렬을 달성하기 위해 PU 학습 이론에 기반한 선호도 보정 목적 함수를 공식화했습니다.
3. 실증적 검증: 뉴스 헤드라인, 학술 제목, 초록, 리뷰, 주제 작성 등 다섯 가지 개인화 생성 작업과 다양한 백본 LLM(LLaMA, Qwen, Mistral) 을 통한 광범위한 실험은 C-BPO 가 SFT 기반 어댑터 및 기존 이진 피드백 방법을 포함한 강력한 기준선보다 일관되게 우월함을 입증했습니다.

4. 실험 결과

저자들은 Mistral-7B, LLaMA-3, Qwen2.5 백본을 사용하여 LaMP 및 LongLaMP 벤치마크에서 C-BPO 를 평가했습니다.

• 성능: C-BPO 는 모든 작업에서 일관되게 최고의 ROUGE-1 및 ROUGE-L 점수를 달성했습니다. 예를 들어, 뉴스 헤드라인 작업에서 C-BPO 는 ROUGE-L 점수 0.198을 기록하여 최고의 기준선 (DPO 기반 방법인 CoPE, 0.184) 과 표준 BPO 방법 (BCO, 0.179) 을 능가했습니다.
• 기준선과의 비교:
  • 표준 이진 피드백 방법 (KTO, BCO) 은 개인화에 단순하게 적용될 때 종종 SFT 기반 기준선 (OPPU) 보다 낮은 성능을 보였으며, 이는 보정되지 않은 선호도 중복의 해로운 효과를 확인시켜 주었습니다.
  • C-BPO 는 복잡한 거부 샘플링을 통해 부정 쌍을 구성해야 하는 DPO 기반 방법 (CoPE) 보다 우수한 성능을 발휘했습니다.
• 절대 실험 (Ablation Studies):
  • 보조 데이터 양: 보조 데이터 양을 늘리는 것이 항상 단조로운 향상을 보장하는 것은 아니며, 편향 제거 과정을 고정하기 위해 충분한 양의 대상 사용자 데이터가 필요합니다.
  • 사용자 고유성: C-BPO 는 '고유' 사용자 그룹 (높은 사용자 간 거리) 에서 가장 큰 개선을 보였으며, 표준 BPO 방법은 '비고유' 그룹 (높은 중복) 에서 향상을 얻지 못했습니다.
  • 기준점: 독립 EMA 전략은 데이터 비율이 불균형할 때 성능 저하를 방지하여 안정성에 결정적이었습니다.

5. 중요성과 주장

본 논문은 C-BPO 가 미묘한 개별 선호도와 LLM 을 정렬하기 위한 견고하고 이론적으로 타당하며 확장 가능한 솔루션을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 효율성: DPO 와 같은 비용이 많이 드는 대비 쌍 구성이나 텍스트 비교를 위한 고자원 LLM 의존을 제거합니다.
• 데이터 활용: 대상 및 보조 사용자로부터의 원시 비연결형 역사 데이터를 효과적으로 활용하여, 공유 선호도의 '노이즈'를 보정된 신호로 전환합니다.
• 일반화: 이 프레임워크는 모델에 구애받지 않으며 다양한 백본 아키텍처와 작업 유형에서 효과적입니다.

저자들은 보정 계수 $\alpha$에 대한 민감성 (추정 방법이 제공되기는 함) 과 중앙 집중식 보조 데이터셋 접근 필요성 (연방 학습 또는 온디바이스 설정에서 프라이버시 문제를 야기함) 을 포함한 한계를 인정합니다. 그러나 이 연구는 고립된 역사 모델링을 넘어 명시적이고 선호도가 보정된 사용자 간 비교로 이동하는 개인화의 새로운 패러다임을 확립합니다.