💬 NLP

CLIPer: Tailoring Diverse User Preference via Classifier-Guided Inference-Time Personalization

CLIPer 는 광범위한 미세 조정의 계산 비용을 들이지 않고도 분류기를 활용하여 대규모 언어 모델 생성을 다양한 사용자 선호도로 역동적으로 유도하는 경량 추론 시 개인화 프레임워크입니다.

원저자: Jinyan Su, Jinpeng Zhou, Claire Cardie, Wen Sun

게시일 2026-05-11

📖 3 분 읽기☕ 가벼운 읽기

원저자: Jinyan Su, Jinpeng Zhou, Claire Cardie, Wen Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 초지능적이고 전지전능한 로봇 비서 (대형 언어 모델, 또는 LLM) 가 있다고 가정해 봅시다. 현재 이 로봇은 스위스 아미 나이프와 같습니다. 모든 일에 뛰어나지만, 당신의 구체적인 취향을 잘 알지는 못합니다. 아마도 유머러스하게 만들어 주길 원할 수도 있고, 매우 간결하게 만들어 주길 원할 수도 있으며, 혹은 엄격한 교수처럼 말하게 하길 원할 수도 있습니다.

현재로서는 로봇을 유머러스하게 만들고 싶다면 유머를 어떻게 해야 하는지 가르쳐야 합니다. 간결하게 만들고 싶다면 그것도 가르쳐야 합니다. 유머러스함과 간결함을 둘 다 원한다면 그 조합을 가르쳐야 합니다. 문제는 성격 특성의 가능한 조합이 너무 많아서 사용자 한 명마다 로봇에게 새로운 '성격'을 가르치는 데는 영원히 걸릴 뿐만 아니라 막대한 컴퓨터 자원을 소모한다는 점입니다. 지구상의 모든 사람마다 맞춤 재단된 정장을 따로 만들어 보려는 것과 같습니다. 공장은 이미 불타버렸을 것입니다.

CLIPer 의 등장입니다.

코넬 대학교의 이 논문 저자들은 CLIPer(Classifier-guided Inference-time Personalization, 분류기 기반 추론 시 개인화)라는 현명한 단축키를 제안합니다. 모든 성격마다 새로운 로봇을 만드는 대신, 그들은 메인 로봇 옆에 서서 실시간으로 로봇의 행동을 지시하는 작고 초고속의 '교통 경찰'을 만들었습니다.

다음은 몇 가지 비유를 통해 작동 원리를 설명한 것입니다:

1. 메인 로봇 vs 교통 경찰

메인 로봇 (LLM): 이는 크고 무거운 엔진입니다. 글을 쓰고, 질문에 답하며, 대화하는 법을 알고 있습니다. 이미 훈련되어 준비가 되어 있습니다. 사용자가 마음을 바꿀 때마다 그 로봇의 두뇌를 바꾸거나 재훈련시키기를 원하지 않습니다.
교통 경찰 (분류기): 이는 작고 가벼운 모델입니다. 이의 유일한 임무는 로봇이 다음에 무엇을 말하려는지 보고 "이게 사용자가 원하는 것처럼 들리는가?"라고 묻는 것입니다.

2. 성격의 '메뉴'

사용자가 선택할 수 있는 선호도 메뉴가 있다고 상상해 보세요. 예를 들어:

간결함 (짧고 달콤하게)
유머 (농담과 유머)
격식 (진지하고 전문적으로)
장난기 (친근하고 캐주얼하게)

과거 방식에서는 '간결함 AND 유머'인 로봇을 원한다면 그 조합에 특화된 별도의 로봇이 필요했습니다. CLIPer 를 사용하면 교통 경찰에게 "오늘은 간결함과 유머를 원해"라고 말하면 됩니다.

3. 교통 경찰의 작동 방식 (마술 같은 트릭)

메인 로봇이 다음에 말할 단어를 선택하려 할 때마다 잠시 멈추고 교통 경찰에게 물어봅니다.

메인 로봇이 말합니다: "'바나나'라는 단어를 말하려 합니다."
교통 경찰이 확인합니다: "흠, '바나나'는 '유머' 분위기에 맞지만 '간결함'에는 조금 너무 길어. '유머' 신호는 높이고 '간결함' 신호는 낮춰야겠어."
메인 로봇은 그 충고에 따라 선택을 조정합니다.

멋진 점은 교통 경찰이 단순히 한 가지를 추측하는 것이 아니라, 로봇이 말할 수 있는 모든 가능한 다음 단어들을 살펴보고 사용자의 선호도에 따라 각각에 점수를 매긴다는 것입니다. 문장이 만들어지는 동안 단어가 하나씩 실시간으로 즉시 수행됩니다.

4. 이것이 중요한 이유

이 논문은 이 방법이 세 가지 주요 이유로 게임 체인저라고 주장합니다:

무거운 작업 불필요: 거대한 로봇을 재훈련할 필요가 없습니다. 작은 교통 경찰만 한 번 훈련하면 됩니다. 이는 막대한 비용과 컴퓨터 자원을 절약합니다.
혼합 및 매칭: 원하는 만큼의 선호도를 섞을 수 있습니다 (예: '유머', '간결함', '격식'을 동시에). 그 특정 조합을 위한 새로운 로봇이 필요하지 않습니다. 교통 경찰이 실시간으로 균형을 맞추기 위한 계산을 처리합니다.
속도: 교통 경찰은 작고 똑똑하므로 로봇의 속도를 크게 늦추지 않습니다. 조종권을 장악하지 않고 속삭여 주는 조종사와 같습니다.

결과

연구자들은 로봇에게 다양한 성격으로 텍스트를 생성하도록 요청하여 이를 테스트했습니다 (예: "5 학년 학생에게 설명해 줘" 대 "박사 과정 학생에게 설명해 줘"). 그들은 CLIPer 가 이러한 지시를 따르는 데 매우 뛰어났으며, 단순히 채팅에 지시를 입력하는 것 (프롬프팅) 이나 무거운 사전 훈련 모델을 사용하는 기존 방법보다 종종 더 좋은 결과를 보였다고 발견했습니다.

요약하자면, CLIPer 는 당신의 스마트 비서에게 '스마트 안경'을 제공하여, 매번 마음을 바꿀 때마다 비서의 두뇌를 다시 구축할 필요 없이 당신의 기분에 맞춰 성격이 즉시 조정되도록 하는 것과 같습니다.

기술 요약: CLIPer

문제 정의

사용자의 다양한 선호도 (예: 간결함, 유머, 격식) 에 맞춰 대규모 언어 모델 (LLM) 을 개인화하는 것은 사용자 경험을 향상시키는 데 필수적입니다. 그러나 기존 접근 방식은 상당한 확장성 문제를 안고 있습니다.

순진한 파인튜닝 (Naive Fine-tuning): $d$ 개의 선호도 차원의 모든 가능한 조합에 대해 별도의 모델을 훈련하려면 $2^d$ 개의 모델이 필요하여 계산적으로 실현 불가능합니다.
차원별 파인튜닝 (Dimension-wise Fine-tuning): Personalized Soups (P-Soup) 및 MoPE 와 같은 방법은 차원당 하나의 모델을 훈련함으로써 훈련 복잡도를 $O(d)$ 로 줄입니다. 그러나 추론 시 $d$ 개의 모델을 유지하고 병합해야 하므로 $O(d)$ 의 추론 비용이 발생하거나, 고차원 선호도 조합과 함께 확장성이 떨어질 수 있는 복잡한 매개변수 병합 전략이 필요합니다.
직접 프롬프팅 (Direct Prompting): 간단하지만, 선호도가 암시적이거나 자연어로 명시적으로 표현하기 어려운 경우 프롬프트에 선호도 지시를 포함시키는 방법은 종종 실패합니다.

방법론: CLIPer

저자들은 추론 시 LLM 자체를 파인튜닝하지 않고도 기본 LLM 을 특정 사용자 선호도로 유도하는 경량 접근법인 CLIPer(Classifier-guided Inference-time Personalization) 를 제안합니다.

핵심 메커니즘

CLIPer 는 작은 보조 분류기 모델을 활용하여 생성 과정에서 사전 훈련된 기본 LLM 의 로짓 (logits) 을 동적으로 조정합니다. 이 과정은 베이지안 추론에 기반합니다:
$p(y|x, c) \propto p(y|x) \cdot p(c|y, x)^\alpha$
여기서:

$p(y|x)$ 는 기본 모델에서 나온 무조건부 확률입니다.
$p(c|y, x)$ 는 프롬프트 $x$ 와 현재까지 생성된 텍스트를 기반으로 선호도 $c$ 를 만족하는 텍스트의 확률입니다.
$\alpha$ 는 개인화 강도를 조절하는 하이퍼파라미터입니다.

효율적인 분류기 모델링

위의 공식의 순진한 구현은 각 생성 단계에서 어휘 ( $|V|$ ) 의 모든 토큰에 대해 분류기를 평가해야 하므로 과도한 지연 시간을 초래합니다. CLIPer 는 효율적인 분류기 아키텍처를 통해 이를 해결합니다:

토큰 수준 예측: 분류기는 프롬프트 $x$ 와 부분 생성 $y_{<i}$ 를 입력으로 받습니다.
행렬 출력: 분류기는 단일 순전파 (forward pass) 를 통해 단일 레이블을 예측하는 대신 $\mathbb{R}^{|V| \times d}$ 크기의 행렬 $M$ 을 출력합니다.
행렬 구조: 행렬의 각 행 $v$ 는 어휘의 토큰에 해당하고, 각 열은 선호도 차원에 해당합니다. 항목 $M_{v, c_j}$ 는 $p(c_j | y_{<i}, v, x)$ 확률을 나타냅니다.
통합: 이를 통해 시스템은 모든 후보 다음 토큰에 대한 선호도 확률을 동시에 계산할 수 있어 여러 번의 순전파를 방지합니다.

훈련 및 독립성 가정

독립성 가정: 이 방법은 차원 간 사용자 선호도가 독립적이라고 가정합니다. 이를 통해 시스템은 모든 $2^d$ 개의 조합에 대한 단일 분류기가 아닌, 차원당 $d$ 개의 이진 분류기를 훈련할 수 있습니다.
훈련 데이터: 분류기는 기본 모델 (Tulu-7B) 이 생성한 합성 데이터로 훈련되며, 이전 연구의 보상 모델 (reward model) 에 의해 순위가 매겨집니다. 분류기 (LLaMA-160M) 는 토큰 수준의 다중 클래스 분류 손실을 최소화하도록 훈련됩니다.
추론: 각 단계에서 기본 모델과 분류기가 병렬로 실행됩니다 (각각 한 번의 순전파). 최종 토큰 분포는 기본 로짓과 분류기의 선호도 확률의 가중치 조합입니다.

주요 기여

CLIPer 프레임워크: 모든 선호도 차원에 대해 기본 LLM 을 파인튜닝할 필요가 없는 새로운 추론 시 개인화 방법.
확장성: 선호도 차원 수 $d$ 에 대해 훈련 및 추론 비용을 $O(1)$ 로 일정하게 유지하여, 기존 방법의 $O(d)$ 또는 $O(2^d)$ 비용과 대조됩니다.
효율적인 아키텍처: 단일 순전파를 통해 모든 어휘 토큰과 선호도 차원에 대한 조건부 분포를 예측하는 새로운 분류기 설계로, 실시간 유도를 가능하게 함.
실증적 검증: 단일, 이중, 삼중 선호도 차원 조합 전반에 걸친 효과성을 입증한 포괄적인 실험.

실험 결과

저자들은 Koala 및 UltraFeedback 데이터셋을 사용하여 6 가지 선호도 차원 (Audience, Content Density, Tone) 에서 CLIPer 를 평가했으며, 평가는 보상 모델과 GPT-4o-mini 를 통해 수행되었습니다.

단일 차원: CLIPer 는 바닐라 (vanilla) 기준 대비 평균 승률 83.42%, 직접 프롬프팅 대비 **53%**를 기록했습니다. 직접 프롬프팅보다 훨씬 우수한 성능을 보였으나, GPT-4o-mini 에 의해 평가될 때 직접 파인튜닝 대비 승률은 낮게 나타났습니다 (이는 분류기가 보상 모델이 라벨링한 데이터로 훈련되었기 때문으로 추정됨).
다중 차원 (2 및 3 차원):
- 2 차원 설정에서 CLIPer 는 바닐라 기준 대비 **72.45%**의 승률을 기록했습니다.
- 3 차원 설정에서 CLIPer 는 P-Soup 을 포함한 모든 기준 모델을 일관되게 능가했습니다. 특히 P-Soup 의 성능은 차원 수가 증가함에 따라 저하되는 반면, CLIPer 의 성능은 향상되거나 안정적으로 유지되어 복잡한 선호도 상호작용에 대한 더 나은 적응력을 시사했습니다.
인간 평가: 6 명의 박사 과정 자원자를 대상으로 한 연구에서 CLIPer 는 3 차원 선호도 조합 ("초급 수준, 장난기 많음, 간결함") 에 대해 직접 프롬프팅 대비 **65.3%**의 승률을 기록했습니다.
모델 확장: 분류기를 LLaMA-160M 에서 LLaMA-1B 로 확장하는 실험에서 유의미한 성능 향상은 관찰되지 않아, 더 작은 모델로도 충분함을 시사합니다.

중요성 및 주장

이 논문은 CLIPer 가 실제 세계 LLM 개인화를 위한 실용적이고 확장 가능한 솔루션을 제공한다고 주장합니다. 개인화를 무거운 파인튜닝과 분리함으로써, CLIPer 는 미미한 계산 오버헤드로 다양한 사용자 요구에 대한 동적 적응을 가능하게 합니다.

저자들은 기존 매개변수 병합 기술 (예: P-Soup) 이 어려움을 겪는 고차원 선호도 공간에서 그들의 방법이 특히 효과적임을 강조합니다. 합성 훈련 데이터에 대한 의존성과 독립성 가정과 같은 한계를 인정하면서도, 이 논문은 CLIPer 를 여러 개의 파인튜닝된 모델을 유지하는 부담 없이 효율성과 제어 가능하고 세밀한 개인화 사이의 균형을 잡은 견고한 프레임워크로 위치시킵니다.