기술 요약: 로짓 바이어스(Logit Bias)를 통한 언어 모델의 좌절스러울 정도로 단순한 블랙박스 적응

문제 정의

조직들은 도메인 정확도 향상, 엄격한 출력 형식 강제, 또는 장황함 감소와 같은 특정 내부 작업을 위해 프런티어 언어 모델(LM)을 적응시켜야 하는 경우가 빈번합니다. 그러나 파인튜닝(Fine-tuning), 매개변수 효율적 미세 조정(PEFT), 또는 인간 피드백 기반 강화 학습(RLHF)과 같은 표준 적응 기술은 종종 실행 불가능합니다. 이러한 방법들은 모델 가중치, 그래디언트(Gradient), 또는 은닉 상태(Hidden state)에 대한 접근을 필요로 하는데, 모델이 추론 API를 통해서만 배포되는 경우에는 이러한 것들에 접근할 수 없습니다. 프롬프트 최적화와 같은 기존의 블랙박스 대안들은 컨텍스트 길이를 소비하며 작업 내용에 간섭할 수 있다는 단점이 있습니다.

본 논문은 최소한의 접근 제약 하에서 동결된 언어 모델을 적응시키는 과제를 다룹니다. 즉, 배포자는 가중치를 수정할 수 없고, 역전파(Backpropagation)를 수행할 수 없으며, API를 통해 노출된 디코딩 시점의 제어 기능에만 의존해야 합니다. 구체적으로, 저자들은 단일한, 컨텍스트 독립적인 **로짓 바이어스 벡터(Logit-bias vector)**가 경량화된 적응 프리미티브(Primitive) 역할을 할 수 있는지 조사합니다.

방법론

핵심 메커니즘

제안된 방법은 모든 디코딩 단계에서 모델의 로짓에 더해지는 고정된 로짓 바이어스 벡터 $\delta \in \mathbb{R}^{|\mathcal{V}|}$ (여기서 $\mathcal{V}$는 어휘 사전)를 도입합니다.

• 동결된 모델: 베이스 모델의 가중치는 완전히 변경되지 않은 채 유지됩니다.
• 컨텍스트 독립성: 프롬프트나 프리픽스 튜닝(Prefix-tuning)과 달리, $\delta$는 입력 프롬프트나 생성된 프리픽스에 따라 변하지 않습니다.
• 블랙박스 학습: 벡터 $\delta$는 내부 그래디언트에 대한 접근 없이, 오직 베이스 모델으로부터의 롤아웃(생성된 궤적), 보상, 그리고 토큰 확률만을 사용하여 학습됩니다.

이론적 기초

이 접근 방식은 KL 정규화 강화 학습(RL) 목적 함수에 근거합니다. 베이스 정책 $p_0$와 가깝게 유지하면서(정규화 상수 $\tau$) 보상 $r$을 최대화하기 위한 무제약 최적해는 프리픽스 의존적 정책 $p^\star_\tau$입니다.

• 임의의 단계 $t$에서의 최적의 로짓 보정은 이론적으로 $\log Z(x, y_{1:t-1}, \cdot)$이며, 여기서 $Z$는 기대 지수 보상(Expected exponentiated reward)을 나타내는 "소프트 가치(Soft value)"입니다.
• 저자들은 이 최적의 보정이 토큰별 구성 요소인 $\delta(y)$와 프리픽스 의존적 베이스라인인 $c_t(x, y_{1:t-1})$로 근사적으로 **인수분해(Factorize)**될 수 있다면, 단일한 고정 벡터 $\delta$가 최적 정책을 근사할 수 있다고 가정합니다.
• 이들은 고정된 바이어스를 사용하는 것과 최적의 프리픽스 의존적 정책 사이의 성능 차이를 나타내는 **보상 격차 경계(Reward-gap bound)**를 유도하여, 고정된 바이어스의 성능 손실이 근사 오차 $\varepsilon$과 호라이즌(Horizon) $T$에 의존함을 보여줍니다.

추정 알고리즘

그래디언트 없이 $\delta$를 학습하기 위해, 저자들은 폐쇄형 역확률 가중치(Inverse Propensity Scoring, IPS) 추정기를 제안합니다.

1. 온-폴리시 롤아웃: 베이스 모델로부터 궤적 $y_{1:T} \sim p_0(\cdot|x)$를 생성합니다.
2. 개입 샘플링: 각 궤적에 대해 무작위 시간 단계 $t$를 샘플링하고, 토큰 $y_t$를 개입(Intervention)으로 취급합니다(즉, 해당 토큰은 고정하고 나머지 궤적은 베이스 모델으로부터 샘플링함).
3. 추정기: 모집단 수준의 바이어스 $\delta(y)$는 해당 토큰 $y$가 나타나는 궤적들의 평균 지수 보상을 베이스 모델의 해당 토큰 확률의 역수로 가중치를 두어 계산합니다:
   $$\hat{Z}(y) = \frac{1}{NP} \sum_{(x, y_{1:T}, t, r) \in \mathcal{D}} \frac{\mathbb{1}\{y_t = y\} \exp(r/\tau)}{\pi_0(y | x, y_{1:t-1})}$$
4. 스무딩(Smoothing): 최종 로짓 바이어스는 $\hat{\delta}(y) = \log(\alpha + \hat{Z}(y)) - c(\alpha)$로 계산됩니다. 여기서 $\alpha$는 희소한 데이터를 처리하고 로그-제로 에러를 방지하기 위한 스무딩 상수입니다.

주요 기여

1. 블랙박스 적응 환경: 가중치 업데이트나 그래디언트 접근 없이, 단일한 컨텍스트 독립적 로짓 바이어스 벡터를 사용하여 동결된 LM을 개인화하는 환경을 공식화했습니다.
2. 이론적 분석: 로짓 바이어스 스티어링(Steering)을 KL 정규화 최적해와 연결하는 폐쇄형 IPS 추정기를 유도하고, 고정 바이어스 정책과 무제약 최적해 사이의 보상 격차에 대한 이론적 경계를 제공합니다.
3. 경험적 검증: 이 방법은 수학 및 추론 벤치마크에서 베이스 모델의 성능을 개선하며, 전통적인 파인튜닝보다 훨씬 적은 학습 가능한 매개변수와 연산량을 사용하여 완성 길이(Completion length)를 효과적으로 제어함을 보여주었습니다.

실험 결과

설정

• 모델: Meta-Llama-3.1-8B-Instruct, Gemma-2-9B-IT, Qwen3-4B.
• 작업: MATH, GSM8K, GPQA-main (정확도); 그리고 압축 목적 (토큰 수 감소).
• 베이스라인: 베이스 모델, 32개 클러스터로 묶인(Tied) 로짓 바이어스 베이스라인, LoRA-GRPO (약 $10^7$개의 매개변수를 가진 파인튜닝 베이스라인).

정확도 성능

• 전체 어휘 로짓 바이어스: 모든 벤치마크에서 베이스 모델 대비 일관되게 작은 향상을 달 나타냈습니다 (예: MATH: $30.30\% \to 33.14\%$; GPQA: $22.20\% \to 28.90\%$).
• 비교: 32개 클러스터 베이스라인은 베이스 모델과 유사한 성능을 보였는데, 이는 신호가 거친 빈도 변화가 아니라 토큰 특이적임을 시사합니다. LoRA-GRPO는 로짓 바이어스보다 유의미하게 높은 성능을 보였습니다 (예: MATH: $45.24\%$), 이는 가중치 공간의 적응이 고정된 바이어스보다 컨텍스트 의존적 추론을 더 잘 포착함을 확인시켜 줍니다.

압축 성능

• 이 방법은 정확도를 유지하면서 Gemma-9B와 Llama-8B의 완성 길이를 성공적으로 줄였으며, 정확도와 길이 사이의 파레토 프런티어(Pareto frontier)를 추적했습니다.
• Qwen3-4B는 길이 변화가 미미했습니다.
• LoRA-GRPO는 내부 추론 및 중단 동작을 변경함으로써 훨씬 더 공격적인 압축을 달성했습니다. 반면 로짓 바이어스는 주로 재사용 가능한 마무리 및 중단 패턴을 학습했습니다.

학습된 바이어스 분석

• 희소성(Sparsity): 어휘 사전 좌표의 아주 작은 부분(약 1.3%)만이 효과 크기 게이트(Effect-size gate)를 초과했습니다.
• 구조:
  • 정확도 바이어스: 답변 경계, 수학적 포맷팅, 결정적인 중단 문자열과 관련된 토큰을 촉진했습니다. 질문 재진술이나 튜토리얼 모드와 같은 "표류(Drift)" 토큰은 억제했습니다.
  • 압축 바이어스: 중단/경계 토큰을 촉진하고 설명 및 유도 토킨을 억제했으나, 이는 과도한 압축의 위험을 수반했습니다.

의의 및 주장

본 논문은 학습된 로짓 바이어스가 프롬프트 엔지니어링과 풀 파인튜닝 사이에 위치하는 경량화된 블랙박스 적응 프리미티브 역할을 한다고 주장합니다.

• 유용성: API 전용 접근 권한을 가진 조직에게 실용적인 솔루션을 제공하며, 운영 오버헤드 없이 포맷팅 개선, 장황함 제어, 완만한 정확도 향상을 가능하게 합니다.
• 한계: 저자들은 이 방법의 능력을 겸허히 인정하며, 고정된 바이어스가 추론을 다시 쓰거나, 조건부 규칙을 인코딩하거나, 컨텍스트 특화적 오류를 수정할 수는 없음을 명시했습니다. 이는 "재사용 가능한" 패턴(포맷팅, 중단 등)에는 효과적이지만, 컨텍스트 의존적 추론이 필요한 곳에서는 작동하지 않습니다.
• 결론: 가중치 접근이 가능한 경우 파인튜닝을 대체할 수는 없지만, 엄격한 접근 제약 하에서 언어 모델을 적응시키기 위한 유효하고 저비용인 메커니즘으로서 학습된 로짓 바이어스는 충분한 가치가 있습니다.