기술 요약: 모든 샘플은 중요하다 – 포인트와이즈 제약 조건을 이용한 언어 모델의 지도 미세 조정 (Every Sample Counts – Supervised Fine-Tuning of Language Models with Pointwise Constraints)

1. 문제 정의

언어 모델(LM)을 정렬하고 미세 조정하는 현재의 방법들은 일반적으로 입력 분포에 대해 **기대치(expectation)**로서만 요구 사항(안전성, 길이 제어 또는 도구 호출 선호도 등)을 강제하는 제약 최적화 프레임워크에 의존합니다. 이러한 방법들은 평균적으로 제약 조건이 충족되도록 보장하지만, 결정적인 한계점을 가집니다: 즉, 개별 입력에 대한 제약 충족을 보장하지 못한다는 점입니다.

이러한 "평균 중심" 접근 방식은 특히 테일 데이터(tail data)(훈련에서 과소 표현되었거나 본질적으로 더 어려운 입력)에 대해 바람직하지 않은 불균형을 초-래합니다. 경험적 증거에 따르면, 평균적으로 제약 조건을 만족하는 모델이라 할지라도 특정 입력의 하위 집합에서는 심각한 위반 사례를 보일 수 있습니다. 기존 방법들은 "쉬운" 샘플과 "어려운" 샘플을 구분하지 못하고 균일한 페널티를 적용함으로써, 단순한 사례에는 과도한 페널티를 부여하거나 어려운 사례에 대해서는 충분한 제약을 가하지 못하는 경우가 많습니다.

본 논문은 평균 제약 학습에서 **포인트와이즈 제약 미세 조정(pointwise constrained fine-tuning)**으로의 전환을 제안합니다. 여기서 제약 조건은 데이터 분포의 기대치가 아니라 거의 모든 개별 샘플에 대해 성립해야 합니다.

2. 방법론

제안된 프레임워크는 비볼록 신경망 최적화에서 포인트와이즈 제약을 강제하는 문제를 다음과 같은 세 가지 핵심 구성 요소를 통해 해결합니다.

A. 포인트와이즈 제약 정식화 (Pointwise Constrained Formulation)

저자들은 미세 조정 문제를 데이터 분포 $D$에 대해 포인트와이즈(거의 모든 곳에서) 부등식 제약 $\ell_i \leq \varepsilon$이 성립하도록 하는 기대 목적 함수 $\ell_0$를 최소화하는 문제로 정식화합니다.
$$\pi^*_\theta = \arg \min_{\theta} \mathbb{E}_{(x,y)\sim D} [\ell_0] \quad \text{s.t.} \quad \ell_i(\pi_\theta, x, y) \leq \varepsilon_i, \quad D\text{-a.e.}$$
단일 스칼라 승수(multiplier)를 사용하는 평균 제약과 달리, 이 정식화는 모든 샘플에 대해 별도의 승수를 필요로 하며, 이를 통해 각 입력의 특정 난이도에 맞게 페널티를 조정할 수 있습니다.

B. 증강 라그랑주 방법 (Augmented Lagrangian Approach)

이 비볼록 문제를 해결하기 위해 저자들은 **쌍대 영역(dual domain)**을 활용합니다. 그러나 표준 라그랑주 쌍대성은 듀얼리티 갭(duality gap)으로 인해 딥 뉴럴 네트워크와 같은 비볼록 문제에 대해 약한 보증만을 제공합니다. 이를 극복하기 위해 본 논문은 증강 라그랑주(AL) 방법을 채택합니다.

• AL 방법은 라그랑주 승수 $\lambda$와 제약 위반 사이의 선형 의존성을 이차항(quadratic term)으로 대체합니다.
• 이는 추가적인 곡률 보정(curvature correction)을 제공하여, 표준 라그랑주 접근 방식보다 더 넓은 범위의 비볼록 설정에서 강력한 쌍대성(strong duality)과 원형 회복 가능성(primal recoverability)을 가능하게 합니다.
• 최적화는 **경험적 쌍대 경사 상승법(Empirical Dual Gradient Ascent)**을 통해 수행되며, 여기서 함수적 승수 $\lambda(x,y)$는 유한한 데이터셋에 대한 샘플별 승수 $\lambda_i$로 근사됩니다.

C. 학습된 포인트와이즈 완화 (Learned Pointwise Relaxation)

포인트와이즈 제약은 특히 이상치(outlier)가 존재하거나 제약 조건이 기본 목적 함수와 충돌할 때 지나치게 엄격할 수 있습니다. 이를 완화하기 위해 저자들은 학습된 샘플 종속적 완화(learned, sample-dependent relaxation) 기법을 도입합니다.

• 허용 임계값을 $\varepsilon$에서 $\varepsilon + u(x,y)$로 증가시키기 위해 완화 함수 $u(x,y)$를 도입합니다.
• 이러한 완화의 심각성과 빈도를 페널티하기 위해 목적 함수에 볼록 비용 함수 $c(u)$(구체적으로 이차 페널티 $\beta \|u\|^2$)를 추가합니다.
• 결정적으로, 완화 변수 $u$를 직접 최적화할 필요는 없습니다. 쌍대성을 통해 그 효과는 쌍대 문제 내의 정규화 항 및 쌍대 변수의 재스케일링(rescaling)으로 흡수됩니다. 이를 통해 모델은 사용자가 정의한 완화 비용과 학습 목적 함수 사이의 절충안을 조절하며, 결과적으로 제약 위반 분포의 "테일(tail)"을 효과적으로 제어할 수 있습니다.

3. 주요 기여

1. 포인트와이즈 제약 프레임워크: 본 논문은 입력 분포에 대한 기대치가 아닌 개별 입력에 대해 제약을 강제하는 새로운 정렬 프레임워크를 제안하여, 입력 분포 전반의 성능 불균형 문제를 해결합니다.
2. 비볼록 학습을 위한 증강 라그랑주: 저자들은 비볼록 신경망 최적화에서의 강력한 쌍대성 결여를 극복하기 위해 증강 라그랑주 방법을 포인트와이즈 제약 미세 조정에 적용합니다.
3. 학습된 완화 메커니즘: 수동으로 샘플별 임계값을 튜닝하지 않고도 이상치 및 충돌하는 목적 함수를 처리하기 위해, 학습 과제와 제약 완화를 공동으로 해결하는 메커니즘을 도입했습니다.
4. 경험적 검증: 제안된 프레임워크는 세 가지 서로 다른 소규모 언어 모델(SLM) 미세 조정 작업에 걸쳐 구현되었습니다:
   • 지시 이행 및 안전성(Instruction Following & Safety): 안전한 프롬프트에 대한 유용성을 유지하면서 유해한 프롬프트에 대한 거부를 강제함.
   • 도구 호출 선호도(Tool Calling Preferences): 길이 정규화된 로그 확률 제약을 사용하여 올바른 동작 선택(예: 도구 호출 vs 환각)을 강제함.
   • 재순위화 및 길이 최적화(Re-ranking & Length Optimization): 검색 관련성과 패스(passage) 길이(토큰 효율성) 사이의 균형을 맞춤.

4. 결과

저자들은 제안된 방법이 다운스트림 성능을 크게 저하시키지 않으면서 테일 제약 위반을 줄인다는 것을 경험적으로 입증했습니다.

• 테일 위반 감소: 모든 작업에서 제안된 방법은 평균 제약 및 고정 페널티 베이스라인에 비해 큰 제약 위반의 빈도와 심각성을 유의미하게 감소시켰습니다. 제약 위반의 누적 분포 함수(CDF)를 보면, 평균 방식은 "쉬운" 샘플에 대해서는 큰 마진을 두고 만족시키지만 "어려운" 샘플에서는 실패하는 반면, 포인트와이즈 접근 방식은 일관된 성능을 보장합니다.
• 개선된 트레이드오프(Trade-offs): 이 방법은 목적 함수(예: 유용성, 관련성)와 제약 지표 사이에서 더 나은 파레토 프런티어(Pareto frontiers)를 달로합니다.
  • 안전성(Safety) 작업에서, 포인트와이즈 방법은 유용성(승률)을 단 5% 감소시킨 반면 100%의 거부율을 달성했습니다. 반면 평균 제약 방식은 유사한 안전성을 확보하기 위해 유용성을 9% 감소시켜야 했습니다.
  • 도형 호출(Tool Calling) 작업에서, 포인트와이즈 제약은 특정 카테고리에 치우친 방식보다 오류 카테고리 전반에 걸쳐 더 균일한 개선을 보여주었습니다.
  • 재순위화(Re-ranking) 작업에서, 이 방법은 관련성 지표(MRR@10)를 희생하지 않으면서 패스 길이를 성공적으로 줄였으며, 이는 평균 제약 방식이 달성하지 못한 트레이드오프입니다.
• 완화 제어: 완화 비용의 하이퍼파라미터 $\beta$는 엄격한 제약 준수와 목적 함수 성능 사이의 트레이드오프를 효과적으로 제어하여, 사용자가 특정 위험 허용 범위에 따라 모델의 행동을 튜닝할 수 있게 합니다.

5. 의의 및 주장

본 논문은 평균 성능만으로는 불충분한 고위험 도메인에 언어 모델을 배포하기 위해, 제약을 샘플별로 강제하는 것이 필수적인 진화라고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 분포적 불균형 해결: 모델이 테일 데이터에서 성능이 저하되는 문제를 직접적으로 다룸으로써, 특정 취약한 입력에 대해 중요한 제약(예: 안전성)이 위반되지 않도록 보장합니다.
• 실용적 최적화: 증강 라그랑주 방법과 학습된 완화를 활용함으로써, 완화 없이 모든 샘플에 대해 하드 제약을 강제하는 데 따르는 계산 불가능성을 피하는 실용적이고 확장 가능한 포인트와이즈 제약 솔루션을 제공합니다.
• 유연성: 이 프레임워크는 다양한 제약(안전성, 선호도, 길이) 및 작업에 적응할 수 있음을 보여주며, 최악의 경우 위반을 줄이는 데 있어 기존의 평균 제약 및 고정 페널티 방법보다 우수한 통합된 제약 미세 조정 접근 방식을 제공합니다.

저자들은 일반적인 성능을 위해서는 평균 제약이 충분할 수 있지만, 포인트와이즈 제약은 견고하고 공정하며 안전한 배포를 위해 필수적이며, 유용성과 제약 만족 사이에서 더 우수한 트레이드오프를 제공한다고 결론짓습니다.