기술 요약: 예측 가능한 실패를 가진 머신러닝 모델 훈련

문제 제기

머신러닝 시스템의 배포 전 안전성 평가는 배포 규모에서의 실패율을 추정하는 데 의존합니다. 그러나 치명적인 실패는 매우 드물어 실제적인 평가 세트에 단일 예시도 포함되지 않는 경우가 많아, 관찰된 성능과 미래 위험 사이에 간극이 발생합니다. Jones 등 [21]은 평가 세트에서 관찰된 가장 큰 $k$개의 점수를 기반으로 극값 이론 (EVT) 을 사용하여 배포 규모로 실패율을 외삽할 것을 제안했으나, 이 방법은 두 가지 중요한 가정에 의존합니다: (A1) 실패 꼬리는 점근적으로 로그-선형 (Gumbel 영역) 이어야 하며, (A2) 평가 세트는 배포 분포를 대표해야 합니다.

본 논문은 이러한 가정이 위반되는 특정 실패 체계를 식별합니다: 배포 세트에는 작은 평가 세트에는 존재하지 않는 드물고 실패율이 높은 모드 (예: 적대적 프롬프트 또는 위험한 레이아웃) 가 포함된 경우입니다. 이러한 시나리오에서 EVT 기반 예측기는 최악의 경우 위험을 체계적으로 과소평가합니다. 또한, 본 논문은 가정이 성립하더라도 표준 추정기는 안전에 유리한 편향인 과대예측 경향을 내재하고 있음을 보여주는데, 이는 위에서 설명한 "점유 (occupancy)" 실패 모드로 상쇄될 수 있습니다.

방법론

저자들은 훈련된 모델의 실패 꼬리가 정확한 EVT 외삽에 필요한 구조적 가정에 부합하도록 조정하는 **예측 가능성 미세 조정 (forecastability fine-tuning)**을 제안합니다.

1. 이론적 분해

핵심 이론적 기여는 Gumbel-꼬리 추정기에 대한 유한-$k$ 예측 오차 분해입니다. 오차 $\Delta$는 다음과 같이 분해됩니다:

• 순위 항 ($T_\theta$): 상위-$k$ 개 수와 배포 비율에 기반한 추정기에 내재된 편향입니다. 이 항은 일반적으로 양수 (과대예측) 이며, 스케일링 인자를 제외하고 모델의 특정 매개변수와는 무관합니다.
• 곡률 항 ($C_\theta$): 꼬리-분위수 곡선의 2 차 도함수에 비례합니다. 이 항은 모델에 의존하며 훈련 가능합니다. 이는 꼬리가 "잘 행동하는" (로그-선형) 상태인지 아니면 곡선을 이루는지를 반영합니다.
• 점유 항 ($G_\theta$): 드물고 위험도가 높은 구성 요소가 배포 세트에는 존재하지만 평가 세트에는 없을 때 나타나는 0 이 아닌 항입니다. 이 항은 과소예측을 유발합니다.
• 고차余项: 매끄러움 위반 (예: 유계 지지 또는 두꺼운 꼬리) 과 관련된 항들.

저자들은 위험 점수가 미분 가능할 때, 예측 오차가 모델 매개변수에 대해 미분 가능함을 보입니다. 이를 통해 오차 자체가 손실 함수로 사용될 수 있게 됩니다.

2. 예측 가능성 손실

제안된 목적 함수인 **예측 가능성 손실 (forecastability loss)**은 외삽된 순위 전반에 걸쳐 OLS 로 예측된 최악의 경우 점수와 실현된 최악의 경우 점수 사이의 제곱 차이를 최소화합니다.
$$\mathcal{L}_{\text{forecast}} = \sum_{j \in \mathcal{J}} w_j \left( \hat{Q}_\theta(y_j) - Y^{(j)}_\theta \right)^2$$
여기서 $\mathcal{J}$는 적합 세트보다 깊은 순위를 나타내며, 가중치 $w_j$는 배포 크기에 대한 로그-균일 사전 분포를 따릅니다.

3. 훈련 정교화

모델이 꼬리를 "예측 가능하게" 만들기 위해 단순히 성능을 악화시키지 않도록 (예: 과대예측된 선과 일치하도록 위험 점수를 높이는 경우), 저자들은 **개선 전용 그라디언트 마스크 (improving-only gradient mask)**를 도입합니다. 이 마스크는 특정 작업에서 위험 점수를 감소시키는 경우에만 그라디언트 업데이트가 발생하도록 보장하여, 예측 목적을 주요 안전 목적에 효과적으로 결합합니다.

또한, 데이터의 특정 분할에 과적합되는 것을 방지하기 위해, 이 방법은 **메타-다중 작업 미세 조정 (meta-multi-task fine-tuning)**을 사용합니다. 각 훈련 단계에서 작업 풀은 무작위로 적합 세트와 배포 세트로 분할됩니다. 전체 데이터 세트를 매 단계마다 다시 점수화하지 않고도 이러한 재분할을 계산적으로 실현 가능하게 만들기 위해 상위 점수 작업들의 분할 불변 캐시를 유지합니다.

주요 기여

1. 유한-$k$ 오차 분해: Gumbel-꼬리 예측 오차의 이론적 분해로, 모델 의존적 구성 요소 (곡률, 점유) 를 추정기 의존적 구성 요소 (순위 편향) 에서 분리합니다. 이는 정확히 오차의 어떤 부분이 훈련 가능한지 식별합니다.
2. 예측 가능성 손실: 모델의 실패 꼬리를 잘 행동하는 (로그-선형) 형태로 만들고 배포 분포를 대표하도록 형성함으로써 예측 오차를 직접 최소화하는 미분 가능한 목적 함수입니다.
3. 실증적 검증: 예측 가능성을 위한 미세 조정이 홀드아웃 예측 오차를 현저히 줄이면서도 주요 작업 성능을 유지 (또는 향상) 하고, 지도 학습 기반선과 비교할 수 있는 안전성을 달성함을 보여줍니다.

실험 결과

이 방법은 두 가지 환경에서 평가되었습니다:

1. 언어 모델 (비밀번호 게임): 모델은 비밀 비밀번호를 유지하도록 지시받지만, 이를 추출하도록 설계된 적대적 프롬프트로 테스트됩니다.
   • 결과: 예측 가능성 미세 조정은 사전 훈련된 기준선 대비 최악의 경우 유출 확률을 약 40 데카드 (decades) 감소시켜, 지도 미세 조정 (SFT) 과 동등한 안전성을 달성했습니다. 중요하게도, 이는 SFT 보다 모델 능력 (WildChat KL 드리프트로 측정) 을 훨씬 더 잘 유지했습니다 (드리프트가 두 자릿수 낮음). 또한 예측 정밀도를 기준선 대비 약 60 배 향상시켰으며, SFT 와 사후 보정은 20 배 미만에서 정체되었습니다.
2. 강화 학습 (Gridworld): 정책은 드물고 밀집된 위험한 레이아웃이 있는 Gridworld 를 탐색합니다.
   • 결과: 예측 가능성 훈련은 능력 (수익) 을 1.27 배 향상시키고 최악의 경우 후회를 3.5 배 감소시켜 SFT 를 능가했습니다. 예측 정밀도 측면에서, 이 방법은 사후 보정과 함께 52 배의 개선을 달성하여 SFT (26 배) 와 보정 단독 (6 배) 을 크게 능가했습니다.

두 경우 모두 "개선 전용" 마스크는 예측 오차의 감소가 실제 최악의 경우 위험 (유출 확률 또는 후회) 의 감소와 상관관계가 있음을 보장했습니다.

중요성과 주장

본 논문은 배포 전 안전성 평가에서 "누락된 층"을 해결한다고 주장합니다: 평가에서 배포 규모로 위험 점수를 외삽할 뿐만 아니라, 이러한 외삽이 신뢰할 수 있도록 모델을 훈련할 수 있는 능력입니다.

• 안전에 유리한 편향: 저자들은 표준 추정기가 안전에 바람직한 과대예측 경향을 내재하고 있음을 지적합니다. 그러나 평가 세트가 드문 실패 모드를 놓칠 경우 이 편향은 무효화됩니다. 예측 가능성 훈련은 이러한 특정 실패 모드를 제거하는 것을 목표로 합니다.
• 보정의 보완: 결과는 사후 아핀 보정이 체계적 편향을 교정할 수는 있지만, 꼬리 모양의 구조적 불일치나 점유 격차를 수정할 수는 없음을 시사합니다. 예측 가능성 훈련은 근본적인 꼬리를 형성하여 후속 보정을 더 효과적으로 만듭니다.
• 확장성: 저자들은 실험이 소규모 (0.6B 및 8B 모델, 합성 혼합물) 임을 인정합니다. 이 방법은 다른 분포로 일반화되는 개념 증명이라고 주장하지만, 최전선 모델과 자연스러운 드문 모드로 확장하는 것이 필요한 다음 단계라고 언급합니다.
• 기존 방법과의 차별화: 본 논문은 이 접근법을 최악의 경우 손실을 최소화하는 분포적 강건 훈련 및 실패 샘플링이 필요한 중요도 샘플링과 구별합니다. 예측 가능성 손실은 단순히 위험 자체를 최소화하는 것이 아니라, EVT 외삽에 적합하도록 위험 분포의 형태를 대상으로 합니다.

저자들은 배포 전 안전성 평가가 점점 더 꼬리 행동의 외삽에 의존하고 있으며, 그들의 결과는 모델 자체가 이 과정에 대한 고정된 입력일 필요가 없음을 보여줍니다. 소량의 미세 조정을 통해 표준 예측 방법으로 꼬리를 훨씬 더 정확하게 설명할 수 있는 모델을 생성할 수 있습니다.