기술 요약: 토큰 수준 데이터 필터링을 통한 역량 형성

문제 정의

거대 언어 모델(LLM)에서 원치 않는 역량을 줄이기 위한 현재의 접근 방식은 주로 사전 학습 이후의 개입(예: RLHF, 머신 언러닝, 또는 입출력 분류기)에 의존하는 사후적(post hoc) 방식입니다. 본 논문은 이러한 방법들이 기저 모델의 표현(representations)으로부터 근본적인 역량을 제거하지 못하기 때문에, 탈옥(jailbreaking)이나 적대적 미세 조정(adversarial finetuning)을 통한 공격자에게 쉽게 우회될 수 있다고 주장합니다. 데이터를 통한 사전 학습 단계에서의 역량 형성이 유망한 대안이지만, 기존 문헌은 주로 조립한(coarse-grained) 문서 단위 필터링에 집중해 왔습니다. 저자들은 이러한 입도가 최적의 상태가 아니라고 단언합니다. 모델은 무해한 문서 내의 짧은 토큰 하위 시퀀스로부터 위험한 역량을 학습할 수 있으며, 이는 데이터의 과도한 제거(낮은 정밀도) 또는 유해한 지식의 잔존(낮은 재현율)으로 이어질 수 있기 때문입니다.

방법론

본 논문은 사전 학습 중 더 정밀한 개입으로서 토큰 수준 데이터 필터링을 제안합니다. 방법론은 네 가지 주요 단계로 구성됩니다:

1. 희소 오토인코더(SAE)를 통한 레이벨링: 비용이 많이 드는 수동 주석 작업 없이 그라운드 트루스(ground-truth) 토큰 수준 레이블을 생성하기 위해, 저자들은 9B 파라미터 모델(Gemma 2)로 학습된 희소 오토인코더를 활용합니다. 이들은 "삭제(forget)" 도메인(의학 지식)에 해당하는 SAE 잠재 변수(latents)를 식별하고, 더 강력한 LLM(Claude Sonnet 4)을 사용하여 이 잠사 변수들의 설명을 분류합니다. 특정 의학적 잠재 변수에 대해 높은 활성화를 보이는 토큰은 "의학적"인 것으로 레이블링됩니다. 이 과정을 통해 약지도 학습(weakly supervised) 기반의 토큰 수준 레이블 데이터셋이 생성됩니다.
2. 분류기 학습: 저자들은 토큰 수준 분류기로 작동할 작업 특화형 양방향 언어 모델(biLM)을 학습시킵니다. 저자들은 관련 코퍼스로 학습된 작은 규모의 도메인 특화 모델(예: 224M 파라미터)이 이 특정 분류 작업에서 더 큰 범용 모델(예: ModernBERT-large)보다 성능이 우수함을 입증합니다.
3. 필터링 전략: 두 가지 토근 수준 필터링 전략이 사전 학습 중에 구현됩니다:
   • 손실 마스킹(Loss Masking): 모델은 순전파(forward pass) 과정에서 "삭제" 토큰을 보지만, 역전파(backward pass) 과정에서는 해당 토큰들에 대한 그래디언트가 마스킹(제로화)됩니다.
   • 제거(Removal): "삭제" 토큰을 특수 토큰인 <|hidden|>으로 대체하고, 해당 토큰의 손실을 마스킹합니다.
4. 스케일링 실험: 저자들은 FineWeb-Edu 데이터셋에 필터링 전략을 적용하여 61M에서 1.8B 파라미터에 이르는 트랜스포머 모델들을 학습시킵니다. 이들은 텍스트 퍼플렉시티(perplexity), 다지선다형 문제(MedMCQA, MedQA-USMLE), 자유 응답 생성 등을 통해 "삭제" 도메인(의학적 역량)과 "유지" 도메인(생물학, 일반 STEM)에 대한 성능을 평가합니다.

주요 기여 및 결과

1. 토큰 필터링은 문서 필터링보다 파레토 우위에 있음

본 논문은 토큰 수준 필터링이 문서 수준 필터링에 비해 파레토 개선(Pareto improvement)을 달성함을 보여줍니다. 토큰 수준에서 필터링함으로써, 저자들은 "유지" 역량(생물학)의 저하를 최소화하면서도 "삭제" 역량(의학 지식)을 동일하게 감소시킬 수 있었습니다. 문서 수준 필터링은 유해한 토큰 시퀀스를 포착하기 위해 방대한 양의 무해한 데이터를 폐기하는 반면, 토큰 필터링은 무해한 데이터의 문맥을 보존하면서 특정 유해 토큰만을 제거합니다.

2. 효과는 모델 크기에 따라 확장됨

데이터 필터링의 효능이 모델 규모와 함께 증가한다는 것이 핵심적인 발견입니다.

• 컴퓨트 속도 저하: 가장 큰 모델(1.8B 파라미터)의 경우, 토큰 필터링은 필터링되지 않은 데이터로 학습된 베이스라인과 비교했을 때 "삭제" 도메인에서 7,000배의 컴퓨트 속도 저하를 유발합니다. 이는 공격자가 적대적 미세 조정을 통해 필터링된 의학 역량을 재학습하기 위해 베이스라인 모델보다 7,000배 더 많은 컴퓨팅 자원이 필요함을 의미합니다.
• 스케일링 법칙: 사전 학습 컴퓨팅이 증가함에 따라 필터링된 모델과 필터링되지 않은 모델 간의 성능 격차는 더 벌어집니다. 토큰 필터링은 "삭제" 도메인에서 더 낮은 크기의 스케일링 지수를 나타내며, 이는 모델이 커질수록 필터링에 의해 더 효과적으로 "형성(shaped)"됨을 나타냅니다.

3. 적대적 공격에 대한 견고성

토큰 필터링은 최신 머신 언너링 방법(특히 RMU)보다 적대적 미세 조정에 대해 현저히 높은 견고성을 보입니다.

• RMU는 모델 규모가 커짐에 따라 성능이 급격히 저하되는 반면(역량을 재학습하는 데 필요한 적대적 토큰 수가 줄어듦), 데이터 필터링은 모델이 커질수록 상대적으로 더 견고해집니다.
• 1.8B 모델의 경우, RMU는 베이스라인과 동일한 수준에 도달하기 위해 토큰 제거 방식보다 13배 적은 토큰이 필요하며, 이는 사전 학습 필터링의 우수한 변조 저항성(tamper-resistance)을 강조합니다.

4. 정렬 및 거절 일반화

위험한 지식을 제거하는 것이 모델의 위험한 질의에 대한 거절 능력을 저해할 수 있다는 우려와 달리, 저자들은 토큰 필터링된 모델이 필터링되지 않은 베이스라인보다 거절 학습에 더 잘 일반화된다는 것을 발견했습니다.

• 토큰 제거로 학습된 모델은 의학적 질의에 대해 베이스라인보다 2배 더 높은 비율로 거절을 생성하면서도, 비의학적 질의에 대해서는 정상적인 동작을 유지합니다.
• 저자들은 이것이 모델이 독성을 분류하는 것보다 더 단순한 작업인 "학습된" 토큰과 "학습되지 않은" 토큰을 구분하는 법을 배웠기 때문이라고 가설을 세웁니다. 이를 통해 근본적인 위험한 지식 없이도 효과적인 정렬이 가능해집니다.

5. 레이블 노이즈에 대한 견고성

본 논문은 불완전한 레이블의 영향을 조사합니다.

• 약한-강한 일반화(Weak-to-Strong Generalization): 토큰 수준 분류기는 약하거나 조립한 레이블(예: 문장 또는 문서 수준 레이블)로부터 학습하여 효과적인 토큰 수준 필터를 생성할 수 있습니다. 반대로 문서 수준 분류기는 약한 레이블로부터 효과적으로 일반화하지 못합니다.
• 스케일링을 통한 노이즈 완화: 레이블에 노이즈가 있더라도, 모델 크기를 키우고 분류 임계값(정밀도보다 재현율을 우선시함)을 조정함으로써 필터링의 효과를 유지할 수 있습니다.

의의 및 주장

본 논문은 토큰 수준 데이터 필터링이 사전 학습 중 모델의 역량을 형성하기 위한 비용 효율적이고, 견고하며, 확장 가능한 방법이라고 주장합니다. 이 연구의 주요 의의는 다음과 같습니다:

• 선제적 안전성: 사후적인 방어책(post hoc safeguards)이 벌이는 "쫓고 쫓기는 게임"을 해결하기 위해, 나중에 추출하려고 노력하는 대신 근원(사전 학습)에서 역량을 제거합니다.
• 효율성: 문서 수준 필터링과 관련된 막대한 데이터 손실 없이 특정 역량을 제거하는 높은 정밀도를 달야냅니다.
• 확장성: 이 방법은 모델이 커질수록 더욱 효과적이 되며, 이는 프런티어 모델을 위한 실행 가능한 장기적 전략임을 시사합니다.
• 정렬 호환성: 위험한 지식을 제거하는 것이 반드시 모델의 정렬 능력이나 유해한 요청 거절 능력을 해치지는 않으며, 경우에 따라 정렬 일반화 성능을 향상시킬 수 있음을 보여줍니다.

저자들은 비록 사전 학습 필터링이 이상적인 영향력 기반 제거(influence-based removal)에 비하면 "무딘 도구(blunt instrument)"일지라도, 현재로서는 프런티어 모델이 원치 않는 역량을 습득하는 것을 방지하기 위해 사용할 수 있는 가장 효과적이고 견고한 개입책이라고 결론짓습니다. 특히 이는 사후 학습 방어책을 포함한 심층 방어(defense-in-depth) 접근법과 결합될 때 더욱 강력합니다.