기술적 요약: 모델 언러닝 목표는 다양한 언어 기능에 따라 달라짐

문제 제기

대형 언어 모델 (LLM) 은 사전 학습 과정에서 생물안전 위험과 같은 위험한 사실적 지식이나 유해한 언어 생성과 같은 바람직하지 않은 속성을 획득합니다. 사후 학습 방법은 지시 따르기 대 안전과 같은 서로 다른 행동을 형성하기 위해 개별 목표를 사용하지만, 기존 언러닝 접근법은 이러한 다양한 속성을 제거하는 것을 단일하고 일반적인 문제로 취급하는 경우가 많습니다.

저자들은 언러닝이 사후 학습 목표의 다양성과 유사하게 목표에 의존해야 한다고 주장합니다. 구체적으로, 그들은 위험한 지식(사실적/절차적 정보)과 유해성(사회적으로 해로운 행동)이 모델의 내부 메커니즘 내에서 서로 다르게 표현된다고 가정합니다. 따라서 단일 언러닝 목표는 둘 다에 대해 비효율적일 수 있습니다. 현재 방법론들은 종종 이러한 능력을 강력하게 제거하지 못하거나, 오히려 일반적인 모델 유용성을 저하시키는 부작용을 초래합니다.

방법론

이 논문은 대상 속성의 구체적인 메커니즘적 특성에 맞춘 개별 언러닝 전략을 제안하며, 이는 네 가지 오픈 소스 7~8B 모델 (Llama3.1-8B, Mistral-7B, Qwen2.5-7B, Olmo3-7B) 에서 평가되었습니다.

1. 위험한 지식 언러닝

사실적 지식이 계층 전반에 걸쳐 상대적으로 안정적인 위치 (주어, 목적어, 마지막 토큰 위치) 에 저장된다는 메커니즘적 증거에 기반하여, 저자들은 언러닝을 위한 표현 왜곡 (RMU) 프레임워크를 수정했습니다:

• 코사인 기반 손실: 그들은 표준 L2 거리 손실을 코사인 기반 손실로 대체했습니다. 가설은 정확한 유클리드 위치보다 표현의 방향이 더 중요하다는 것입니다. 이는 해롭지 않은 크기 변화를 패널티로 부과하지 않으면서 업데이트된 표현과 목표 방향 간의 정렬을 최적화합니다.
• 메타 학습된 계수 ($\alpha$): 잊기 및 유지 목표 간의 균형 계수를 고정하는 대신, 저자들은 $\alpha$를 학습 가능한 매개변수로 취급합니다. REINFORCE를 사용하여 모델은 미세 조정 중에 잊기와 유지를 균형 있게 조정하기 위해 $\alpha$를 적응적으로 업데이트하여 광범위한 수동 조정이 필요하지 않게 합니다.

2. 유해성 언러닝

메커니즘 연구는 유해성이 DPO 와 같은 정렬 방법으로 반드시 제거되지 않으며, 종종 후기 MLP 계층에서 유발되는 등 다르게 표현된다고 시사합니다. 단일 계층 또는 단일 방향 접근법은 비효율적인 것으로 입증되었습니다.

• 다중 계층 목표: 저자들은 유해성 관련 신호를 여러 계층에 걸쳐 대상으로 하는 잊기 손실을 제안합니다.
• 계층별 프로브: 그들은 다양한 계층에서 고정된 참조 모델의 마지막 토큰 숨겨진 표현에 선형 로지스틱 회귀 프로브를 훈련하여 계층별 유해성 방향 ($LR_i$) 을 식별합니다.
• 직교화: 잊기 손실은 업데이트된 모델의 유해 입력 표현이 각 대상 계층에서 유해성 방향과 직교하도록 장려합니다. 손실은 내적을 제곱하여 비음수성과 대칭적인 기울기를 보장하며, 유해성과 강하게 정렬된 표현에 더 큰 기울기를 부여합니다.
• 계층 선택: 실험은 효과적인 언러닝이 네트워크 깊이에 따라 유해성 방향이 크게 회전하기 때문에 초기, 중간, 후기 계층에 걸쳐 분산된 조율된 업데이트가 필요함을 시사합니다.

3. 평가 지표: S-언러닝

언러닝 성능 ($U$) 과 유지된 유용성 ($R$) 사이의 균형을 요약하기 위해, 저자들은 S-언러닝을 도입했습니다:

• 유용성과 언러닝 점수는 우연 보정이 적용됩니다.
• 최종 점수는 $\bar{U} \cdot \bar{R}$의 곱입니다.
• 이 지표는 0 에서 1 사이이며, 언러닝이 강력하고 유용성이 높을 때 최대화되며, 유용성이 우연 수준으로 떨어지면 0 으로 감소합니다. 기하학적으로 점 $(\bar{U}, \bar{R})$으로 정의된 직사각형의 면적과 동일합니다.

주요 결과

제안된 방법은 위험한 지식에 대해서는 WMDP 를, 유해성에 대해서는 RealToxicityPrompts 를 사용하여 네 가지 모델에서 평가되었습니다.

• 위험한 지식: 코사인 기반 메타 학습된 RMU 변형은 강력한 결과를 달성하여 대부분의 모델 (Mistral, Qwen, Olmo) 에서 표준 RMU 및 적응형 RMU 를 능가하면서도 일반 능력 (MMLU) 을 유지했습니다. 이는 네 가지 모델 중 세 가지에서 최고의 S-언러닝 균형을 달성했습니다.
• 유해성: 다중 계층 목표는 베이스라인을 크게 능가했습니다. 표준 RMU 및 적응형 RMU 가 유해성을 23% 만 감소시킨 반면, 제안된 방법은 **624%**의 감소를 달성했습니다.
  • 이 방법은 모든 모델에서 유해성에 대한 가장 높은 S-언러닝 점수를 산출했습니다.
  • 계층 분석: 프로브는 유해성 방향이 대부분 계층별임을 드러냈습니다 (대부분의 교차 계층 쌍 간 코사인 유사도 < 0.5), 이는 다중 계층 개입의 필요성을 검증합니다.
  • 절제 실험: 세 개 이상의 계층 (특히 중간 및 후기 계층의 혼합) 을 업데이트하는 것이 가장 좋은 안전 - 유용성 균형을 제공했습니다. 단일 계층 개입은 종종 유해성을 유의미하게 감소시키지 못했습니다.

중요성과 주장

이 논문은 언러닝이 단일 일반적인 개입이 아니라 문제 군으로 연구되어야 한다고 주장합니다.

• 메커니즘적 인식: 결과는 사실적 회상 대 유해한 생성과 같은 서로 다른 언어 기능이 서로 다른 내부 메커니즘에 의존한다는 견해를 지지합니다. 따라서 언러닝 목표는 제거하려는 특정 기능에 맞게 맞춤화되어야 합니다.
• 언러닝의 기하학: 사실적 지식의 경우, L2 거리보다 코사인 손실을 통해 방향적 구조를 보존하는 것이 우월합니다. 유해성의 경우, 표현의 분산되고 회전하는 특성은 다중 계층, 프로브 기반 직교화를 요구합니다.
• 평가: S-언러닝 지표는 언러닝에 내재된 복잡한 균형을 포착하는 통합된 방식을 제공하여 방법 간 비교를 용이하게 합니다.

저자들은 효과적인 언러닝이 LLM 내 대상 기능의 특정 기하학적 및 구조적 속성을 존중하는 방법으로 넘어가기 위해, 무엇이 잊혀지는지에 대한 더 깊은 이해를 필요로 한다고 결론지었습니다.