기술 요약: 모듈형 사전 학습을 통한 접근 제어

문제 정의

AI 개발자들은 "이중 용도 딜레마(dual-use dilemma)"에 직면해 있습니다. 유익한 응용 분야(예: 질병 치료, 사이버 보안 강화)를 가능하게 하는 능력은 종종 해로운 응용 분야(예: 생물 무기 합성, 사이버 공격 실행)를 가능하게 하는 능력과 중첩됩니다. 현재의 접근 제어 메커니즘은 불충분합니다. 접근 제어의 "골드 표준"은 서로 다른 능력 프로필을 가진 별도의 모델들을 서로 다른 사용자에게 제공하는 것입니다(예: 연구자에게는 바이로로지 지식을 갖춘 모델을 제공하되, 일반 대중에게는 해당 지식이 없는 모델을 제공함). 그러나 $N$개의 능력 프로 l에 대해 $N$개의 별도 모델을 학습시키고 배포하는 것은 프런티어 규모에서는 비용이 너무 많이 듭니다.

기존의 대안들은 다음과 같은 이유로 견고성 요구 사항을 충족하지 못합니다:

• 거부 학습(Refusal training), 출력 필터링 및 분류기는 출력을 제한하지만 근본적인 능력은 그대로 남겨두어, 적대적 유도(adversarial elicitation)에 취약하게 만듭니다.
• 사후 망각(Post-hoc unlearning)(예: MaxEnt)은 학습된 모델에서 능력을 제거하려고 시 시도하지만, 이는 취약합니다. 몇 가지 예시만으로도 미세 조정(fine-tuning)을 통해 능력이 빠르게 복구될 수 있기 때문입니다.
• 모델 브랜칭(Model branching)(기초 모델을 학습시킨 후 별도의 변형 모델들을 미세 조정하는 방식)은 사전 학습 비용을 줄여주지만, 여전히 여러 개의 배포가 필요하며 이는 비효율적입니다.

방법론: 그래디언트 라우팅 보조 모듈 (GRAM)

본 논문은 GRAM이라는 사전 학습 방법을 제안합니다. 이는 모듈형 아키텍처와 그래디언트 라우팅을 통해 특성화를 유도함으로써, 단일 모델이 여러 가지 능력 프로필을 지원할 수 있도록 합니다.

아키텍처

GRAM은 표준 데스 트랜스포머(dense Transformer)에 메인 "코어(core)" MLP와 함께 각 레이어에 더 작은 보조 MLP 모듈을 추가하여 확장합니다.

• 코어 모듈(Core Module): 모든 데이터에 대해 공유되는 대규모 MLP로, 일반적인 지식을 포착합니다.
• 보조 모듈(Auxiliary Modules): 특정 보조 능력(예: 바이로로지, 사이버 보안)에 대응하는 소규모 MLP들입니다.
• 파라미터 수: 총 파라미터 수는 표준 데스 모델과 유사하며, 코어 모듈은 베이스라인 크기와 일치하고 보조 모듈은 전체 파라미터의 아주 적은 부분만을 차지합니다.

학습 역학 (그래디언트 라우팅)

학습된 라우터를 사용하여 토큰별로 라우팅하는 MoE(Mixture-of-Experts)와 달리, GRAM은 데이터셋 레이블에 기반한 데이터 의존적 그래디언트 라우팅을 사용합니다:

1. 순전파 (Forward Pass):
   • 코어 데이터: 코어 MLP는 항상 활성화됩니다. 코어가 모듈의 존재에 대해 견고함을 유지하도록 하기 위해, 확률 $p_{cr}$로 무작위 보조 모듈이 함께 활성화됩니다.
   • 보조 데이터: 코어 MLP와 해당 데이터에 대응하는 특정 보조 모듈이 모두 활성화됩니다.
2. 역전파 (Backward Pass - 그래디언트 업데이트):
   • 코어 파라미터: 보조 데이터를 처리할 때 확률 $p_{as}$로 업데이트됩니다. 이는 능력 간의 간섭 정도를 제어합니다.
   • 보조 파라미터: 현재 배치(batch)에 해당하는 특정 보조 모듈은 항상 업데이트됩니다. 다른 보조 모듈은 업데이트를 받지 않습니다.
   • 별도 옵티마이저: 각 파라미터 서브셋(코어 및 각 보조 모듈)은 별도의 AdamW 옵티마이저를 사용하여 최적화됩니다.

추론 및 접근 제어

추론 시에는 특정 능력 프로필을 제공하기 위해 코어 MLP와 권한이 있는 능력에 해당하는 보조 모듈의 서브셋을 활성화하여 서비스를 제공합니다. 특정 보조 모듈을 **절제(Ablating, 비활성화)**하면 네트워크에서 해당 능력이 제거됩니다. 본 논문은 이 방식이 데이터 필터링을 통해 학습된 모델을 모사한다고 가정하는데, 왜냐하면 절제된 모듈은 코어와 분리되어 특정 능력을 학습한 적이 없기 때문입니다.

주요 기여 및 실험

1. 데이터 필터링의 근사

저자들은 GRAM으로 학습된 단일 모델이 데이터 필터링(각 모델이 데이터의 하위 집합으로 학습됨)을 통해 학습된 여러 모델의 성능을 근사할 수 있음을 입증했습니다.

• 합성 평가 (Simple Stories): 코어 주제와 보조 주제로 나뉜 어린이 이야기 데이터셋에서, GRAM은 원하는 능력은 유지하고 원치 않는 능력은 제거하는 측면에서 데이터 필터링 모델과 일치하는 성능을 보였습니다.
• 실제 이중 용도 평가: 코어 데이터(웹 텍스트, 코드, 일반 논문)와 4가지 보조 도메인(바이로로지, 사이버 보안, 핵물리학, 특수 Lisp 코드)으로 학습된 800M 파라미터 모델을 대상으로 실험했을 때, GRAM은 다음을 달ように 했습니다:
  • 유지(Retention): 유지된 능력에 대한 성능이 모든 데이터를 사용한 베이스라인과 거의 일치했습니다.
  • 제거(Removal): 제거된 능력에 대한 성능은 크게 하락하여, 데이터 필터링된 모델의 "망각(forget)" 성능과 일치했습니다.
  • 견고성(Robustness): GRAM의 능력 제거는 사후 망각 방법(MaxEnt)보다 악의적인 미세 조정(elicited forget)에 대해 더 견고했습니다.

2. 확장성 및 결합성

• 스케일링 법칙 (Scaling Laws): 50M에서 5B 파라미터까지의 Chinchilla-최적화 스케일링 분석 결과, GRAM은 데이터 필터링의 능력 프로필을 밀접하게 추적함을 보여주었습니다. 모델 크기가 커질수록 제거된 능력에 대해 필터링된 모델과 풀 데이터 모델 간의 격차가 벌어졌으며, GRAM은 이러한 추세를 유지했습니다.
• 결합성 (Composability): GRAM은 단 한 번의 학습 실행으로부터 임의의 능력 서브셋을 지원합니다. 여러 어댑터를 합칠 때 성능이 저하되는 LoRA 기반 브랜칭(FT-LoRA)과 달리, GRAM은 여러 보조 모듈이 동시에 활성화될 때도 성능을 유지하여 하나의 모델로부터 $2^{N-1}$개의 능력 프로필을 생성할 수 있게 합니다.
• 부분 레이블링 (Partial Labeling): 데이터의 50%만 레이블이 지정된 설정에서, GRAM은 능력 제거 측면에서 데이터 필터링 및 FT-LoRA를 크게 앞질렀습니다. 저자들은 이를 "흡수 효과(absorption effect)" 덕분이라고 설명하는데, 레이블이 없는 데이터의 업데이트가 공유 코어가 아닌 전문화된 모듈에 집중되기 때문입니다.

3. 비용 효율성

• 학습 비용: GRAM은 단 한 번의 학습 실행을 요구하므로, 5개의 별도 데이터 필터링 모델을 학습시키는 것보다 학습 컴퓨팅 비용을 5배 절감합니다.
• 배포 비용: 모델 브랜칭이나 전체 미세 조정과 달리, GRAM은 여러 모델 복사본을 배포할 필요 없이 동적 모듈 활성화를 통해 단일 모델을 서비스합니다.

의의 및 주장

본 논문은 GRAM이 과도한 비용 없이도 이중 용도 AI 능력에 대한 견고한 접근 제어를 위한 실질적인 경로를 제공한다고 주장합니다.

• 보안: 단순히 출력을 억제하는 것이 아니라, (절제를 통해) 해당 능력을 담당하는 파라미터를 물리적으로 제거함으로써, GRAM은 행동 제어나 사후 망각 방법보다 오용 및 탈옥(jailbreaking)에 대해 더 강력한 보증을 제공합니다.
• 경제적 생존 가능성: 이 방법은 학습 비용을 지원되는 능력 프로의 수와 분리하여, 차별화된 접근 제어를 프런티어 규모에서도 실현 가능하게 만듭니다.
• 데이터 필터링과의 정렬: 실험 결과는 데이터 필터링 자체가 유리하게 스케일링된다는 점(더 큰 모델일수록 특정 데이터를 잊으면서 일반 지식은 잘 유지함)을 입증하며, GRAM이 이러한 동작을 성공적으로 추적함을 보여줍니다.

저자들은 다음과 같은 한계점을 언급하며 신중한 태도를 유지했습니다:

1. 엉킴(Entanglement): 만약 능력들이 고도로 엉켜 있다면, 어떤 방법으로도 깨끗한 분리가 불가능할 수 있습니다.
2. 프런티어 규모: 트릴리언 단위의 파라미터를 가진 프런티어 규모에서도 이러한 경향이 유지되는지는 검증되지 않았습니다.
3. 구현: GRAM을 실제 프로덕션 파이프라인에 통합하는 것은 개발자들이 피하고 싶어 할 수 있는 복잡성을 도입합니다.
4. 사후 학습: GRAM의 사전 학습 단계에서의 분리와 이후의 인스트럭션 튜닝(instruction tuning) 또는 RLHF 간의 상호작용은 알려지지 않았습니다.

결론적으로, 이 논문은 GRAM을 완벽한 해결책이라기보다는, 제공자가 효율적으로 학습된 단일 모델로부터 허가된 능력 프로필을 서비스할 수 있게 함으로써 고도로 유능한 AI 시스템의 안전하고 유연한 배포를 가능하게 하는 중요한 진전으로 정의합니다.