기술 요약: Compliance2LoRA

문제 정의

대규모 추론 모델(LRM)은 사후 학습 정렬(post-training alignment)을 통해 안전성과 적응성을 크게 향상시켜 왔습니다. 그러나 이러한 모델이 다양한 다운스트림 사용자에게 배포됨에 따라, 안전 준수 요구 사항은 매우 가변적으로 변합니다. 지리적 위치, 연령 또는 선호도에 따라 서로 다른 사용자들은 서로 다른 안전 정책의 하위 집합(예: 개인정보 보호, 폭력성, 허위 정보 등)을 준수해야 할 수 있습니다.

이러한 가변성을 처리하려는 기존 방식은 두 가지 주요 한계에 직면해 있습니다:

1. 조합적 오버헤드(Combinatorial Overhead): 가능한 모든 안전 정책의 조합에 대해 별도의 LRM 버전을 학습시키는 것은 저장 및 서빙을 위한 기하급수적인 모델 조합이 필요하기 때문에 비현실적입니다.
2. 문맥적 비효효율성(Contextual Inefficiency): 인컨텍스트 학습(ICL)은 프롬프트에 정책 지침을 동적으로 주입할 수 있지만, 긴 문맥 생성 및 토큰 사용과 관련된 상당한 계산 비용을 초발합니다.

따라서 조합적 학습 부담이나 긴 문맥의 추론 오버헤드 없이, 임의의 정책 하위 집합에 대해 온디맨드(on-demand) 안전 정렬을 가능하게 하는 통합 프레 framework가 필요합니다.

방법론: Compliance2LoRA

저자들은 특정 안전 정책 하위 집합을 조건으로 하여 저차원 적응(LoRA) 가중치를 생성하는 하이퍼네트워크 기반의 통합 적응형 프레임워크인 Compliance2LoRA를 제안합니다.

아키텍처

이 프레임워크는 세 가지 주요 구성 요소로 이루어집니다:

1. 정책 임베딩 모듈 (Policy Embedding Module): 안전 정책은 고정된 임베딩 모델을 사용하여 개별 임베딩으로 변환됩니다.
2. 어텐션 어그리게이터 (Attention Aggregator): 이 임베딩들은 학습 가능한 셀프 어텐션 레이어를 통해 처리됩니다. 결정적으로, 어텐션 마스킹 메커니즘을 통해 특정 정책 임베딩을 마스킹(0으로 설정)하거나 포함할 수 있습니다. 이를 통해 특정 정책의 하위 집합을 나타내는 가중치가 적용된 최종 임베딩을 집계할 수 있습니다.
3. LoRA 생성기 (LoRA Generator): 다층 퍼셉트론(MLP)이 하이퍼네트워크 역할을 합니다. 이는 집계된 정책 임베딩을 입력으로 받아 대상 고정 LRM을 위한 LoRA 가중치 행렬($A$ 및 $B$)을 생성합니다. 생성된 가중치는 추론 중에 고정된 베이스 모델에 더해집니다.

학습 전략

프레임워크는 모델이 특정 정책 임베딩과 그에 상응하는 추론 흔적(reasoning traces)을 연관시키도록 학습하는 "심사숙고 정렬(deliberative alignment)" 방식을 사용하여 학습됩니다. 학습 데이터는 두 가지 스트림으로 구성됩니다:

• 부분 추론 데이터 (Partial Reasoning Data): 특정 정책이 존재하거나 부재하는 상태에서 생성된 응답.
• 전체 추론 데이터 (Complete Reasoning Data): 전체 정책 세트와 특정 정책을 제외한 하위 집합을 비교하여 생성된 응답.

학습 과정은 두 단계로 진행됩니다:

1. 지도 미세 조정 (SFT): 모델은 마스킹된 정책 구성과 일치하는 응답을 생성하도록 학습됩니다. 정책 정보는 프롬프트 문맥이 아닌 임베딩과 어텐션 마스크를 통해서만 전달됩니다.
2. 직접 선호 최선 최적화 (DPO): 각 정책 임베딩의 역할을 가르치기 위해 선호 쌍(preference pairs)이 구축됩니다. 주어진 프롬프트에 대해, 모델은 관련 정책 임베딩이 활성화된 상태에서 생성된 응답을, 해당 임베딩이 마스킹된 상태(또는 원하는 동작에 따라 그 반대)에서 생성된 응답보다 선호하도록 학습되어, 임베딩 상태와 추론 동작 사이의 연결을 강화합니다.

주요 기여

1. 통합 정책 준수 프레임워크: Compliance2LoRA는 단순한 어텐션 마스킹 메커니즘을 통해 관련 안전 정책의 하위 집합에 동적으로 조건화되며, 별도의 모델 가중치 없이도 해당 정책들만을 준수하는 응답을 출력합니다.
2. 다루기 쉬운 데이터 수집: 본 논문은 지도 학습 및 선호 학습(preference learning) 환경 모두에서 통합 정책 준수 모델을 학습시키기 위한 데이터 수집 프레임워크를 제안합니다.
3. 일반화 및 적응성: 이 프레임워크는 학습 과정에서 명시적으로 나타나지 않은 정책 조합에 대해서도 일반화할 수 있는 능력을 보여주며, 단일 LRM 상에서 온디맨드 정책 조정을 가능하게 합니다.

실험 결과

저자들은 Star 41K 데이터셋과 DAN 데이터셋을 사용하여 Deepseek R1 증류 추론 모델(1.5B 및 7B 파라미터)을 통해 Compliance2LoRA를 평가했습니다.

• 충분성 (Sufficiency): 모든 정책 임베딩이 활성화되었을 때, Compliance2LoRA는 ICL 및 Deliberative Alignment와 같은 베이스라인과 비슷하거나 약간 더 나은 안전율을 달축하여, 대안적인 정렬 방법으로서의 생존 가능성을 입증했습니다.
• 효율성 (Efficiency): 이 프레임워크는 긴 문맥 창을 요구하는 ICL이나 별도의 모델 미세 조정(각 $2^n$개의 모델 유지 필요)에 비해 계산 비용을 크게 줄입니다. 단 하나의 모델과 생성기만을 학습시키면 됩니다.
• 마스킹의 효과성 (Effectiveness of Masking): 실험 결과, 특정 정책 임베딩(예: 개인정보 보호 또는 허위 정보)을 마스킹하면 모델 출력에서 해당 특정 정책에 대한 명시적 추론이 유의미하게 감소함을 보여주었습니다. 이는 모델이 입력 마스크에 따라 추론 동작을 선택적으로 활성화하거나 비활성화하는 법을 학습했음을 확인시켜 줍니다.
• 보지 못한 하위 집합에 대한 적응성 (Adaptability to Unseen Subsets): 모델은 학습 데이터에 명시적으로 존재하지 않았던 마스킹된 정책 조합에 대해서도 성공적으로 일반화되었으며, 이는 조합적 정책 변형에 대한 강건성을 입명합니다.

의의 및 주장

본 논문은 Compliance2LoRA가 LRM의 다중 정책 정렬에 따른 조합적 문제를 해결하는 실질적인 솔루션을 제공한다고 주장합니다. 하이퍼네트워크가 생성한 LoRA 어댑터에 안전 정책을 커스터마이징 가능한 입력으로 취급함으로써, 이 프레임워크는 다음을 가능하게 합니다:

• 단일 모델 배포: 단일 언어 모델이 정책 카테고리에 대한 어텐션 마스크를 조정하는 것만으로 다양한 준수 요구 사항을 충족할 수 있습니다.
• 온디덤 정렬: 여러 모델 버전을 저장하거나 재학습할 필요 없이 정책 준수 여부를 동적으로 전환할 수 있습니다.
• 추론 능력 보존: 프레임워크는 유연한 안전 제약을 허용하면서도 베이스 모델의 추론 능력을 유지합니다.

저자들은 이 접근 방식이 가변적인 안전 정의를 가진 이질적인 사용자 환경에 LRM을 배포할 때 발생하는 확장성 문제를 해결하며, 적응형 정책 준수를 위한 새로운 연구 방향을 제시한다고 결론짓습니다.