기술 요약: DLM-SWAI

문제 제기

조절 가능한 생성은 실제 세계 시나리오에서 언어 모델을 배포하기 위한 핵심 능력으로, 출력물이 스타일, 어조, 감정 또는 안전성과 관련하여 특정 제약을 만족해야 함을 요구합니다. 추론 시 조향 (steering) 방법들은autoregressive 언어 모델 (LLM) 에 대해 재학습 없이 제어를 가능하게 함으로써 주목을 받아 왔으나, 이러한 접근법들은 대부분 확산 언어 모델 (Diffusion Language Models, DLMs) 과는 호환되지 않습니다.

autoregressive 모델을 위한 기존 조향 기술들은 일반적으로 다음에 의존합니다:

1. 왼쪽에서 오른쪽으로의 다음 토큰 디코딩 가정: 이들은 순차적인 지역적 결정을 통해 제어를 누적합니다.
2. 보조 구성 요소: 이들은 안내 신호를 생성하기 위해 외부 분류기, 보상 모델, 또는 속성 예측기를 필요로 합니다.

그러나 DLM 은 순차적인 토큰 예측이 아닌 부분적으로 마스킹된 시퀀스의 반복적 탈노이즈를 통해 텍스트를 생성합니다. 결과적으로 표준 autoregressive 조향 방법은 확산 설정으로 자연스럽게 이전되지 않습니다. 더 나아가 보조 모델에 의존하는 접근법들은 추론 시 조향을 매력적으로 만드는 단순성과 효율성을 훼손합니다. 보조 안내 기구나 내부 은닉 상태 접근 없이도 작동하는 간단하고, 재학습이 필요 없으며, 확산과 호환되는 조향 방법에 대한 문헌상의 간극이 상당합니다.

방법론: DLM-SWAI

저자들은 DLM-SWAI(Diffusion Language Models 를 위한 통계적 쓰기 스타일 정렬 추론) 를 제안합니다. 이는 탈노이즈 과정 중 토큰 분포에 편향을 가함으로써 DLM 을 조향하는 재학습이 필요 없는 프레임워크입니다. 이 방법은 두 단계로 작동합니다:

1. 오프라인 점수 구성

이 방법은 속성 라벨이 지정된 말뭉치를 사용하여 대상 속성 (예: 가독성 수준, 공손함, 유해성) 에 대한 어휘 수준의 점수 테이블을 구성합니다.

• 통계적 기반: 대상 속성 클래스 $k$에 대해, 이 방법은 어휘 내의 각 토큰 $v$에 대해 분산 정규화된 로그 오즈 점수를 계산합니다.
• 수식화: 점수 $\delta_k(v)$는 대상 말뭉치 ($c_k(v)$) 와 기타 모든 말뭉치 ($c_{\neg k}(v)$) 간의 토큰 수 비율에서 유도되며, 희귀 토큰을 처리하기 위해 디리클레 사전 (Dirichlet prior) 으로 평활화됩니다.
• 정규화: 안정성을 보장하기 위해 원시 로그 오즈는 추정된 분산으로 정규화되어, 대상 속성에 대해 빈번할 뿐만 아니라 특징적인 토큰을 포착하는 점수 $s_k(v)$를 생성합니다.
• 출력: 이러한 점수들은 룩업 테이블로 저장되어 생성 중 계산 비용을 거의 증가시키지 않습니다.

2. 탈노이즈 시 조향

추론 중 DLM-SWAI 는 제어 신호를 확산 디코딩 루프에 직접 주입합니다:

• 편향 주입: 각 탈노이즈 단계 $t$에서, 사전 계산된 점수 벡터 $\mathbf{s}_k$를 스케일링하고 클리핑하여 글로벌 조향 편향 벡터 $\mathbf{b}_k$가 계산됩니다.
• 로그이트 수정: 활성 블록 내의 모든 마스킹된 위치 $i$에 대해, 모델의 예측된 로그이트 $\mathbf{z}^{(t)}_i$는 편향을 추가함으로써 수정됩니다: $\tilde{\mathbf{z}}^{(t)}_i = \mathbf{z}^{(t)}_i + \mathbf{b}_k$.
• 반복적 정제: 모델은 조향된 분포에서 후보 토큰을 샘플링합니다. 중요하게도, 편향은 각 단계에서 어떤 위치가 마스킹 해제 (커밋) 되는지 결정하는 데 사용되는 신뢰도 점수($\gamma^{(t)}_i$) 에 영향을 미칩니다. 이는 토큰 수준의 선호도가 탈노이즈 궤적을 따라 누적되어 어떤 토큰이 선택되는지와 언제 커밋되는지 모두를 형성함을 의미합니다.

주요 기여

1. 간극의 식별: 저자들은 autoregressive 조향의 성숙한 환경과 대비하여, DLM 의 반복적 탈노이즈 특성을 위해 특별히 설계된 간단하고 재학습이 필요 없는 조향 방법의 부재를 강조합니다.
2. 새로운 방법론: 보조 모델, 은닉 상태 접근, 또는 파라미터 업데이트 없이 토큰 수준의 제어 신호를 탈노이즈 과정에 직접 주입하는 DLM-SWAI 의 제안.
3. 확산 특화 메커니즘: 이 논문은 DLM-SWAI 와 autoregressive 로그이트 시프팅 간의 두 가지 구조적 차이를 특징짓습니다:
   • 분산 주입: 편향은 블록 내의 모든 마스킹된 위치에 동시에 적용되어, 순차적 누적보다는 토큰 간 스타일적 일관성을 장려합니다.
   • 마스킹 해제 순서 제어: 편향은 토큰 커밋의 순서를 규정하는 신뢰도 점수에 영향을 미쳐, 작은 토큰 수준의 선호도가 절 수준의 효과로 누적되도록 합니다.
4. 실증적 검증: DLM-SWAI 가 스타일 (가독성, 공손함) 과 안전성 (유해성) 작업 전반에 걸쳐 DLM 을 효과적으로 조향하면서도 생성 품질을 유지함을 보여주는 포괄적인 실험.

실험 결과

이 방법은 세 가지 데이터셋 (OSE(가독성), WikiPol(공손함), RealTox(유해성)) 에서 두 가지 DLM 백본 (LLaDA-8B-Instruct 및 Dream-v0-Instruct-7B) 에 대해 평가되었습니다.

• 조절 가능성: DLM-SWAI 는 일관되게 기준선 (프롬프트 전용 및 활성화 조향) 보다 우수한 성능을 보였습니다.
  • OSE 에서, 가장 강력한 기준선 대비 정확도 향상을 16.0%(LLaDA-8B) 및 35.0%(Dream-7B) 달성했습니다.
  • WikiPol 에서 일관된 개선을 보였으나, 격차는 더 작았는데 이는 공손함이 자연어 프롬프트를 통해 더 쉽게 유도될 수 있기 때문일 가능성이 높습니다.
• 생성 품질: OSE 에서 Dream-7B 기준 149.96 대 47.43 과 같이 퍼플렉시티를 크게 증가시킨 활성화 조향과 달리, DLM-SWAI 는 낮은 퍼플렉시티와 경쟁력 있는 BERTScore 를 유지하여 유창성과 의미적 충실도가 보존되었음을 나타냈습니다.
• 안전성 (유해성): 이 방법은 유해성을 억제하는 데 매우 효과적이었으나 (92.50% 비유해 정확도), 유해한 생성을 유도하는 데는 어려움을 겪었습니다. 이는 조향 메커니즘 자체의 한계가 아니라 명령어 튜닝된 백본에 내재된 강력한 안전 정렬 때문으로 귀결됩니다.
• 하이퍼파라미터 민감도: 조향 강도 ($\lambda$) 는 조절 가능성과 유창성 간의 트레이드오프를 제어하며, 과도한 값은 퇴화한 반복을 초래합니다. 신호 강도와 잡음 억제를 균형 있게 맞추기 위해 최적의 클리핑 ($\tau$) 및 사전 ($\alpha$) 값이 확인되었습니다.

중요성과 주장

이 논문은 DLM-SWAI 가 확산 언어 모델에서 조절 가능한 생성을 위한 가벼우며 모듈화되고 효과적인 인터페이스를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 보조 오버헤드 제거: 보조 분류기나 보상 모델을 학습시키는 계산 비용이나 복잡성 없이 제어를 달성합니다.
• 네이티브 호환성: 편향이 마스킹 해제 궤적에 영향을 미칠 수 있는 확산 디코딩의 반복적 구조를 활용하여, autoregressive 로그이트 시프팅과 구조적으로 구별되며 잠재적으로 더 강력한 제어 메커니즘을 제공합니다.
• 실용적 배포: 오프라인 점수 계산과 간단한 로그이트 편향만 요구함으로써, 재학습 없이 단일 기본 DLM 을 다양한 배포 환경 (스타일, 안전성) 에 적응시키는 실용적인 솔루션을 제공합니다.

저자들은 이 방법을 모든 형태의 조절 가능한 생성에 대한 보편적 해결책이 아니라, 기본 모델의 생성 과정을 보존하면서 원하는 속성을 장려하는 표적화된 추론 시 개입으로 겸손하게 규정합니다. 그들은 조향 가능성은 본질적으로 토큰 수준 데이터에서 대상 속성의 분리 가능성과 연결되어 있음을 지적합니다. 더 명확하고 강력한 토큰 수준의 단서를 가진 클래스 (예: 초등 수준 가독성) 는 모호한 경계를 가진 클래스 (예: 중급 대 고급) 보다 제어가 쉽습니다.