Linearly Controlled Language Generation with Performative Guarantees

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 대규모 언어 모델 (LLM) 이 콘텐츠 중재, 실시간 정보 배포 등 중요한 분야에서 널리 사용되면서, 생성된 텍스트의 속성 (예: 독성, 감정) 을 제어할 수 있는 전략이 필수적이 되었습니다.
• 기존 방법의 한계:
  • 프롬프트 엔지니어링: 입력을 조작하는 방식이지만, 예측 불가능하고 견고하지 않습니다.
  • 가중치 수정 (Fine-tuning, Knowledge Editing): 모델 자체를 변경하므로 비용이 크고, 오히려 의도치 않은 부작용 (Butterfly effect) 을 초래할 수 있습니다.
  • 기존 활성화 제어 (Steering): 기존 연구들은 주로 '조향 (Steering)'에 초점을 맞춥니다. 이는 원하는 방향으로 활성화 벡터를 nudging(약간 밀어내는) 하는 방식인데, 성공에 대한 이론적 보장이 없습니다. 즉, 목표 속성 범위에 도달할지 여부가 불확실합니다.
• 핵심 문제: LLM 의 잠재 공간 (Latent Space) 에서 생성 경로를 제어할 때, 이론적으로 보장된 (Guaranteed) 방식으로 특정 속성 (예: 독성 점수 0~0.1) 을 만족시키면서도 텍스트의 자연스러움을 해치지 않는 방법은 무엇인가?

2. 제안 방법: LiSeCo (Linear Semantic Control)

저자들은 제어 이론 (Control Theory) 을 언어 생성에 적용하여 LiSeCo라는 새로운 방법을 제안합니다. 이는 생성 중 활성화 (Activation) 에 개입하여, 모델이 허용된 의미 영역 (Allowed Region) 을 벗어나지 않도록 보장합니다.

2.1. 핵심 아이디어

• 선형 표현 가설: LLM 의 잠재 공간에서 의미 (예: 독성, 감정) 는 선형적으로 표현된다고 가정합니다.
• 제어 vs 조향 (Control vs Steering):
  • 조향: 원하는 방향으로 밀어냄 (보장 없음).
  • 제어: 엄격한 제약 조건 하에 최적의 개입을 계산하여, 활성화가 반드시 허용된 영역에 머무르도록 함 (이론적 보장).
• 온라인 개입: 생성 (Inference) 시 각 토큰이 생성될 때마다, 해당 토큰의 임베딩 공간에서 최적의 제어 입력 ($\theta_t$) 을 계산하여 활성화에 추가합니다.

2.2. 방법론 상세 (Methodology)

1. 오프라인 단계 (Probe Training):

   • 주어진 속성 (예: 독성) 을 예측하는 경량 선형 프로브 (Linear Probe) $f_t$를 각 레이어 $t$에서 학습합니다.
   • 입력: 레이어 $t$의 활성화 $x_t$, 출력: 속성 점수 $\alpha$.
   • 허용된 점수 범위 $[\alpha_{min}, \alpha_{max}]$가 주어지면, 이를 잠재 공간에서의 허용 영역 $X_t = \{x | \alpha_{min} \le f_t(x) \le \alpha_{max}\}$로 정의합니다.

2. 온라인 단계 (Optimal Control Intervention):

   • 생성 시, 각 레이어에서 현재 활성화 $x_t$가 허용 영역 $X_t$에 있는지 확인합니다.
   • 만약 $x_t$가 허용 영역 밖으로 벗어나면, 최적 제어 (Optimal Control) 문제를 풀어 개입 벡터 $\theta_t$를 계산합니다.
   • 최적화 문제:
     $$\min_{\theta_t} \|\theta_t\|_2^2 \quad \text{s.t.} \quad \alpha_{min} \le \nu(W_t^\top (x_t + \theta_t)) \le \alpha_{max}$$
     • 목적: 텍스트의 자연스러움을 해치지 않기 위해 개입의 크기 ($L_2$ 노름) 를 최소화합니다.
     • 제약: 수정된 활성화가 허용된 점수 범위에 있도록 합니다.
   • 폐쇄형 해 (Closed-form Solution): 이 문제는 라그랑주 승수법 (KKT 조건) 을 통해 해석적으로 풀 수 있어, 역전파나 반복적 최적화 없이 상수 시간에 개입을 계산할 수 있습니다.
     • 결과: $x_t$가 허용 영역 밖일 때, 허용 영역의 가장 가까운 경계면으로 이동시키는 최소 크기의 벡터를 추가합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 보장을 갖춘 형식적 제어 (Formal Control with Guarantees):
   • 언어 모델 개입을 최적 제어 문제로 공식화하고, 활성화가 목표 속성 범위에 반드시 포함됨을 수학적으로 증명했습니다. 기존 '조향' 방법들과 달리 '제어'의 엄밀한 정의를 제공합니다.
2. 점수 공간 제어 및 해석 가능성 (Score-Space Control):
   • 연속적인 수치 점수 (예: 독성 0.0~0.1) 를 직접적으로 제어할 수 있습니다. 이는 양방향 제어 (점수 증가/감소) 가 가능하며, 생성된 텍스트의 속성 변화를 해석 가능한 방식으로 조절할 수 있습니다.
3. 폐쇄형 계산 및 낮은 지연 시간 (Closed-form, Low-latency):
   • 개입 계산이 해석적 (Analytical) 으로 이루어져 역전파가 필요 없습니다. 따라서 추론 지연 (Latency) 이 거의 증가하지 않으며, 모든 레이어에 적용하여 동적 제어가 가능합니다.

4. 실험 결과 (Experimental Results)

• 데이터셋 및 모델: Llama-3-8B, Gemma-2-2b, Mistral-7B 모델과 독성 (Toxicity), 감정 (Sentiment) 제어 태스크를 사용했습니다.
• 활성화 공간 제어 정확도:
  • LiSeCo 를 적용했을 때, 학습된 프로브가 측정한 활성화 점수가 설정한 목표 범위 $[\alpha_{min}, \alpha_{max}]$ 내에 100% 정확하게 머무는 것을 확인했습니다. (그림 4)
• 출력 공간 제어 및 자연스러움:
  • 성능: 기존 방법들 (ActAdd, AcT, 프롬프트 엔지니어링) 과 비교하여 독성/부정적 내용 감소 성능은 동등하거나 우수하면서도, 텍스트의 자연스러움 (Perplexity) 을 가장 잘 유지했습니다.
  • 원인: LiSeCo 는 안전하다고 판단된 경우 개입을 하지 않고 (Minimum-norm), 위험할 때만 최소한의 개입을 하기 때문입니다.
• 스케일링: 목표 점수 $\alpha$를 조절하면 생성된 텍스트의 속성 점수가 단조롭게 변화하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 안전한 AI 의 이론적 기반: 이 연구는 LLM 의 제어에 대해 "희망"이 아닌 "보장"을 제공하는 첫 번째 시도 중 하나입니다. Dalrymple et al. (2024) 이 제안한 "안전한 AI 원칙"의 구체적인 실현 사례입니다.
• 실용성: 추가적인 파인튜닝 없이, 경량 프로브와 수학적 계산을 통해 실시간으로 모델을 제어할 수 있어 실제 배포 환경에 적용하기 용이합니다.
• 해석 가능성: 활성화 공간에서의 제어와 출력 텍스트 속성 간의 인과 관계를 이론적으로 분석할 수 있는 틀을 제공하며, LLM 의 내부 작동 원리를 이해하는 데 기여합니다.

요약하자면, LiSeCo 는 제어 이론을 활용하여 LLM 의 생성 과정을 수학적으로 엄격하게 제어함으로써, 원하는 속성 (예: 무독성) 을 보장하면서도 텍스트의 품질을 유지하는 혁신적인 방법론입니다.