기술 요약: 프롬프트의 가중치 변환 (Transmuting Prompts into Weights)

문제 정의

현재 추론 시점에서 대규모 언어 모델(LLM)을 제어하는 방법들은 일반적으로 두 가지 경험적 범주로 나뉩니다: 활성화 스티어링(activation steering, 은닉 상태에 "스티어링 벡터"를 더하는 방식)과 모델 편집(model editing, 가중치 행렬에 저계수 수정을 적용하는 방식)입니다. 이러한 기법들은 효과적이긴 하지만, 트랜스포머 아키텍처에 근거한 통일된 이론적 정당성 없이 대조적 활성화(contrastive activations)의 평균을 내는 것과 같은 경험적 휴리스틱에 크게 의존하고 있습니다. 또한, 기존 방식들은 프롬프트 정보를 일시적인 것으로 취급하거나 지침을 가중치에 영구적으로 인코딩하기 위해 아키텍처 수정을 요구하는 경우가 많습니다. 핵심 과제는 과도기적인 텍스트 입력(프롬프트)을 재사용 가능한 토큰 독립적 가중치 업데이트로 응축하여, 프로프트를 다시 실행하지 않고도 지침이나 새로운 지식을 지속적으로 인코딩할 수 있는 원리 기반의 방법을 확립하는 것입니다.

방법론

본 논문은 입력 프롬프트 $I$가 트랜스포머 블록에 미치는 계산적 효과가 블록의 피드포워드(feed-forward) 가중치와 편향(bias)에 특정 토큰 의존적 랭크-원 업데이트(이하 "최소 토큰 패치")를 적용함으로써 완벽하게 복제될 수 있음을 입증한 Dherin 등(2025)의 기초 이론을 바탕으로 합니다.

저자들은 이러한 일시적이고 토큰 특화된 업데이트를 사고 벡터(Thought Vectors, $\delta(I)$) 및 사고 행렬(Thought Matrices, $\Delta(I)$)이라는 정적이고 재사용 가능한 구조로 일반화하는 프레임워크를 제안합니다.

1. 이론적 유도

• 토큰 의존적 패치: 프롬프트 $C = [I, x_1, \dots, x_n]$에 대해, 컨텍스트 $I$가 토큰 $x$에 미치는 효과는 업데이트 $\delta_x(I)$ 및 $\Delta_x(I)$에 의해 복제됩니다.
• 사고 벡터: 토큰 의존적 벡터들을 하나의 벡터로 만들기 위해, 저자들은 최적의 토큰 벡터와 단일 벡터 사이의 제곱 오차를 최소화합니다. 그 해는 토큰별 벡터들의 산술 평균입니다:
  $$\delta(I) := \frac{1}{n} \sum_{i=1}^n \delta_i = \frac{1}{n} \sum_{i=1}^n (A(C, x_i) - A(C \setminus I, x_i))$$
  이는 대조적 활성화를 평균 내는 휴리스틱 관행에 대한 이론적 정당성을 제공합니다.
• 사고 행렬: 최적의 행렬은 모든 예시에 대한 오차를 최소화함으로써 유도됩니다. 정리 2.1은 행렬 $Z = \sum a_i a_i^T$가 가역(invertible)인 경우, 전역 최솟값이 다음과 같이 도달함을 증명합니다:
  $$\Delta(I) = \left( \sum_{i=1}^n W \delta_i a_i^T \right) Z^{-1}$$
  이는 최적의 사고 행렬이 자연스럽게 랭크-원 업데이트의 합으로 나타남을 보여줍니다.

2. 사고 패칭 알고리즘 (The Thought Patching Algorithm)

저자들은 지침을 가중치로 변환하기 위한 반복적인 계층별 정렬 절차(알고로리즘 1)를 도입합니다:

1. 컨텍스트 패스(Contextual Pass): 전체 프롬프트 $[I, x]$에 대해 바닐라 모델을 실행하여 "그라운드 트루스(ground truth)" 어텐션 출력 $A_l$을 수집합니다.
2. 비컨텍스트 패스(Non-Contextual Pass): 현재 패치된 가중치를 사용하여 $[x]$에 대해 모델을 실행하여 근사된 출력 $a_l$을 수집합니다.
3. 불일치 계산: 잔차(residuals) $dz_l = A_l - a_l$을 계산합니다.
4. 업데이트 계산:
   • 사고 벡터 업데이트는 불일치의 평균입니다.
   • 사고 행렬 업데이트는 잔차 오차를 최소화하는 가중치 업데이트를 구하기 위해 최소제곱법(선택적 Ridge 정규화 포함)을 통해 계산됩니다.
5. 적용: 업데이트는 학습률 $\eta$에 의해 스케일링되어 가중치에 적용됩니다.

3. 아키텍처 적응

이 방법은 RMSNorm 및 Gated GeLU 활성화를 사용하는 Gemma 3와 같은 현대적 아키텍처에 맞게 조정되었습니다:

• Gated GeLU: 사고 행렬 최적화는 $W_{up}$과 $W_{gate}$ 프로젝션에 대해 두 개의 독립적인 최소제곱 추정으로 분리됩니다.
• 편향 부재(Bias Absence): Gemma에는 MLP 출력에 명시적인 편향 파라미터가 없으므로, 사고 벡터 시프트는 활성화 분포를 유지하기 위해 RMSNorm 스케일링 인자로 조정된 $W_{down}$ 프로젝션 행렬에 직접 흡수됩니다.

주요 기여

1. 이론적 통합: 본 논문은 왜 활성화 스티어링(대조적 활성화 평균화)과 저계수 모델 편집이 성공하는지에 대한 제일 원리적 설명을 제공합니다. 저자들은 이러한 휴리스틱들이 최적의 사고 벡터 및 행렬의 최소제곱 근사와 동일함을 증명합니다.
2. 변환 프레임워크: 프롬프트 압축을 위한 이론적 도구로서의 "사고 패치" 개념을, 직접적인 모델 제어 및 영구적인 지식 주입을 위한 실질적인 알고리즘으로 격상시켰습니다.
3. 토큰 독립성: 이 방법은 일시적이고 토큰 의존적인 정보를 재사용 가능하며 토큰 독립적인 벡터 및 행렬로 성공적으로 응축하여, 복잡하고 비선형적인 아키텍처에 적합하도록 만듭니다.
4. 알고리즘 구현: 저자들은 지침을 가중치로 적용하기 위한 구체적인 알고리즘(알고리즘 1)과 Gemma와 같은 현대적 모델에 적용하기 위한 특정 수정 사항을 제공합니다.

실험 결과

이 접근 방식은 Gemma 3.0 1B Instruction Tuned 모델을 대상으로 여러 작업에서 검증되었습니다:

• 산술 및 언어 작업: 합계 및 곱셈과 같은 작업에서, 패치된 모델(컨텍스트 내에 지침이 없는 상태)은 전체 프롬프트가 포함된 원래 모델의 성능과 완벽히 일치하는 100% 정확도를 달성했습니다. 이는 단 10개의 예시만으로 달성되었습니다.
• 독성 제거(Detoxification): ParaDetox 데이터셋에 적용했을 때, 패치된 모델은 독성을 90.53%에서 **6.22%**로 감소시켰으며, 이는 전체 컨텍스트 베이스라인(6.7%)과 매우 유사하면서도 의미적 유사성(BERT 점수)을 보존했습니다.
• 번역 및 지식 검색: 이 방법은 프랑스어/스페인어를 영어로 번역하는 데 높은 정확도를 보였으며, 국가 수도를 검색하는 작업에서도 패치되지 않은 베이스라인을 크게 상회하며 전체 컨텍스트 성능에 근접했습니다.
• 새로운 지식 주입: 모델은 합성 키-값 딕셔너리를 성공적으로 흡수했습니다. 성능은 작은 딕셔너리($k \le 8$)에서는 100%에 근접했으나, 딕셔너리 크기가 증가함에 따라($k=32$일 때 91%로 하락) 또는 검색 쿼리 구조가 훈련 프롬프트와 다를 때 저하되는 모습을 보였습니다.

의의 및 주장

본 논문은 트랜스포머 추론의 일시적인 메커니즘과 영구적인 모델 수정 사이의 직접적인 이론적 연결을 구축한다고 주장합니다. 휘발적인 토큰 패치를 재사용 가능한 사고 벡터 및 행렬로 집계함으로써, 저자들은 프롬프트 지침을 내구력 있게 인코딩하는 원리 기반의 데이터 효율적인 방법을 제공합니다.

이 연구의 의의는 대조적 평균화와 저계수 업데이트가 단순한 경험적 기교가 아니라, 트랜스포머의 고유한 지침 인코딩 메커니즘임을 확인한 데 있습니다. 이 작업은 "파라메트릭 연속체(parametric continuum)" 이론과 실제 구현 사이의 간극을 메우며, 기존 제어 방법들에 대한 통일된 수학적 설명을 제공합니다.

저자들은 현재의 최소제곱 공식이 **특정 프롬프트 구조에 대한 과적합(overfitting)**에 취약하다는 점(지식 주입 작업에서 쿼리 구조의 차이로 인해 성능이 떨어지는 현상으로 나타남)을 언급하며 한계점에 대해 겸허한 태도를 유지하였고, 향ual 연구는 지식 주입 중 구조적 과적합을 방지하기 위한 고급 정규화에 집중할 것이라고 밝혔습니다.