기술 요약: "As X, Do Y: 지시 튜닝된 LLM 에서 페르소나와 작업의 결합 방식"

문제 제기

지시 튜닝된 대규모 언어 모델 (LLM) 은 페르소나 지정 ($X$) 과 작업 지정 ($Y$) 이 결합된 "X 로서 Y 를 수행하라" 형태의 프롬프트를 강력하게 처리합니다. 그러나 이러한 두 가지 서로 다른 지정이 모델의 잔여 스트림 (residual stream) 내에서 인과적으로 통합되는 내부 메커니즘은 여전히 잘 이해되지 않고 있습니다. 구체적으로, 레이어와 위치 축을 따라 이 결합이 단순하여 가산적으로 근사될 수 있는 지점이 어디이며, 결과적으로 생성된 복합 상태를 잔여 스트림 개입을 통해 재구성하거나 조작할 수 있는지 여부는 명확하지 않습니다.

방법론

본 논문은 지시 튜닝된 모델의 잔여 스트림 활성화를 분해하기 위해 인과적 개입 프레임워크를 활용합니다. 핵심 방법론은 다음과 같습니다:

1. 프롬프트 분해: 각 페르소나 - 작업 쌍에 대해 저자들은 $2 \times 2$ 그리드의 프롬프트를 구성합니다:
   • 베이스라인 - 베이스라인 ($BB$): 특정 페르소나 없음, 기본 작업.
   • 페르소나만 ($XB$): 특정 페르소나, 기본 작업.
   • 작업만 ($BY$): 기본 페르소나, 특정 작업.
   • 페르소나 + 작업 ($XY$): 특정 페르소나, 특정 작업.
2. 잔여 분해: 특정 레이어와 시퀀스 위치에서 저자들은 다음과 같이 정의합니다:
   • 순수 페르소나 효과: $\Delta X = h_{XB} - h_{BB}$
   • 순수 작업 효과: $\Delta Y = h_{BY} - h_{BB}$
   • 결합 효과: $\Delta XY = h_{XY} - h_{BB}$
   • 상호작용 항: $Inter = \Delta XY - \Delta X - \Delta Y$
3. 인과적 치환: 저자들은 $\Delta XY \approx \Delta X + \Delta Y$라는 가설을 검증하기 위해, 깨끗한 $XY$은닉 상태를 가산적 예측 ($h_{BB} + \Delta X + \Delta Y$) 으로 치환합니다.
4. 평가 지표:
   • 인과적 KL: 치환 후 모델의 출력과 깨끗한 $XY$ 연속 텍스트 (10 토큰 윈도우) 간의 Kullback-Leibler 발산. 낮은 KL 은 가산적 근사가 인과적으로 충분함을 나타냅니다.
   • 기하학적 정렬: $\Delta XY$와 $\Delta X + \Delta Y$ 사이, 그리고 $\Delta X$와 $\Delta Y$ 사이의 코사인 유사도.
   • 행동 검증: 80 토큰의 탐욕적 생성 (greedy generations) 에서 페르소나별 콘텐츠 (예: 엔지니어 페르소나의 경우 "확장성") 의 존재 여부를 점수화하는 마커 기반 테스트.
5. 모델 및 그리드: 실험은 Gemma-2-2B-IT, Qwen-2.5-1.5B-Instruct, Qwen-2.5-3B-Instruct에서 수행되었습니다. 두 가지 프롬프트 그리드가 사용되었습니다: 12 개의 셀로 구성된 "짧은 그리드"(4 개 페르소나, 3 개 작업) 와 48 개의 셀로 구성된 "긴 페르소나 그리드"(8 개의 다중 문장 페르소나, 6 개의 다양한 작업).

주요 결과

1. 국소화된 가산적 결합

본 논문은 페르소나 - 작업 결합이 인과적으로 단순하고 대략적으로 가산적인 특정 영역을 식별합니다:

• 위치: 해당 영역은 마지막 프롬프트 토큰($p_{last}$) 과 생성된 첫 두 토큰($g_1, g_2$) 을 포괄하며, 구체적으로 초기부터 중반 레이어 대역 내에 위치합니다.
• 증거: 이 영역에서 깨끗한 잔여 상태를 가산적 예측 ($h_{BB} + \Delta X + \Delta Y$) 으로 치환할 때, 하류 출력은 매우 낮은 KL 발산을 보입니다 (예: Gemma-2-2B-IT 의 경우 $p_{last}$에서 6 레이어의 중앙값 KL 은 0.0004).
• 기하학: 벡터 $\Delta X$와 $\Delta Y$는 부분적으로 분리 가능 (이들 간의 낮은 코사인 유사도) 하며, 상호작용 항은 노름 측면에서 무시할 수 없으나 결합 벡터를 가산 합에서 크게 회전시키지는 않습니다.
• 강건성: 이 "국소화된 가산적 체제"는 다양한 모델 규모 (1.5B~3B), 다양한 아키텍처 (Gemma 대 Qwen), 그리고 짧은 그리드와 긴 페르소나 그리드 모두에서 유효합니다.

2. 행동적 충실도

가산적 치환은 페르소나의 의미적 내용을 보존합니다.

• $p_{last}$(14 레이어) 에서 가산적 예측을 치환할 때, 모델은 깨끗한 조건과 비교 가능한 비율로 페르소나별 마커를 포함하는 출력을 생성합니다 ("마커 존재" 비율: 58.3% 대 66.7%).
• 핵심적으로, 단일 위치 ($p_{last}$) 에서 페르소나 기여도 ($\Delta X$) 를 단순히 빼는 것만으로는 페르소나 마커를 제거할 수 없습니다 (62.5% 존재). 이는 페르소나 콘텐츠가 단일 잔여 벡터에 국한되지 않고 분산되어 있음을 나타냅니다.

3. 가산성의 한계

본 논문은 가산적 근사의 명확한 한계를 확립합니다:

• 호스트 주입 실패: 페르소나 텍스트가 제거된 베이스라인 호스트 프롬프트에 캐시된 가산적 예측을 주입하면, 페르소나 조건부 행동을 완전히 복구하지 못합니다. KL 격차는 여전히 큽니다 (중앙값 KL 약 2.84 대 베이스라인 3.05), 목표 행동의 작은 부분만 복구합니다.
• 다중 레이어 한계: 가산적 예측을 여러 레이어 (최대 22 레이어) 에 걸쳐 고정 (clamp) 하면 결과가 개선되지 않고 결국 성능이 저하됩니다. 이는 자연스러운 순방향 전파를 방해하기 때문입니다.
• 결론: 국소 가산적 체제는 다음 단계 결합(모델이 프롬프트에서 답변으로 전환하는 방식) 을 포착하지만, 프롬프트 전체에 걸쳐 페르소나 - 텍스트 위치로 돌아가는 어텐션에 의존하는 다중 토큰 생성의 전체 메커니즘을 설명하지는 못합니다.

주요 기여

1. 결합의 국소화: 본 논문은 페르소나와 작업 지정이 인과적으로 단순한 가산적 방식으로 결합되는 특정 영역 (입력에서 출력으로 전환되는 시점의 초기/중반 레이어) 을 특징화합니다.
2. 효과 분해: 순수 페르소나 효과, 순수 작업 효과, 그리고 그 상호작용을 분리하는 잔여 스트림 수준의 설명을 제공하며, 상호작용이 존재하지만 식별된 영역에서 가산 합이 복합 상태를 강력하게 예측함을 입증합니다.
3. 국소 메커니즘과 분산 메커니즘의 구분: 이 연구는 페르소나와 작업의 결합이 답변 형성 시점에 국소적으로 가산적이지만, 페르소나 조건부 콘텐츠의 생성은 전체 프롬프트 컨텍스트에 대한 어텐션에 의존하는 분산 메커니즘임을 명확히 합니다. 이는 단일 잔여 벡터로 대체될 수 없습니다.

중요성과 주장

본 논문은 역할 프롬프팅이 가산적으로 근사될 만큼 인과적으로 단순한 지점과 그 이야기가 멈추는 지점에 대한 잔여 스트림 수준의 설명을 제공한다고 주장합니다.

• 겸손함: 저자들은 명시적으로 "회로 수준의 폐쇄"(특정 뉴런이나 가중치 식별) 를 주장하지 않으며, 제어를 위한 조향 도구를 제안하지도 않습니다. 목표는 통제가 아닌 특징화입니다.
• 일반성: 발견된 사실들은 다양한 모델 패밀리와 프롬프트 복잡도에서 유효하며, 지시 튜닝된 모델이 역할과 작업을 통합하는 방식에 관한 일반화 가능한 속성을 시사합니다.
• 한계: 본 논문은 분석이 답변 형성 근처 영역으로 제한되며, 장기적인 페르소나 유지를 위한 전체 분산 메커니즘을 특징화하지는 않는다고 인정합니다.

요약하자면, 본 논문은 "X 로서 Y 를 수행하라" 프롬프트가 입력에서 출력으로 전환되는 근처에 국소화된 가산적 체제를 생성하지만, 완전한 페르소나 조건부 생성은 단순한 잔여 치환을 거부하는 더 넓은 분산 어텐션 메커니즘에 의존함을 보여줍니다.