기술 요약: 프롬프트가 행동을 조종하는 방식의 분해

문제 정의

지시문 프롬프트(Instruction prompts)는 가중치 업데이트 없이 추론 시점에 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)의 행동을 변화시킨다. 프롬프트가 내부 표현을 재구조화한다는 사실은 이미 확립되어 있으나, 이러한 변환의 구체적인 기계적 본질은 여전히 불분명하다. 기존 문헌은 스칼라 지표(예: 표현 유사도, 매니폴드 용량)를 통해 이러한 변화를 특징짓거나, 설계된 저복잡도 연산자(예: 가산 벡터, 회전)가 행동을 조종할 수 있음을 입증해 왔다. 그러나 프로프트가 변경될 때 자연스럽게 발생하는 수학적 변환의 클래스에 대한 이해에는 공백이 존재한다. 즉, 프롬프트로 유도된 변화가 단순 이동(translation), 강체 변환(rigid transformation), 아핀 혼합(affine mixing), 또는 복잡한 비선형성(nonlinearities) 중 무엇으로 가장 잘 설명되는지, 그리고 이러한 변환이 관찰된 행동 변화를 인과적으로 주도하는지 여부는 알려져 있지 않다.

방법론

저자들은 프롬프트가 표현 기하학(representational geometry)을 어떻게 재형성하는지 분석하기 위해 **중첩된 기하학적 분해 프레임워크(nested geometric decomposition framework)**를 도입한다. 핵심 접근 방식은 프롬프팅을 프롬프트에 따른 콘텐츠의 표현 매니폴드를 변환하는 과정으로 취급하는 것이다.

1. 중첩된 기하학적 계층 구조

주어진 모델, 레이어, 데이터셋, 그리고 한 쌍의 프롬프트(소스 프롬프트 $A$와 타겟 프롬프트 $B$)에 대해, 저자들은 $A$의 은닉 상태(hidden states)를 $B$와 정렬시키는 점진적으로 표현력이 높아지는 자극 불변 맵 $f: \mathbb{R}^D \to \mathbb{R}^D$를 적합(fit)시킨다. 이 계층 구조는 다섯 가지의 엄격하게 중첩된 변환 클래스로 구성된다:

1. 이동 (Translation, $F_T$): 단순 평균 이동 ($x + b$).
2. 균등 스케일링을 포함한 강체 변환 (Rigid Transformation with Uniform Scaling, $F_{O_u}$): 회전/반사 및 균등 스케일링 ($b + c(x-a)Q$).
3. 축별 스케일링을 포함한 강체 변환 (Rigid Transformation with Axis-wise Scaling, $F_{O_a}$): 정렬된 축들에 대한 독립적인 스케일링 허용 ($b + (x-a)QD$).
4. 아핀 변환 (Affine Transformation, $F_L$): 일반적인 선형 혼합 및 이동 ($b + (x-a)M$).
5. 비선형 변환 (Nonlinear Transformation, $F_N$): 공유된 다층 퍼셉트론(MLP) ($b + g_\theta(x-a)$).

2. 평가 지표

프레임워크는 홀드아웃 자극(held-out stimuli)에 대해 세 가지 계열의 척도를 사용하여 이러한 변환을 평가한다:

• 증분 설명 분산 ($\Delta R^2$): 중첩된 체인 내의 이전 단계 대비 각 단계에서 추가로 설명되는 타겟 프롬프트 표현의 분산.
• 표현 기하학 지표: 변환된 표현 불일치 행렬(RDM)과 타겟 작업의 RDM 사이의 스피어만 상관계수, 그리고 클러스터 분리도를 측정하기 위한 실루엣 점수.
• 인과적 개입 (Causal Intervention): 적합된 맵을 단일 레이어의 소스 프롬프트 은닉 상태에 적용하여 원래의 상태를 대체한다. 이후 모델은 순전파(forward pass)를 지속한다. 결과 출력은 타겟 프롬프트의 정답(ground truth)에 대해 관련성(target attribute를 다룸)과 정확도(답의 정답 여부)를 기준으로 평가된다.

3. 실험 설정

• 모델: 세 가지 LLM (OPT-2.7B, Llama3-8B-Instruct, Qwen3-8B) 및 세 가지 VLM (BLIP-2, LLaVA-OneVision, Qwen3-VL).
• 데이터셋: 여섯 가지 데이터셋 (텍스트 3개: EmotionalStory, WritingStyle, Number; 이미지 3개: EmoSet, StyleTransfer, COCO). 이들은 교차 및 내적 속성 프롬프트 비교를 지원하는 요인적 속성 구조를 가진다.
• 프롬프트 쌍: 교차 속성(예: 주제 $\to$ 감정)에서 무관한 소스 프롬프트에 이르기까지 여섯 가지 그룹.

주요 결과

1. 프롬프팅은 과업 구조를 향해 기하학을 재형성함

프롬프트로 유도된 표현 변화는 레이어 깊이에 따라 거의 단조롭게 증가한다. 결정적으로, 타겟 프롬프트의 표현 기하학은 깊이가 깊어질수록 과업 구조(RDM 상관관계 및 실루엣 점수로 측정됨)와 점점 더 잘 일치하며, 깊은 레이어에서 소스 프롬프트로부터 명확히 분리된다.

2. 저복잡도 맵이 대부분의 분산을 설명함

모든 모델과 데이터셋에 걸쳐, **이동(translation)**은 초기 레이어에서 지배적인 역할을 하며 프롬프트로 유도된 표현 변화 중 가장 큰 몫을 차지한다. 균등 스케일링을 포함한 강체 변환이 그다음으로 유의미한 기여를 한다.

• 아핀 변환은 타겟 프롬프트의 과업 기하학을 거의 완전히 복구하고 그에 상응하는 행동적 일치도 상승을 만들어내는 첫 번째 단계이다.
• 비선형 변환은 가장 강력한 복구를 제공하지만, 아フィン 맵에 비해 한계 효용이 감소한다. 즉, 축 스케일링된 강체 변환에서 아핀으로의 도약이 아핀에서 비선형으로의 도약보다 더 유의미하다.

3. 모델 및 과업 특화형 라우팅 전략

• 모델 차이: OPT-2.7B는 Llama3 및 Qwen3에 비해 회전, 반사 및 비선형 성분에 더 많이 의존하는 반면, Llama3와 Qwen3는 (이동이 지배적인) 저차원 "지시 코드(instruction codes)"를 사용하는 것으로 보인다.
• 프롬프트 쌍 차이: 특정 프롬프트 쌍(예: yes/no 질의)은 개방형 쌍보다 회전 및 아핀 변환에 더 많이 의존한다.
• 깊이 의존성: 이동은 초기 레이어에서 지배적이며, 고복잡도 단계(아핀, 비선형)는 중간 및 깊은 레이어에서 더 많이 기여한다.

4. 인과적 검증

인과적 개입은 단순히 은닉 상태를 이동시키는 것만으로도 행동을 상당히 조종할 수 있음을 확인시켜 준다. 그러나 아핀 변환이 타겟 표현 기하학과 높은 행동 정확도를 모두 복구하는 임계점이다. 이는 차원을 가로지르는 선형 혼합(cross-dimensional linear mixing)이 표현을 지시된 과업으로 재편하는 핵심 메커즘임을 시사한다.

의의 및 주장

본 논문은 프롬프트로 유도된 표현 변화를 해석 가능한 기하학적 성분으로 분해하는 일반적인 프레임워크를 제공한다고 주장한다. 주요 발견은 프롬프트 지시의 효과가 표현의 아핀 변환으로 상당 부분 이해될 수 있다는 것이다.

• 기계적 통찰: 저자들은 이동(translation)이 표현을 이동시키는 데 "대부분의 작업"을 수행하지만, 회전 및 전단(shearing, 아핀 성분)이 과업 정렬에 필요한 잔여 구조적 성분을 고정한다고 주장한다.
• 해석 가능성: 각 변환 단계의 기여도를 정량화함으로써, 이 프레임워크는 모델이 과업 관련 구조를 어떻게 라우팅하는지 밝혀낸다. 이는 자연스러운 프롬프팅이 복잡한 비선형적 재구조화가 아닌, 활성화 공간에서의 저복잡도 변환을 통해 구현됨을 시사한다.
• 한된 점: 저자들은 본 분석이 제로샷(zero-shot) 지시 프롬프트에 국한되어 있으며, 퓨샷(few-shot) 데몬스트레이션, 소프트 프롬프트 또는 긴 컨텍스트 조건화를 평가하지 않았음을 명시한다. 또한 개입은 단일 레이어와 토큰으로 제한된다.

이 연구는 새로운 조종 연산자를 설계하는 방법론이 아니라, 자연스러운 프롬프팅의 기하학적 본질을 진단하는 도구로서 위치하며, 프롬프팅의 운용적 결과가 (주요 이동 이후의) 잔여 미세 구조(회전 및 작은 비선형 부분)에 집중되어 있음을 시사한다.