📊 statistics

Elicitation without Backpropagation: Steering Model Behavior by Optimizing the Latent Posterior

이 논문은 사후 확률 프레픽 튜닝(Posterior Prefix Tuning, PPT)을 소개하는데, 이는 잠재적 사후 추정을 통해 기대 효용을 극대화하도록 프롬프트 분포를 최적화함으로써 베이즈 필터링된 트랜스포머로부터 특정 행동을 이끌어내는 새로운 방법이며, 이를 통해 최적화 과정 중 역전파나 추가적인 트랜스포머 순전파가 필요하지 않게 한다.

원저자: Garrett Baker, Vinayak Pathak, Daniel Murfet, Susan Wei

게시일 2026-07-22

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Garrett Baker, Vinayak Pathak, Daniel Murfet, Susan Wei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 이야기를 들려주는 법을 가르치고 있다고 상상해 보세요. 단순히 사실을 입력하는 것이 아니라, "옛날 옛적에..."와 같은 작은 시작 문장인 '프롬프트'를 주고 다음에 어떤 일이 일어나는지 지켜보는 것입니다. 이것이 바로 시, 코드, 농담을 쓸 수 있는 AI 챗봇인 **대규모 언어 모델(LLM)**의 세계입니다. 하지만 여기 까다로운 점이 있습니다. 이 로봇들은 무언가를 그냥 "아는" 것이 아니라, 사실 거대한 추측 게임을 하고 있다는 것입니다. 그들은 당신이 준 단어들을 보고, 학습 과정에서 배운 숨겨진 규칙들에 기반하여 다음에 올 단어를 추측하려고 노력합니다.

과학자들은 이 로봇들이 마치 미스터리를 푸는 탐정처럼 행동한다는 것을 발견했습니다. 로봇은 당신의 프롬프트를 읽으면서, 당신이 어떤 종류의 이야기를 원하는지에 대한 자신의 "믿음"을 업데이트합니다. 마치 로봇이 수천 가지의 서로 다른 "이야기꾼"(행복한 결말을 좋아하는 이, 공포를 좋아하는 이, 수학을 좋아하는 이 등)이 담긴 정신적 도서관을 가지고 있고, 당신의 프롬프트가 지금 어떤 이야기꾼의 목소리에 귀를 기울일지 결정하도록 돕는 것과 같습니다. 이것을 **잠재 사후 모델(latent posterior model)**이라고 부릅니다. 연구자들이 던지는 큰 질문은 이것입니다: 우리가 로봇을 속여서 우리가 원하는 특정 방식, 심지어 그것이 이상하거나 위험한 것이라 할지라도 정확히 말하게끔 특정 이야기꾼을 선택하게 만들 수 있을까? 이것을 **유도 문제(elicitation problem)**라고 합니다. 이는 마치 지니에게 특정한 소원을 들어달라고 하기 위한 완벽한 마법 주문(프롬프트)을 찾는 것과 같습니다. 하지만 지니는 블랙박스이며, 가능한 주문의 공간은 하나씩 모두 확인하기에는 너무나 거대합니다.

힘든 작업 없이 찾아내는 마법 주문

이 논문에서 Garrett Baker, Timaeus, Vinayak Pathak, Daniel Murfet, Susan Wei로 구성된 연구팀은 이러한 마법 주문을 찾는 영리하고 새로운 방법을 소개합니다. 그들은 이 방법을 **사후 접두사 튜닝(Posterior Prefix Tuning, PPT)**이라고 부릅니다.

보통 사람들이 AI가 특정 방식으로 행동하게 만들기 위해 완벽한 프롬프트를 찾으려고 할 때, 그들은 **그리디 좌표 경사 하강법(Greedy Coordinate Gradient, GCG)**이라는 무차별 대입 방식(brute-force method)을 사용합니다. GCG 방식은 라디오 채널을 돌려 특정 노래를 찾는 것과 같습니다. 다이얼을 아주 조금씩 돌려보고, 잡음을 듣고, 다시 되돌리고, 다른 방향으로 돌려 다시 들어보는 과정을 수천 번 반복하는 식입니다. 이 방법은 작동은 하지만, 매우 느리고 당신이 아주 작은 변화를 줄 때마다 로봇이 "생각(계산 실행)"하게 만듭니다.

논문의 저자들은 "잠깐만요! 매번 라디오를 들을 필요는 없습니다"라고 말합니다. 그들은 로봇이 본질적으로 믿음을 업데이트하는 탐정이기 때문에, 라디오를 통째로 건너뛸 수 있다는 사실을 깨달았습니다. 로봇에게 이야기를 생성하게 한 뒤 그것이 좋은지 확인하는 대신, 그들은 로 l봇의 **정신적 도서관(잠재 사후 분포)**을 직접 들여다보기로 했습니다.

"단 한 번의" 도서관 방문

여기 마법 같은 기술이 있습니다. 연구진은 먼저 특정 프롬프트 없이 로봇에게 무작위로 많은 이야기를 들려달라고 요청합니다. 이 무작위 이야기들로부터 로봇의 전체 정신적 도서관에 대한 지도를 구축합니다. 그들은 도서관에 어떤 "이야기꾼(잠재 모델)"들이 있는지, 그리고 로봇이 각 모델을 선택할 확률이 얼마나 되는지를 파악합니다. 이것은 로봇의 뇌를 단 한 번 스냅샷 찍는 것과 같으며, 지도를 만들기 위해 5,000개의 긴 이야기(rollouts)를 생성하게 하는 과정이 포함됩니다.

일단 이 스냅샷을 얻고 나면, 최적화 과정 중에 로봇에게 다시 생각하라고 요청할 필요가 없습니다. 대신 수학을 사용하여 다음과 같이 시뮬레이션할 수 있습니다: "만약 우리가 로봇에게 이 특정 프롬프트를 준다면, 어떤 이야기꾼을 선택할 것인가? 그리고 그 이야기꾼은 우리가 원하는 결과를 만들어낼 것인가?"

그들은 로봇의 믿음을 "기울어진(tilted)" 버전으로 만드는 방식을 사용합니다. 예를 들어, 당신에게 각기 다른 이야기꾼을 나타내는 구슬이 든 가방이 있다고 상상해 보세요. 어떤 구슬은 빨간색(좋은 이야기꾼)이고, 어떤 구 구슬은 파란색(나쁜 이야기꾼)입니다. 로봇은 보통 주사위를 던져서 구슬을 뽑습니다. PPT는 당신이 주사위를 다시 던지지 않고도, 로봇이 강제로 빨간 구슬을 뽑도록 마법처럼 빨간 구슬에 무게를 더하는 방법입니다.

결과: 엇갈린 성과들

연구팀은 이 방법을 두 가지 유형의 단순화된 로봇 뇌(베이즈 필터링 트랜스포머)에 대해 테스트했습니다. 하나는 단순한 동전 던지기(Beta–Bernoulli)였고, 다른 하나는 약간 더 복잡한 패턴 추종자(Reinforced Urn)였습니다. 그들은 이 로봇들에게 세 가지 일을 시키고자 했습니다:

역 크로스 엔트로피(Reverse Cross-Entropy): 로봇의 출력이 특정 목표 패턴과 일치하도록 만들기.
빈도 일치(Frequency Matching): 로봇이 "0"과 "1"을 특정 비율로 말하게 하기.
Dyck 유효성(Dyck Validity): 로봇이 괄호가 완벽하게 균형을 이루는 시퀀스(예: ()() 또는 (()))를 생성하게 하기.

그들은 이 새로운 "원샷(one-shot)" 방식(PPT)을 기존의 "다이얼 돌리기" 방식(GCG)과 비교했습니다.

좋은 소식: 더 복잡한 "Reinforced Urn" 로봇의 경우, PPT는 특정 시나리오에서 인상적인 결과를 보여주었습니다. 예를 들어, 프롬프트가 짧을 때(6자) Dyck 유효성을 달성하는 목표를 가진 경우, PPT-RB는 모든 시도에서 완벽한 프롬프트를 찾아낸 반면, 기존 방식은 고전했습니다. 이는 PPT가 마치 1마일 밖에서도 해답을 보는 것처럼 보였던 반면, GCG는 어둠 속에서 비틀거리고 있었음을 의미합니다.
섞인 소식: 더 단순한 "Coin-flipper" 로봇의 경우, 두 방법 모두 꽤 괜찮았지만, 특히 프롬프트가 길 때(50자)는 기존 방식(GCG)이 때때로 더 나은 성능을 보였습니다.
놀라운 점: 성능은 작업과 프롬프트 길이에 따라 뒤바뀌었습니다. 복잡한 로봇에 대한 "Dyck Validity" 테스트에서 프롬프트가 길었을 때(50자), 기존 방식(GCG)이 오히려 승리하여 PPT가 놓친 해답을 찾아냈습니다. 마찬가지로, 더 단순한 로봇에서도 프롬프트가 길 때는 GCG가 종종 PPT보다 뛰어난 성능을 보였습니다.

이것이 왜 중요한가

PPT의 가장 큰 승리는 단순히 더 나은 프롬프트를 찾는 것이 아니라, 바로 효율성입니다. 기존 방식은 프로ンプ트의 아주 작은 변화에도 로봇에게 "생각(forward pass)"하게 하고, 다시 "역방향으로 생각(backpropagate)"하게 해야 했습니다. 이는 비용이 많이 들고 느립니다.

반면, PPT는 실제 최적화 단계 동안 로봇에게 단 한 번도 "생각"하라고 요구하지 않습니다. PPT는 맨 처 처음에 찍은 "도서관의 스냅샷(초기 5,000개 롤아웃)"을 사용하여 모든 무거운 작업을 처리합니다. 이것은 마치 미로를 걷기 전에 미로 전체의 지도를 가지고 있는 것과 같습니다. 당신은 실제로 한 걸음도 걷지 않고도 머릿속에서 수백만 개의 경로를 즉시 시도해 볼 수 있습니다.

저자들은 이 방법이 로봇의 행동이 잘 이해되고 특정 수학적 규칙을 따를 때 가장 잘 작동한다고 언급합니다. 그들은 실제 세상의 복잡한 AI 모델에 대해서는 아직 완벽한 해결책이 아닐 수 있음을 인정합니다. 하지만 "로봇의 숨겨진 믿음을 조종하여 특정 결과를 얻는 법"이라는 구체적인 문제에 있어서, 그들은 더 빠르고, 저렴하며, 많은 경우에 놀라울 정도로 효과적인 길을 보여주었습니다.

요약하자면, 그들은 문을 두드리고 문이 열리기를 바라는 대신, 내부 지도를 보고 로봇의 마음을 조종하는 방법을 찾아냈습니다. 이는 지니에게 소원을 빌기 위한 더 똑똑한 방법이며, 우리가 이 강력한 도구들을 우리가 원하는 대로 통제하는 데 도움을 줄 수 있습니다.

기술 요약: 사후 확률 역전파 없는 추출 (Elicitation without Backpropagation via Posterior Prefix Tuning)

문제 정의

본 논문은 **추출 문제(elicitation problem)**를 다룬다. 즉, 모델의 연속(continuation)에 대한 유틸리티 함수 $U$ 로 정형화된 바람직하지 않거나(또는 바람직한) 행동의 명세가 주어졌을 때, 트랜스포머의 기대 유틸리티 $J(z_{1:m})$ 를 최대화하는 프롬프트 $z_{1:m}$ 를 어떻게 찾을 것인가 하는 문제이다.

Greedy Coordinate Gradient (GCG)와 같은 기존 방식은 하드 프롬프트(hard prompt)의 조합론적 공간에 대한 이산 탐색으로 취급하며, 매 최적화 단계마다 트랜스포머의 임베딩 레이어를 통과하는 역전파를 요구한다. 이는 계산 비용이 많이 들 뿐만 아니라, 트랜스포머가 컨텍스트를 처리하는 내부 구조를 활용하지 못한다. 저자들은 계층적 사전 분포(hierarchical prior)로부터 시퀀스를 메타 학습한 **베이즈 필터링 트랜스포머(Bayes-filtered transformers, BFTs)**의 경우, 추출 목적 함수가 **잠재 사후 확률(latent posterior)**을 통해 인수분해될 수 있다고 주장한다. 이를 통해 문제를 프롬프트 공간을 직접 탐색하는 것이 아니라, 잠재 예측 모델에 대한 분포를 조정하는 문제로 재정의할 수 있다.

방법론: 사후 접두사 튜닝 (Posterior Prefix Tuning, PPT)

제안된 방법인 **사후 접두사 튜닝 (PPT)**은 BFT의 잠재 사후 확률 인수분해를 활용하여, 트랜스포머를 통한 역전파 없이 프롬프트를 최적화한다.

1. 이론적 기초

BFT의 경우, 다음 토큰 분포는 컨텍스트에 조건화된 잠재 태스크 $\tilde{k}$ (커널)에 대한 베이즈 혼합(Bayes mixture)이다:
$\pi_\theta(y | y_{1:n}) = \int_K \tilde{k}(y | y_{1:n}) \Pi(d\tilde{k} | y_{1:n})$
추출 목적 함수 $J(z_{1:m})$ 은 다음과 같이 잠재 사후 확률에 대한 기댓값으로 다시 쓸 수 있다:
$J(z_{1:m}) = \int_K \mu(\tilde{k}; z_{1:m}) \Pi(d\tilde{k} | z_{1:m})$
여기 여기서 $\mu(\tilde{k}; z_{1:m})$ 은 특정 잠재 태스크 $\tilde{k}$ 가 주어진 프롬프트 $z_{1:m}$ 에 의해 생성하는 연속의 기대 유틸리티이다.

2. 기울어진 사후 확률(Tilted Posteriors)을 통한 최적화

PPT는 이산적인 프롬프트 $z_{1:m}$ 을 최적화하는 대신, 프롬프트 분포(커널 $\kappa$ )의 연속적인 파라미터화를 최적화한다.

기울임 인자 (Tilt Factor): $W(\tilde{k}; \kappa)$ 는 잠재 태스크와 프롬프트 분포 사이의 호환성을 측정한다.
기울어진 사후 확률 (Tilted Posterior): 사전 분포 $\Pi_0$ 는 $W$ 에 의해 재가중치(reweighted)되어 기울어진 사후 확률 $\Pi_{\text{tilt}}(\cdot; \kappa) \propto W(\tilde{k}; \kappa)\Pi_0$ 를 형성한다.
대리 목적 함수 (Surrogate Objective): 이 방법은 기울어진 사후 확률 하에서의 기대 유틸리티인 대리 목적 함수 $J_{\text{tilt}}(\kappa)$ 를 최대화한다.

3. 역전파 없는 기울기 추정

대리 목적 함수의 기울기는 고정된 사전 샘플 세트에 대한 **중요도 샘플링 (Importance Sampling, IS)**을 사용하여 추정된다.

예측 몬테카를로 (Predictive Monte Carlo, PMC): 단일 잠재 사전 샘플 세트(예: 확률 질량 함수 또는 전이 행렬)를 훈련된 BFT로부터 조건화 없이 자기회귀적으로 롤아웃하여 한 번에 추출한다.
분할 상환 (Amortization): 이 샘플들은 모든 최적화 단계와 임의의 수의 유틸리티 함수에 대해 재사용된다.
제로 트랜스포머 호출 (Zero Transformer Calls): 기울기는 사전에 계산된 샘플들을 사용하여 잠재 공간 내에서 완전히 계산된다. 최적화 과정 중에 트랜스포머 $\pi_\theta$ 에 대한 순전파(forward pass)나 역전파(backpropagation)가 발생하지 않는다.

4. 하드 프롬프트 복구

최적화 결과로 연속적인 커널 $\kappa$ 가 도출된다. 최적값에 "스냅(snap)"하는 과정을 통해 하드 프롬프트 $z_{1:m}$ 을 복구한다:

$k=0$ (교환 가능/i.i.d.)의 경우, 이는 토큰 빈도를 반올림하는 과정을 포함한다.
$k \ge 1$ (마르코프)의 경우, 최적화된 전이 테이블과 일치하는 드 브뤼인 그래프(de Bruijn graph) 상의 경로(오일러 경로)를 구축하는 과정을 포함한다.

두 가지 변형이 제시된다:

PPT: 단일 몬테카 롤아웃당 하나의 사전 샘플에 대해 유틸리티 항 $\mu$ 를 추정한다.
PPT-RB: $\mu$ 를 폐쇄형(closed form)으로 계산하기 위해 **라오-블랙웰화 (Rao–Blackwellization)**를 사용하여 분산을 줄인다 (가능한 경우).

주요 기여

추출의 인수분해: 본 논문은 BFT에 대해 추출 문제가 프롬프트 공간이 아닌 잠재 신념(latent beliefs)의 공간에서 최적화될 수 있도록 잠재 사후 확률을 통해 인수분해됨을 입증한다.
역전파 없는 최적화: PPT는 프롬프트 탐색을 위해 트랜스포머의 순전파 또는 역전파를 호출하지 않고도 하드 프롬프트의 기울기 기반 최적화를 달성한다.
유틸리티 분할 상환 (Utility Amortization): BFT의 신념을 특징짓는 데 드는 계산 비용(PMC를 통한)은 유틸리티와 무관한 일회성 비용이다. 단일 사전 샘플 세트가 임의의 유틸리티 함수에 대한 추출을 구동한다.
실증적 검증: 방법론을 두 가지 합성 BFT(Beta–Bernoulli 및 Reinforced Urn)와 세 가지 유틸리티 제품군(Reverse Cross-Entropy, Frequency Matching, Dyck Validity) 및 프롬프트 길이( $m=6, 50$ )에 대해 검증하였다.

실험 결과

저자들은 PPT 및 PPT-RB를 표준 GCG 베이스라인과 비교한다:

Reinforced Urn BFT ( $k=1$ ):
- 짧은 프롬프트 ( $m=6$ ): PPT-RB가 GCG를 실질적으로 능가한다. Dyck 유효성 작업에서 PPT-RB는 모든 랜덤 시드에 대해 열거된 전역 최적값(global optimum)에 도달하는 반면, GCG는 훨씬 낮은 순위를 기록한다.
- 긴 프롬프트 ( $m=50$ ): PPT 방식은 일반적으로 Reverse Cross-Entropy 및 Frequency Matching에서 GCG보다 우수한 성능을 보인다. 그러나 Dyck 유효성의 경우, GCG가 PPT 변형들( $J \approx 0.014$ )보다 현저히 높은 성능( $J \approx 0.61$ )을 보여, 이 특정 설정의 더 큰 규모에서 복잡한 구조적 제약을 처리하는 데 있어 방법론의 한계를 시사한다.
Beta–Bernoulli BFT ( $k=0$ ):
- 짧은 프롬프트 ( $m=6$ ): 모든 방법(GCG 포함)이 일반적으로 전역 최적값에 도달한다.
- 긴 프롬프트 ( $m=50$ ): GCG와 PPT-RB는 Reverse Cross-Entropy에서 표준 PPT보다 우수하거나 대등한 성능을 보인다. Frequency Matching의 경우, GCG가 PPT 변형들보다 더 나은 성능을 보인다.

결과는 PPT가 잠재 사후 확률 인수분해가 잘 작동하는 설정, 특히 짧은 프롬프트와 특정 유틸리티 구조가 있는 경우 잠재 신념을 조종하는 데 매우 효과적이지만, 작업 복잡도와 프롬프트 길이에 따라 GCG 대비 성능이 달라질 수 있음을 나타낸다.

의의 및 주장

본 논문은 PPT가 추출을 잠재 사후 확률을 조종하는 문제로 취급함으로써 트랜스포머의 행동을 이해하고 제어하는 새로운 패러다임을 제공한다고 주장한다.

효율성: 최적화를 트랜스포머의 순전파로부터 분리함으로써, PPT는 프롬프트 탐색을 위한 대규모 모델의 역전파라는 계산적 병목 현상을 제거한다.
해석 가능성: 이 방법은 예측 모델의 잠재 공간에서 직접 작동하여, 어떤 "신념"(잠재 태스크)이 특정 행동을 유도하는지 이해할 수 있는 메커니즘을 제공한다.
확장성: 사전 샘플의 분할 상환은 일단 BFT의 잠재 구조가 특징지어지면, 무시할 수 있는 수준의 추가 비용으로 임의의 목적 함수에 대해 조종될 수 있음을 시사한다.

저자들은 이 방법이 (식 4와 같은) 잠재-사후 확률 인수분해의 유효성에 의존하며, 이는 이상적인 BFT에는 정확히 적용되지만 실제 세계의 트랜스포머에는 근사치일 뿐이라는 점을 언급하며 신중한 범위를 유지한다. 현재 구현은 이진 어휘(binary vocabularies)와 유한 차원 잠재 태스크(0- 및 1-마르코프 교환 가능성)로 제한된 양식화된 설정에 국한되어 있다.