📊 statistics

Why is prompting hard? Understanding prompts on binary sequence predictors

본 논문은 프롬프팅을 시퀀스 예측기에서 최적의 조건부 시퀀스를 찾는 문제로 규정하여 그 과제를 탐구하며, 통제된 실험과 최첨단 모델 분석을 통해 최적의 프롬프트는 종종 직관적이지 않고 포괄적 탐색을 통しても 식별하기 어려우며 표준 데모 기반 방법을 사용할 경우 빈번히 비최적임을 밝힙니다.

원저자: Li Kevin Wenliang, Anian Ruoss, Jordi Grau-Moya, Marcus Hutter, Tim Genewein

게시일 2026-05-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Li Kevin Wenliang, Anian Ruoss, Jordi Grau-Moya, Marcus Hutter, Tim Genewein

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 여러분은 초지능적이고 고도로 훈련된 앵무새를 가지고 있습니다. 이 앵무새는 수백만 권의 책을 읽고, 수없이 많은 영화를 보고, 지금까지 만들어진 모든 라디오 쇼를 들어봤습니다. 이 앵무새는 누구보다도 문장의 다음 단어를 예측하는 법을 알고 있습니다. 이것이 바로 여러분의 AI 모델입니다.

이제 여러분은 이 앵무새에게 특정한 재주를 보여주고 싶어 합니다. 농담을 하거나, 슬픈 시를 쓰거나, 수학 문제를 풀게 하는 것입니다. 여러분은 프롬프트(시작을 돕기 위한 몇 마디의 지시나 예시) 를 제공함으로써 이를 수행합니다.

이 논문은 단순하지만 깊은 질문을 던집니다: 왜 앵무새에게 줄 완벽한 단어를 찾는 것이 그토록 어려운가? 때로는 가장 잘 작동하는 지시문이 인간에게는 완전히 기이하고, nonsensical(의미 없는), 심지어 "틀린" 것처럼 보일 수 있습니다. 왜 명료하고 논리적인 지시문보다 말도 안 되는 것처럼 보이는 프롬프트가 더 잘 작동할까요?

저자들은 추측을 멈추고 실험을 시작하기로 결정했습니다. 앵무새의 뇌 안에서 실제로 무슨 일이 일어나는지 이해하기 위해 작고 통제된 세계를 구축한 것입니다.

실험: 동전 던지기 앵무새

실제 복잡한 AI 대신, 연구자들은 앞면과 뒷면 (동전 던지기처럼) 만 이해하는 간단한 "앵무새"를 만들었습니다.

훈련: 그들은 이 앵무새에게 수천 번의 동전 던지기를 보여주며 가르쳤습니다. 하지만 여기에는 함정이 있었습니다. 그들은 공정한 동전만 보여준 것이 아니라, 다양한 방식으로 편향된 동전들을 보여주었습니다. 어떤 동전은 20% 의 확률로 앞면이 나왔고, 다른 것들은 90% 의 확률로 나왔으며, 어떤 것들은 둘의 혼합이었습니다. 앵무새는 훈련 과정에서 본 패턴을 바탕으로 다음 던지기를 추측하는 법을 배웠습니다.
과제: 이제 그들은 앵무새가 70% 의 확률로 앞면이 나오는 특정 동전처럼 행동하기를 원했습니다. 그들은 물었습니다: "앵무새가 70% 확률로 앞면을 추측하게 만들기 위해 보여줘야 할 앞면과 뒷면의 가장 좋은 순서는 무엇인가?"

큰 놀라움: "틀린" 프롬프트가 가장 잘 작동함

앵무새에게 70% 확률로 앞면을 추측하도록 가르치는 가장 좋은 방법은 70% 앞면과 30% 뒷면으로 이루어진 긴 목록을 보여주는 것이라고 생각할 수 있습니다. 그건 논리적으로 보이죠, 그렇죠?

이 논문은 이것이 종종 잘못되었다는 사실을 발견했습니다.

많은 경우, 최적의 프롬프트(실제로 가장 잘 작동하는 것) 는 과업과 전혀 닮지 않은 순서였습니다.

비유: 조용한 도서관에서 공부하는 데 익숙한 학생에게 시끄러운 카페테리아에서 공부하도록 가르치고 싶다고 상상해 보세요. 시끄러운 카페테리아의 녹음을 보여주는 것이 그들을 준비시키는 가장 좋은 방법이라고 생각할 수 있습니다. 하지만 이 논문은 때로는 그들을 준비시키는 가장 좋은 방법이 시끄러운 소리를 기대하도록 뇌를 미묘하게 속이는 침묵의 순서를 보여주는 것이라고 발견했습니다.
현실: "최고의" 프롬프트는 전적으로 앵무새가 어떻게 훈련되었는지(사전 훈련 분포) 에 달려 있습니다. 앵무새가 특정 동전 편향의 혼합으로 훈련되었다면, 그것을 특정 방식으로 행동하게 만드는 "마법의 단어"는 앞면만 연속된 순서이거나, 10 개의 앞면과 2 개의 뒷면이 기이하게 섞인 순서일 수 있습니다. 과업만 보고 있는 인간에게는 이것이 실수로 보일 수 있습니다. 하지만 앵무새에게는 올바른 행동을 해방시키는 완벽한 열쇠입니다.

왜 이것이 파악하기 그렇게 어려운가?

이 논문은 이러한 "마법의 단어"를 찾는 것이 악몽 같은 세 가지 주요 이유를 강조합니다:

1. "숨겨진 레시피" 문제
앵무새의 행동은 우리가 보통 알지 못하는 비밀스러운 "레시피"(사전 훈련 분포) 에 의해 형성됩니다.

비유: 라디오를 특정 방송국으로 튜닝하려고 한다고 상상해 보세요. 여러분은 그 방송국이 어떤 소리를 내는지 모르고, 라디오가 어떻게 만들어졌는지도 모릅니다. 여러분은 그냥 다이얼을 돌릴 뿐입니다. 때로는 "분명한" 위치로 돌리면 정전기 소리만 납니다. 여러분은 맑은 소리를 얻기 위해 기이하고 무작위적인 위치로 다이얼을 돌려야 합니다. 라디오의 내부 배선을 알지 못하면, 왜 그 기이한 위치가 작동하는지 설명할 수 없습니다.

2. "평탄한 지형" 문제
저자들은 최고의 프롬프트를 찾는 과정을 언덕진 지형을 걷는 것처럼 시각화했습니다.

비유: 여러분은 가장 높은 봉우리 (최고의 프롬프트) 를 찾고 있습니다. 완벽한 세상에서는 하나의 날카로운 산봉우리가 있어 찾기 쉽습니다. 하지만 이 논문의 실험에서 "지형"은 종종 평평한 고원입니다. 거의 동등하게 좋은 수백 가지의 다른 프롬프트가 존재합니다.
결과: 소량의 데이터 (작은 테스트 배치) 를 사용하여 최고의 프롬프트를 찾으려 한다면, 실제로는 진정한 최고의 것과 다른 "충분히 좋은" 프롬프트를 우연히 선택할 수 있습니다. 조금 다른 배치로 테스트를 다시 실행하면, 또 다른 "충분히 좋은" 프롬프트를 선택할 수 있습니다. 이로 인해 결과가 불안정해지고 해석하기 어려워집니다.

3. "전문가 시연" 함정
AI 를 가르치는 인기 있는 방법은 전문가가 과업을 수행하는 예시를 보여주는 것입니다 (예: "여기는 체스 그랜드마스터가 어떻게 두는지입니다").

발견: 이 논문은 전문가 예시를 보여주는 것이 종종 기이하고 최적화된 프롬프트를 사용하는 것보다 효과가 낮다는 것을 보여주었습니다.
비유: 로봇이 체스를 완벽하게 두게 하고 싶다고 상상해 보세요. 여러분은 그랜드마스터가 둔 100 개의 게임을 보여줄 수 있습니다. 또는, 로봇의 뇌를 "그랜드마스터 모드"로 강제하는 기이하고 짧은 코드를 줄 수 있습니다. 이 논문은 그 기이한 코드가 종종 100 개의 게임보다 더 잘 작동한다는 사실을 발견했습니다. 전문가 예시들은 너무 "전형적"이며 로봇의 특정 훈련 편향을 고려하지 못합니다.

실제 AI (예: 챗봇) 는 어떨까?

저자들은 영화 리뷰를 사용하여 실제 대규모 언어 모델 (GPT-2 및 Gemma 등) 에 대해 이러한 아이디어를 테스트했습니다.

그들은 동일한 패턴을 발견했습니다: "긍정적인" 리뷰를 생성하는 데 가장 좋은 프롬프트가 항상 긍정적으로 들리는 단어는 아니었습니다. 때로는 짧고 기이하거나, 심지어 부정적으로 들리는 단어들이 어떤 식으로든 올바른 응답을 유발했습니다.
그들은 또한 가장 좋은 프롬프트를 신뢰할 수 있게 찾기 위해서는 사람들이 일반적으로 사용하는 작은 배치 (약 200 개) 가 아니라 엄청난 양의 데이터(수천 개의 예시) 가 필요하다는 사실도 발견했습니다. 작은 배치로는 단순히 추측하는 것에 불과합니다.

결론

이 논문은 프롬프팅이 어려운 이유는 우리가 AI 의 전체 역사를 알지 못한 채 기계를 조종하려고 하기 때문이라고 결론지었습니다.

"최고의" 프롬프트는 상대적입니다: 보편적인 "최고의" 프롬프트는 존재하지 않습니다. 최고의 프롬프트는 AI 훈련 데이터의 특정이고 숨겨진 편향에 달려 있습니다.
직관은 실패합니다: 인간에게는 논리적으로 보이는 것 (AI 에게 원하는 것을 보여주는 것) 은 종종 AI 의 내부 "수학"을 고려하지 않기 때문에 실패합니다.
신뢰성은 낮습니다: 포괄적으로 검색하고 거대한 데이터 세트를 사용하지 않는 한, 여러분이 찾는 프롬프트는 일관되게 작동하지 않는 운 좋은 추측일 수 있습니다.

간단히 말해, 이 논문은 프롬프팅의 "마법"이 단순히 좋은 지시문을 작성하는 것에 관한 것이 아니라, 종종 우리에게 완전히 반직관적으로 보이는 방식으로 AI 의 숨겨진 통계적 편향을 해킹하는 것에 관한 것이라고 제안합니다.

기술적 요약: 이진 시퀀스 예측기에서의 프롬프트 이해

문제 정의

최첨단 모델인 대규모 언어 모델(LLM) 등은 프롬프트를 통해 다양한 작업을 수행하도록 조건부 설정이 가능합니다. 그러나 효과적인 프롬프트를 찾는 것은 어렵고, 고성능 프롬프트가 발견되더라도 종종 직관적이지 않거나 "기이한" 형태를 띱니다. 이 논문이 다루는 핵심 문제는 최적의 프롬프트가 왜 직관에 반하는 행동을 보이는지, 왜 이를 신뢰성 있게 식별하기 어려운지, 그리고 왜 전문가 시연과 같은 일반적인 휴리스틱이 종종 실패하는지에 대한 근본적인 이해의 부재입니다.

이 논문은 프롬프팅이 근본적으로 근사 최적 시퀀스 예측기에서 최상의 조건부 시퀀스를 찾는 문제라고 주장합니다. 이러한 어려움은 최적 프롬프트가 모델이 학습한 데이터의 메타 분포인 사전 학습 분포에 크게 의존하기 때문에 발생하며, 이는 일반적으로 사용자에게 알려져 있지 않습니다. 결과적으로 특정 작업에 최적화된 프롬프트는 작업 분포만을 기준으로 볼 때 비정상적이거나 하위 최적적으로 보일 수 있습니다.

방법론

저자들은 프롬프팅을 베이지안 메타 학습 관점에서 연구하기 위한 엄격하고 통제된 실증적 프레임워크를 제안합니다.

합성 데이터 생성기 (DGs): 진리값 (ground truth) 을 파악하기 어려운 복잡한 자연어 데이터에 의존하는 대신, 저자들은 합성 이진 시퀀스 데이터 생성기를 설계합니다. 여기에는 다음이 포함됩니다:
- 조건부 독립 베르누이 DGs (CIB-DGs): 사전 분포 $p_\tau$ 에서 추출된 잠재 편향 $\tau$ 를 기반으로 시퀀스가 생성되는 모델.
- 복잡한 DGs: 비-i.i.d 구조를 시뮬레이션하기 위한 스위칭 프로세스, 계층적 모델, 토픽 모델 등을 포함.
- 밴딧 의사결정자: 에이전트의 특정 "기술 수준"( $\tau$ )을 유도하여 보상을 극대화하는 것을 목표로 하는 두 개의 팔을 가진 베르누이 밴딧 작업.
예측기: 이 프레임워크는 두 가지 유형의 예측기를 평가합니다:
- 베이지안 예측기: 합성 DGs 에 대해 분석적으로 유도된 이론적으로 최적의 예측기.
- 신경 예측기: 사전 학습 DGs 에서의 샘플을 통해 메타 학습으로 훈련된 자기회귀 모델 (RNN, LSTM, Transformer) 로, 베이지안 예측기를 근사화합니다.
프롬프트 탐색:
- 이론적 최적 프롬프트 ( $s^*$ ): 작업 분포 $q$ 하에서 기대 로그 손실을 최소화하기 위해 프롬프트 공간에 대한 전수 조사를 통해 발견됨. 이는 수치적으로 보장된 진리값을 제공합니다.
- 실증적 최적 프롬프트 ( $\hat{s}$ ): $q$ 에서 추출된 유한 데이터셋에서 프롬프트를 최적화하여 발견됨. 이는 실제 세계의 프롬프트 엔지니어링 제약을 시뮬레이션합니다.
지표: 본 연구는 "정답 비율"( $s^*$ 를 찾는 신뢰성), "손실 지형도" (최적점 주변의 평탄함), 그리고 작업 및 사전 학습 분포에 대한 프롬프트의 해석 가능성을 분석합니다.

주요 기여

엄격한 프레임워크: 최적성 정의, 실험 설계, 시각화 기법을 포괄하는 최적 조건부 시퀀스 분석을 위한 공식적 프레임워크를 확립함.
전수 조사 결과: 수치적으로 보장된 25 만 개 이상의 최적 프롬프트를 수집함. 연구 결과에 따르면 최적 프롬프트는 종종 작업에 대해 비정상적임; 작업 분포의 샘플과 유사하지 않을 수 있으며, 대신 알려지지 않은 사전 학습 분포의 편향을 활용하도록 맞춤화됨.
신뢰성 분석: 유한 데이터셋을 사용하더라도 최적 프롬프트를 식별하는 것은 신뢰할 수 없음을 입증함. 데이터셋 크기 ( $N$ ) 를 증가시키는 것이 항상 신뢰성을 향상시키는 것은 아님; 어떤 경우에는 많은 하위 최적 프롬프트가 유사한 성능을 보이는 평탄한 손실 지형도로 인해 일관되지 않은 결과를 초래함.
문맥 학습 vs. 최적 프롬프트: 전문가 시연을 통한 프롬프팅 (일반적인 문맥 학습 전략) 이 이론적으로 최적인 프롬프트보다 종종 하위 최적임을 보임. 밴딧 작업에서 전문가 시연은 직관에 반하는 보상 패턴을 통해 특정 잠재 기술 수준을 유도하는 프롬프트보다 낮은 보상을 산출함.
LLM 검증: IMDB 영화 리뷰를 사용하여 프레임워크를 실제 LLM(GPT-2, Gemma-3, Gemini 2.5 Pro) 에 적용함. 이진 시퀀스에 대한 발견 사항 (예: 작은 배치 크기에서 최적 프롬프트를 식별하는 어려움, 짧고 직관적이지 않은 프롬프트의 우세) 은 실제 모델에 대한 결과와 일관됨.

주요 결과

최적 프롬프트의 비정상성: 모델이 동전 편향의 혼합물로 사전 학습되고 70% 의 앞면 생성을 목표로 하는 시나리오에서, 최적 프롬프트는 70% 앞면의 시퀀스가 아니었음. 대신, 특정 사전 학습 혼합물을 고려할 때 목표 편향에 대한 사후 믿음을 가장 빠르게 집중시키는 모든 1 의 시퀀스 (또는 다른 극단적인 개수) 였음.
길이와 탐색 공간: 더 긴 프롬프트가 항상 더 좋다는 직관과 달리, 연구는 최적 프롬프트 길이가 작업 시퀀스 길이에 따라 단조롭게 증가하지 않는다는 것을 발견함. 더 긴 프롬프트에 대한 탐색 공간이 방대하고 실제로 전수 조사가 거의 수행되지 않기 때문에 더 짧은 프롬프트가 종종 최적인 것처럼 보임.
사전 학습 분포의 역할: 프롬프트의 해석 가능성은 사전 학습 분포를 알고 있는지에 달려 있음. 이 지식이 없으면 최적 프롬프트는 "말도 안 되는" 또는 기이한 시퀀스로 보임.
전문가 시연은 하위 최적임: 밴딧 실험에서 전문가 시연 (Thompson sampling) 에서 파생된 프롬프트는 최적 프롬프트보다 성능이 낮았음. 최적 프롬프트는 일반적인 전문가 궤적보다 높은 기술 수준을 더 효과적으로 신호화하기 위해 특정 보상 패턴 (예: 단일 실패 followed by 성공 연쇄) 을 활용함.
신뢰성과 배치 크기: 실증적 최적화는 데이터셋 크기에 매우 민감함. 작은 배치 크기 (예: 문헌에서 일반적인 $N=200$ ) 는 신뢰할 수 없는 프롬프트를 산출함. 최적 프롬프트를 식별할 50% 확률을 달성하려면 훨씬 더 큰 $N$ (예: LLM 의 경우 $N \approx 1700$ ) 이 필요함.

중요성과 주장

이 논문은 통계적 및 실증적 관점에서 최적 프롬프트를 이해하기 위한 초기 단계를 취했다고 주장함. 프롬프팅의 직관에 반하는 성격은 현재 아키텍처의 단순한 결함이 아니라, 알려지지 않은 사전 학습 분포에 대한 베이지안 메타 학습의 근본적인 결과라고 논함.

근본적인 통찰: 프롬프팅의 어려움은 최적 프롬프트가 단순히 작업 분포를 모방하는 것이 아니라 모델을 유도하기 위해 사전 학습 사전 확률을 "해킹"해야 하기 때문에 발생함.
한계: 저자들은 이진 토큰이 자연어의 극단적인 단순화임을 지적하며 주장에 대해 겸손함. 발견 사항이 기초적인 통찰을 제공하지만, 전체 규모의 최첨단 모델의 정확한 행동을 결정적으로 예측하지는 못함. 이 연구는 사전 학습 단계에 초점을 맞추며, 사후 학습 효과 (예: RLHF) 나 특정 아키텍처 세부 사항을 완전히 고려하지는 않음.
함의: 이 작업은 직관이나 소규모 탐색에 의존하는 현재 프롬프트 엔지니어링 휴리스틱 접근 방식이 종종 작업과 숨겨진 사전 학습 분포 간의 복잡한 상호작용에 숨겨진 진정한 최적 솔루션을 놓치고 있음을 시사함.

요약하자면, 이 논문은 "좋은" 프롬프트를 찾기 어렵고 종종 기이해 보이는 이유에 대한 이론적 및 실증적 근거를 제공하며, 이러한 현상을 알려지지 않은 사전 학습 메타 분포와 정렬하는 통계적 필연성에 기인함.