🤖 AI

The Value of a Prompt: An LLM-Relative Kolmogorov-Complexity Approach

이 논문은 프롬프트가 타겟 아티팩트를 생성하는 데 드는 계산 노력을 얼마나 줄이거나 생성 확률을 얼마나 높이는지를 포착하는 새로운 LLM 상대적 확률적 레빈-콜모고로프 복잡도( $pKt$ )에 기반한 알고리즘 상호 정보량으로서, 거대 언어 모델(LLM)에 제공된 프롬프트의 경제적 가치를 정량화하기 위한 효율적으로 추정 가능한 지표를 제안한다.

원저자: Rafael Pass

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rafael Pass

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 현대 경제에서, 달러나 토큰이 아닌 우리가 던지는 질문의 질로 측정되는 새로운 종류의 화폐가 등장하고 있습니다. 대규모 언어 모델은 증명을 생성하거나, 코드를 작성하거나, 새로운 재료를 설계할 수 있는 강력한 엔진이 되었지만, 이들은 진공 상태에서 작동하지 않습니다. 이들은 작업을 시작하기 위해 인간으로부터의 불꽃, 즉 프롬프트를 필요로 합니다. 수년 동안 업계는 거의 전적으로 결과물에만 집중해 왔습니다. 이야기가 얼마나 좋은지, 코드가 얼마나 정확한지, 디자인이 얼마나 우아한지에 주목했습니다. 하지만 이러한 기계들이 점점 더 유능해짐에 따라, 핵심적인 경제적 질문은 변화하고 있습니다. 이제 문제는 단순히 기계가 무엇을 생산할 수 있느냐가 아니라, 그것을 안내한 인간의 입력값에 어떤 가치가 남아 있는가에 관한 것입니다. 만약 어떤 사람이 힌트, 비평, 또는 부분적인 해결책을 제공한다면, 그 특정 입력이 기계가 목표에 도달하는 데 실제로 얼마나 도움이 되었는가 하는 점입니다.

이는 어려운 문제입니다. 왜냐하면 짧고 영리한 힌트 하나가 길고 장황한 지시보다 더 가치 있을 수 있고, 잘못된 힌트는 아무런 힌트가 없는 것보다 더 나쁠 수 있기 때문입니다. 단순히 프롬프트의 단어나 글자 수를 세는 것은 그 진정한 가치를 포착하지 못합니다. 이를 해결하기 위해 연구자들은 알고리즘 정보 이론이라는 수학 분야로 눈을 돌렸는데, 이 분야는 전통적으로 어떤 객체를 설명하는 데 필요한 정보의 양을 물음으로써 그 복잡성을 측정합니다. 이 연구의 연구자들은 새로운 질문을 던졌습니다. 만약 우리가 완벽하고 이론적인 컴퓨터가 아니라, 작업을 수행하고 있는 특정한 인공지능 모델을 기준으로 복잡성을 측정한다면 어떨까? 그들은 인간의 기여를 진정으로 가치 있게 평가하려면, 기계 자체의 '사고' 과정을 고려해야 한다는 것을 깨달았습니다. 현대의 모델들은 종答案을 내놓기 전에 종종 추론의 연쇄(chain of reasoning)를 생성하며 멈추곤 하는데, 좋은 프롬프트는 기계가 생각하는 시간을 줄여주거나, 혹은 그 사고를 더 생산적인 방향으로 이끌 수 있습니다.

연구진은 프롬프트를 기계가 성공하는 데 필요한 노력을 줄여주는 도구로 취급함으로써 이 가치를 측정하는 새로운 방법을 개발했습니다. 그들은 기계가 특정 결과(예: 수학적 증명)를 처음에는 스스로 재현해 보고, 그다음에는 인간의 힌트를 받아 재현하는 시나리오를 상상했습니다. 그들은 단순히 기계가 정답을 맞힐 확률이 얼마나 높아졌는가뿐만 아니라, 얼마나 많은 '사고 시간'을 절약했는지를 통해 차이를 측정했습니다. 그들의 프레임워크에서 기계의 내부 추론 단계는 기계가 걸어야 할 무작위 경로처럼 취급됩니다. 가치 있는 프롬프트란 올바른 경로를 훨씬 더 짧게 만들거나 훨씬 더 명확하게 만들어, 결과적으로 기계가 해결책을 찾는 데 필요한 단계의 수를 줄여주는 것입니다. 그들은 이 가치를 '토큰 비용'이라는 개념으로 정의했는데, 이는 기계가 쏟는 계산적 노력을 세는 방식입니다. 만약 프롬프트가 기계의 일을 두 배 더 쉽게 만든다면 그것은 일정량의 가치를 지니며, 만약 천 배 더 쉽게 만든다면 그 가치는 훨씬 더 높습니다.

아이디어를 테스트하기 위해, 연구팀은 표준적인 초등 수학 문제 세트를 사용하여 일련의 실험을 수행했습니다. 그들은 대규모 언어 모델에게 이 문제들을 풀게 하면서, 때로는 해결책의 첫 단계를 힌트로 제공했고, 때로는 아무것도 없이 시작하게 했습니다. 그들은 단순히 모델이 정답을 맞힐 확률을 보는 것만으로는 충분하지 않다는 것을 발견했습니다. 몇몇 사례에서, 처음에 올바른 첫 단계를 제공하는 것이 오히려 초기 단계에서는 정답이 나올 가능성을 더 낮게 보이게 만들었는데, 이는 모델이 아직 추론 과정을 가동하지 않았기 때문입니다. 그러나 모델이 스스로 추론 단계를 생성하며 '생각'할 수 있게 되자, 그 힌트는 믿기 힘들 정도로 가치 있는 것으로 드러났습니다. 힌트는 모델의 사고 과정을 매우 효과적으로 안내하여, 모델이 스스로 했을 때보다 훨씬 더 빠르고 훨씬 적은 노력으로 정답에 도달하게 했습니다. 이는 프롬프트의 진정한 가치가 단순히 생성된 즉각적인 단어들에 있는 것이 아니라, 기계의 내부 추론을 어떻게 형성하느냐에 달려 있음을 보여주었습니다.

또한 이 연구는 프롬프트의 가치가 단일하고 고정된 숫자가 아님을 밝혀냈습니다. 그것은 기계가 취하는 특정 경로에 따라 달라집니다. 때때로 힌트는 대부분의 상황에서 도움이 되지만, 드문 경우 힌트가 기계를 막다른 길로 인도할 수도 있습니다. 연구진은 최선이나 최악의 경우가 아닌 '중앙값(median)'의 결과를 살펴봄으로써 신뢰할 수 있는 가치 척도를 얻을 수 있다는 것을 발견했습니다. 그들은 어떤 문제의 경우, 인간의 올바른 힌트가 테스트 중인 특정 모델에게는 오히려 해롭거나 쓸모없다는 것을 발견했는데, 이는 사람에게는 좋은 아이디어처럼 보이는 것이 인공지능에게는 중복되거나 혼란스러울 수 있음을 시사합니다. 이는 인간 입력의 가치가 그것과 대화하는 특정 기계, 그리고 그 기계가 정보를 처리하는 방식과 깊게 연결되어 있음을 강조합니다.

궁극적으로, 이 작업은 기계가 힘든 일을 도맡아 하는 시대에 인간의 기여를 정량화하는 엄격한 방법을 제공합니다. 이는 기계를 유일한 창조자로 보는 관점을 넘어, 인간의 역할이 방대한 가능성의 공간 속에서 효율적인 경로를 제공하는 것임을 인식합니다. 프서 기계의 사고 시간과 노력 측면에서 얼마나 많은 것을 절약하는지를 측정함으로써, 우리는 인간의 안내가 가진 진정한 경제적 가치를 이해하기 시작할 수 있습니다. 연구진은 이 가치가 계산되고 추정될 수 있음을 보여주었으며, 이를 통해 인간과 기계 사이의 파트너십을 바라보는 새로운 관점을 제시했습니다. 인공지능이 우리 삶에 더욱 통합됨에 따라, 우리가 주는 프롬프트의 가치를 이해하는 것은 실제 작업이 어디에서 이루어지고 있으며 결과에 대해 누구에게 공로를 돌려야 하는지를 아는 데 필수적일 것입니다.

기술 요약: 프롬프트의 가치: LLM 상대적 콜모고로프 복잡도 접근법

1. 문제 정의

대규모 언어 모델(LLM)이 가치 있는 산출물(증명, 코드, 설계, 가설 등)을 생성하는 데 중심적인 역할을 함에 따라, 다음과 같은 중요한 경제적 질문이 제기된다: 모델에 제공된 인간의 입력(프로프트)의 가치를 어떻게 측정할 것인가?

토큰 수와 같은 전통적인 지표는 짧은 힌트가 결정적인 역할을 할 수도 있고 긴 프롬프트가 무의미할 수도 있다는 점을 간과하기 때문에 가치를 포착하지 못한다. 견고한 척도는 다음 두 가지 기준을 충족해야 한다:

비교 난이도: 산출물 $z$ 를 생성하는 난이도를 프롬프트 $p$ 가 있을 때와 없을 때를 비교하여 측정해야 한다.
계산적 트레이드오프: 모델이 프롬프트 없이도 더 오래 "생각(thinking)"함으로써 보완할 수 있다는 점을 고려해야 한다. 따라서 척도는 단순히 출력의 확률을 높이는 것뿐만 아니라, 이를 찾는 데 필요한 계산적 노력을 줄여준 것에 대해 프롬프트에 공로를 인정하도록 설계되어야 한다.

기존의 알고리즘 정보 이론(콜모고로프 복잡도)은 계산 불가능하며 계산 시간(time)을 무시한다. 자원 제한적 변형 방식들은 계산하기 어려운 경우가 많다. 또한, 고전적인 상호 정보량(mutual information)은 현대 LLM의 고유한 특성인 "사고 과정(Chain of Thought)"을 자연스럽게 다루지 못한다.

2. 방법론

본 논문은 프롬프트 가치를 정의하기 위해 LLM 상대적 확률적 레빈-콜모고로프 복잡도(LLM-relative notion of probabilistic Levin–Kolmogorov complexity), 즉 $\tilde{pKt}$ 를 제안한다. 이 접근법은 사고 단계가 없는 모델에서 명시적인 사고 단계를 갖춘 모델으로 진화한다.

2.1 사고 과정이 없는 LLM (웜업)

별도의 사고 단계 없이 출력을 직접 생성하는 자기회귀(autoregressive) 모델의 경우:

LLM 상대적 복잡도: 유니버설 튜링 머신을 특정 LLM $M$ 으로 대체한다. "프로그램"은 특정 문자열 $z$ 를 출력하도록 강제하는 샘플링 무작ity(dyadic interval)를 나타내는 이진 문자열로 정의된다.
사전 복잡도(A-Priori Complexity): 효율적인 계산을 위해, 저자는 출력의 로그 확률을 사용한다: $\tilde{K}_M(z|y) = -\log_2 P_M(z|y)$ .
프롬프트 가치: 사전 복잡도의 차이로 정의된다: $\tilde{Val}_M(p; z) = \tilde{K}_M(z) - \tilde{K}_M(z|p)$ . 이는 포인트와이즈 상호 정보량(Pointwise Mutual Information)과 동일하며, 프롬프트 $p$ 가 있을 때 $z$ 가 없을 때보다 몇 배 더 높은 확률을 갖는지를 나타낸다.

2.2 사고 과정을 갖춘 LLM

현대적 LLM은 최종 산출물 $z$ 를 내보내기 전에 "사고 경로(thinking route)" $H$ (Chain of Thought)를 생성하는 경우가 많다. 이는 두 가지 과제를 제정한다:

사고의 무작위성: 사고 경로 $H$ 는 확률적이다. 가능한 모든 사고를 평균 내는 방식은 드물지만 매우 성공적인 경로에 의해 왜곡될 수 있다.
계산 절감: 좋은 프롬프트는 단순히 확률을 높이는 것뿐만 아니라, 긴 사고 시퀀스의 필요성을 제거할 수도 있다.

제안된 해결책:

실현된 사고 레빈 복잡도(Realized-Thought Levin Complexity): 고정된 실현된 사고 경로 $H$ 에 대해, $z$ 의 복잡도는 기술 길이(description length, $H$ 가 주어졌을 때 $z$ 의 로그 확률)와 사고 접두사(thinking prefix)의 비용(로그 값)의 합을 최소화하는 것으로 정의된다.
$\tilde{Kt}^\kappa_M(z | y; H) := \min_{t} \left( -\log_2 P_M(z | y H_{\le t} \text{EOT}) + \log_2 \kappa(t) \right)$
여기서 $\kappa(t)$ 는 $t$ 개의 사고 토큰에 대한 토큰 등가 비용 함수이다. $t$ 에 대한 최소화 과정은 성공 확률이 충분히 높다면 모델이 사고를 일찍 멈출 수 있도록 허용한다.
확률적 복잡도 ( $\tilde{pKt}$ ): $H$ 는 무작위적이므로, 저자는 여러 샘플링 롤아웃(rollout)에 대한 실현된 사고 복잡도의 중앙값(median) 또는 $\delta$ -분위수를 복잡도로 정의한다. 이는 드물고 "운 좋은" 사고 경로에 의한 민감도를 피하기 위함이다.
$\tilde{pKt}^\kappa_{M,\delta}(z | y) := \text{med}_\delta \left[ \tilde{Kt}^\kappa_M(z | y; H_y) \right]$
프롬프트 가치: 최종 가치는 이러한 확률적 복잡도의 차이다:
$\tilde{Val}^\kappa_{M,\delta}(p; z) = \tilde{pKt}^\kappa_{M,\delta}(z) - \tilde{pKt}^\kappa_{M,\delta}(z | p)$

3. 주요 기여

LLM 상대적 복잡도 프레임워크: 본 논문은 LLM의 특정 아키텍처에 콜모고로프 및 레빈 복잡도를 적응시키며, 모델 자체를 참조 기계로, 그 샘플링 무작위성을 프로그램 테이프로 취급한다.
"사고(Thinking)" 처리: 실현된 사고를 무작위 테이프로 취급하고, 사고 접두사에 대해 레빈 스타일의 목적 함수(기술 길이 + 로그 시간)를 최소화함으로써 사고 과정을 가진 모델에 대한 프롬프트 가치를 다루는 새로운 방법을 도입했다.
효율적 추정 가능성: 제안된 척도는 클래식한 자원 제한적 콜모고로프 복잡도와 달리 효율적으로 추정 가능하다. 논문은 높은 확률의 오차 범위를 가지면서 다항식 횟수의 롤아웃을 사용하여 중앙값 복잡도를 추정하는 프로토콜을 제공한다.
경제적 해석 (토큰 비용): 저자는 근본적인 정리를 증명한다: $2^{\tilde{pKt}}$ $2^{\tilde{p K t}}$ 는 특정 실험에서 산출물을 재현하는 데 드는 중앙값 토큰 비용과 정확히 일치한다.
- 만약 프롬프트의 가치가 $b$ 비트라면, 이는 프롬프트 없이 산출물을 재현하는 것이 프롬프트가 있을 때보다 토큰 등가 단위로 $2^b$ 배 더 많은 비용이 든다는 것을 의미한다.
선행 연구와의 차별점: 논문은 "사고 없음" 구성 요소가 PMI 및 최근의 "인간 기여도" 점수(예: Xie et al.)와 일치한다는 점을 명시하면서도, 계산과 사고를 명시적으로 다루는 것이 핵심적인 독창성임을 밝힌다.

4. 실험 결과

저자는 DeepSeek-R1-Distill-Qwen-1.5B 모델을 사용하여 GSM8K 데이터셋(초등 수학 문장제 문제)의 12개 문제에 대해 이 척도를 평가했다.

사고가 결론을 뒤집음: 몇몇 사례에서, 올바른 첫 단계(프로프트)를 제공하는 것이 $t=0$ 일 때(사고 없이) 초기에는 최종 답변의 확률을 오히려 낮추는 결과를 낳았다. 그러나 사고 과정이 통합되자 프롬프트 가치는 양수가 되었다. 이는 사고 과정을 고려하지 않는 확률 기반 지표가 제안된 사고 인식 지표와 상반된 질적 판단을 내릴 수 있음을 보여준다.
가속(Acceleration) vs 조종(Steering): 결과는 단순히 계산을 "가속"하는 프롬프트(특정 "생성된 사고" 비용 하에서는 가치가 있지만 "접두사-프리필" 비용 하에서는 덜 가치 있는 것)와 모델을 근본적으로 더 나은 상태로 "조종"하는 프서프트를 구분해 냈다.
정답 $\neq$ 가치: 인간 참조 모델로부터 얻은 올바른 부분 해답이 항상 가치 있는 것은 아니었다. 어떤 경우에는 중복되거나 부정적인 연속을 유도하여, 프롬프트 가치가 음수이거나 무시할 만한 수준이 되기도 했다.
분포 의존성: 프롬프트의 가치는 롤아웃 분포의 서로 다른 분위수( $\delta$ )에 따라 크게 달라졌으며, 이는 프롬프트가 어떤 "사고 궤적"에는 도움이 되지만 다른 궤적에는 방해가 될 수 있음을 나타낸다.

5. 의의 및 주장

본 논문은 이론적 근거가 확실하고, 효율적으로 추정 가능하며, 경제적으로 해석 가능한 프롬프트 가치 측정법을 제공한다고 주장한다.

이론적 토대: 본 논문은 알고리즘 정보 이론과 LLM 경제학을 연결하여, 확률뿐만 아니라 계산적 노력까지 고려하는 "가치"의 공식적 정의를 제공한다.
운영적 의미: 복잡도 척도를 재현의 중앙값 토큰 비용과 연결함으로써, 저자는 프롬프트 가치가 추상적인 지표가 아니라 구체적인 경제적 절감임을 논증한다.
한계 및 겸손함: 저자는 이 척도가 선언된 산출물의 기술을 가격 책정한다는 점을 명시한다. 만약 산출물의 정의가 결함이 있다면(예: 무작위 노이즈 포함), 가치 측정 역시 그 영향을 반영할 것이다. 또한, 이 프레임워크는 현재 고정된 컨텍스트 내에서의 단일 프롬프트를 가치 있게 평가하며, 적응형 다회차 대화 전략이나 인간 입력 자체의 형성 비용을 완전히 포착하지는 못한다고 언급한다.

요약하자면, 본 논문은 AI 생성이 풍요로운 시대에 인간 기여의 가치는 특정 결과를 달기 위한 모델의 계산적 부담을 줄여주는 것에 있으며, 이러한 감소를 LLM 상대적 레빈 복잡도를 사용하여 엄격하게 정량화할 수 있다고 주장한다.