🤖 AI

The Value of a Prompt: An LLM-Relative Kolmogorov-Complexity Approach

Este artigo propõe uma métrica estimável de forma eficiente para quantificar o valor econômico de prompts fornecidos a Grandes Modelos de Linguagem ao defini-lo como informação mútua algorítmica baseada em uma nova complexidade de Levin–Kolmogorov relativa ao LLM ( $pKt$ ), que captura o quanto um prompt reduz o esforço computacional ou aumenta a probabilidade de gerar um artefato alvo.

Autores originais: Rafael Pass

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rafael Pass

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na economia moderna da inteligência artificial, um novo tipo de moeda está emergindo, uma que não é medida em dólares ou tokens, mas na qualidade das perguntas que fazemos. Os grandes modelos de linguagem tornaram-se motores poderosos capazes de gerar provas, escrever código ou projetar novos materiais, mas eles não operam no vácuo. Eles requerem uma centelha de um humano, um prompt, para iniciar seu trabalho. Durante anos, a indústria focou quase exclusivamente no output: quão boa é a história, quão correto é o código, quão elegante é o design. Mas à medida que essas máquinas se tornam mais capazes, a questão econômica central está mudando. Não se trata mais apenas do que a máquina pode produzir, mas sobre qual valor permanece no input humano que a guiou. Se uma pessoa fornece uma dica, uma crítica ou uma solução parcial, o quanto esse input específico realmente ajudou a máquina a atingir seu objetivo?

Este é um problema difícil porque uma dica curta e inteligente pode valer mais do que uma instrução longa e prolixa, e uma dica errada pode ser pior do que nenhuma dica. Simplesmente contar as palavras ou caracteres em um prompt falha em capturar seu verdadeiro valor. Para resolver isso, pesquisadores recorreram a um campo da matemática chamado teoria da informação algorítmica, que tradicionalmente mede a complexidade de um objeto perguntando quanta informação é necessária para descrevê-lo. Os pesquisadores neste estudo fizeram uma nova pergunta: e se medirmos a complexidade não contra um computador teórico perfeito, mas contra o modelo de inteligência artificial específico realizando o trabalho? Eles perceberam que, para valorizar verdadeiramente a contribuição de um humano, devemos levar em conta o próprio processo de "pensamento" da máquina. Os modelos modernos frequentemente fazem pausas para gerar uma cadeia de raciocínio antes de dar uma resposta, e um bom prompt pode poupar a máquina de ter que pensar por tanto tempo, ou pode direcionar esse pensamento em uma direção mais produtiva.

Os pesquisadores desenvolveram uma nova forma de medir esse valor tratando o prompt como uma ferramenta que reduz o esforço necessário para a máquina ter sucesso. Eles imaginaram um cenário onde uma máquina tenta recriar um resultado específico, como uma prova matemática, primeiro por conta própria e depois com a dica de um humano. Eles mediram a diferença não apenas pelo quanto a máquina era mais propensa a obter a resposta correta, mas pelo quanto de "tempo de pensamento" ela economizou. Em sua estrutura, os passos de raciocínio interno da máquina são tratados como um caminho aleatório que ela deve percorrer. Um prompt valioso é aquele que torna o caminho correto muito mais curto ou muito mais óbvio, efetivamente reduzindo o número de passos que a máquina precisa dar para encontrar a solução. Eles definiram este valor em termos de um "custo de token", que é uma forma de contar o esforço computacional que a máquina despende. Se um prompt torna o trabalho da máquina duas vezes mais fácil, ele possui um certo valor; se torna o trabalho mil vezes mais fácil, o valor é muito maior.

Para testar suas ideias, a equipe realizou uma série de experimentos usando um conjunto padrão de problemas de matemática do ensino fundamental. Eles pediram a um grande modelo de linguagem para resolver esses problemas, às vezes dando a ele o primeiro passo da solução como uma dica e às vezes deixando-o começar do zero. Eles descobriram que olhar simplesmente para a probabilidade de o modelo obter a resposta correta não era suficiente. Em vários casos, fornecer o primeiro passo correto inicialmente fez com que a resposta final parecesse menos provável no início, porque o modelo ainda não havia engajado seu processo de raciocínio. No entanto, uma vez que o modelo foi permitido "pensar" e gerar seus próprios passos de raciocínio, a dica provou ser incrivelmente valiosa. Ela guiou o processo de pensamento do modelo de forma tão eficaz que ele alcançou a resposta correta muito mais rápido e com muito menos esforço do que faria por conta própria. Isso mostrou que o verdadeiro valor de um prompt reside frequentemente em como ele molda o raciocínio interno da máquina, não apenas nas palavras imediatas que produz.

O estudo também revelou que o valor de um prompt não é um número único e fixo. Depende do caminho específico que a máquina percorre. Às vezes, uma dica ajuda a máquina em muitas situações, mas em casos raros, ela pode levá-la a um beco sem saída. Os pesquisadores descobriram que, ao observar o resultado "mediano" — o resultado típico em vez do melhor ou do pior caso — eles podiam obter uma medida confiável de valor. Eles descobriram que, para alguns problemas, uma dica correta de um humano era, na verdade, prejudicial ou inútil para o modelo específico que estavam testando, sugerindo que o que parece uma boa ideia para uma pessoa pode ser redundante ou confuso para uma inteligência artificial. Isso destaca que o valor do input humano está profundamente ligado à máquina específica com a qual está conversando e à maneira como essa máquina processa informações.

Em última análise, este trabalho fornece uma forma rigorosa de quantificar a contribuição de um humano em uma era onde as máquinas fazem o trabalho pesado. Ele vai além da ideia de que a máquina é a única criadora e reconhece que o papel do humano é fornecer o caminho eficiente através do vasto espaço de possibilidades. Ao medir quanto um prompt economiza em termos de tempo de pensamento e esforço da máquina, podemos começar a entender o verdadeiro valor econômico da orientação humana. Os pesquisadores mostraram que esse valor pode ser calculado e estimado, oferecendo uma nova lente através da qual visualizar a parceria entre humano e máquina. À medida que a inteligência artificial se integra cada vez mais em nossas vidas, compreender o valor dos prompts que damos a ela será essencial para saber onde o trabalho real está sendo feito e quem merece o crédito pelos resultados.

Resumo Técnico: O Valor de um Prompt: Uma Abordagem de Complexidade de Kolmogorov Relativa ao LLM

1. Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) se tornam centrais para a criação de artefatos valiosos (provas, código, designs, hipóteses), surge uma questão econômica crítica: Como medimos o valor da entrada humana (o prompt) fornecida ao modelo?

Métricas tradicionais, como a contagem de tokens, falham em capturar o valor porque uma dica curta pode ser decisiva, enquanto um prompt longo pode ser irrelevante. Uma medida robusta deve satisfazer dois critérios:

Dificuldade Comparativa: Deve comparar a dificuldade de produzir um artefato $z$ com e sem o prompt $p$ .
Compensação Computacional: Deve levar em conta o fato de que um modelo sem um prompt pode compensar "pensando" por mais tempo. Portanto, a medida deve cobrar por esse esforço computacional adicional, creditando o prompt não apenas por aumentar a probabilidade da saída, mas por reduzir o esforço computacional necessário para encontrá-la.

A complexidade de Kolmogorov (informação algorítmica) existente é não computável e ignora o tempo computacional. Variantes limitadas por recursos são frequentemente difíceis de computar. Além disso, a informação mútua clássica não lida naturalmente com o processo de "pensamento" (Cadeia de Pensamento/Chain of Thought) inerente aos LLMs modernos.

2. Metodologia

O artigo propõe uma noção de complexidade de Levin–Kolmogorov probabilística relativa ao LLM, denotada por $\tilde{pKt}$ , para definir o valor do prompt. A abordagem evolui de modelos sem pensamento para modelos com estágios de pensamento explícitos.

2.1 LLMs Sem Pensamento (Aquecimento)

Para modelos autorregressivos que geram a saída diretamente, sem um estágio de pensamento separado:

Complexidade Relativa ao LLM: A máquina de Turing universal é substituída pelo LLM específico $M$ . Um "programa" é definido como uma string binária representando a aleatoriedade de amostragem (um intervalo diedrico) que força o modelo a gerar uma string específica $z$ .
Complexidade A-Priori: Para tornar isso eficientemente computável, o autor utiliza a log-probabilidade da saída: $\tilde{K}_M(z|y) = -\log_2 P_M(z|y)$ .
Valor do Prompt: Definido como a diferença na complexidade a-priori: $\tilde{Val}_M(p; z) = \tilde{K}_M(z) - \tilde{K}_M(z|p)$ . Isso é equivalente à razão de verossimilhança (Informação Mútua Ponto a Ponto), indicando quantas vezes mais provável $z$ é com o prompt $p$ do que sem ele.

2.2 LLMs com Pensamento

Os LLMs modernos frequentemente geram uma "rota de pensamento" $H$ (Cadeia de Pensamento) antes de emitir o artefato final $z$ . Isso introduz dois desafios:

Aleatoriedade do Pensamento: A rota de pensamento $H$ é estocástica. Simplesmente tirar a média de todos os possíveis pensamentos pode ser enviesado por caminhos bem-sucedidos, porém raros.
Economia de Computação: Um bom prompt pode não apenas aumentar a probabilidade em um esforço fixo; ele pode eliminar a necessidade de sequências longas de pensamento.

A Solução Proposta:

Complexidade de Levin de Pensamento Realizado: Para uma rota de pensamento $H$ fixa e realizada, a complexidade de $z$ é definida pela minimização da soma do comprimento da descrição (log-probabilidade de $z$ dado $H$ ) e do logaritmo do custo do prefixo de pensamento.
$\tilde{Kt}^\kappa_M(z | y; H) := \min_{t} \left( -\log_2 P_M(z | y H_{\le t} \text{EOT}) + \log_2 \kappa(t) \right)$
Aqui, $\kappa(t)$ é uma função de custo equivalente a tokens para $t$ tokens de pensamento. A minimização sobre $t$ permite que o modelo pare de pensar precocemente se a probabilidade de sucesso for alta o suficiente para compensar o custo.
Complexidade Probabilística ( $\tilde{pKt}$ ): Como $H$ é aleatória, o autor define a complexidade como a mediana (ou $\delta$ -quantile) das complexidades de pensamento realizado ao longo de muitos rollouts de amostragem. Isso evita a sensibilidade a caminhos de pensamento "sortudos" ou raros.
$\tilde{pKt}^\kappa_{M,\delta}(z | y) := \text{med}_\delta \left[ \tilde{Kt}^\kappa_M(z | y, H_y) \right]$
Valor do Prompt: O valor final é a diferença nessas complexidades probabilísticas:
$\tilde{Val}^\kappa_{M,\delta}(p; z) = \tilde{pKt}^\kappa_{M,\delta}(z) - \tilde{pKt}^\kappa_{M,\delta}(z | p)$

3. Principais Contribuições

Framework de Complexidade Relativa ao LLM: O artigo adapta a complexidade de Kolmogorov e Levin para a arquitetura específica dos LLMs, tratando o próprio modelo como a máquina de referência e sua aleatoriedade de amostragem como a fita do programa.
Lidando com o "Pensamento": Introduz um método inovador para valorar prompts para modelos com Cadeia de Pensamento, tratando o pensamento realizado como a fita aleatória e minimizando um objetivo do tipo Levin (comprimento de descrição + log tempo) sobre o prefixo de pensamento.
Estimabilidade Eficiente: Ao contrário da complexidade de Kolmogorov limitada por recursos clássica, a medida proposta é eficientemente estimável. O artigo fornece um protocolo para estimar a mediana da complexidade usando um número polinomial de rollouts, com limites de erro de alta probabilidade.
Interpretação Econômica (Custo de Token): O autor prova um teorema fundamental: $2^{\tilde{pKt}}$ $2^{\tilde{p K t}}$ corresponde exatamente ao custo de token mediano para reproduzir o artefato em um experimento específico.
- Se um prompt tem um valor de $b$ bits, isso significa que reproduzir o artefato sem o prompt normalmente custa $2^b$ vezes mais em unidades equivalentes a tokens do que reproduzi-lo com o prompt.
Distinção de Trabalhos Anteriores: O artigo esclarece que, embora o componente "sem pensamento" se alinhe com a Informação Mútua Ponto a Ponto (PMI) e pontuações recentes de "contribuição humana" (ex: Xie et al.), o tratamento explícito da computação e do pensamento é a contribuição inovadora.

4. Resultados Experimentais

O autor avaliou a medida em 12 problemas do conjunto de dados GSM8K (problemas matemáticos de nível escolar primário) utilizando o modelo DeepSeek-R1-Distill-Qwen-1.5B.

O Pensamento Inverte Vereditos: Em vários casos, fornecer um primeiro passo correto (o prompt) inicialmente tornou a resposta final menos provável em $t=0$ (sem pensamento). No entanto, uma vez incorporado o processo de pensamento, o valor do prompt tornou-se positivo. Isso demonstra que uma métrica de não-pensamento, baseada apenas em probabilidade, pode gerar um veredito qualitativo oposto ao da métrica proposta que considera o pensamento.
Aceleração vs. Direcionamento: Os resultados distinguiram entre prompts que apenas "aceleram" a computação (permitindo que o modelo alcance um estado bom mais rapidamente, o que é valioso sob custos de "pensamento gerado", mas menos valioso sob custos de "prefixo-prefill") e prompts que "direcionam" o modelo para um estado fundamentalmente melhor (valioso sob ambas as convenções de custo).
Corretude $\neq$ Valor: Uma solução parcial correta de uma referência humana nem sempre foi valiosa. Em alguns casos, ela foi redundante ou induziu continuações desfavoráveis, resultando em valores de prompt negativos ou insignificantes.
Dependência da Distribuição: O valor de um prompt variou significamente através de diferentes quantis ( $\delta$ ) da distribuição de rollout, indicando que um prompt pode ajudar algumas "trajetórias de pensamento" enquanto prejudica outras.

5. Significância e Alegações

O artigo afirma fornecer uma medida do valor do prompt que é teoricamente fundamentada, eficientemente estimável e economicamente interpretável.

Fundamentação Teórica: Ele une a teoria da informação algorítmica e a economia de LLMs, oferecendo uma definição formal de "valor" que considera tanto a verossimilhança quanto o esforço computacional.
Significado Operacional: Ao vincular a medida de complexidade ao custo mediano de tokens de reprodução, o artigo argumenta que o valor do prompt não é uma métrica abstrata, mas uma economia econômica concreta.
Modéstia: O autor afirma explicitamente que a medida precifica a descrição do artefato declarado. Se a definição do artefato for falha (ex: inclui ruído aleatório), a medida de valor refletirá isso. Eles também observam que o framework atualmente valoriza um único prompt em um contexto fixo e ainda não captura totalmente o valor de estratégias conversacionais adaptativas de múltiplos turnos ou o custo de formular a entrada humana.

Em resumo, o artigo postula que, em uma era de geração abundante por IA, o valor da contribuição humana reside na redução do fardo computacional do modelo para alcançar um resultado específico, e essa redução pode ser quantificada rigorosamente usando a complexidade de Levin relativa ao LLM.