🤖 AI

The Value of a Prompt: An LLM-Relative Kolmogorov-Complexity Approach

Este artículo propone una métrica estimable eficientemente para cuantificar el valor económico de los prompts entregados a los Modelos de Lenguaje Extensos mediante la definición de este como información mutua algorítmica basada en una novedosa complejidad de Levin–Kolmogorov relativa al LLM ( $pKt$ ), la cual captura cuánto reduce un prompt el esfuerzo computacional o aumenta la probabilidad de generar un artefacto objetivo.

Autores originales: Rafael Pass

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rafael Pass

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la economía moderna de la inteligencia artificial, está surgiendo un nuevo tipo de moneda, una que no se mide en dólares o tokens, sino en la calidad de las preguntas que formulamos. Los modelos de lenguaje de gran tamaño se han convertido en motores poderosos capaces de generar demostraciones, escribir código o diseñar nuevos materiales, pero no operan en el vacío. Requieren una chispa de un humano, un prompt, para comenzar su trabajo. Durante años, la industria se ha centrado casi exclusivamente en el resultado: qué tan buena es la historia, qué tan correcto es el código, qué tan elegante es el diseño. Pero a medida que estas máquinas se vuelven más capaces, la cuestión económica central está cambiando. Ya no se trata solo de lo que la máquina puede producir, sino de qué valor permanece en la entrada humana que la guio. Si una persona proporciona una pista, una crítica o una solución parcial, ¿cuánto ayudó realmente esa entrada específica a la máquina para alcanzar su objetivo?

Este es un problema difícil porque una pista corta y astuta puede valer más que una instrucción larga y errática, y una pista incorrecta puede ser peor que no dar ninguna pista. Simplemente contar las palabras o los caracteres en un prompt no logra capturar su verdadero valor. Para resolver esto, los investigadores se han volcado a un campo de las matemáticas llamado teoría de la información algorítmica, que tradicionalmente mide la complejidad de un objeto preguntando cuánta información se necesita para describirlo. Los investigadores en este estudio se hicieron una nueva pregunta: ¿qué pasaría si midiéramos la complejidad no contra una computadora perfecta y teórica, sino contra el modelo de inteligencia artificial específico que realiza el trabajo? Se dieron cuenta de que, para valorar verdaderamente la contribución de un humano, debemos tener en cuenta el propio proceso de "pensamiento" de la máquina. Los modelos modernos a menudo se detienen a generar una cadena de razonamiento antes de dar una respuesta, y un buen prompt podría evitar que la máquina tenga que pensar durante tanto tiempo, o podría dirigir ese pensamiento en una dirección más productiva.

Los investigadores desarrollaron una nueva forma de medir este valor tratando al prompt como una herramienta que reduce el esfuerzo requerido para que la máquina tenga éxito. Imaginaron un escenario donde una máquina intenta recrear un resultado específico, como una demostración matemática, primero por su cuenta y luego con la pista de un humano. Midieron la diferencia no solo por cuánto más probable era que la máquina obtuvera la respuesta correcta, sino por cuánto "tiempo de pensamiento" ahorró. En su marco de trabajo, los pasos de razonamiento interno de la máquina se tratan como un camino aleatorio que debe recorrer. Un prompt valioso es aquel que hace que el camino correcto sea mucho más corto o mucho más obvio, reduciendo efectivamente el número de pasos que la máquina necesita dar para encontrar la solución. Definieron este valor en términos de un "costo de tokens", que es una forma de contar el esfuerzo computacional que la máquina emplea. Si un prompt hace que el trabajo de la máquina sea el doble de fácil, tiene un cierto valor; si hace que el trabajo sea mil veces más fácil, el valor es mucho mayor.

Para probar sus ideas, el equipo realizó una serie de experimentos utilizando un conjunto estándar de problemas matemáticos de nivel escolar. Le pidieron a un modelo de lenguaje de gran tamaño que resolviera estos problemas, dándole a veces el primer paso de la solución como una pista y otras veces dejándolo empezar desde cero. Descubrieron que simplemente observar la probabilidad de que el modelo obtuviera la respuesta correcta no era suficiente. En varios casos, suministrar el primer paso correcto inicialmente hacía que la respuesta final pareciera menos probable al principio, porque el modelo aún no había iniciado su proceso de razonamiento. Sin embargo, una vez que se le permitió al modelo "pensar" y generar sus propios pasos de razonamiento, la pista resultó ser increíblemente valiosa. Guió el proceso de pensamiento del modelo de manera tan efectiva que alcanzó la respuesta correcta mucho más rápido y con mucho menos esfuerzo de lo que lo habría hecho por su cuenta. Esto demostró que el verdadero valor de un prompt reside a menudo en cómo moldea el razonamiento interno de la máquina, no solo en las palabras inmediatas que produce.

El estudio también reveló que el valor de un prompt no es un número único y fijo. Depende del camino específico que tome la máquina. A veces una pista ayuda a la máquina en la mayoría de las situaciones, pero en casos raros, podría llevarla por un callejón sin salida. Los investigadores descubrieron que, al observar el resultado "mediano" —el resultado típico en lugar del mejor o el peor caso—, podían obtener una medida fiable de valor. Descubrieron que, para algunos problemas, una pista correcta de un humano era en realidad perjudicial o inútil para el modelo específico que estaban probando, lo que sugiere que lo que parece una buena idea para una persona puede ser redundante o confuso para una inteligencia artificial. Esto resalta que el valor de la entrada humana está profundamente ligado a la máquina específica con la que está hablando y a la forma en que esa máquina procesa la información.

En última instancia, este trabajo proporciona una forma riguroosa de cuantificar la contribución de un humano en una era en la que las máquinas realizan el trabajo pesado. Va más allá de la idea de que la máquina es la única creadora y reconoce que el papel del humano es proporcionar el camino eficiente a través del vasto espacio de posibilidades. Al medir cuánto ahorra un prompt en términos de tiempo de pensamiento y esfuerzo de la máquina, podemos comenzar a comprender el verdadero valor económico de la guía humana. Los investigadores demostraron que este valor puede calcularse y estimarse, ofreciendo una nueva lente a través de la cual ver la asociación entre el humano y la máquina. A medida que la inteligencia artificial se integre más en nuestras vidas, comprender el valor de los prompts que le damos será esencial para saber dónde se está realizando el verdadero trabajo y quién merece el crédito por los resultados.

Resumen Técnico: El Valor de un Prompt: Un Enfoque de la Complejidad de Kolmogorov Relativa a los LLM

1. Planteamiento del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLM) se vuelven centrales para la creación de artefactos valiosos (pruebas, código, diseños, hipótesis), surge una pregunta económica crítica: ¿Cómo medimos el valor de la entrada humana (el prompt) proporcionada al modelo?

Las métricas tradicionales, como el conteo de tokens, no logran capturar el valor porque un indicio corto puede ser decisivo, mientras que un prompt largo puede ser irrelevante. Una medida robusta debe satisfacer dos criterios:

Dificultad Comparativa: Debe comparar la dificultad de producir un artefacto $z$ con y sin el prompt $p$ .
Compensación Computacional: Debe tener en cuenta el hecho de que un modelo sin un prompt puede compensar "pensando" más tiempo. Por lo tanto, la medida debe cobrar por este esfuerzo computacional adicional, acreditando al prompt no solo por aumentar la probabilidad del resultado, sino por reducir el esfuerzo computacional requerido para encontrarlo.

La complejidad de Kolmogorov clásica es incomputable e ignora el tiempo de computación. Las variantes limitadas por recursos suelen ser difíciles de calcular. Además, la información mutua clásica no maneja naturalmente el proceso de "pensamiento" (Cadena de Pensamiento o Chain of Thought) inherente a los LLM modernos.

2. Metodología

El artículo propone una noción de complejidad de Levin-Kolmogorov probabilística relativa al LLM, denotada como $\tilde{pKt}$ , para definir el valor del prompt. El enfoque evoluciona desde modelos sin pensamiento hacia modelos con etapas de pensamiento explícitas.

2.1 LLMs sin Pensamiento (Calentamiento)

Para modelos autorregresivos que generan la salida directamente sin una etapa de pensamiento separada:

Complejidad Relativa al LLM: La máquina de Turing universal es reemplazada por el LLM específico $M$ . Un "programa" se define como una cadena binaria que representa la aleatoriedad de muestreo (un intervalo diedro) que obliga al modelo a producir una cadena específica $z$ .
Complejidad A-Priori: Para que esto sea eficientamente computable, el autor utiliza la log-probabilidad de la salida: $\tilde{K}_M(z|y) = -\log_2 P_M(z|y)$ .
Valor del Prompt: Definido como la diferencia en la complejidad a-priori: $\tilde{Val}_M(p; z) = \tilde{K}_M(z) - \tilde{K}_M(z|p)$ . Esto es equivalente a la razón de verosimilitud (Información Mutua Punto a Punto), indicando cuántas veces más probable es $z$ con el prompt $p$ que sin él.

2.2 LLMs con Pensamiento

Los LLM modernos suelen generar una "ruta de pensamiento" $H$ (Cadena de Pensamiento) antes de emitir el artefacto final $z$ . Esto introduce dos desafíos:

Aleatoriedad del Pensamiento: La ruta de pensamiento $H$ es estocástica. Promediar simplemente sobre todas las rutas posibles puede verse sesgado por caminos exitosos pero raros.
Ahorro de Computación: Un buen prompt podría no solo aumentar la probabilidad a un esfuerzo fijo; podría eliminar la necesidad de secuencias de pensamiento largas.

La Solución Propuesta:

Complejidad de Levin de Pensamiento Realizado: Para una ruta de pensamiento realizado fijo $H$ , la complejidad de $z$ se define minimizando la suma de la longitud de descripción (log-probabilidad de $z$ dado $H$ ) y el logaritmo del costo del prefijo de pensamiento.
$\tilde{Kt}^\kappa_M(z | y; H) := \min_{t} \left( -\log_2 P_M(z | y H_{\le t} \text{EOT}) + \log_2 \kappa(t) \right)$
Aquí, $\kappa(t)$ es una función de costo equivalente a tokens para $t$ tokens de pensamiento. La minimización sobre $t$ permite al modelo dejar de pensar temprano si la probabilidad de éxito es lo suficientemente alta como para compensar el costo.
Complejidad Probabilística ( $\tilde{pKt}$ ): Dado que $H$ es aleatorio, el autor define la complejidad como la mediana (o el $\delta$ -cuantil) de las complejidades de pensamiento realizado sobre muchos lanzamientos de muestreo. Esto evita la sensibilidad a caminos de pensamiento "afortunados" pero raros.
$\tilde{pKt}^\kappa_{M,\delta}(z | y) := \text{med}_\delta \left[ \tilde{Kt}^\kappa_M(z | y, H_y) \right]$
Valor del Prompt: El valor final es la diferencia en estas complejidades probabilísticas:
$\tilde{Val}^\kappa_{M,\delta}(p; z) = \tilde{pKt}^\kappa_{M,\delta}(z) - \tilde{pKt}^\kappa_{M,\delta}(z | p)$

3. Contribuciones Clave

Marco de Complejidad Relativa al LLM: El artículo adapta la complejidad de Kolmogorov y Levin a la arquitectura específica de los LLM, tratando al propio modelo como la máquina de referencia y su aleatoriedad de muestreo como la cinta del programa.
Manejo del "Pensamiento": Introduce un método novedoso para valorar prompts para modelos con Cadena de Pensamiento, tratando el pensamiento realizado como la cinta aleatoria y minimizando un objetivo de estilo Levin (longitud de descripción + log tiempo) sobre el prefijo de pensamiento.
Estimabilidad Eficiente: A diferencia de la complejidad de Kolmogorov limitada por recursos clásica, la medida propuesta es fácilmente estimable. El artículo proporciona un protocolo para estimar la mediana de la complejidad usando un número polinomial de lanzamientos, con límites de error de alta probabilidad.
Interpretación Económica (Costo de Token): El autor demuestra un teorema fundamental: $2^{\tilde{pKt}}$ $2^{\tilde{p K t}}$ corresponde exactamente al costo de token de la mediana para reproducir el artefacto en un experimento específico.
- Si un prompt tiene un valor de $b$ bits, significa que reproducir el artefacto sin el prompt típicamente cuesta $2^b$ veces más en unidades equivalentes a tokens que reproducirlo con el prompt.
Distinción de Trabajos Previos: El artículo aclara que, si bien el componente "sin pensamiento" se alinea con la Información Mutua Punto a Punto (PMI) y las puntuaciones recientes de "contribución humana" (por ejemplo, Xie et al.), el manejo explícito de la computación y el pensamiento es la contribución novedosa.

4. Resultados Experimentales

El autor evaluó la medida en 12 problemas del conjunto de datos GSM8K (problemas de matemáticas de nivel escolar) utilizando el modelo DeepSeek-R1-Distill-Qwen-1.5B.

El Pensamiento Revierte el Veredicto: En varios casos, suministrar un primer paso correcto (el prompt) inicialmente hizo que la respuesta final fuera menos probable en $t=0$ (sin pensamiento). Sin embargo, una vez incorporado el proceso de pensamiento, el valor del prompt se volvió positivo. Esto demuestra que una métrica de no-pensamiento, basada solo en la probabilidad, puede arrojar el veredicto cualitativo opuesto al de la métrica propuesta que considera el pensamiento.
Aceleración vs. Dirección: Los resultados distinguieron entre prompts que simplemente "aceleran" la computación (permitiendo al modelo alcanzar un buen estado más rápido, lo cual es valioso bajo costos de "pensamiento generado" pero menos bajo costos de "prefijo-prellenado") y prompts que "dirigen" al modelo hacia un estado fundamentalmente mejor (valiosos bajo ambas convenciones de costo).
Corrección $\neq$ Valor: Una solución parcial correcta de una referencia humana no siempre fue valiosa. En algunos casos, fue redundante o indujo continuaciones desfavorables, resultando en un valor de prompt negativo o insignificante.
Dependencia de la Distribución: El valor de un prompt varió significamente a través de diferentes cuantiles ( $\delta$ ) de la distribución de lanzamientos, indicando que un prompt puede ayudar a algunas "trayectorias de pensamiento" mientras dificulta otras.

5. Significado y Reivindicaciones

El artículo afirma proporcionar una medida del valor de un prompt que está teóricamente fundamentada, es fácilmente estimable y económicamente interpretable.

Fundamento Teórico: Une la teoría de la información algorítmica y la economía de los LLM, ofreciendo una definición formal de "valor" que tiene en cuenta tanto la verosimilitud como el esfuerzo computacional.
Significado Operativo: Al vincular la medida de complejidad con el costo de token de la mediana de reproducción, el artículo argumenta que el valor del prompt no es una métrica abstracta, sino un ahorro económico concreto.
Modestia: El autor establece explícitamente que la medida tasa la descripción del artefacto declarado. Si la definición del artefacto es defectuosa (por ejemplo, incluye ruido aleatorio), la medida de valor reflejará eso. También señalan que el marco actualmente valora un único prompt en un contexto fijo y aún no captura completamente el valor de las estrategias conversacionales adaptativas de múltiples turnos o el costo de formular la entrada humana.

En resumen, el artículo postula que en una era de generación de IA abundante, el valor de la contribución humana reside en la reducción de la carga computacional del modelo para lograr un resultado específico, y que esta reducción puede cuantificarse rigurosamente utilizando la complejidad de Levin relativa al LLM.