💬 NLP

Cost-of-Pass: An Economic Framework for Evaluating Language Models

Este artículo presenta un marco económico llamado "costo de paso" para evaluar la productividad de los modelos de lenguaje combinando precisión y costos de inferencia, revelando que la innovación complementaria en diferentes tipos de modelos y técnicas de presupuesto consciente son los principales impulsores de la eficiencia económica y el progreso en tareas cuantitativas y de conocimiento.

Autores originales: Mehmet Hamza Erol, Batu El, Mirac Suzgun, Mert Yuksekgonul, James Zou

Publicado 2026-02-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mehmet Hamza Erol, Batu El, Mirac Suzgun, Mert Yuksekgonul, James Zou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que las Inteligencias Artificiales (IA) son como máquinas de hacer pasteles en una gran fábrica.

Antes, solo nos importaba una cosa: ¿Qué tan delicioso es el pastel? (Es decir, ¿qué tan inteligente es la respuesta de la IA?). Pero el artículo que me has pasado, escrito por investigadores de Stanford, dice: "¡Espera! Eso no es suficiente. También tenemos que preguntar: ¿Cuánto nos cuesta hacer ese pastel?".

Aquí te explico las ideas clave de este paper usando analogías de la vida real:

1. El concepto principal: "El Costo de Acierto" (Cost-of-Pass)

Imagina que necesitas resolver un problema difícil, como arreglar un motor de coche o resolver un acertijo matemático complejo.

La vieja forma de medir: Decías: "¡Mira, el robot A acertó el 90% de las veces! ¡Es el mejor!". Pero no te fijaste en que el robot A gasta 100 dólares en electricidad por cada intento.
La nueva forma (Costo de Acierto): Esta métrica te dice: "¿Cuánto dinero tengo que gastar en promedio para obtener UNA respuesta correcta?".
- Si un robot barato falla muchas veces, tienes que pagarle muchas veces hasta que acierte. Eso lo hace caro a la larga.
- Si un robot muy caro acierta siempre, quizás sea barato a la larga porque solo tienes que pagarle una vez.

Es como comprar zapatos: Unos muy baratos que se rompen en dos días son más caros que unos un poco más caros que duran años.

2. La "Frontera de Eficiencia": ¿Quién es el rey del ahorro?

Los autores crearon un mapa llamado "Frontera de Costo de Acierto". Imagina una carrera donde compiten diferentes modelos de IA y también un experto humano (como un tutor de matemáticas o un científico).

La meta: Encontrar quién puede resolver el problema al precio más bajo posible.
El hallazgo sorprendente: No hay un "mejor" para todo. Depende del tipo de tarea:
- Tareas sencillas (como sumar 2+2): ¡Ganan los modelos pequeños y ligeros! Son como un scooter eléctrico: rápidos, baratos y perfectos para ir a la tienda. No necesitas un camión gigante para eso.
- Tareas de conocimiento (como historia o ciencia): Aquí ganan los modelos grandes. Son como bibliotecas ambulantes. Necesitas que tengan mucha información guardada.
- Tareas muy difíciles (como matemáticas de olimpiadas): Aquí ganan los modelos de razonamiento. Son como detectives que piensan mucho antes de hablar. Aunque son más caros por hora, su capacidad de pensar les permite resolver cosas que los otros no pueden, ahorrando dinero al evitar intentos fallidos.

3. La evolución: ¿Estamos mejorando?

Los autores miraron lo que ha pasado en el último año (de mayo 2024 a febrero 2025) y descubrieron algo increíble: El costo de resolver problemas difíciles se está reduciendo a la mitad cada pocos meses.

Es como si la tecnología de los coches se volviera el doble de eficiente cada año. Lo que antes costaba 100 dólares en tiempo y dinero de un humano, ahora lo hace una IA por una fracción de eso.

4. El truco de los "atajos" (Técnicas de inferencia)

A veces, para que una IA sea más inteligente, le pedimos que:

Piense varias veces (como si un humano releyera su trabajo).
Pida opinión a varios robots y elija la mayoría (como un jurado).

El paper dice: "¡Cuidado!". A menudo, estos trucos gastan tanto dinero y tiempo que no valen la pena. Es como contratar a 5 personas para revisar un documento cuando una sola persona ya lo hubiera hecho bien. La única excepción es una técnica inteligente llamada TALE-EP, que sabe cuándo parar de gastar dinero, y esa sí funciona bien.

5. La lección final: Innovación vs. Trucos

La conclusión más importante es que la verdadera magia no está en los trucos de última hora, sino en crear mejores modelos desde el principio.

No gastes dinero en trucos complejos si el modelo base es malo.
La forma más barata de obtener buenos resultados es tener un modelo que ya sea bueno y eficiente por diseño.

En resumen

Este paper nos dice que para usar la IA en el mundo real (en empresas, hospitales, escuelas), no debemos solo mirar "qué tan inteligente es", sino "qué tan rentable es".

Para tareas simples, usa lo barato y rápido.
Para tareas complejas, usa lo que piensa bien, aunque sea un poco más caro.
Y sobre todo, no gastes dinero en trucos complicados si un modelo mejor resuelto desde el principio es la solución más económica.

Es como decir: "No compres un martillo de oro para clavar un clavo, y no uses un martillo de madera para romper una roca. Usa la herramienta correcta para el trabajo, y verás que tu dinero rinde más".

1. El Problema

La adopción generalizada de los Modelos de Lenguaje (LMs) en la economía depende de que el valor económico generado supere sus costos de inferencia. Sin embargo, las métricas de evaluación actuales se centran casi exclusivamente en la precisión o capacidades del modelo, ignorando el costo monetario. Esto crea una visión incompleta del progreso, ya que no permite determinar si un modelo más potente justifica su mayor costo computacional o si una técnica de inferencia (como la votación mayoritaria) ofrece un beneficio económico real. Los intentos anteriores de incorporar costos han utilizado presupuestos fijos o métricas heurísticas, lo que limita su generalidad e interpretabilidad económica.

2. Metodología y Marco Teórico

Los autores proponen un marco económico fundamentado en la teoría de la eficiencia productiva de Farrell (1957) y las funciones de producción estocásticas de Aigner et al. (1977). Adaptan estos conceptos al comportamiento estocástico de los LMs.

Conceptos Clave:

Costo de Aprobación (Cost-of-Pass, $v(m, p)$ ): Se define como el costo monetario esperado para generar una solución correcta para un problema $p$ dado un modelo $m$ .
$v(m, p) = \frac{C_m(p)}{R_m(p)}$
Donde $C_m(p)$ es el costo esperado por intento de inferencia y $R_m(p)$ es la probabilidad de obtener una respuesta correcta. Si la probabilidad es cero, el costo es infinito.
Costo de Aprobación Fronterizo (Frontier Cost-of-Pass, $V_p$ ): Representa el costo mínimo de aprobación alcanzable utilizando cualquier modelo disponible en el ecosistema actual o un experto humano.
$V_p(M \cup M_0) = \min(V_p(M), v(\text{experto}, p))$
Esto establece un punto de referencia contra el costo de contratar a un experto humano para resolver el mismo problema.
Análisis Contrafactual: Para entender qué familias de modelos son esenciales para el progreso, los autores calculan el "costo fronterizo contrafactual" eliminando una familia de modelos específica (ej. modelos ligeros, grandes o de razonamiento) y midiendo el impacto en el costo total.

Configuración Experimental:

Modelos: Se evaluaron tres categorías: Modelos Ligeros (<$1/M tokens), Modelos Grandes (GPT-4o, Claude 3.5, Llama-405B) y Modelos de Razonamiento (o1, o3-mini, DeepSeek-R1).
Tareas: Se analizaron tres categorías: Cuantitativas Básicas (aritmética, GSM8K), Basadas en Conocimiento (GPQA-Diamond, BBQ) y Cuantitativas Complejas (MATH-500, AIME 2024).
Línea Base Humana: Se estimó el costo de un experto humano basándose en tarifas horarias de mercado y tiempo requerido por tarea (ej. $100/hora para GPQA, $15/hora para BBQ).
Técnicas de Inferencia: Se evaluaron técnicas como auto-refinamiento, votación mayoritaria y TALE-EP (técnica consciente del presupuesto).

3. Contribuciones Clave

Nueva Métrica Económica: Introducción del "Costo de Aprobación" como una métrica unificada que integra rendimiento y costo, permitiendo comparar modelos de manera económica en lugar de solo técnica.
Definición de la Frontera Económica: Establecimiento de una frontera de costo mínima que incluye tanto a los LMs como a los expertos humanos, proporcionando un límite superior realista de eficiencia.
Análisis de Nichos Económicos: Demostración de que diferentes familias de modelos dominan diferentes tipos de tareas en términos de eficiencia de costos, lo cual no es evidente al mirar solo la precisión.
Evaluación de Técnicas de Inferencia: Un análisis riguroso que muestra que muchas técnicas de mejora de rendimiento (como la votación mayoritaria) a menudo aumentan el costo total sin justificar económicamente las ganancias marginales de precisión.

4. Resultados Principales

Nichos de Eficiencia por Tarea:
- Tareas Cuantitativas Básicas: Los modelos ligeros son los más rentables debido a su bajo costo por token, ya que todos los modelos alcanzan alta precisión en estas tareas.
- Tareas Basadas en Conocimiento: Los modelos grandes (no necesariamente de razonamiento) ofrecen el mejor equilibrio costo-rendimiento.
- Tareas Cuantitativas Complejas: Los modelos de razonamiento (a pesar de ser más caros por token) reducen drásticamente el costo de aprobación total debido a sus altas tasas de éxito, superando a modelos más baratos que fallan frecuentemente.
Progreso Temporal:
- El costo fronterizo ha disminuido exponencialmente en el último año.
- Para tareas cuantitativas complejas (como AIME y MATH), el costo esperado de una solución correcta se ha reducido a la mitad aproximadamente cada 2.6 a 7.1 meses.
Contribución Esencial de las Familias de Modelos (Análisis Contrafactual):
- La innovación en modelos ligeros fue crucial para reducir costos en tareas básicas.
- Los modelos grandes fueron esenciales para tareas de conocimiento.
- Los modelos de razonamiento fueron el motor principal de la eficiencia en tareas cuantitativas complejas. Sin ellos, la frontera de costos para estas tareas sería significativamente más alta.
Impacto de Técnicas de Inferencia:
- Técnicas orientadas al rendimiento como el auto-refinamiento y la votación mayoritaria (con $k=3$ o $4$) rara vez ofrecen beneficios económicos netos; el costo adicional de tokens no se compensa con la mejora marginal en precisión.
- La técnica TALE-EP (consciente del presupuesto) mostró algunos beneficios prometedores en ciertas tareas, sugiriendo que la gestión dinámica de recursos es más efectiva que simplemente aumentar la computación.

5. Significado e Implicaciones

Este trabajo cambia el paradigma de evaluación de LMs de una perspectiva puramente técnica (precisión) a una perspectiva económica integral.

Toma de Decisiones: Proporciona a los desarrolladores y empresas una herramienta cuantitativa para seleccionar el modelo correcto basándose en el ROI (Retorno de Inversión) específico para su tipo de tarea, en lugar de asumir que "más grande es mejor".
Dirección de la Investigación: Sugiere que las innovaciones a nivel de modelo (arquitectura, entrenamiento) son los principales impulsores de la eficiencia de costos, mientras que las técnicas de inferencia de prueba (test-time) deben ser evaluadas cuidadosamente para evitar gastos innecesarios.
Sostenibilidad Económica: Al demostrar que los costos están disminuyendo rápidamente, el marco valida la viabilidad económica de desplegar LMs en aplicaciones de alto volumen, siempre que se elija la estrategia de modelo adecuada para la tarea.

En resumen, el marco "Cost-of-Pass" ofrece una base principista para medir el progreso de la IA no solo por lo que puede hacer, sino por cuánto cuesta hacerlo correctamente, alineando el desarrollo de modelos con la viabilidad económica real.