💻 computer science

What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training

Este artículo demuestra que, si bien la variación de las convenciones contables para el conteo de parámetros y cómputo altera significativamente los exponentes ajustados de la frontera de entrenamiento óptimo de cómputo, el impacto práctico resultante en la eficiencia del entrenamiento es modesto debido a la planitud del paisaje de pérdida, siendo las elecciones contables específicas predecibles a partir de proporciones arquitectónicas simples.

Autores originales: Alexander Memming

Publicado 2026-07-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Alexander Memming

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando hornear el pastel perfecto, pero no tienes una receta. Sabes que el sabor depende de dos cosas: cuánta harina usas (el tamaño del pastel) y cuánto tiempo lo horneas (la cantidad de tiempo). En el mundo de la inteligencia artificial, los científicos están tratando de encontrar la "receta" perfecta para entrenar a gigantescas computadoras con cerebros similares a los humanos llamadas Transformers. Quieren saber: si tengo una cantidad fija de dinero para gastar en electricidad y tiempo de computación, ¿debería construir un cerebro diminuto y alimentarlo con una montaña de datos, o un cerebro enorme y alimentarlo con solo un poco?

Para resolver esto, los investigadores tienen que hacer algunas matemáticas. Cuentan los "ingredientes" (el tamaño del cerebro) y el "esfuerzo" (el trabajo de la computadora). Pero aquí está la parte truculenta: al igual que un panadero podría contar las "tazas de harina" de forma diferente dependiendo de si incluye el peso del tazón o solo la harina misma, los científicos de IA cuentan los "ingredientes" y el "esfuerzo" de diferentes maneras. Algunos cuentan cada una de las partes del cerebro, mientras que otros solo cuentan las partes principales del pensamiento. Algunos cuentan las operaciones matemáticas puras, mientras que otros cuentan los segundos reales que la computadora tarda en trabajar. Durante años, todos asumieron que estas diferentes formas de contar no importaban mucho porque los cerebros que estudiaban eran tan enormes que los trozos extra eran insignificantes. Pero, ¿y si estás horneando un pequeño cupcake en lugar de un gigante pastel de bodas? ¿Cambia de repente la receta la forma en que cuentas los ingredientes?

Este artículo, escrito por el investigador independiente Alexander Memming, hace exactamente esa pregunta. El autor decidió dejar de adivinar y empezar a medir. En lugar de mirar modelos de IA masivos y costosos que solo las grandes empresas pueden permitirse, Memming construyó una cuadrícula de 35 modelos de IA más pequeños y manejables. Los entrenó a todos con el mismo texto educativo, usando las mismas reglas, pero analizó los resultados cuatro veces diferentes, cambiando únicamente cómo contaba el "tamaño" y el "costo".

Los hallazgos son un poco como descubrir que tu báscula de cocina te está mintiendo, pero solo cuando pesas cantidades pequeñas. El artículo encontró que cuando usas la forma antigua y simple de contar (que ignora la "cabecera de salida" del cerebro), las matemáticas sugieren que deberías construir un modelo que es aproximadamente 19 veces más pequeño de lo que un recuento más preciso sugiere. En otras palabras, dependiendo de qué "regla" uses, la receta recomendada cambia drásticamente. El exponente —un número que te dice qué tan rápido debe crecer el modelo— cambió de 0.25 a 0.42 simplemente al cambiar el método de contabilidad. Esta es una diferencia enorme, lo que sugiere que dos científicos mirando exactamente las mismas ejecuciones de entrenamiento podrían publicar "recetas óptimas" completamente diferentes simplemente porque usaron diferentes definiciones para sus números.

Sin embargo, hay un giro que hace esto menos aterrador para cualquiera que esté construyendo estos modelos. Aunque las recetas parecían muy diferentes en el papel, los pasteles sabían casi lo mismo. El autor encontró que el "valle" del mejor rendimiento es muy plano. Esto significa que si sigues la receta equivocada (la basada en el método de conteo antiguo y simple), no desperdiciarás todo tu presupuesto. Podrías desperdiciar aproximadamente un 18% de tu capacidad de cómputo, pero el resultado final sigue siendo muy cercano al mejor resultado posible. El artículo concluye que, si bien debemos ser muy cuidadosos sobre cómo reportamos nuestros números para que los científicos puedan comparar manzanas con manzanas, el costo práctico de errar ligeramente en la contabilidad es sorprendentemente pequeño. La receta "perfecta" es un objetivo algo móvil, pero el rango de recetas "suficientemente buenas" es mucho más amplio de lo que pensábamos.

Resumen Técnico: ¿Qué cuenta como cómputo? Un análisis empírico de las convenciones contables en el entrenamiento de Transformers óptimos en cómputo

Planteamiento del problema
Derivar una receta de entrenamiento óptima en cómputo para los transformers implica dos elecciones críticas, aunque a menudo implícitas: definir el "tamaño del modelo" (qué cuenta como un parámetro) y definir el "cómputo" (qué cuenta como el costo de entrenamiento). Los dos estudios más citados en este dominio, Kaplan et al. [2020] y Hoffmann et al. [2022], tomaron decisiones divergentes: el primero contaba solo los parámetros no pertenecientes a los embeddings, mientras que el segundo contaba el total de parámetros. Ambos se basaron en la aproximación $C \approx 6ND$ (donde $N$ son los parámetros y $D$ los tokens), ignorando el costo computacional de la proyección softmax de salida y los mecanismos de atención.

Si bien estas aproximaciones son válidas para modelos de escala de frontera (por ejemplo, GPT-3, Chinchilla) donde los sobrecostos de los embeddings y de la cabeza de salida son insignificantes, fallan en las escalas menores accesibles para la investigación académica y de menor escala. En estas escalas, la proyección de salida puede consumir la mayor parte de los FLOPs de entrenamiento, y los parámetros de los embeddings pueden dominar el recuento de parámetros. Este artículo pregunta: ¿Cuánto se desplaza la frontera reportada como óptima en cómputo (específicamente el exponente $a$ en $N^* \propto C^a$ y la relación de tokens por parámetro) cuando cambia la convención contable, manteniendo fijos los experimentos de entrenamiento subyacentes? Además, ¿cuál es la pérdida práctica incurrida al seguir una convención subóptima?

Metodología
Los autores realizaron un barrido empírico controlado para aislar el efecto de las convenciones contables.

Familia de modelos: Se entrenaron 35 transformers de solo decodificador (decoder-only) sobre FineWeb-Edu. Los modelos variaron de 0.056M a 5.98M de parámetros no pertenecientes a los embeddings ( $N_{ne}$ ), con anchuras $d \in \{48, \dots, 288\}$ y profundidades vinculadas a la anchura ( $L = \max(2, d/48)$ ).
Vocabulario y cómputo: Los experimentos se ejecutaron con dos tamaños de vocabulario BPE ( $V=2048$ y $V=8192$ ) para variar la proporción de los sobrecostos de embedding/cabezal de salida por un factor de 16. El cómputo de entrenamiento varió a través de un rango de 5.8 veces.
Controles: Para eliminar los factores de confusión identificados en estudios de escalado previos (por ejemplo, Porian et al. [2024]), los autores calibraron las tasas de aprendizaje mediante su propio barrido, igualaron los esquemas de coseno a las duraciones de ejecución, aseguraron que no hubiera repetición de datos y utilizaron optimizadores y tokenizadores consistentes.
Cuatro convenciones contables: Los mismos 35 experimentos fueron analizados bajo cuatro definiciones diferentes de tamaño ( $N$ $N$ ) y costo ( $C$ $C$ ):
1. K (Kaplan): $N = N_{ne}$ , $C = 6N_{ne}D$ .
2. H (Hoffmann): $N = N_{tot}$ (parámetros totales), $C = 6N_{tot}D$ .
3. F (FLOP exacto): $N = N_{ne}$ , $C = C_{exact}$ (incluyendo multiplicaciones de matrices de atención y softmax de salida).
4. W (Tiempo de reloj/Wall-clock): $N = N_{ne}$ , $C = C_{sec}$ (medido en tiempo de dispositivo).
Análisis: Los autores ajustaron una superficie de pérdida aditiva estándar ( $L = E + A/N^\alpha + B/D^\beta$ ) a los datos y derivaron la frontera óptima en cómputo para cada convención. También derivaron una relación de forma cerrada que predice el desplazamiento de los exponentes basándose en dos elasticidades computables únicamente desde la arquitectura.

Resultes clave

Magnitud del desplazamiento: Cambiar la convención contable en el mismo conjunto de datos causó que el exponente ajustado $a$ variara significámicamente, oscilando entre 0.25 y 0.42. La proporción de tokens por parámetro implícita se desplazó por un factor de 19 entre las convenciones.
Dominancia de la "Cabeza": El principal motor de la discrepancia en escalas pequeñas no es la atención, sino la proyección softmax de salida. En los modelos más pequeños ( $d=48, V=8192$ ), la cabeza de salida consume el 83% de los FLOPs de entrenamiento, haciendo que la aproximación $6ND$ subestime el costo real hasta en un 8.5×.
Precisión predictiva: Una relación de forma cerrada derivada de dos elasticidades ( $\kappa_c$ y $\gamma_c$ ) predijo con éxito los exponentes ajustados para tres de las cuatro convenciones dentro de un margen de 0.105 respecto al ajuste numérico. Esto confirma que el desplazamiento es una consecuencia aritmética determinista de la elección de contabilidad, no ruido.
Ordenamiento: Las convenciones ordenaron consistentemente como $a_H < a_K < a_F$ (donde $H$ es parámetros totales, $K$ es no-embedding con $6ND $, y$ F$ es FLOP exactos), coincidiendo con las predicciones teóricas.
Costo práctico (La asimetría): A pesar del gran desacuerdo en los exponentes reportados y las proporciones óptimas, el costo práctico de seguir la convención "incorrecta" es modesto. Debido a que el valle de pérdida IsoFLOP es plano, seguir una recomendación subóptima desperdicia como máximo un 18% del presupuesto de cómputo (0.031 nats por token). Las tres convenciones basadas en FLOP estuvieron dentro de un 5% entre sí en términos de equivalencia de cómputo.

Significado y Reivindicaciones
El artículo sostiene que los exponentes de la frontera óptima en cómputo reportados no son comparables entre estudios a menos que se especifique explícitamente la convención contable utilizada (definición de parámetros y métrica de costo). La divergencia es mayor precisamente en el régimen donde suelen realizarse los experimentos de escalado académico, donde las proporciones de sobrecostos no son despreciables.

Sin embargo, el artículo es modesto respecto a los valores absolutos de los exponentes, señalando que estos son propiedades de los datos, la arquitectura y el protocolo de optimización específicos, no constantes universales. La contribución principal es estructural:

Proporciona una regla de conversión (Ec. 12) que permite a los investigadores traducir exponentes entre convenciones.
Ofrece un diagnóstico (verificar si $a+b=1$ ) para identificar si un estudio asumió la aproximación $6ND$.
Demuestra que, si bien las elecciones de contabilidad crean grandes discrepancias numéricas en las métricas reportadas, el paisaje de pérdida es suficientemente plano como para que la penalización práctica por estas discrepancias sea pequeña.

Los autores concluyen que el campo debe reportar explícitamente las convenciones contables para asegurar la reproducibilidad y comparabilidad, pero que los practicantes no deben entrar en pánico por desviaciones menores en las recetas recomendadas, ya que el "valle óptimo en cómputo" es permisivo.

Más como este