🤖 machine learning

Kilobyte Models: Neural Networks as a Seed and a Quantized Latent

Este artículo introduce los "Modelos de Kilobyte", una técnica de compresión que almacena redes neuronales como un vector latente cuantizado compacto y una semilla entera reproducible en lugar de pesos completos, permitiendo una eficiencia de almacenamiento extrema mientras mantiene una precisión comparable a la cuantización de pesos agresiva.

Autores originales: Sahil Rajesh Dhayalkar

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Sahil Rajesh Dhayalkar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enviar un plano masivo e intrincado de un robot a un amigo al otro lado del mundo. El plano es tan grande que tardaría días en enviarse por correo, y el buzón de tu amigo es diminuto. En el mundo de la inteligencia artificial, estos "planos" se llaman redes neuronales, y son los cerebros detrás de todo, desde filtros de fotos hasta coches autónomos. Normalmente, para enviar un cerebro, tienes que enviar cada uno de los números que lo hacen funcionar —millones o incluso miles de millones de ellos. Este es un gran problema para dispositivos como relojes inteligentes o teléfonos que tienen un espacio de almacenamiento limitado o conexiones de internet lentas.

Durante mucho tiempo, los científicos intentaron resolver esto reduciendo los números en sí (haciéndolos menos precisos) o eliminando los que parecían menos importantes. Pero hay una forma diferente de pensarlo: en lugar de enviar el plano completo, ¿qué pasaría si solo enviaras una pequeña "receta" o un código secreto? Si tu amigo tiene un conjunto estándar de herramientas (un generador aleatorio) y la receta, puede reconstruir exactamente el mismo robot en su propia cocina. Esta idea se basa en el hecho de que los cerebros de IA no necesitan realmente miles de millones de números únicos para funcionar; a menudo se esconden en un espacio mucho más pequeño y simple. La gran pregunta es: ¿Podemos encoger un cerebro de IA gigante al tamaño de unos pocos mensajes de texto sin perder su inteligencia?

Este artículo presenta un nuevo y astuto método llamado "Modelos de Kilobytes" que intenta hacer exactamente eso. En lugar de almacenar los pesos reales (los números que hacen que la IA pienza), el autor propone almacenar solo dos cosas diminutas: una "semilla" aleatoria (como un número inicial para un juego) y un vector "latente" muy corto y comprimido (una pequeña lista de instrucciones). Cuando la IA necesita ejecutarse, el dispositivo utiliza la semilla para regenerar el enorme "andamiaje" aleatorio que necesita, y luego utiliza la pequeña lista de instrucciones para retocar ese andamiaje hasta convertirlo en el cerebro final.

Los investigadores descubrieron que este enfoque funciona sorprendentemente bien. En sus experimentos, lograron encoger una red neuronal a solo unos pocos kilobytes —aproximadamente el tamaño de un mensaje de texto corto— manteniendo casi la misma inteligencia que la original. Por ejemplo, comprimieron un modelo que reconoce números escritos a mano (MNIST) a solo 2 KB y todavía acertó el 98.6% de las respuestas. Aún más impresionante, demostraron que este método es mucho mejor para manejar la compresión extrema que los métodos tradicionales. Mientras que un modelo de IA estándar podría colapsar y volverse inútil si intentas encogerlo a 4 bits (una cantidad de datos muy pequeña), su "Modelo de Kilobytes" se mantuvo fuerte y preciso.

El artículo también exploró el uso de esto como un "delta" o una actualización diminuta para una IA gigante ya preentrenada. Imagina que tienes una IA súper inteligente que lo sabe todo sobre animales, y quieres que aprenda específicamente sobre gatos. En lugar de enviar todo el nuevo cerebro, simplemente envías un "parche" de 4 KB (la semilla y el pequeño vector latente) que le dice al cerebro gigante cómo cambiar su enfoque. Este parche era miles de veces más pequeño que el modelo completo, pero aun así permitió que la IA aprendiera la nueva tarea de manera efectiva.

Sin embargo, el autor tiene cuidado en señalar que esto no es una varita mágica para todo. El método funciona mejor cuando la "receta" (el vector latente) es lo suficientemente grande como para contener las instrucciones necesarias; si la tarea es demasiado difícil o la receta demasiado pequeña, la IA se confunde un poco. Además, aunque el archivo que envías es diminuto, la computadora todavía tiene que reconstruir el cerebro completo en su memoria para ejecutarlo, por lo que no hace que la computadora funcione más rápido, solo hace que sea más fácil de transportar. Finalmente, este truco funciona actualmente para redes de IA estándar, pero aún no ha sido probado en los masivos "Modelos de Lenguaje Extensos" que impulsan a los chatbots.

En resumen, el artículo sugiere que, al cambiar el almacenamiento de millones de números por una semilla diminuta y una lista corta de instrucciones, podemos ajustar poderosos cerebros de IA en espacios tan pequeños como unos pocos kilobytes. Es como darse cuenta de que no necesitas enviar toda la biblioteca a un amigo; solo necesitas enviarle un número de libro específico y algunas notas, y ellos pueden imprimir el libro exacto que necesitan usando su propia impresora.

Resumen Técnico: Modelos de Kilobytes

Planteamiento del Problema

Los costes de almacenamiento y transmisión de las redes neuronales entrenadas escalan linealmente con su recuento de parámetros, lo que crea un cuello de botella crítico para despliegues con restricciones de ancho de banda, tales como dispositivos de borde (edge devices), actualizaciones por aire (over-the-air) y adaptadores escalados masivamente. Mientras que las técnicas de compresión estándar (poda, cuantización, factorización de bajo rango, destilación) reducen la descripción de los tensores de pesos, estas siguen requiriendo el almacenamiento de una parte significativa del conjunto de parámetros original. El autor identifica la necesidad de un paradigma de compresión extrema donde el artefacto desplegable no sean los pesos en sí mismos, sino una "receta" compacta para regenerarlos.

Metodología

El artículo introduce los Modelos de Kilobytes, un marco que representa una red neuronal como una semilla entera determinista y un vector latente cuantizado corto. Este enfoque se basa en las Redes de Mapeo (Sen y Mukherjee 2026), que expresan los pesos de la red como una función no lineal de un vector latente compacto y entrenable y una base aleatoria fija.

Mecanismo Central

Reparametrización: En lugar de optimizar los pesos $\theta$ directamente, el modelo optimiza un vector latente $z \in \mathbb{R}^d$ (donde $d \ll P$ , siendo $P$ el recuento total de parámetros). Los pesos se generan mediante una función de mapeo $g(z)$ :
$g(z) = \sigma(W_0 z + \alpha \|z\|_2^2 \mathbf{1} + b_0)$
Aquí, $W_0$ es una matriz de proyección fija, $b_0$ es un centro de inicialización fijo y $\sigma$ es una no linealidad (tanh).
Regeneración Basada en Semilla: Los componentes fijos ( $W_0$ y $b_0$ ) no se almacenan. En su lugar, se regeneran de forma determinista a partir de una semilla entera $s$ utilizando una base aleatoria reproducible y por bloques. Esto permite al receptor reconstruir la matriz de proyección completa sin almacenarla, siempre que posea la semilla.
Composición del Artefacto: El artefacto desplegable $A$ $A$ consiste en:
- Semilla ( $s$ ): Un entero de 64 bits (8 bytes) utilizado para regenerar la base.
- Latente Cuantizado ( $Q_b(z^*)$ ): El vector latente entrenado cuantizado a $b$ bits.
- Parámetros de Normalización ( $\theta_{norm}$ ): Un pequeño conjunto de parámetros afines de normalización (escala/desplazamiento) almacenados íntegramente, ya que se encuentran fuera del rango del mapa de generación.
Generación de Base Escalable: Para manejar redes donde la matriz de proyección excede la memoria del dispositivo, el autor emplea una estrategia de generación por bloques, construyendo la matriz fila por fila utilizando un generador pseudoaleatorio sembrado por una combinación de la semilla maestra y el índice del bloque, evitando la materialización completa de la matriz.
Ajuste Fino (Fine-Tuning) como un Delta: El marco se extiende al ajuste fino tratando el vector latente como un adaptador comprimido. El mapa genera un desplazamiento desde una base preentrenada congelada ( $\theta_{ft} = \theta_{pre} + W_0 z$ ), requiriendo únicamente la transmisión de la semilla y el delta cuantizado.

Regímenes de Entrenamiento

Entrenamiento de Vector Latente Único (SLVT): Un único vector latente genera todos los parámetros.
Entrenamiento por Capas (LWT): Se asignan vectores latentes separados a cada capa, permitiendo un control más fino y una asignación del presupuesto latente proporcional a la dificultad de la capa.
Estrategias de Cuantización: El artículo evalúa tanto la Cuantización Post-Entrenamiento (PTQ) como el Entrenamiento con Conciencia de Cuantización (QAT), donde el latente se ajusta finamente con redondeo simulado para sobrevivir a la reducción agresiva del ancho de bits.

Contribuciones Clave

Formalización del Modelo de Kilobytes: El autor define un artefacto desplegable cuyo tamaño está determinado por la dimensión latente $d$ y el ancho de bits $b$ en lugar del recuento de parámetros $P$ , formalizando la relación entre almacenamiento y capacidad.
Base Sembrada Escalable: Introducción de una base aleatoria reproducible por bloques que permite la regeneración de pesos para redes grandes sin requerir que la matriz de proyección resida en la memoria.
Adaptación de Ajuste Fino: Extensión de la parametrización para crear adaptadores de tamaño de kilobytes para modelos preentrenados, ofreciendo una alternativa hipercomprimida a los métodos estándar de ajuste fino eficiente en parámetros.
Validación Empírica: Demostración de que los modelos de Kilobytes pueden igualar la precisión de las redes agresivamente cuantizadas ocupando una fracción del espacio de almacenamiento.

Resultados Experimentales

El autor evaluó el enfoque en Redes Neuronales Convolucionales (CNN), LSTMs y Perceptrones Multicapa (MLP) a través de varios conjuntos de datos (MNIST, FashionMNIST, Beijing Air Quality, HIGGS, Covertype, Oxford-IIIT Pets).

Compresión Extrema: Un modelo mapeado de 4 bits logró un 98.6% de precisión en MNIST utilizando solo 2 KB de almacenamiento (una reducción de 26 $\times$ respecto a la línea base cuantizada).
Tareas de Regresión: En una tarea de regresión de series temporales, un modelo QAT de 4 bits logró un MSE de 0.00061 utilizando solo 140 bytes, aproximadamente 370 $\times$ más pequeño que el modelo de precisión completa.
Eficiencia de Ajuste Fino: Al realizar el ajuste fino de una ResNet-50 en el conjunto de datos Oxford-IIIT Pets, un adaptador QAT de 4 bits alcanzó un 88.4% de precisión en tan solo 4 KB. En contraste, una ResNet-50 completa comprimida a PTQ de 4 bits colapsó a un 2.9% de precisión.
Comparación con SOTA: El adaptador de Kilobytes superó a VeRA (un método de ajuste fino eficiente en parámetros) bajo presupuestos estrictos de kilobytes (4 KB frente a 13.9 KB para una precisión similar). Aunque LoRA y VeRA lograron una mayor precisión con presupuestos de almacenamiento más grandes (hasta 0.6 MB), el modelo de Kilobytes mantuvo un rendimiento superior en el régimen de almacenamiento ultra bajo.
Impacto de la Cuantización: Se encontró que el Entrenamiento con Conciencia de Cuantización (QAT) es crítico para mantener la precisión en anchos de bits bajos (4 bits), mientras que la Cuantización Post-Entrenamiento (PTQ) sufrió caídas significativas de rendimiento.

Significación y Reivindicaciones

El artículo afirma que los modelos de Kilobytes representan una estrategia poderosa para despliegues con restricciones de ancho de banda al desacoplar el tamaño de almacenamiento de un modelo de su recuento de parámetros. Al trasladar la carga de la compresión enteramente a un espacio latente compacto y aprovechar bases aleatorias reproducibles, el autor demuestra que los modelos pueden almacenarse y transmitirse en kilobytes manteniendo una alta precisión.

El autor posiciona este trabajo como un complemento, y no un reemplazo, de las técnicas de compresión estándar. Mientras que los métodos estándar reducen los tensores de pesos, los modelos de Kilobytes evitan representar el conjunto completo de pesos durante la optimización por completo. El marco es particularmente significativo para escenarios donde el tamaño de almacenamiento es la restricción limitante (por ejemplo, actualizaciones por aire para dispositivos de borde), ofreciendo una reducción de 5 a 160 $\times$ en el tamaño del artefacto en comparación con el ajuste fino completo o los métodos estándar de ajuste fino eficiente en parámetros, aunque con una ligera compensación de precisión en conjuntos de datos complejos.

Limitaciones Reconocidas:

Cómputo de Inferencia: El método no comprime la latencia de inferencia ni el uso de memoria, ya que los pesos se regeneran como valores de punto flotante densos antes de la inferencia.
Cuello de Botella de Capacidad: La precisión está limitada por la dimensión latente $d$ , lo que provoca ligeras brechas de rendimiento en comparación con las redes completas en conjuntos de datos más difíciles.
Dependencia: El ajuste fino requiere que el modelo preentrenado base esté presente en el dispositivo de despliegue.
Alcance de la Arquitectura: La implementación actual no se extiende a Transformers o Modelos de Lenguaje Extensos (LLMs).