Sumário Técnico: Modelos de Kilobytes

Declaração do Problema

Os custos de armazenamento e transmissão de redes neurais treinadas escalam linearmente com a contagem de seus parâmetros, criando um gargalo crítico para implantações com restrição de largura de banda, como dispositivos de borda (edge), atualizações over-the-air e adaptadores em escala massiva. Embora as técnicas de compressão padrão (poda, quantização, fatoração de baixo posto, destilação) reduzam a descrição dos tensores de pesos, elas ainda exigem o armazenamento de uma parte significativa do conjunto de parâmetros original. O autor identifica a necessidade de um paradigma de compressão extrema onde o artefato implantável não é o próprio peso, mas uma "receita" compacta para regenerá-los.

Metodologia

O artigo introduz os Modelos de Kilobytes, um framework que representa uma rede neural como uma semente inteira determinística e um vetor latente curto e quantizado. Esta abordagem baseia-se em Redes de Mapeamento (Sen e Mukherjee 2026), que expressam os pesos da rede como uma função não linear de um vetor latente treinável compacto e uma base aleatória fixa.

Mecanismo Central

1. Reparametrização: Em vez de otimizar os pesos $\theta$ diretamente, o modelo otimiza um vetor latente $z \in \mathbb{R}^d$ (onde $d \ll P$, e $P$ é a contagem total de parâmetros). Os pesos são gerados via uma função de mapeamento fixa $g(z)$:
   $$g(z) = \sigma(W_0 z + \alpha \|z\|_2^2 \mathbf{1} + b_0)$$
   Aqui, $W_0$ é uma matriz de projeção fixa, $b_0$ é um centro de inicialização fixo e $\sigma$ é uma não-linearidade (tanh).
2. Regeneração Baseada em Semente: Os componentes fixos ($W_0$ e $b_0$) não são armazenados. Em vez disso, eles são regenerados deterministicamente de uma semente inteira $s$ usando uma base aleatória por blocos reproduzível. Isso permite que o receptor reconstrua a matriz de projeção completa sem armazená-la, desde que possua a semente.
3. Composição do Artefato: O artefato implantável $A$ consiste em:
   • Semente ($s$): Um inteiro de 64 bits (8 bytes) usado para regenerar a base.
   • Latente Quantizado ($Q_b(z^*)$): O vetor latente treinado quantizado para $b$ bits.
   • Parâmetros de Normalização ($\theta_{norm}$): Um pequeno conjunto de parâmetros afins de normalização (escala/deslocamento) armazenados literalmente, pois estão fora do alcance do mapa de geração.
4. Geração de Base Escalável: Para lidar com redes onde a matriz de projeção excede a memória do dispositivo, o autor emprega uma estratégia de geração por blocos. A matriz é construída linha por linha usando um gerador pseudoaleatório semeado por uma combinação da semente mestre e do índice do bloco, evitando a materialização total da matriz.
5. Fine-Tuning como um Delta: O framework se estende ao ajuste fino (fine-tuning) tratando o vetor latente como um adaptador comprimido. O mapa gera um deslocamento de uma base pré-treinada congelada ($\theta_{ft} = \theta_{pre} + W_0 z$), exigindo apenas a semente e o delta quantizado para serem transmitidos.

Regimes de Treinamento

• Treinamento de Vetor Latente Único (SLVT): Um único vetor latente gera todos os parâmetros.
• Treinamento por Camada (LWT): Vetores latentes separados são atribuídos a cada camada, permitindo um controle mais fino e alocação de orçamento latente proporcional à dificuldade da camada.
• Estratégias de Quantização: O artigo avalia tanto a Quantização Pós-Treinamento (PTQ) quanto o Treinamento Consciente de Quantização (QAT), onde o latente é ajustado finamente com arredondamento simulado para sobreviver à redução agressiva da largura de bits.

Principais Contribuições

1. Formalização do Modelo de Kilobyte: O autor define um artefato implantável cujo tamanho é determinado pela dimensão latente $d$ e largura de bit $b$, em vez da contagem de parâmetros $P$, formalizando o compromisso entre armazenamento e capacidade.
2. Base Semeada Escalável: Introdução de uma base aleatória por blocos e reproduzível que permite a regeneração de pesos para redes grandes sem exigir que a matriz de projeção resida na memória.
3. Adaptação de Fine-Tuning: Extensão da parametrização para criar adaptadores de tamanho de kilobyte para modelos pré-treinados, oferecendo uma alternativa hiper-comprimida aos métodos padrão de ajuste fino eficiente em parâmetros.
4. Validação Empírica: Demonstração de que os modelos de Kilobyte podem igualar a precisão de redes agressivamente quantizadas enquanto ocupam uma fração do espaço de armazenamento.

Resultados Experimentais

O autor avaliou a abordagem em Redes Neurais Convolucionais (CNNs), LSTMs e Perceptrons Multicamadas (MLPs) através de vários conjuntos de dados (MNIST, FashionMNIST, Beijing Air Quality, HIGGS, Covertype, Oxford-IIIT Pets).

• Compressão Extrema: Um modelo mapeado de 4 bits alcançou 98,6% de precisão no MNIST usando apenas 2 KB de armazenamento (uma redução de 26$\times$ sobre a linha de base quantizada).
• Tarefas de Regressão: Em uma tarefa de regressão de séries temporais, um modelo QAT de 4 bits alcançou um MSE de 0,00061 usando apenas 140 bytes, aproximadamente 370$\times$ menor que o modelo de precisão total.
• Eficiência de Fine-Tuning: Ao realizar o fine-tuning de uma ResNet-50 no conjunto de dados Oxford-IIIT Pets, um adaptador QAT de 4 bits atingiu 88,4% de precisão com apenas 4 KB. Em contraste, uma ResNet-50 completa comprimida para PTQ de 4 bits colapsou para 2,9% de precisão.
• Comparação com SOTA: O adaptador de Kilobyte superou o VeRA (um método de eficiência de parâmetros) em orçamentos estritos de kilobyte (4 KB vs. 13,9 KB para precisão similar). Embora o LoRA e o VeRA tenham alcançado maior precisão com orçamentos de armazenamento maiores (até 0,6 MB), o modelo de Kilobyte manteve um desempenho superior no regime de ultra-baixo armazenamento.
• Impacto da Quantização: O Treinamento Consciente de Quantização (QAT) foi considerado crítico para manter a precisão em baixas larguras de bits (4 bits), enquanto a Quantização Pós-Treinamento (PTQ) sofreu quedas significativas de desempenho.

Significância e Alegações

O artigo afirma que os modelos de Kilobyte representam uma estratégia poderosa para implantações com restrição de largura de banda ao desacoplar o tamanho de armazenamento de um modelo de sua contagem de parâmetros. Ao deslocar o fardo da compressão inteiramente para um espaço latente compacto e aproveitar bases aleatórias reproduzíveis, o autor demonstra que modelos podem ser armazenados e transmitidos em kilobytes mantendo alta precisão.

O autor posiciona este trabalho como um complemento, e não um substituto, para as técnicas de compressão padrão. Enquanto os métodos padrão diminuem os tensores de pesos, os modelos de Kilobyte evitam representar o conjunto total de pesos durante a otimização inteiramente. O framework é particularmente significativo para cenários onde o tamanho do armazenamento é a restrição limitante (ex: atualizações over-the-air para dispositivos de borda), oferecendo uma redução de 5 a 160$\times$ no tamanho do artefato em comparação com o ajuste fino total ou métodos padrão de eficiência de parâmetros, embora com um leve compromisso de precisão em conjuntos de dados complexos.

Limitações Reconhecidas:

• Cálculo de Inferência: O método não comprime a latência de inferência ou o uso de memória, pois os pesos são regenerados como valores de ponto flutuante densos antes da inferência.
• Gargalo de Capacidade: A precisão é limitada pela dimensão latente $d$, levando a pequenas lacunas de desempenho em conjuntos de dados mais difíceis em comparação com redes completas.
• Dependência: O ajuste fino requer que o modelo pré-treinado base esteja presente no dispositivo de implantação.
• Escopo de Arquitetura: A implementação atual não se estende a Transformers ou Grandes Modelos de Linguagem (LLMs).