Resumo Técnico: HiReLC – Aprendizado por Reforço Hierárquico para Compressão de Redes Neurais

1. Definição do Problema

Redes neurais profundas, particularmente os Vision Transformers (ViTs), enfrentam desafios significativos de implantação em plataformas de recursos limitados devido à alta contagem de parâmetros, pegada de memória e latências de inferência. Embora existam técnicas de compressão atuais, como heurísticas estáticas, atribuição de precisão mista de disparo único (one-shot) e otimização de objetivo único, elas frequentemente falham em capturar dependências entre camadas e carecem de refinamento adaptativo durante o ajuste fino (fine-tuning). Além disso, abordagens de Aprendizado por Reforço (RL) para compressão historicamente lutaram contra a alta variância em grandes espaços de ação, granularidade grosseira e falta de orientação sensível à sensibilidade.

O artigo aborda a necessidade de um framework de propósito geral, agnóstico à arquitetura, capaz de otimizar conjuntamente a poda estruturada (structured pruning) e a quantização de precisão mista, enquanto navega pelos complexos compromissos entre a redução do tamanho do modelo e a retenção de precisão.

2. Metodologia: O Framework HiReLC

O HiReLC (Hierarchical Reinforcement Learning for Neural Network Compression) é um framework de RL de conjunto hierárquico de dois níveis projetado para decompor o espaço de busca de compressão. O sistema é agnóstico à arquitetura no nível do controlador, baseando-se em uma abstração de camada modular para desacoplar o ambiente de RL de topologias de rede específicas.

2.1 Estrutura de Agentes Hierárquicos

O framework emprega dois níveis distintos de agentes:

• Agentes de Alto Nível (HLAs): Estes agentes operam no nível da rede para coordenar a alocação global de orçamento. Eles atribuem um "Orçamento de Camada" (LayerBudget) a cada bloco compressível, determinando frações de tamanho retido alvo ($R_i$), limites de poda e limites de largura de bits. Os HLAs utilizem estimativas de sensibilidade baseadas em Informação de Fisher para guiar a alocação de orçamento, garantindo que blocos com alta sensibilidade recebam compressão mais leve.
• Agentes de Baixo Nível (LLAs): Operando independentemente por bloco, os LLAs refinam os orçamentos globais em configurações específicas por kernel. Eles selecionam de um espaço de ação multi-discreto quadridimensional para cada kernel:
  1. Largura de bits ($b_{i,k}$): Selecionando níveis de precisão.
  2. Razão de manutenção ($\rho_{i,k}$): Determinando a fração de canais de saída a serem retidos (poda estruturada).
  3. Tipo de Quantização ($\tau_{i,k}$): Escolhendo entre Inteiro (INT) e Ponto Flutuante (FLOAT).
  4. Granularidade ($\mu_{i,k}$): Selecionando entre esquemas uniformes, de domínio logarítmico, por canal ou de magnitude de sinal aprendida.

2.2 Aprendizado de Conjunto (Ensemble) e Consenso

Para mitigar a variância inerente ao RL em grandes espaços discretos, o HiReLC utiliza uma abordagem de ensemble.

• Ensemble de LLA: Múltiplas políticas paralelas (combinando PPO e A2C) são treinadas com pesos de recompensa heterogêneos (variando a ênfase entre precisão vs. compressão). Uma ação de consenso é derivada via votação ponderada, misturando estratégias conservadoras, moderadas e agressivas para produzir uma configuração robusta.
• Ensemble de HLA: Da mesma forma, um ensemble de HLAs propõe alocações de orçamento, com o orçamento final determinado por votação majoritária ou agregação por média aritmética.

2.3 Aprendizado Ativo e Modelagem de Surrogato

Para lidar com o custo computacional de avaliar cada configuração candidata via ajuste fino pós-compressão completo, o HiReLC integra um loop de aprendizado ativo iterativo:

• Proxy Logit-MSE: Durante a fase de "cold-start" (antes de dados suficientes serem coletados), um proxy leve baseado no Erro Quadrático Médio (MSE) entre os logits do modelo comprimido e o modelo de referência é usado para estimar a retenção de precisão.
• Surrogato MLP: Uma vez que um número mínimo de configurações é avaliado, um surrogato MLP (Perceptron Multicamadas) leve é treinado nos dados coletados para prever a precisão. Este surrogato é usado para a modelagem de recompensa (reward shaping) durante a otimização do RL, enquanto o ajuste fino completo é reservado para avaliações finais de ciclo.
• Loop Iterativo: O processo alterna entre otimização de política de RL, aplicação de configuração, ajuste fino e atualizações do surrogato.

2.4 Formulação de Recompensa

As funções de recompensa são projetadas para equilibrar precisão, compressão e estabilidade:

• Recompensas de LLA: Incluem termos para retenção de precisão ($R_{acc}$), ganho de compressão ($R_{comp}$), conformidade de orçamento ($R_{budget}$) e estabilidade ($R_{stab}$). Uma penalidade de sensibilidade ($P_{sens}$) é aplicada para desencorajar a compressão agressiva em blocos altamente sensíveis.
• Recompensas de HLA: Focam em equilibrar a heterogeneidade entre blocos ($R_{bal}$), alocação consciente da sensibilidade ($R_{sens}$), aderência ao alvo global ($R_{global}$) e feedback dinâmico baseado no desempenho do ciclo anterior ($R_{dyn}$).

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Framework HiReLC: Um framework de RL de conjunto hierárquico agnóstico à arquitetura para a otimização conjunta de poda estruturada e quantização de precisão mista. Ele alcança razões de compressão de armazenamento de parâmetros de 5,99–6,72× em quatro arquiteturas (DeiT-Small, CLIP ViT-B/32, ResNet18, MobileNetV2) com quedas de precisão variando de 0,55% a 5,62%, e até um ganho de precisão de 3,83% em uma configuração específica.
2. Orientação Sensível à Sensibilidade: A integração de escores de sensibilidade de Informação de Fisher em ambos os níveis hierárquicos. Isso garante que blocos críticos recebam compressão mais leve sem exigir avaliações adicionais de tempo de busca, propagando a importância do bloco baseada em gradiente através da modelagem de recompensa e correção de ação.
3. Aprendizado Ativo Aumentado por Surrogato: Um loop iterativo que intercala a otimização de RL com o ajuste fino pós-compressão. Ao utilizar um surrogato MLP leve e um proxy de logit-MSE, o framework amortiza as avaliações caras, permitando estudos práticos de nível de framework dentro de um número limitado de ciclos.

4. Resultados Experimentais

Experimentos foram conduzidos em CIFAR-10/100 e Tiny ImageNet em Vision Transformers e CNNs.

• Desempenho de Compressão: O framework consistentemente alcançou razões de compressão entre 5,99× e 6,72× (equivalente a uma redução de tamanho de modelo de 83,3%–85,1%).
• Impacto na Precisão:
  • CLIP ViT-B/32 no CIFAR-100: Alcançou a menor queda de 0,55% com 6,63× de compressão.
  • CLIP ViT-B/32 no CIFAR-10: Demonstrou um ganho de precisão de 3,83% (de 89,22% para 93,05%), atribuído à compressão atuando como um regularizador para modelos sobre-parametrizados.
  • ResNet18 e MobileNetV2 no Tiny ImageNet: Mostraram quedas de 4,22% e 5,62%, respectivamente, refletindo os desafios de comprimir arquiteturas menores e já compactas em conjuntos de dados mais difíceis.
• Estudos de Ablação:
  • Remover o HLA (usando orçamentos uniformes) levou à sobre-compressão e uma queda de precisão significativamente maior (6,80% vs. 1,72% para o sistema completo).
  • Usar um ensemble A2C homogêneo resultou em compromissos menos estáveis do que o ensemble misto PPO/A2C.
  • A orientação de sensibilidade de Fisher melhorou a retenção de precisão em 1,30 pontos percentuais e produziu atribuições de orçamento por bloco mais diferenciadas.
• Precisão Mista: Experimentos permitindo a seleção por kernel de tipos INT/FLOAT e granularidade de escala logarítmica resultaram em quedas de precisão menores em comparação com configurações INT uniformes, sugerindo que a flexibilidade auxilia na recuperação.

5. Significância e Alegações

O artigo posiciona o HiReLC como uma escolha de design prática para compressão conjunta de redes neurais, enfatizando os seguintes pontos:

• Espaço de Busca Unificado: Diferente de métodos anteriores que visam eixos de compressão únicos (poda ou quantização) ou dependem de heurísticas estáticas, o HiReCl otimiza ambos conjuntamente, aproveitando as sinergias entre a poda estruturada e a quantização de precisão mista.
• Agnóstico à Arquitetura: O framework consegue comprimir diversas famílias de modelos (Transformers, CLIP, ResNets, MobileNets) sem exigir o redesenho do controlador específico da arquitetura.
• Consciência de Sensibilidade: O uso de Informação de Fisher permite que o sistema identifique e proteja automaticamente componentes sensíveis da rede, melhorando o compromisso entre precisão e compressão.
• Praticidade: Ao utilizar modelos de surrogato e aprendizado ativo, o framework reduz a carga computacional do RL para compressão, tornando-o viável para explorar grandes espaços de configuração sem a necessidade de ajuste fino exaustivo de cada candidato.

Os autores observam que, embora as razões de compressão alcançadas sejam significativas, os resultados são dependentes de contexto (ex: avaliados em CIFAR/Tiny ImageNet em vez de ImageNet-1K nas tabelas principais) e assumem armazenamento estruturado empacotado. O framework é apresentado como um ponto de partida para cenários de implantação onde o tamanho do modelo é a restrição primária, com trabalhos futuros necessários para otimizar métricas de latência e energia específicas de hardware.