Resumo Técnico: Compressão de Realização Mínima Empírica de Redes Neurais Profundas via Testes de Controlabilidade–Observabilidade

1. Definição do Problema

Redes neurais profundas (DNNs) frequentemente exibem uma redundância substancial em seus estados ocultos, contudo, a maioria das técnicas de compressão existentes opera diretamente sobre os pesos, neurônios ou precisão numérica sem caracterizar explicitamente o papel dinâmico dos estados internos. Métodos padrão, como poda (pruning), quantização e fatoração de baixo posto (low-rank), muitas vezes falham em responder a uma questão fundamental de espaço de estados: quais direções do estado oculto são realmente excitadas pela distribuição dos dados e quais dessas direções são relevantes para a saída? Consequentemente, esses métodos podem reduzir a contagem de parâmetros ou o armazenamento, mas não reduzem necessariamente a ordem efetiva do estado oculto ou a latência de inferência densa associada a camadas largas.

2. Metodologia

O artigo propõe um framework de teoria de controle para redução de ordem de estado empírica, tratando uma DNN feedforward treinada como um sistema dinâmico não linear indexado por profundidade.

2.1 Formulação de Espaço de Estados

A rede é modelada como uma sequência de transições não lineares:
$$h_{\ell+1} = f_\ell(h_\ell), \quad z = g(h_L)$$
onde $h_\ell$ representa o estado oculto na camada $\ell$, e $z$ denota os logits de saída. O input $x$ é tratado como o estado inicial $h_0$. O objetivo é estimar a "ordem do estado oculto útil"—o número de direções ocultas que são simultaneamente alcançáveis a partir dos dados e observáveis na saída.

2.2 Testes Empíricos A/B/C

Os autores introduzem três testes por camada baseados em Gramianos empíricos derivados de snapshots de estados ocultos e Jacobianos de saída:

• Teste A (Alcançabilidade/Reachability): Mede quais direções ocultas são excitadas pelos dados de entrada. Ele computa o Gramiano de alcançabilidade empírico ($G_{c,\ell}$) como a covariância dos snapshots de estados ocultos centralizados. O posto é determinado pela energia espectral necessária para capturar a variância induzida pelos dados.
• Teste B (Observabilidade/Observability): Mede quais direções ocultas influenciam os logits de saída. Ele computa o Gramiano de observabilidade empírico ($G_{o,\ell}$) usando os Jacobianos de saída ($J_\ell = \partial z / \partial h_\ell$) em relação aos estados ocultos. O posto reflete direções que afetam significativamente a saída do classificador.
• Teste C (Equilibrado Alcançável–Observável): Combina ambos os critérios para identificar direções que são simultaneamente alcançáveis a partir da distribuição de dados e observáveis através da saída. Ele constró constrói uma matriz equilibrada $B_\ell = G_{c,\ell}^{1/2} G_{o,\ell} G_{c,\ell}^{1/2}$. O posto C-equilibrado resultante ($r_\ell$) estima o número mínimo de estados ocultos necessários para preservar o comportamento de entrada-saída.

2.3 Redução Projetada vs. Realizada

Uma distinção crítica é feita entre dois modos de redução:

1. Redução Projetada: Mapeia estados ocultos para coordenadas de menor dimensão usando bases aprendidas. Isso diagnostica a redundância, mas retém os pesos originais da rede completa e as bases de projeção, falhando em reduzir o armazenamento ou a latência de inferência densa.
2. Compressão Realizada: Utiliza os postos C-equilibrados ($r_\ell$) diretamente como as larguras reais das camadas ocultas de uma nova arquitetura de DNN compacta. Esta nova rede é treinada do zero ou via destilação de conhecimento, resultando em uma redução genuína de parâmetros e de ordem de estado.

3. Principais Contribuições

• Formulação Baseada em Estado: O artigo formula DNNs feedforward como sistemas de espaço de estados não lineares indexados por profundidade, definindo "ordem do estado oculto" como uma quantidade distinta e relevante para a compressão, separada da contagem de parâmetros.
• Framework de Controlabilidade–Observabilidade Empírica: Propõe testes A/B/C baseados em dados para estimar as dimensões úteis dos estados ocultos por camada usando Gramianos empíricos e Jacobianos.
• Compressão C-Equilibrada Realizada: Introduz um método onde os postos C-equilibrados estimados são convertidos nas larguras físicas de uma nova rede compacta, unindo o gap entre a redução de modelo teórica e o design de arquitetura implantável.
• Avaliação Abrangente: O método é testado contra redução baseada em projeção, poda estruturada/não estruturada, SVD de baixo posto, quantização INT8 dinâmica e baselines lineares no MNIST e CIFAR-10.

4. Resultados Experimentais

O framework foi avaliado em DNNs totalmente conectadas com ativação SiLU treinadas no MNIST e CIFAR-10.

4.1 Resultados MNIST

• Compressão: Uma DNN de 4 camadas com uma ordem de estado total de 1024 foi reduzida para uma ordem de estado de 277 (72,95% de compressão de estado).
• Parâmetros: A contagem de parâmetros caiu de 400.906 para 106.323 (73,48% de compressão, aprox. 3,77$\times$ redução).
• Acurácia: O modelo C-equilibrado realizado alcançou 95,45% de acurácia, comparado a 96,60% do modelo completo (uma queda de 1,15 ponto percentual).
• Latência: A latência de inferência permaneceu comparável à do modelo completo devido à redução nas dimensões das matrizes densas.

4.2 Resultados CIFAR-10

• Compressão: Uma DNN maior com uma ordem de estado total de 4608 foi reduzida para 1339 (70,94% de compressão de estado).
• Parâmetros: A contagem de parâmetros diminuiu de 9,97M para 1,69M (83,09% de compressão, aprox. 5,91$\times$ redução).
• Acurácia: O modelo realizado preservou a acurácia em 54,44%, virtualmente idêntica aos 54,45% do modelo completo.
• Latência: A latência de inferência CUDA foi reduzida em aproximadamente 3,0$\times$ (de 0,001582 ms/amostra para 0,000525 ms/amostra).

4.3 Comparação com Baselines

• Poda (Pruning): A poda não estruturada (50%) manteve a acurácia, mas não reduziu a ordem do estado ou a latência densa. A poda estruturada para os postos C-equilibrados sem ajuste fino (fine-tuning) falhou (34,50% de acurácia), mas com ajuste fino, ela se recuperou para 91,75% (MNIST) ou 55,22% (CIFAR-10), sugerindo que os postos C-equilibrados fornecem dimensões alvo válidas.
• SVD: O baixo posto SVD (fração de 0,5) causou degradação significativa na acurácia (85,50% no MNIST, 39,06% no CIFAR-10), indicando que a fatoração de peso local por camada não preserva a geometria não linear de entrada-saída tão efetivamente quanto a abordagem C-equilibrada baseada em estado.
• Quantização: A quantização INT8 reduziu o armazenamento, mas deixou a ordem do estado e a largura da arquitetura inalteradas.

5. Significância e Alegações

O artigo alega que os postos equilibrados de alcançabilidade-observabilidade fornecem um critério de realização mínima empírica principiado para o design de arquiteturas de redes compactas.

• Ponte Teórica: O trabalho conecta a redução de modelo da teoria de controle (especificamente a truncamento equilibrado/balanced truncation) com a compressão de redes neurais, adaptando Gramianos empíricos para sistemas não lineares baseados em dados.
• Utilidade Prática: Diferente dos métodos baseados em projeção que apenas diagnosticam a redundância, o método "realizado" proposto converte esses diagnósticos em redes menores e implantáveis, com menos parâmetros e menor latência.
• Foco na Ordem do Estado: Os resultados demonstram que uma compressão significativa pode ser alcançada ao visar a ordem do estado oculto (a dimensão das representações internas) em vez de apenas a contagem de pesos, muitas vezes com pouca ou nenhuma perda de acurácia.
• Modéstia sobre Limitações: Os autores reconhecem que os postos são empíricos e dependentes de dados, carecendo de limites de erro teóricos de pior caso para sistemas não lineares. Eles também observam o custo computacional para estimar os Gramianos de observabilidade e a necessidade de retreinar a arquitetura comprimida. Os experimentos atuais focam em redes totalmente conectadas para fornecer um cenário controlado, com extensões para CNNs e Transformers mencionadas como trabalhos futuros.

Em resumo, o artigo argumenta que, ao visualizar as DNNs através da lente da controlabilidade e observabilidade, é possível identificar e remover direções de estados ocultos redundantes que não são excitadas pelos dados ou que são irrelevantes para a saída, permitendo assim a construção de redes neurais eficientes e de alto desempenho.