Resumo Técnico: Controladores de Pesos Sem Peso Diferenciáveis (DWCs)

Declaração do Problema

O controle de sistemas autônomos em condições do mundo real frequentemente exige políticas que possam ser avaliadas com baixa latência e consumo mínimo de energia. Redes neurais profundas (DNNs) padrão, embora eficazes para tarefas de controle contínuo via aprendizado por reforço (RL), dependem de operações de multiplicação-acumulação (MAC) computacionalmente intensivas. Isso as torna ineficientes para plataformas embarcadas com recursos limitados, como UAVs e robôs móveis, e até mesmo subótimas para GPUs de alto desempenho em comparação com alternativas de baixa precisão.

Soluções existentes, como a quantização pós-treinamento (PTQ) ou o treinamento com consciência de quantização (QAT), visam primariamente o aprendizado supervisionado estático ou espaços de ação discretos. Elas frequentemente têm dificuldade em manter o desempenho em configurações de controle contínuo, onde os estados de entrada e as ações de saída são valores reais, e pequenos erros de controle podem se acumular ao longo do tempo. Além disso, as DNNs padrão operam como "caixas pretas", oferecendo interpretabilidade limitada sobre quais características de entrada impulsionam decisões de controle específicas.

Metodologia

Os autores introduzem os Controladores de Pesos Sem Peso Diferenciáveis (DWCs), uma arquitetura simbólico-diferenciável que substitui multiplicações de matrizes densas por lógica booleana esparsa. Os DWCs são projetados para serem treinados de ponta a ponta via aprendizado por reforço baseado em gradiente, mas compilam diretamente para circuitos compatíveis com FPGA.

Arquitetura Central

O pipeline de inferência do DWC consiste em três estágios principais:

1. Codificação de Entrada: Observações de valor real são normalizadas (limitadas a $[-10, 10]$) e convertidas em vetores binários usando codificação de termômetro. Para uma entrada $x$, limiares $\tau_1 < \dots < \tau_B$ são definidos (baseados em quantis de Gauss estendida), e a codificação $E(x)$ produz um vetor de bits onde os bits são definidos como 1 se $x \ge \tau_i$.
2. Camadas Lógicas: Os vetores binários são processados por camadas de Tabelas de Busca (LUTs). Cada LUT atua como um neurônio com $k$ entradas binárias e uma saída de um único bit. Ao contrário das redes sem peso tradicionais, a conectividade (quais bits de entrada alimentam cada LUT) é treinável via estimativa de passagem direta (straight-through estimation). As LUTs armazenam tabelas de verdade binárias, realizando lógica booleana sem operações aritméticas.
3. Decodificação de Saída: A camada final produz saídas binárias que são agrupadas por dimensão de ação. Uma operação de popcount soma os bits em cada grupo. Este som inteiro é então mapeado para um valor de ação contínuo através de uma transformação afim treinável (escala e viés) e, para o Soft Actor-Critic (SAC), uma ativação $\tanh$ final.

Mecanismo de Treinamento

Os DWCs utilizam Redes Sem Peso Diferenciáveis (DWNs) como base. Para permitir o treinamento baseado em gradiente em estruturas discretas:

• Gradientes Substitutos: Os autores empregam um estimador de Diferença Finita Estendida (EFD) para aproximar gradientes através das operações discretas de LUT.
• Interconexões Treináveis: Enquanto as DWNs anteriores apenas aprendiam a conectividade da primeira camada, este trabalho estende as interconexões treináveis para camadas subsequentes para melhorar a capacidade de representação.
• Integração com RL: A rede de política é instanciada como um DWC, enquanto as redes auxiliares (críticos, cabeças de ruído) em algoritmos como SAC permanecem como redes de ponto flutuante padrão.

Contribuições Principais

1. Arquitetura Simbólico-Diferenciável: A extensão das DWNs de classificação para controle contínuo, permitindo a síntese de políticas de controle que são circuitos digitais em vez de funções de valor real.
2. Treinamento e Desempenho: Demonstração de que os DWCs podem ser treinados com sucesso usando algoritmos de RL padrão (SAC, DDPG, PPO), alcançando retornos competitivos com baselines de precisão total e redes neurais quantizadas de baixa precisão em cinco benchmarks do MuJoCo.
3. Eficiência de Hardware: Os DWCs compilam para hardware FPGA com latência de poucos ou um único ciclo de clock e custo de energia na ordem de nanojoules por ação, sendo ordens de magnitude mais eficientes que os baselines quantizados.
4. Interpretabilidade: A conectividade esparsa e discreta permite a inspeção direta da política, revelando quais dimensões de entrada e limiares influenciam as decisões de controle.

Resultados Experimentais

Os autores avaliaram os DWCs em cinco ambientes MuJoCo: Ant, HalfCheetah, Hopper, Humanoid e Walker2d.

• Desempenho: Em quatro das cinco tarefas (Ant, Hopper, Humanoid, Walker2d), os DWCs alcançaram retornos medianos comparáveis aos baselines de precisão total (FP) e superiores ou equivalentes aos redes neurais de baixa precisão quantizadas.
  • O HalfCheetah apresentou um desafio; os DWCs padrão (1024 LUTs/camada) alcançaram retornos menores (7.5k) do que os baselines FP (11.5k). No entanto, uma variante de alta capacidade (16.384 LUTs/camada) fechou essa lacuna, alcançando ~10.3k, sugerindo que a tarefa é limitada pela capacidade.
• Robustez ao Ruído: Os DWCs demonstraram perfis de robustez ao ruído comparáveis aos de redes quantizadas e geralmente equivalentes ou superiores aos baselines FP sob ruído Gaussiano injetado.
• Síntese de Hardware (FPGA): Sintetizados em um FPGA AMD Xilinx Artix-7 a 100 MHz:
  • Latência: 1–3 ciclos de clock (vs. 21–24.000 ciclos para baselines quantizados).
  • Throughput: Até $10^8$ ações por segundo.
  • Energia: ~2 nanojoules por ação (vs. $10^{-5}$ a $10^{-8}$ Joules para baselines).
  • Recursos: Os DWCs não exigiram recursos de DSP ou BRAM, baseando-se apenas em LUTs e Flip-Flops.
• Análise de Interpretabilidade: A análise de conectividade revelou que os DWCs identificam consistentemente dimensões de entrada específicas (ex: velocidade do torso em Humanoid) como críticas, enquanto ignoram dimensões irrelevantes. A densidade de conexão foi mais alta em torno do limiar zero normalizado, com uma distribuição bimodal observada em várias tarefas.

Significância e Limitações

O artigo afirma que os DWCs oferecem um caminho viável para o controle de baixa latência e eficiência energética para dispositivos de borda sem sacrificar o desempenho do RL padrão. Ao substituir multiplicações de matrizes por lógica booleana esparsa, os DWCs unem a flexibilidade das redes neurais com a eficiência dos circuitos lógicos.

Os autores observam uma limitação significativa: o custo computacional de treinamento. Devido às relaxações necessárias para o treinamento baseado em gradiente (gradientes substitutos e aprendizado de interconexão), o processo de treinamento é computacionalmente caro e atualmente viável apenas em ambientes simulados, não interativamente no dispositivo.

O trabalho posiciona-se como um passo em direção a políticas de controle interpretáveis e nativas de hardware, distintas de trabalhos anteriores que focam em poda (pruning) ou quantização de redes baseadas em pesos existentes.