Resumo Técnico: Aprendizado de Controladores Contínuos Quantizados para Hardware Inteiro

Declaração do Problema

A implementação de políticas de aprendizado por reforço profundo (RL) para controle contínuo em hardware embarcado enfrenta restrições significativas de latência, consumo de energia e pegada de memória. Embora GPUs de alto desempenho ofereçam poder computacional, elas são frequentemente excessivas em termos de consumo energético para sistemas alimentados por bateria, como nano-/micro-UAVs, ou falham em atender aos requisitos de latência na ordem de microssegundos de loops de segurança crítica (ex: controle de plasma de fusão ou braços robóticos). Field-Programmable Gate Arrays (FPGAs) oferecem uma alternativa promissora para inferência de baixa latência e baixo consumo de energia; no entanto, sofrem com memória on-chip limitada e o alto custo de hardware da aritmética de ponto flutuante (FP32). Consequentemente, a implementação de redes neurais padrão em FP32 em FPGAs é ineficiente. Embora a Quantização Pós-Treinamento (PTQ) exista, ela frequentemente apresenta desempenho inferior comparado à Quantização-Aware Training (QAT), particularmente para modelos menores e configurações de baixa largura de bits. O desafio central é desenvolver um pipeline que aprenda políticas de controle contínuo diretamente em um regime de apenas inteiros e baixa precisão para permitir a implementação eficiente em FPGA sem sacrificar a qualidade do controle.

Metodologia

Os autores propõem um pipeline de aprendizado-para-hardware centrado em Quantization-Aware Training (QAT) para controle contínuo por RL, visando especificamente a inferência de apenas inteiros em FPGAs.

1. Framework de RL: O estudo utiliza algoritmos de ator-crítico off-policy, Deep Deterministic Policy Gradient (DDPG) e Soft Actor-Critic (SAC), treinados em cinco tarefas de controle contínuo do MuJoCo (Humanoid, Walker2d, Ant, HalfCheetah, Hopper).
2. Quantization-Aware Training (QAT):
   • Arquitetura: A rede da política é instanciada como uma rede FP32 padrão durante o treinamento, mas equipada com camadas de Quantize/De-Quantize (QDQ).
   • Mecanismo: Passos QDQ são inseridos na entrada, após cada ativação ReLU e antes da saída final. Esses passos simulam aritmética de inteiros através de escalonamento, arredondamento e clipping de valores FP32 para uma largura de bits alvo ($b$) e, em seguida, desquantizando-os de volta para FP32 para o cálculo do gradiente.
   • Diferenciabilidade: Um Estimador de Passagem Direta (Straight-Through Estimator - STE) é usado para retropropagar gradientes através da operação de arredondamento não diferenciável.
   • Escalonamento: As escalas de ativação são aprendidas via atualizações de gradiente (após um período de warm-up), enquanto as escalas de peso são fixas ao valor absoluto máximo da matriz de pesos.
   • Escopo: O estudo distingue entre quantizar o "core" (pesos e ativações internas), a entrada e a saída.
3. Estratégia de Seleção de Modelo: Um processo de seleção em três etapas é empregado para encontrar a configuração mais simples e amigável ao hardware que iguale o desempenho de FP32:
   • Determinar a largura de bits mínima do core ($b_{core}$) para pesos e ativações internas.
   • Selecionar a menor largura de camada oculta ($h$) que mantenha o desempenho.
   • Determinar a largura de bits de entrada necessária ($b_{in}$).
4. Síntese de Hardware: As políticas selecionadas são sintetizadas em um FPGA Artix-7 (XC7A15T) usando o compilador de fluxo de dados FINN. A síntese visa um clock fixo de 100 MHz, otimizando o throughput através do ajuste de elementos de processamento (PEs) e largura SIMD. A implementação é estritamente de apenas inteiros após a quantização inicial da entrada.

Principais Resultados

O estudo avalia o pipeline através de cinco ambientes MuJoCo, comparando políticas QAT contra baselines de precisão total (FP32) e um modelo de referência quantizado.

• Sensibilidade à Largura de Bits:
  • Políticas QAT podem alcançar paridade com FP32 (dentro de um desvio padrão) com larguras de bits do core tão baixas quanto 3 bits, e em alguns casos (ex: Ant, Hopper), 2 bits são suficientes.
  • A quantização da entrada é identificada como o principal gargalo; o alto erro de quantização na primeira camada degrada significativamente o desempenho, enquanto camadas mais profundas são mais resilientes a baixas larguras de bits.
  • A quantização da saída tem impacto mínimo no desempenho e é mantida em 8 bits para eficiência de hardware.
• Seleção de Modelo:
  • Os modelos selecionados (Tabela 1) utilizam larguras de camada oculta variando de 16 a 256 e larguras de bits do core de 2 ou 3 bits.
  • Apesar da redução agressiva, esses modelos convergem de forma semelhante aos baselines FP32 durante o treinamento (Figura 2).
• Robustez:
  • Políticas quantizadas exibem aumento de robustez ao ruído de entrada em comparação com baselines FP32. Quando ruído Gaussiano é injetado no espaço de estados, modelos QAT frequentemente igualam ou superam o desempenho de FP32. Os autores hipotetizam que isso se deve à discretização do espaço de estados durante o treinamento, o que força a política a permanecer estável entre bins de quantização adjacentes, atuando como uma regularização implícita.
• Desempenho de Hardware (Síntese em FPGA):
  • As políticas de baixa largura de bits selecionadas foram sintetizadas com sucesso em um FPGA Artix-7 de baixo custo.
    • Latência: Latências de inferência variam de 0,2 µs (Hopper) a 243,2 µs (HalfCheetah).
    • Energia: O consumo de energia por ação está na faixa de microjoules (ex: $6,5 \times 10^{-8}$ J para Hopper).
    • Comparação: Comparado a um modelo de referência de core de 8 bits (que frequentemente excedia a capacidade do FPGA ou exigia significativamente mais recursos), os modelos selecionados de baixa largura de bits alcançaram melhorias de ordens de magnitude na latência (até 1000x para Hopper) e reduções substanciais no uso de potência e recursos (LUTs, FFs, BRAM, DSPs).

Significância e Alegações

O artigo afirma demonstrar que o Quantization-Aware Training é um método viável e eficaz para implementar políticas de controle contínuo por RL em hardware de inteiros com recursos limitados.

• Viabilidade de Controle de Baixa Largura de Bits: Os autores mostram que tarefas de controle contínuo não requerem necessariamente aritmética de ponto flutuante de alta precisão. Políticas podem ser comprimidas para 2 ou 3 bits por peso e ativação mantendo a qualidade de controle comparável a redes de precisão total.
• Eficiência de Hardware: Ao evitar pipelines de ponto flutuante dispendiosos, o pipeline proposto permite a implementação de controladores de RL em FPGAs pequenos e de baixo consumo, com latências de microssegundos e custos de energia de microjoules, tornando-os adequados para sistemas autônomos operados por bateria.
• Robustez Inesperada: Uma descoberta notável é que o próprio processo de quantização pode aumentar a robustez ao ruído de sensores, sugerindo que políticas treinadas via QAT poderiam ser mais confiáveis em ambientes do mundo real com sensores imperfeitos.
• Limitações: Os autores observam modestamente que o estudo é atualmente limitado à simulação (MuJoCo) e ainda não aborda restrições de segurança do mundo real, segurança cibernética ou as características específicas de ruído de sensores físicos além da injeção analítica. Trabalhos futuros são propostos para testar em sistemas físicos e políticas baseadas em visão.