KATANA: A Fast, Low-Power Mapping of Kalman Filters onto Edge NPUs for Real-Time Tracking

Resumo Técnico: KATANA – Um Mapeamento Rápido e de Baixo Consumo de Filtros de Kalman para NPUs de Borda

Declaração do Problema
A estimativa de estado em tempo real é o núcleo dos sistemas de rastreamento modernos, que variam desde aplicações de defesa (radar, orientação de mísseis, contra-UAV) até implementações civis de borda (direção autônoma, robótica). Esses sistemas operam sob restrições rigorosas: as medições devem ser fundidas dentro de milissegundos para fechar o loop de controle, e o processamento total deve caber dentro de envelopes térmicos e de bateria apertados. Atualmente, os Filtros de Kalman Linear e Estendido (LKF e EKF) — os estimadores dominantes para essas tarefas — executam quase exclusivamente em CPUs ou aceleradores customizados de FPGA/ASIC. A execução em CPU serializa o rastreamento de múltiplos objetos (MOT), limitando o throughput, enquanto aceleradores customizados aumentam os ciclos de design e a área de silício. Embora os SoCs de AI-PC modernos, como as séries Intel Core Ultra 1 e 2, integrem Unidades de Processamento Neural (NPUs) de baixo consumo ao lado de CPUs e GPUs, essas NPUs permanecem ociosas durante cargas de trabalho não neurais. O desafio central é que as NPUs são otimizadas para fluxos de dados de multiplicação e acumulação (MAC) densos; operações padrão de filtros de Kalman, envolvendo subtração, remodelagem (reshaping) e transposição, frequentemente forçam a execução para DSPs escalares ou exigem trocas de contexto dispendiosas, anulando os benefícios de eficiência da NPU.

Metodologia
O artigo apresenta o KATANA, um novo framework de otimização consciente de NPU projetado para mapear algoritmos LKF e EKF em NPUs comerciais de AI-PC sem a necessidade de silício customizado. A abordagem envolve a autoria dos filtros em PyTorch, exportação para ONNX e compilação via Intel OpenVINO 2024.5. Para garantir que 100% das operações executem no motor de matriz da Unidade de Processamento de Dados (DPU) da NPU, o KATANA aplica três reescritas algébricas de grafo específicas antes da compilação:

1. Reformulação de Subtração para Adição: A atualização de inovação ($y_k = z_k - H\hat{x}_{k|k-1}$) e outras etapas pesadas em subtração são reformuladas pela pré-computação de uma matriz de projeção negativa ($H_{neg} = -H$). Isso converte subtrações em adições ($y_k = z_k + H_{neg}\hat{x}_{k|k-1}$), permitindo que todo o caminho crítico utilize operações nativas de GEMM e Adição da DPU, eliminando a subtração limitada ao DSP.
2. Fusão de Tensores de Forma Estática: Operações de forma dinâmica (Reshape, Unsqueeze, Squeeze) e Transposições, que normalmente disparam fallbacks para DSP ou DMA, são eliminadas. O eixo de lote (batch axis) é reduzido para formas estáticas 1-D e 2-D, e todas as matrizes transpostas ($F^T, H^T, H_{neg}^T$) são pré-computadas e incorporadas ao grafo como constantes.
3. Paralelização em Lote de Diagonal de Bloco: Para abordar o rastreamento de múltiplos objetos, $N$ filtros independentes são agrupados em uma única chamada de inferência. As matrizes de sistema, medição, ruído e ganho são expandidas em formas de diagonal de bloco. Isso satura o pipeline de MAC da DPU ao aumentar a largura dos operandos, amortizando o overhead de despacho enquanto mantém a independência numérica entre os filtros.

Principais Contribuições

• Primeira Caracterização Cross-Platform: O artigo fornece a primeira avaliação abrangente de inferência LKF e EKF em CPU, GPU e NPU em duas gerações consecutivas de silício de AI-PC comercial (Intel Core Ultra Séries 1 e 2).
• Primeiro Mapeamento de Ponta a Ponta para NPU: Demonstra o primeiro mapeamento bem-sucedido de estimadores clássicos de processamento de sinais (LKF/EKF) em uma NPU comercial, alcançando 100% de utilização da DPU.
• Reescritas Algorítmicas: A introdução das três reescritas de grafo (eliminação de subtração, fusão de forma estática e loteamento por diagonal de bloco) que permitem a execução de 100% na DPU, removendo a necessidade de aceleradores dedicados.
• Validação em Tempo Real: O framework é validado em um fluxo de vídeo ao vivo, demonstrando que os filtros residentes na NPU podem operar dentro de orçamentos de latência estritos, deixando recursos de CPU e GPU livres para detecção e análises subsequentes.

Resultados
Experimentos conduzidos nas plataformas Intel Core Ultra Séries 1 e 2 produziram os seguintes resultados:

• Throughput: Na Série 2, o EKF em lote otimizado (processando 200 filtros) atinge 223,35 FPS, enquanto o LKF atinge 408,73 FPS. Isso representa um aumento significativo de throughput sobre as bases de CPU e GPU no regime de lote.
• Potência e Energia: O pipeline otimizado da NPU opera dentro de um envelope de potência ativa sustentada de 13,43 W (EKF) e 14,05 W (LKF). Comparado à implementação em CPU para a mesma carga de trabalho, isso entrega uma redução de 97,9% na energia dinâmica.
• Latência: Em um cenário de rastreamento de 30 FPS ao vivo, os filtros de instância única otimizados consomem menos de 1% do orçamento de quadro de 33 ms (aprox. 0,18–0,19 ms por atualização), confirmando sua adequação para rastreamento contínuo sem monopolizar o SoC.
• Detalhamento de Computação: O perfilamento confirma que as reescritas de otimização migram com sucesso o trabalho dos caminhos de DSP e DMA para a DPU, com as configurações finais em lote mostrando ~95% (LKF) e ~80% (EKF) do tempo de execução dominado por operações de MatMul da DPU.

Significância
O artigo afirma que o KATANA demonstra que pipelines clássicos de processamento de sinais podem ser direcionados para as NPUs de AI-PC existentes sem a necessidade de aceleradores dedicados ou silício customizado. Ao alavancar a NPU "de outra forma ociosa", o sistema alcança um "dobro de dividendos": evita os custos de área e ciclo de design de hardware customizado, enquanto mantém a CPU e a GPU livres para suas principais cargas de trabalho de computação geral e gráficos. Isso permite o rastreamento de baixo consumo e tempo real em plataformas de borda onde cada watt de computação impacta diretamente a duração da missão ou o alcance operacional. O trabalho estabelece que, com o reestruturamento apropriado do algoritmo, as NPUs podem servir efetivamente como motores de matriz de propósito geral para estimadores recursivos não neurais.