Covariance-Guided Resource Adaptive Learning for Efficient Edge Inference

Título: Aprendizado Adaptativo de Recursos Guiado por Covariância para Inferência Eficiente em Bordas

1. O Problema

A implantação de aplicações de aprendizado profundo (Deep Learning) em dispositivos de borda (como drones autônomos e sistemas de vigilância inteligente) enfrenta um dilema crítico: a necessidade de manter uma taxa de inferência (throughput) consistente sob restrições rigorosas de energia.

• Complexidade de Configuração: Dispositivos modernos (ex: NVIDIA Jetson) possuem dezenas de parâmetros ajustáveis (frequência de CPU/GPU, contagem de núcleos, frequência de memória, nível de concorrência). As interações entre esses parâmetros são não lineares e complexas.
• Ineficiência das Soluções Atuais:
  • Presets de Fabricante: Modos de energia pré-definidos (ex: "Max Power", "Default") cobrem apenas uma fração minúscula do espaço de configuração, muitas vezes resultando em desperdício de energia ou desempenho insuficiente.
  • Perfilamento Offline (Profiling): Métodos existentes (como ALERT) exigem um perfilamento exaustivo offline para cada combinação de modelo e dispositivo, o que consome horas de tempo e energia, tornando-se inviável para cenários dinâmicos.
  • Otimização de Métrica Única: A maioria das abordagens anteriores otimiza apenas para throughput ou apenas para consumo de energia, falhando em cenários onde ambas as restrições devem ser satisfeitas simultaneamente.

2. Metodologia: CORAL

O CORAL (Covariance-Guided Resource Adaptive Learning) é um método de otimização online que descobre configurações quase ótimas sem a necessidade de perfilamento offline ou treinamento de modelos pesados.

• Formulação do Problema: O problema é definido como uma co-otimização de Throughput-Power. O objetivo é encontrar uma configuração $s^*$ tal que:
  $$\tau(s^*) \geq \tau_{target} \quad \text{e} \quad p(s^*) \leq p_{budget}$$
  Onde $\tau$ é a taxa de quadros (FPS) e $p$ é o consumo de potência. Configurações que violam qualquer restrição são marcadas como inviáveis.

• Núcleo Estatístico: Covariância de Distância (Distance Covariance):

  • Diferente da correlação de Pearson (que mede apenas relações lineares), o CORAL utiliza a Covariância de Distância para capturar dependências não lineares entre os parâmetros de hardware e as métricas de desempenho.
  • O algoritmo calcula pesos de correlação ($\alpha_i$ para throughput e $\beta_i$ para potência) para cada parâmetro de hardware com base em observações recentes.

• Estratégia de Busca Adaptativa:
  O CORAL opera em um ciclo de iterações (10 iterações no estudo) composto por três etapas:

  1. Avaliação de Recompensa: Executa a inferência com a configuração atual. Se atender às restrições, a recompensa é a eficiência ($\tau/p$); se violar, aplica-se uma penalidade negativa. Configurações inviáveis são adicionadas a uma lista proibida.
  2. Análise de Correlação: Utiliza uma janela deslizante das últimas observações para calcular a covariância de distância entre cada parâmetro e as métricas. Parâmetros com alta correlação têm maior influência no desempenho.
  3. Busca de Configuração: O próximo conjunto de parâmetros é gerado ajustando os valores com base nos pesos de correlação. Parâmetros mais influentes recebem ajustes maiores. A direção da busca é adaptativa: se o throughput é suficiente, o algoritmo tenta reduzir a potência; caso contrário, prioriza aumentar o throughput.

3. Contribuições Principais

1. Otimização Online sem Perfilamento Offline: É o primeiro método a aplicar a técnica estatística de covariância de distância para otimização de inferência em borda, eliminando a necessidade de horas de perfilamento offline ou treinamento de RL (Reinforcement Learning).
2. Formulação de Co-otimização Throughput-Power: Aborda explicitamente o cenário de dupla restrição (orçamento de energia e meta de latência), ignorado pela maioria dos trabalhos anteriores.
3. Avaliação Abrangente: Validação em dispositivos reais (NVIDIA Jetson Xavier NX e Orin Nano) com três modelos de detecção de objetos de tamanhos variados (YOLOv5-N, FRCNN-MobileNetV3, RetinaNet-ResNet50), cobrindo uma diferença de tamanho de modelo de 20x.

4. Resultados Experimentais

O CORAL foi comparado contra quatro baselines: ORACLE (busca exaustiva offline), ALERT (perfilamento offline), ALERT-Online (versão online com 10 tentativas aleatórias) e os presets de fábrica.

• Cenário de Única Restrição (Otimização de Throughput):

  • O CORAL alcançou 96% a 100% do desempenho ótimo encontrado pela busca exaustiva (ORACLE).
  • Superou significativamente os presets de fábrica (que alcançaram apenas 33%-60% do ótimo).

• Cenário de Dupla Restrição (Throughput e Potência simultâneos):

  • Este é o cenário mais desafiador. Em testes com limites estritos (ex: 6.5W e 30 FPS no Xavier NX), o CORAL encontrou configurações válidas (ex: 34 FPS a 5.9W).
  • Falha dos Baselines: O ALERT excedeu o orçamento de energia (8.5W); o ALERT-Online não conseguiu encontrar configurações válidas dentro do limite de iterações; os presets de fábrica falharam em atender a uma das duas restrições.
  • O CORAL conseguiu navegar no espaço de busca estreito e não linear onde os outros métodos falharam.

• Generalização:

  • A eficácia do CORAL aumentou com modelos mais pesados (FRCNN e RetinaNet). Enquanto os métodos baseados em busca aleatória ou perfilamento limitado falharam completamente em encontrar soluções viáveis para modelos grandes sob restrições estritas, o CORAL manteve o desempenho próximo ao do ORACLE.

5. Significado e Impacto

O trabalho CORAL representa um avanço significativo para a computação de borda prática. Ao demonstrar que é possível realizar otimização de recursos complexa e não linear em tempo real, sem o custo de perfilamento offline, o método permite:

• Maior Autonomia: Dispositivos de bateria (como drones) podem operar por mais tempo mantendo o desempenho necessário.
• Adaptabilidade: O sistema pode se adaptar a novos modelos de IA ou mudanças no ambiente de hardware sem reconfiguração manual ou treinamento prévio.
• Eficiência Operacional: Resolve o trade-off entre consumo de energia e desempenho de forma automática, garantindo que os operadores não precisem escolher entre "bateria rápida" e "inutilidade do sistema".

Em resumo, o CORAL oferece uma solução robusta e leve para o problema de alocação de recursos em inferência de IA na borda, superando as limitações das abordagens estáticas e de perfilamento tradicional.