FusionNet Lite: Compact Federated Deep Learning for Predictive Maintenance under Label Heterogeneity and Temporal Generalization

Resumo Técnico: FusionNet Lite para Manutenção Preditiva sob Heterogeneidade de Rótulos e Generalização Temporal

Definição do Problema
O Aprendizado Federado (FL) oferece um caminho para a manutenção preditiva (PdM) colaborativa ao treinar modelos através de dados industriais distribuídos sem compartilhar observações brutas. No entanto, as abordagens existentes enfrentam desafios significativos: os dados dos clientes são frequentemente não independentes e não identicamente distribuídos (não-IID), particularmente no que diz respeito à heterogeneidade de rótulos; dependências temporais e eventos de falha raros complicam a avaliação; e a necessidade de eficiência computacional em dispositivos de borda conflita com a demanda por alta precisão preditiva e explicabilidade. Existe uma lacuna crítica em determinar se um modelo de aprendizado profundo compacto pode manter uma detecção de falhas útil e uma atribuição de características explicativa consistente sob essas condições federadas restritas.

Metodologia
O estudo avalia o FusionNet Lite, um classificador compacto de eixo de características com apenas 1.420 parâmetros treináveis, contra quatro baselines leves: Rede Neural Convolucional (CNN), Long Short-Term Memory Bidirecional (BiLSTM), Perceptron Multicamadas (MLP) e CNN-LSTM.

• Arquitetura: O FusionNet Lite processa observações individuais (forma $F \times 1$) usando convoluções separáveis, mistura de características no estilo ConvMixer, conexões residuais e reponderação de canais via Squeeze-and-Excitation (SE). Ele é projetado para operar em uma única observação em vez de uma sequência temporal, embora divisões cronológicas sejam usadas para avaliação.
• Datasets: Dois datasets foram utilizados com estratégias de particionamento distintas:
  • AI4I 2020: Um dataset sintético com divisões aleatórias estratificadas (65/15/20).
  • MetroPT3: Um registro real de compressor com uma divisão cronológica de linhas fixas (55/20/25) para simular a generalização temporal.
• Design Experimental:
  • Modos de Treinamento: Os modelos foram treinados sob configurações tanto centralizadas quanto sob o simulado Federated Averaging (FedAvg) síncrono com três clientes.
  • Heterogeneidade de Rótulos: As partições de clientes foram geradas usando uma distribuição de Dirichlet ($\alpha=0.5$) para criar condições controladas de não-IID de rótulos.
  • Avaliação: O estudo empregou dez sementes aleatórias pareadas para comparações principais. Checkpoints foram selecionados com base no AUROC de validação. O desempenho foi medido usando AUROC, AUPRC e escores F2 (com seleção de limiar de grade expandida para abordar o desequilíbrio de classes).
  • Explicabilidade: Gradientes Integrados (IG) específicos por classe foram computados para comparar a concordância de atribuição entre modelos centralizados e federados.
  • Eficiência: Um Índice de Eficiência Energética (EEI), definido como o produto da contagem de parâmetros e a latência de inferência de lote medida, foi usado como um proxy para o custo computacional.

Principais Contribuições

1. Arquitetura Compacta: Introdução e avaliação de uma arquitetura de 1.420 parâmetros que combina operações estabelecidas (conv separável, SE, resíduos) em uma pegada mínima adequada para troca federada.
2. Benchmark Controlado: Uma comparação rigorosa entre cinco arquiteturas e dois datasets usando dez sementes pareadas, checkpoints selecionados por validação e políticas de limiar específicas (otimização F1 vs. F2) para isolar efeitos arquiteturais de artefatos de ajuste.
3. Análise de Sensibilidade: Exame sistemático de componentes arquiteturais (ablações), ordenação de características, contagem de clientes (3 vs. 10), concentração de rótulos ($\alpha$), taxas de participação e taxas de aprendizado.
4. Concordância de Atribuição: Uma avaliação quantitativa da concordância central-federada usando correlações de IG específicas por classe, concordância de sinal e sobreposição de Jaccard, distinguindo entre qualidade de detecção e consistência explicativa.

Resultados

• Desempenho Preditivo:
  • No AI4I, o FusionNet Lite alcançou resultados competitivos sob FedAvg (AUROC $0.8289 \pm 0.0621$, F2 $0.3508 \pm 0.0908$), embora não tenha demonstrado superioridade estatisticamente significativa sobre o MLP em todas as métricas após o ajuste de multiplicidade.
  • No MetroPT3, o FusionNet Lite alcançou uma alta discriminação de ranking (AUROC $0.9351 \pm 0.0462$ sob FedAvg), mas exibiu detecção de falhas raras mais baixa e variável (AUPRC $0.2197 \pm 0.1971$, F2 $0.1566 \pm 0.2044$) comparado aos baselines BiLSTM e CNN-LSTM.
  • Sensibilidade de Limiar: A mudança da seleção de grade original F1 para a seleção de grade expandida F2 melhorou significativamente o F2 médio de teste no MetroPT3 (de $0.0423$ para $0.1566$), embora a variabilidade tenha permanecido alta.
• Eficiência: O FusionNet Lite possuiu a menor contagem de parâmetros e o menor EEI de lote fixo (índice parâmetro-latência) entre todas as cinco arquiteturas nos dois datasets, confirmando sua eficiência como um proxy para implantação com recursos limitados.
• Atribuição: A concordância de atribuição central-federada variou por modelo e dataset. No MetroPT3, o FusionNet Lite mostrou uma concordância de IG mais fraca e variável (correlação de Spearman $\approx 0.24-0.27$) comparado ao MLP, apesar do desempenho preditivo mais fraco do MLP. Isso indica que uma alta concordância explicativa não necessariamente se correlaciona com uma utilidade de detecção superior.
• Sensibilidade: O ranking de desempenho foi sensível à ordenação de características, alocação de clientes e taxas de aprendizado. Remover componentes específicos (ex: atenção SE ou resíduos de stem) gerou resultados mistos, às vezes melhorando o desempenho em um dataset enquanto degradava em outro.

Significância e Alegações
O artigo afirma estabelecer um trade-off condicional entre desempenho e complexidade. Demonstra que um modelo substancialmente menor (FusionNet Lite) pode fornecer desempenho preditivo útil e o menor proxy de custo computacional (EEI) sob condições federadas controladas. No entanto, os autores declaram explicitamente que:

• A compacidade por si só não garante detecção de falhas superior ou explicações consistentes.
• Alto AUROC não equivale a detecção de falhas raras confiável em ambientes desbalanceados e temporais.
• A concordância explicativa (IG) não é um substituto direto para a utilidade preditiva.
• Os achados são limitados pelas condições específicas do benchmark (dados sintéticos e reais de registro único, FedAvg síncrono, sementes fixas).

O estudo conclui que, embora o FusionNet Lite ofereça uma opção viável e eficiente para a PdM federada, sua implementação requer consideração cuidadosa de pontos de operação (limiares), heterogeneidade de dados e a distinção entre discriminação de ranking e detecção real de falhas. Os autores não alegam que o modelo é universalmente superior ou pronto para implantação industrial imediata sem validação independente adicional em diversos equipamentos e episódios de falha.