Test-Time Adaptive Composition for Machine Learning as a Service (MLaaS) in IoT Environments

Resumo Técnico: Composição Adaptativa em Tempo de Teste para MLaaS em Ambientes IoT

Definição do Problema
A natureza dinâmica dos ambientes de Internet das Coisas (IoT) — caracterizada por variações no comportamento do usuário, distribuições de dados e requisitos do sistema — ameaça a eficácia a longo prazo das composições de Machine Learning as a Service (MLaaS). Embora o MLaaS permita que sistemas IoT integrem múltiplos serviços para atender a complexos requisitos funcionais e de Qualidade de Serviço (QoS), os métodos de composição adaptativa existentes dependem fortemente de substituição de serviço ou recomposição. Essas abordagens tradicionais enfrentam desafios significativos: identificar serviços substitutos adequados é demorado e muitas vezes impraticável, e os serviços substituídos podem falhar em entregar o desempenho esperado ou manter a compatibilidade. Além disso, os modelos de composibilidade existentes baseiam-se em atributos funcionais e de QoS estáticos, não levando em conta mudanças internas nos modelos induzidas pela adaptação, o que pode levar a vieses indesejados e desvios de domínio ao longo da composição.

Metodologia
Para abordar essas limitações, os autores propõem um novo Framework de Composição Adaptativa em Tempo de Teste (TTA) que permite a adaptação personalizada ao nível do serviço sem exigir a substituição do serviço. O framework opera em dois componentes primários:

1. Modelo de Composibilidade Consciente de TTA (TCM):
   Antes de integrar um serviço adaptado, o TCM avalia se o serviço permanece compatível com a composição existente. Ele introduz cinco regras de adaptabilidade específicas para avaliar a compatibilidade com base em mudanças de parâmetros internos, em vez de atributos estáticos:

   • Medição de Desvio de Peso (WDM): Quantifica o desvio de cosseno entre os pesos do serviço adaptado e a composição em execução.
   • Pontuação de Consistência de Atualização (UCS): Avalia a similaridade direcional das atualizações de gradiente camada a camada entre o serviço adaptado e a composição.
   • Pontuação de Alinhamento de Atualização de BN (BNUAS): Mede o alinhamento das atualizações de parâmetros afins de Batch Normalization (BN) (escala $\gamma$ e deslocamento $\beta$).
   • Pontuação de Alinhamento de Dados de BN (BNDAS): Avalia a distância estatística entre as estatísticas de média e variância de BN do serviço adaptado e da composição.
   • Medição de Alinhamento de Distribuição de Predição (PDAM): Utiliza a distância de Wasserstein para medir a discrepância nas distribuições de probabilidade de predição.
     O TCM agrega essas pontuações para determinar uma pontuação de composibilidade, garantindo que as adaptações locais não interrompam as interações de ponta a ponta.

2. Modelo de Adaptação ao Nível de Serviço (SAM):
   Uma vez estabelecida a composibilidade, o SAM regula a integração do serviço adaptado. Ele emprega um mecanismo de agregação ponderada onde os pesos de preferência são derivados da distância euclidiana entre os parâmetros da composição em execução e o serviço adaptado. Este processo seleciona a adaptação melhor alinhada e atualiza os parâmetros da composição, evitando que o viés e o desvio de domínio degradem o desempenho geral do sistema.

Principais Contribuições

• Framework Inovador: O artigo introduz o primeiro framework de composição baseado em TTA projetado especificamente para MLaaS em IoT, mudando o paradigma da substituição de serviço para o ajuste de parâmetros em tempo de execução.
• Modelagem de Composibilidade: Propõe o TCM, que vai além do emparelhamento de QoS estático para avaliar dinamicamente a composibilidade com base no desvio do modelo interno e na consistência comportamental durante o TTA.
• Adaptação Controlada: O SAM fornece um mecanismo para regular as atualizações personalizadas, garantindo que as adaptações de serviços individuais preservem a estabilidade e o comportamento colaborativo de toda a composição.

Resultados Experimentais
O framework foi avaliado utilizando conjuntos de dados de benchmark de TTA padrão (MNIST-C, CIFAR-10-C, CIFAR-100-C) com vários tipos de corrupção (brilho, desfoque, listras, zigzag).

• Acurácia de Composibilidade: O TCM alcançou uma acurácia de composibilidade média de aproximadamente 85% entre as técnicas de TTA (TTA-BN, TTA-GRAD, TTA-MEMO). Isso representa uma melhoria significativa sobre os métodos baseados em regras (41%), baseados em similaridade (47%) e orientados por QoS (39%), e supera as abordagens baseadas em semântica (63%).
• Ganho de Desempenho: Sob configurações de corrupção mista, a abordagem SAM demonstrou melhorias consistentes de desempenho de 2–3% em comparação com os métodos baseados em substituição, particularmente em cenários envolvendo desfoque de vidro, listras e padrões de zigzag.
• Eficiência Computacional: O framework proposto reduziu significativamente o overhead computacional. Enquanto os métodos tradicionais baseados em substituição exigiam tempos de execução na ordem de $10^6$–$10^7$, a abordagem baseada em TTA reduziu isso para $10^3$–$10^4$, alcançando uma redução de até $10^3\times$ no tempo de computação ao eliminar a necessidade de descoberta de candidatos e substituição iterativa.

Significância e Alegações
Os autores alegam que este framework oferece uma alternativa prática e eficiente para a substituição de modelos de comportamento em ambientes IoT dinâmicos. Ao permitir ajustes diretos em tempo de execução sem a substituição do serviço, o framework aborda a necessidade crítica de adaptação oportuna onde a recomposição exaustiva é inviável. O artigo nota modestamente que, embora o framework mantenha efetivamente a estabilidade da composição e reduza os custos computacionais, sua capacidade de melhorar significativamente a acurácia preditiva além da linha de base é limitada. Os autores sugerem que trabalhos futuros devem explorar mecanismos de TTA incrementais para melhorias graduais de acurácia e estender a avaliação para conjuntos de dados de sensores IoT para refletir melhor os cenários do mundo real.