Cross-device Collaborative Test-time Adaptation with Zeroth-order Optimization and Model Merging

Resumo Técnico: Adaptação de Tempo de Teste Colaborativa entre Dispositivos com Otimização de Ordem Zero e Fusão de Modelos

1. Definição do Problema

Redes neurais profundas (DNNs) frequentemente sofrem degradação de desempenho devido a desvios de domínio (domain shifts), onde a distribuição dos dados de teste difere significativamente dos dados de treinamento. Embora a Adaptação de Tempo de Teste (TTA) ofereça uma solução ao atualizar modelos em tempo real usando dados de teste não rotulados, os métodos existentes dependem predominantemente da retropropagação (backpropagation - BP). A BP é intensiva em recursos, exigindo grande memória para armazenar grafos computacionais, ativações intermediárias e gradientes de perda. Isso torna a TTA padrão inviável para dispositivos de borda com recursos limitados (ex: telefones celulares, sensores IoT), que frequentemente encontram desvios de domínio, mas carecem de capacidade computacional para a BP.

Além disso, embora existam frameworks de TTA Colaborativa entre Dispositivos (CDC-TTA) para compartilhar informações de modelos entre dispositivos com abundância e escassez de recursos, a simples aplicação da Otimização de Ordem Zero (ZOO) — que evita a BP usando apenas passagens para frente (forward passes) — a pesos de modelos de alta dimensão resulta em convergência lenta e baixo desempenho.

2. Metodologia

Os autores propõem um novo método de TTA projetado para dispositivos com recursos limitados dentro de um framework de CDC-TTA. A abordagem integra três pilares principais: Otimização de Ordem Zero, Fusão de Modelos e uma estratégia de pré-processamento única.

A. Visão Geral do Framework
O sistema opera em uma rede heterogênea de dispositivos que compartilham pesos de modelos via um servidor central.

• Lado do Servidor: Realiza o pré-processamento pesado nos modelos compartilhados antes da distribuição.
• Lado do Dispositivo: Executa a TTA utilizando os modelos pré-processados sem retropropagação.

B. Pré-processamento no Lado do Servidor
Para mitigar a dificuldade de otimização de alta dimensão inerente à ZOO e reduzir a redundância, o servidor aplica três subcomponentes aos "vetores de tarefa" (a diferença entre os pesos do modelo ajustado e o modelo base):

1. Supressão de Pesos Não Influentes (NWS): Aplica filtragem top-k% a cada vetor de tarefa, zerando elementos com valores absolutos baixos que não influenciam significativamente o processo de fusão.
2. Redução de Redundância (RR) via Aproximação de Baixo Rank: Reconhecendo que vetores de tarefa de domínios similares são redundantes, o método aplica Decomposição de Valor Singular (SVD) à matriz de tarefas concatenada. Isso aproxima a matriz com um rank menor, agrupando efetivamente informações similares.
3. Seleção de Rank Adaptativo (ARS): Determina automaticamente o rank ideal para a aproximação de baixo rank para cada grupo de pesos do modelo com base em um limiar de erro de recuperação. Isso minimiza o número de parâmetros a serem otimizados enquanto preserva a informação necessária.

C. Adaptação de Tempo de Teste no Lado do Dispositivo
O dispositivo com recursos limitados recebe o modelo base, as matrizes de tarefas reduzidas e os coeficientes de fusão iniciais.

1. Fusão de Modelos: O modelo alvo é construído fundindo o modelo base com as matrizes de tarefas reduzidas usando uma combinação linear de coeficientes de fusão.
2. Otimização de Ordem Zero (ZOO): Em vez de otimizar milhões de pesos do modelo, o dispositivo otimiza apenas os coeficientes de fusão de baixa dimensão. O método utiliza o Gradiente Descendente Estocástico de Ordem Zero (ZO-SGD) com Aproximação Estocástica de Perturbação Simultânea (SPSA). Ele calcula pseudo-gradientes medindo a diferença de perda entre as passagens para frente com perturbações positivas e negativas aplicadas aos coeficientes.
3. Supressão de Memória: Para reduzir ainda mais o uso de memória, o método emprega um "truque de semente aleatória". Em vez de armazenar vetores de perturbação aleatórios, o dispositivo amostra uma semente aleatória para cada iteração e reamostra as perturbações, garantindo que os custos de memória permaneçam comparáveis à inferência padrão.

3. Principais Contribuições

• TTA Amigável aos Recursos: O artigo propõe um método de TTA executável em dispositivos com pequenas capacidades de memória ao substituir a retropropagação pela Otimização de Ordem Zero.
• Redução de Dimensionalidade via Fusão de Modelos: Ao otimizar coeficientes de fusão em vez de pesos brutos do modelo, o método reduz drasticamente a dimensão de otimização, abordando a convergência lenta tipicamente associada à ZOO em espaços de alta dimensão.
• Pré-processamento Sinérgico: Um pipeline de pré-processamento único (NWS, RR e ARS) é introduzido para podar pesos não influentes e reduzir a redundância entre modelos, aumentando a eficiência do processo de ZOO.
• Compatibilidade com Quantização: O método é aplicável a modelos quantizados onde a retropropagação é inerentemente inexequível, demonstrando melhoria na precisão da predição nesses cenários.

4. Resultados Experimentais

Os autores avaliaram o método em benchmarks comuns de corrupção (CIFAR10-C, CIFAR100-C, ImageNet-C) e um benchmark de transferência de estilo (Stylized-ImageNet).

• Desempenho: O método proposto superou consistentemente os métodos de TTA sem BP existentes (BN stats, T3A) e o concorrente mais próximo, CoLA, através de vários datasets e tipos de corrupção. Por exemplo, no ImageNet-C com ResNet-50, o método proposto alcançou uma taxa de erro média menor (59,4%) em comparação ao CoLA (61,3%).
• Eficiência de Memória: O método reduziu significativamente o uso de memória em comparação com a TTA convencional baseada em BP. Enquanto os métodos baseados em BP exigiam o armazenamento de grandes grafos computacionais e gradientes (ex: ~9,37 GB na ilustração dos autores), o método proposto reduziu isso para níveis compatíveis com operações de apenas inferência (ex: ~1,84 GB).
• Estudos de Ablação: Experimentos confirmaram que a combinação de Fusão de Modelos, ZO-SGD e o conjunto completo de pré-processamento (NWS, RR, ARS) produziu os melhores resultados, com cada componente contribuindo para o desempenho e eficiência globais.

5. Significância e Alegações

O artigo alega que sua principal significância reside em tornar a Adaptação de Tempo de Teste viável para dispositivos de borda com recursos restritos, um requisito crítico para aplicações do mundo real como vigilância automatizada, garantia de qualidade de manufatura e saúde vestível (wearable healthcare). Ao alavancar o framework de CDC-TTA, o método transforma o desafio da otimização de alta dimensão em um problema de baixa dimensão através da fusão de modelos e pré-processamento. Os autores afirmam que esta abordagem equilibra com sucesso o compromisso entre limitações de recursos computacionais e a necessidade de modelos robustos e adaptáveis em ambientes dinâmicos, oferecendo uma solução prática onde a TTA tradicional baseada em BP falha.