Data-Efficient Stream-Based Active Distillation for Scalable Edge Model Deployment

Resumo Técnico: Destilação Ativa Baseada em Fluxo com Eficiência de Dados para Implantação Escalável de Modelos na Borda

Declaração do Problema
Os sistemas de câmeras de borda (edge) estão se expandindo rapidamente para cobrir diversos domínios visuais, necessitando de atualizações frequentes de modelos para se adaptarem a mudanças de distribuição e novos ambientes. No entanto, os dispositivos de borda possuem poder computacional e memória limitados, o que restringe o tamanho e o desempenho das Redes Neurais Profundas (DNNs) implantadas. Embora um servidor central possa hospedar um modelo "Professor" (Teacher) complexo para rotular pseudo-labels de dados para o treinamento de modelos "Aluno" (Student) leves na borda, transmitir todos os quadros de vídeo brutos para anotação é inviável devido às restrições de largura de banda e custos de armazenamento. Os métodos existentes de Destilação Ativa Baseada em Fluxo (SBAD) selecionam imagens com base em previsões de alta confiança para reduzir o ruído, mas essa abordagem frequentemente leva a conjuntos de dados redundantes e transferência de dados desnecessária, falhando em maximizar a utilidade do orçamento limitado de transmissão.

Metodologia
Os autores propõem o D-SBAD (Destilação Ativa Baseada em Fluxo com Eficiência de Dados), um framework de seleção em dois estágios projetado para otimizar o equilíbrio entre a qualidade do modelo e os custos de transmissão. O sistema opera em uma dinâmica cliente-servidor:

1. Lado do Cliente (Borda): Um modelo Aluno leve processa um fluxo de vídeo em tempo real. Em vez de transmitir imediatamente um número fixo de quadros, o cliente emprega uma estratégia de SELEÇÃO (especificamente TOP-CONFIDENCE) para identificar um "conjunto de candidatos" ($S$) maior de quadros ao longo de uma janela temporal. Esses candidatos são temporariamente armazenados em um buffer no dispositivo.
2. Estágio de Filtragem: Um módulo de filtragem leve, operando no dispositivo, processa o conjunto de candidatos $S$ para selecionar um subconjunto final e diverso ($F$) de tamanho $B$ (o orçamento de transmissão). Este passo visa reduzir a redundância e garantir que os exemplos selecionados representem efetivamente o domínio da câmera. O artigo avalia várias estratégias de filtragem sem rótulos, incluindo:
   • Farthest First (FF - O Mais Distante Primeiro): Um algoritmo determinístico que seleciona a primeira amostra da região mais densa do espaço latente e adiciona iterativamente amostras que minimizam a máxima similaridade de cosseno com o conjunto já selecionado, maximizando a diversidade.
   • Treinamento-Free Dataset Pruning (TFDP - Poda de Conjunto de Dados Sem Treinamento): Utiliza uma Pontuação de Complexidade de Forma baseada em perímetros e áreas de caixas de detecção.
   • Moderate Coreset (Coreset Moderado): Seleciona amostras mais próximas da distância mediana do centro do conjunto de dados no espaço latente.
   • Least Confidence (Menor Confiança): Seleciona amostras onde o Aluno possui a menor confiança.
3. Lado do Servidor: O subconjunto filtrado $F$ é transmitido para o servidor, onde um modelo Professor poderoso gera pseudo-labels. O modelo Aluno é então ajustado (fine-tuned) utilizando esses exemplos pseudo-rotulados.

Principais Contribuições

• Pipeline de Seleção de Dois Estágios: O artigo introduz uma modificação inovadora no framework SBAD ao inserir um estágio de filtragem entre a amostragem inicial e a transmissão. Isso permite que o sistema explore um pool maior de dados ($|S| = \gamma B$) antes de comprometer um subconjunto menor e de alta qualidade para transmissão.
• Filtragem Baseada em Diversidade: Os autores demonstram que acoplar a amostragem de alta confiança com uma abordagem baseada em diversidade (especificamente o algoritmo Farthest First) melhora significamente a qualidade do modelo em comparação com os baselines de apenas confiança.
• Eficiência Sem Rótulos: As estratégias de filtragem propostas operam sem rótulos de verdade fundamental (ground-truth), tornando-as adequadas para cenários de aprendizado de borda não supervisionados ou semi-supervisionados, onde a anotação manual não está disponível.
• Escalabilidade: O framework é projetado para reduzir os custos de largura de banda e treinamento, mantendo ou melhorando o desempenho do modelo, abordando um gargalo crítico no implante escalável de borda.

Resultados Experimentais
Experimentos foram conduzidos utilizando o conjunto de dados Watch and Learn Time-lapse (WALT), composto por filmagens de 15 câmeras capturando circulação de veículos. A configuração utilizou arquiteturas YOLO11, com um YOLO11n (3,2M de parâmetros) como Aluno e um YOLO11x (68,2M de parâmetros) como Professor.

• Desempenho vs. Baselines: A estratégia Farthest First (FF) apresentou o maior desempenho. Apesar de usar oito vezes menos imagens do que o baseline SBAD-$\gamma$ não filtrado (que transmite o conjunto coletado completo), o FF alcançou pontuações mAP50−95 comparáveis.
• Comparação com Modelos Pré-treinados: Alunos treinados com a estratégia FF superaram o desempenho do modelo pré-treinado YOLO11n a partir de 200 iterações e eventualmente superaram o Professor pré-treinado YOLO11x em 3200 iterações.
• Retornos Decrescentes: Aumentar o multiplicador do tamanho do conjunto de candidatos ($\gamma$) de 1 (sem exploração) para 2 (exploração moderada) resultou em ganhos significativos de desempenho. No entanto, aumentos posteriores de $\gamma$ (até 12) mostraram retornos decrescentes, sugerindo que existe um equilíbrio ideal em tamanhos moderados de conjunto de coleta.
• Estratégias Ineficazes: Neste caso de uso específico, o TFDP e o Moderate Coreset performaram abaixo do baseline não filtrado, indicando que nem todas as estratégias de poda são universalmente eficazes.

Significância e Alegações
O artigo afirma que o D-SBAD melhora a escalabilidade dos sistemas de aprendizado de borda ao maximizar a diversidade de embeddings com sobrecarga mínima. Os autores sustentam que sua abordagem permite a implantação de modelos de alta qualidade com consultas mínimas de conjuntos de dados e custos de transmissão reduzidos. Eles destacam a praticidade do uso de embeddings compactos gerados por modelos Vision Transformer (ViT) compatíveis com a borda (como o DINOv2) para o estágio de filtragem. O trabalho conclui que uma estratégia de fluxo baseada em alta confiança, quando acoplada a uma abordagem de filtragem baseada em diversidade, produz modelos de alta qualidade com consultas mínimas de conjuntos de dados, oferecendo uma solução viável para a adaptação contínua em ambientes de borda em evolução sem exigir rótulos no momento do teste. Sugere-se como trabalho futuro investigar pipelines auto-supervisionados leves que possam ser executados inteiramente em dispositivos de borda para eliminar a dependência do servidor.