Resumo Técnico: TinySSL (CA-DSSL)

Declaração do Problema

O artigo aborda a lacuna crítica na aprendizagem auto-supervisionada (SSL) para modelos da classe de microcontroladores (MCU), que tipicamente operam com menos de 500.000 parâmetros e ocupações de memória sub-megabyte. Embora a SSL tenha revolucionado a aprendizagem de representações para modelos de grande escala (por exemplo, ResNet-50, ViT-B), os métodos padrão falham catastróficamente na escala de MCU. Os autores identificam três modos de falha específicos para backbones minúsculos:

1. Dominância da Cabeça de Projeção: Cabeças de projeção SSL padrão (por exemplo, MLPs de 2048 dimensões) frequentemente contêm mais parâmetros do que todo o backbone do estudante, fazendo com que a otimização se concentre na cabeça em vez do extrator de características.
2. Gargalo de Representação: Backbones minúsculos (por exemplo, MobileNetV2-0.35× com ~112 canais no estágio final) carecem da capacidade de codificar as invariâncias de alta granularidade exigidas por objetivos contrastivos ou não contrastivos padrão.
3. Sensibilidade à Aumento de Dados: Aumentos de dados fortes, benéficos para modelos grandes, sobrecarregam redes minúsculas no início do treinamento, levando ao colapso da representação.

Consequentemente, métodos SSL padrão como BYOL e DINO colapsam para desempenho próximo ao aleatório em MCUs, enquanto métodos contrastivos como SimCLR têm desempenho significativamente inferior.

Metodologia: CA-DSSL

Os autores propõem a Aprendizagem Auto-Supervisionada Destilada Consciente de Capacidade (CA-DSSL), um framework guiado por professor projetado especificamente para modelos sub-megabyte. A ideia central é alavancar um professor grande e congelado para comprimir representações aprendidas em um estudante minúsculo, contornando a necessidade de o estudante descobrir invariâncias independentemente.

Arquitetura e Componentes

• Backbone do Estudante: Um modelo MobileNetV2-0.35× (396K parâmetros).
• Professor: Um ViT-S/16 DINO congelado (22M parâmetros), usado exclusivamente durante o pré-treinamento e descartado na implantação.
• Projeção Proporcional à Capacidade: Em vez de uma cabeça MLP massiva, o CA-DSSL utiliza uma única camada linear ($W_p$) para projetar características para 256 dimensões, adicionando apenas ~328K parâmetros (proporcional ao backbone). Uma segunda camada linear ($W_a$) alinha a projeção do estudante à dimensão do token CLS do professor (384).
• Destilação de Características Multi-Escala (MSFD): Para preservar informações espaciais críticas para detecção a jusante, o método destila características em três estágios do backbone, alinhando tokens espaciais do estudante e do professor via Erro Quadrático Médio normalizado por $L_2$.
• Currículo de Aumento Progressivo: Para evitar o colapso precoce, a força do aumento é aumentada gradualmente em três fases (leve $\to$ médio $\to$ completo) ao longo de 100 épocas.

Função de Perda

A perda total combina três termos (com pesos padrão $\lambda_{ms}=0.5, \lambda_{reg}=0$):
$$L_{total} = L_{cls} + \lambda_{ms}L_{ms} + \lambda_{reg}L_{reg}$$

• $L_{cls}$: Destilação do token CLS do professor na projeção global do estudante (similaridade de cosseno).
• $L_{ms}$: Destilação de características multi-escala (MSE entre características espaciais normalizadas).
• $L_{reg}$: Regularização auto-contrastiva opcional (InfoNCE). Os autores encontram este termo prejudicial em conjuntos de dados pequenos (CIFAR-100) devido ao ruído da fila, mas sugerem que pode ajudar em corpora maiores.

Contribuições Principais

1. Estudo Sistemático de SSL em Escala de MCU: O artigo estabelece que métodos SSL padrão (BYOL, DINO) colapsam completamente na escala de <500K parâmetros, enquanto métodos contrastivos (SimCLR) aprendem, mas têm desempenho inferior, necessitando de abordagens qualitativamente diferentes.
2. Framework CA-DSSL: Uma combinação inovadora de destilação guiada por professor, alinhamento de características multi-escala e um currículo de aumento progressivo adaptado para modelos com capacidade restrita.
3. Eficiência de Parâmetros: O CA-DSSL alcança resultados state-of-the-art com uma cabeça de projeção no tempo de treinamento 10$\times$ menor que a linha de base SEED (426K vs. 3,15M parâmetros), enquanto iguala ou supera sua precisão.
4. Viabilidade de Implantação: O método permite o ajuste fino no dispositivo e a aprendizagem federada, mantendo o gráfico total de treinamento dentro dos orçamentos de memória do MCU, com zero sobrecarga de inferência do pipeline de pré-treinamento.

Resultados Experimentais

Os experimentos foram conduzidos principalmente no CIFAR-100 (50K imagens) com transferências para Flowers102, Food101, Core50 e Pascal VOC.

• Classificação (Sonda Linear): Em um backbone MobileNetV2-0.35× de 396K, o CA-DSSL alcança 62,7% $\pm$ 0,5% de precisão. Isso supera o SimCLR-Tiny em 18 pontos percentuais (pp), iguala a linha de base SEED (61,7%) com significativamente menos parâmetros e atinge 94,0% do limite superior supervisionado. Em contraste, BYOL-Tiny e DINO-Tiny colapsam para ~5% de precisão.
• Transferência de Detecção: No Pascal VOC, o CA-DSSL alcança 7,69% mAP@50, uma melhoria de 2,3$\times$ sobre a inicialização aleatória e +3,0 pp sobre a linha de base SEED. Embora o SimCLR-Tiny iguale esse mAP (7,78%), o CA-DSSL o alcança com 10$\times$ menos parâmetros de cabeça.
• Aprendizagem por Transferência: Os backbones do CA-DSSL generalizam bem para Flowers102 e Food101, superando as linhas de base SSL padrão e, no Food101, superando o pré-treinamento supervisionado.
• Limitações de Escala: Experimentos preliminares no ImageNet-100 revelam que a cabeça proporcional à capacidade do CA-DSSL não escala tão bem quanto a cabeça maior do SEED. No ImageNet-100, o SEED supera o CA-DSSL em 20 pp, indicando que o CA-DSSL é otimizado para regimes de dados pequenos.

Significado e Alegações

O artigo posiciona o CA-DSSL como uma evolução necessária para o TinyML, permitindo visão computacional de alta qualidade em dispositivos de borda sem conectividade em nuvem ou dados rotulados.

• Impacto Prático: O backbone implantado ocupa apenas 378 KB (INT8) e executa em vários MCUs (STM32H7, ESP32-S3, MAX78000) sem sobrecarga de inferência do pipeline SSL.
• Compensação de Design: Os autores enquadram explicitamente o CA-DSSL como uma solução para regimes de dados pequenos onde a memória de treinamento é restrita. Eles reconhecem que, para pré-treinamento de grande escala (por exemplo, ImageNet-1K), cabeças de projeção maiores (como o SEED) são superiores, mas o CA-DSSL sacrifica escalabilidade para eficiência de parâmetros relevante para implantação.
• Estabilidade: O uso de um professor externo fornece treinamento significativamente mais estável (menor variância entre sementes) em comparação com métodos auto-supervisionados que dependem do estudante para gerar seus próprios alvos.

O trabalho conclui que a SSL na escala de MCU não é meramente uma extrapolação quantitativa da SSL de modelos pequenos, mas requer escolhas de design fundamentalmente diferentes, especificamente destilação guiada por professor e arquitetura consciente de capacidade.