Resumo Técnico: Wake Vision

Declaração do Problema

A Tiny Machine Learning (TinyML) envolve a implantação de modelos em microcontroladores (MCUs) com restrições severas de memória (centenas de kilobytes), necessitando de modelos pequenos e tarefas binárias personalizadas ou com baixa contagem de classes. No entanto, as práticas de conjuntos de dados de propósito geral são inadequadas para este domínio. Modelos pequenos são desproporcionalmente sensíveis a ruídos nas etiquetas, e tarefas personalizadas frequentemente carecem de benchmarks padrão.

O padrão anterior para detecção de pessoas em TinyML, o conjunto de dados Visual Wake Words (VWW), contém aproximadamente 123.000 imagens com uma taxa de erro de etiqueta estimada de 7,8%. Essa escala e qualidade são insuficientes para treinar sistemas TinyML de nível de produção. Por outro lado, a rotulagem manual de conjuntos de dados na escala exigida para o treinamento moderno (milhões de imagens) é proibitivamente cara e introduz inconsistências. Por exemplo, estima-se que a reetiquetagem manual de um conjunto de 6 milhões de imagens custe aproximadamente 600.000 dólares americanos.

Metodologia: O Pipeline Wake Vision

Para abordar essas lacunas, os autores propõem o pipeline Wake Vision, um método automatizado para gerar e curar conjuntos de dados de classificação binária em grande escala especificamente para TinyML. O pipeline é projetado para ser centrado nos dados, visando todo o ciclo de vida do conjunto de dados, desde a construção até a melhoria contínua. É construído sobre o conjunto de dados Open Images v7, que oferece 9,6 mil classes treináveis, permitindo que o pipeline seja adaptado para qualquer tarefa de classificação binária, não apenas para detecção de pessoas.

O pipeline executa seis operações centrais focadas em dados:

1. Fusão de Etiquetas de Múltiplas Fontes: Reconcilia anotações em nível de imagem e caixas delimitadoras do Open Images em uma única tarefa binária. Aproveita a maior precisão das etiquetas de caixas delimitadoras enquanto utiliza a escala das etiquetas em nível de imagem.
2. Filtragem Consciente do Contexto: Aplica filtragem baseada em pontuações de confiança, na área do objeto na imagem (proxy para distância) e no status de representação (excluindo por padrão representações artísticas de pessoas). Isso garante que o conjunto de dados corresponda às condições de implantação onde objetos distantes ou representados podem não ser relevantes.
3. Correção Automatizada de Etiquetas: Emprega técnicas de Aprendizado Confiante (Confident Learning) em divisões de avaliação para identificar erros potenciais como uma primeira passagem de baixo custo.
4. Reetiquetagem Manual de Conjuntos de Avaliação: Para garantir uma avaliação precisa de desempenho, os conjuntos de validação e teste passam por reetiquetagem manual via uma plataforma de crowdsourcing (Scale AI). Isso prioriza a qualidade das etiquetas onde impacta mais as métricas relatadas.
5. Síntese de Benchmark de Alta Granularidade: Usando metadados das etapas de filtragem, o pipeline gera subconjuntos de avaliação em cinco dimensões: gênero percebido, idade percebida, distância, iluminação e representações.
6. Melhoria Impulsionada pela Comunidade: O pipeline suporta um modelo de "roda voadora" onde competições da comunidade identificam e integram melhorias (por exemplo, técnicas de correção de etiquetas) em lançamentos subsequentes do conjunto de dados.

Contribuições Principais

1. O Conjunto de Dados Wake Vision

Os autores lançam o Wake Vision, um conjunto de dados de detecção binária de pessoas contendo quase 6 milhões de imagens (aproximadamente 100 vezes mais imagens de pessoas do que o VWW).

• Escala: 5,76 milhões de imagens no conjunto de treinamento "Grande" e 1,25 milhão no conjunto de treinamento "Qualidade".
• Qualidade: Os conjuntos de validação e teste foram reetiquetados manualmente, alcançando uma taxa de erro de etiquetas de 2,2%, uma melhoria significativa em relação aos 7,8% do VWW.
• Licenciamento: Lançado sob CC-BY 4.0 via TensorFlow Datasets e Hugging Face.

2. Uma Suíte de Benchmarks de Alta Granularidade

Além da precisão agregada, o Wake Vision fornece cinco subconjuntos de benchmark de alta granularidade para avaliar a robustez do modelo em cenários do mundo real desafiadores:

• Gênero e Idade Percebidos: Avalia o desempenho em grupos demográficos sub-representados.
• Distância: Categoriza os sujeitos pela cobertura da imagem (Próximo >60%, Médio 10-60%, Longe <10%).
• Iluminação: Categoriza pelo valor médio de pixel (Escuro, Normal, Brilhante).
• Representações: Testa a capacidade do modelo de rejeitar imagens contendo representações de pessoas (por exemplo, pinturas) versus pessoas reais.

3. Generalização para Outras Tarefas

O pipeline é demonstrado na detecção de Carros e Pássaros.

• Detecção de Carros: Produziu um conjunto de dados 12 vezes maior que uma linha de base estilo VWW, reduzindo o erro de etiquetas de 6,4% para 4,8%.
• Detecção de Pássaros: Produziu um conjunto de dados 27 vezes maior que uma linha de base estilo VWW, reduzindo o erro de etiquetas de 6,6% para 0,6%.

4. Ciclo de Melhoria da Comunidade

Os autores parceriaram com a Edge AI Foundation para sediar o Desafio Wake Vision. A primeira rodada produziu uma técnica de correção de etiquetas que reduziu a taxa de erro de etiquetas do conjunto de treinamento Wake Vision (Grande) de 15,2% para 9,8% a uma fração do custo da reetiquetagem manual.

Resultados

Ganhos de Desempenho

Modelos treinados no Wake Vision consistentemente superam aqueles treinados no VWW em várias arquiteturas (MobileNetV2, MCUNet, MicroNets, ColabNAS):

• Precisão: Modelos treinados no Wake Vision melhoraram a precisão de teste em até 6,6% em relação aos modelos treinados no VWW.
• Robustez de Alta Granularidade: Modelos treinados no Wake Vision igualaram ou superaram os modelos treinados no VWW em 13 de 16 subconjuntos de alta granularidade. Os maiores ganhos foram observados na detecção de pessoas representadas, indivíduos mais velhos e em condições de iluminação escura.
• Generalização Fora de Distribuição (OOD): Modelos treinados no Wake Vision mantiveram sua vantagem de precisão sobre os modelos treinados no VWW quando avaliados em conjuntos de dados OOD cobrindo perspectivas de direção e imagens de vigilância aérea.

Insights Centrados em Dados

O artigo apresenta duas descobertas específicas sobre TinyML centrada em dados:

1. Sensibilidade ao Ruído de Etiquetas: Modelos pequenos são desproporcionalmente sensíveis ao ruído de etiquetas no conjunto de treinamento. Quando a taxa de erro de treinamento aumentou de 6,8% para 15%, o menor modelo perdeu 1,3% de precisão, enquanto o maior modelo perdeu apenas 0,5%.
2. Estratégia de Treinamento em Duas Etapas: Uma estratégia de pré-treinamento no conjunto maior e mais ruidoso (Wake Vision Grande) e ajuste fino no conjunto menor e mais limpo (Wake Vision Qualidade) alcançou os melhores resultados (85,72% de precisão), superando o treinamento em qualquer um dos conjuntos isoladamente.

Significado e Alegações

O artigo alega que o Wake Vision aborda a lacuna metodológica na TinyML fornecendo um pipeline automatizado para gerar conjuntos de dados de nível de produção. Seu significado reside em:

• Escalabilidade: Permitir a criação de conjuntos de dados personalizados para as 9,6 mil classes no Open Images sem custos proibitivos de rotulagem manual.
• Qualidade: Demonstrar que a reetiquetagem manual de conjuntos de avaliação combinada com limpeza automatizada gera conjuntos de dados adequados para treinar sistemas de produção, não apenas benchmarks de pesquisa.
• Avaliação: Deslocar o foco da precisão agregada para a robustez de alta granularidade, revelando modos de falha (por exemplo, em baixa luz ou para demografias específicas) que métricas padrão obscurecem.
• Sustentabilidade: Estabelecer um modelo para melhoria contínua de conjuntos de dados através do engajamento da comunidade, tratando o conjunto de dados como um artefato mantido em vez de um lançamento estático.

Os autores posicionam o Wake Vision não meramente como um conjunto de dados, mas como uma caixa de ferramentas para o paradigma de "TinyML centrada em dados", argumentando que, para modelos pequenos, os retornos da qualidade das etiquetas dominam os retornos de escala mais cedo do que no treinamento de grandes modelos, tornando necessárias pipelines rigorosos de curadoria.