PicoSAM3: Real-Time In-Sensor Region-of-Interest Segmentation

Resumo Técnico: PicoSAM3

1. O Problema

A segmentação visual baseada em prompts (como o Segment Anything Model - SAM) revolucionou a compreensão visual, mas suas arquiteturas baseadas em Transformers são proibitivamente pesadas para dispositivos de borda extremos (edge) e sensores inteligentes.

• Limitações de Hardware: Sensores de visão inteligentes, como o Sony IMX500, possuem restrições severas de memória (menos de 8 MB de SRAM on-chip) e suportam apenas um conjunto limitado de operadores (sem suporte nativo para operações não lineares complexas ou acesso aleatório de memória intenso típico de Transformers).
• Ineficiência de Modelos Existentes: Modelos leves anteriores (TinySAM, EdgeSAM, MobileSAMv2) ainda dependem de arquiteturas híbridas ou Transformers que excedem o orçamento de memória ou requerem operadores não suportados pelo hardware do sensor.
• Latência e Privacidade: A dependência de processamento em nuvem ou microcontroladores externos introduz latência e riscos de privacidade, tornando inviável a execução em tempo real diretamente no ponto de captura da imagem.

2. Metodologia

O PicoSAM3 é um modelo de segmentação visual leve e "promptável" (capaz de segmentar regiões específicas com base em um comando), otimizado especificamente para execução in-sensor (dentro do próprio sensor).

• Arquitetura Baseada em CNN Densa:

  • Substitui os blocos pesados de Transformers por uma arquitetura CNN densa (estilo U-Net simétrica) com convoluções separáveis por profundidade (depthwise separable convolutions).
  • Melhorias sobre o PicoSAM2: Inclui um bottleneck expandido com convolução dilatada (para aumentar o campo receptivo), um bloco de Atenção de Canal Eficiente (ECA) para recalibração de características e uma cabeça de refinamento para bordas mais precisas.
  • Tamanho: O modelo possui apenas 1,37 milhões de parâmetros (5,26 MB em ponto flutuante, reduzido para 1,31 MB em quantização INT8).

• Codificação Implícita de Prompt (ROI):

  • Devido à restrição de entrada apenas RGB no sensor, o PicoSAM3 não aceita coordenadas de pontos ou caixas como entrada explícita.
  • Estratégia: Utiliza um recorte centralizado (centered cropping) durante o treinamento e inferência. A região de interesse (ROI) é definida pelo recorte da imagem em torno do objeto, normalizando-o para o centro. O modelo aprende implicitamente a segmentar o objeto dominante no centro, eliminando a necessidade de canais de prompt adicionais.

• Distilação de Conhecimento (Knowledge Distillation):

  • O modelo aluno (PicoSAM3) é treinado para imitar grandes modelos foundation (SAM2 e SAM3).
  • Pipeline de Treinamento: O professor (SAM3) recebe uma caixa delimitadora e gera máscaras de probabilidade suave (soft masks). O aluno recebe apenas a imagem recortada e aprende a reproduzir essas máscaras.
  • Função de Perda: Combina perda supervisionada (Ground Truth), perda de distilação (MSE + Dice com temperatura) e uma perda de preservação de área para evitar máscaras triviais.

• Quantização e Implantação:

  • O modelo é quantizado para INT8 usando o Model Compression Toolkit (MCT) da Sony.
  • A arquitetura CNN é inerentemente robusta à ruído de quantização, permitindo uma redução de 4x no tamanho com degradação de precisão negligenciável.
  • O modelo é compilado para o formato .rpk e executado diretamente no DSP integrado do Sony IMX500.

3. Principais Contribuições

1. Arquitetura Hardware-Aware: Proposição de um modelo de 1,3M de parâmetros que opera estritamente dentro das restrições de memória (<8MB) e de operadores do IMX500, eliminando a dependência de Transformers.
2. Prompting via ROI: Uma estratégia inovadora que codifica prompts espacialmente através de recortes de imagem, permitindo integração perfeita com a capacidade de ROI de hardware de sensores inteligentes sem sobrecarga computacional de inferência.
3. Distilação de SAM3: Demonstração de que a transferência de conhecimento de modelos massivos (SAM3) para redes CNN ultra-leves resulta em ganhos significativos de precisão, superando o treinamento supervisionado puro.
4. Execução em Tempo Real In-Sensor: Primeira demonstração de segmentação de ROI de alta qualidade rodando inteiramente dentro de um sensor de visão, sem offloading para a nuvem ou CPU externa.

4. Resultados Experimentais

Os resultados foram avaliados nos conjuntos de dados COCO e LVIS, comparando com modelos de ponta (SAM-H, FastSAM, TinySAM, EdgeSAM) e benchmarks de borda.

• Precisão (mIoU):

  • COCO: 65,45% (superando o SAM-H em +11,85% e o TinySAM/EdgeSAM em >14%).
  • LVIS: 64,01% (superando o SAM-H em +3,5%).
  • O PicoSAM3 supera significativamente seu predecessor (PicoSAM2) e outros modelos leves, apesar de ter complexidade computacional muito menor (345M MACs vs. 42G+ MACs de outros modelos leves).

• Eficiência e Latência:

  • Tamanho: Redução de 4x com quantização INT8 (de 5,26 MB para 1,31 MB).
  • Latência no IMX500: 11,82 ms por inferência (aprox. 84 FPS), representando um aumento de velocidade de 17% em relação ao PicoSAM2 quantizado.
  • Degradação por Quantização: Apenas 0,11% de perda de mIoU no COCO ao passar de FP32 para INT8.

• Estudos de Ablação:

  • A transição para entrada baseada em ROI foi o fator mais crítico, aumentando o mAP de ~30% para ~40%.
  • A distilação do SAM3 forneceu os maiores ganhos de precisão, superando o treinamento supervisionado em até +14,5% de mIoU.

5. Significado e Impacto

O PicoSAM3 representa um avanço fundamental para a Inteligência na Borda (Edge AI) e Computação em Sensor (In-Sensor Computing).

• Viabilidade Técnica: Demonstra que a segmentação visual interativa e de alta qualidade não precisa de GPUs ou servidores em nuvem; pode ser realizada diretamente no sensor, economizando energia e largura de banda.
• Aplicações Práticas: Habilita novas aplicações em óculos inteligentes, robótica embarcada e dispositivos IoT com bateria limitada, onde a privacidade (dados não saem do dispositivo) e a latência ultrabaixa são críticas.
• Mudança de Paradigma: Sugere que, para restrições extremas de hardware, arquiteturas CNN otimizadas com distilação de conhecimento podem superar modelos baseados em Transformers em termos de equilíbrio entre precisão e eficiência, especialmente quando adaptados nativamente para o hardware alvo.

O código e os modelos estão disponíveis publicamente no repositório do GitHub dos autores, facilitando a reprodutibilidade e o desenvolvimento futuro na área de sensores inteligentes.