PicoSAM3: Real-Time In-Sensor Region-of-Interest Segmentation

Aquí presento un resumen técnico detallado del artículo "PicoSAM3: Real-Time In-Sensor Region-of-Interest Segmentation", estructurado según los puntos solicitados:

1. El Problema

El avance de modelos de segmentación de propósito general como el Segment Anything Model (SAM) y sus sucesores (SAM 2, SAM 3) ha establecido nuevos estándares en la comprensión visual. Sin embargo, estas arquitecturas basadas en Transformers presentan una complejidad computacional y un huella de memoria prohibitivos para su ejecución en dispositivos de borde extremos (extreme edge), como sensores inteligentes autónomos o gafas inteligentes.

Específicamente, los paradigmas de computación en el sensor (in-sensor computing), donde el procesamiento ocurre directamente dentro del chip del sensor (ej. Sony IMX500), enfrentan restricciones severas:

• Memoria limitada: El sensor IMX500 tiene menos de 8 MB de SRAM on-chip.
• Operadores restringidos: No soporta operaciones no lineales complejas (como Softmax o LayerNorm) típicas de los Transformers.
• Latencia y Energía: La necesidad de inferencia en tiempo real sin transmisión de datos a la nube para preservar la privacidad y reducir la latencia.
• Incompatibilidad: Modelos existentes optimizados para el borde (TinySAM, EdgeSAM, MobileSAMv2) aún exceden los presupuestos de memoria o dependen de operadores no soportados por estos sensores integrados.

2. Metodología

Los autores proponen PicoSAM3, un modelo de segmentación visual ligera y promptable (capaz de recibir instrucciones) diseñado específicamente para ejecutarse dentro del sensor.

• Arquitectura Híbrida CNN:

  • Se abandona el uso de Transformers a favor de una arquitectura CNN densa (basada en U-Net) para garantizar compatibilidad con los conjuntos de instrucciones de los DSP de bajo consumo.
  • Mejoras sobre PicoSAM2: Se introduce un cuello de botella (bottleneck) con convoluciones dilatadas para ampliar el campo receptivo, un bloque de Atención Eficiente de Canal (ECA) para recalibrar características, y una cabeza de refinamiento para mejorar los bordes.
  • Tamaño: El modelo tiene aproximadamente 1.37 millones de parámetros (5.26 MB en FP32).

• Codificación Implícita de Prompts (ROI):

  • Dado que el sensor no puede recibir coordenadas de puntos o cajas explícitas como entrada adicional, se utiliza una estrategia de recorte centrado (centered cropping).
  • Durante el entrenamiento, la imagen se recorta alrededor de la caja delimitadora del objeto (con un 10% de relleno para contexto) y se redimensiona a 96x96 píxeles.
  • Esto permite que la red aprenda a segmentar el objeto dominante en el centro de la imagen, eliminando la necesidad de canales de entrada adicionales para los prompts y alineándose nativamente con la capacidad de Región de Interés (ROI) del hardware.

• Destilación de Conocimiento (Knowledge Distillation):

  • Se utiliza un pipeline de dos etapas para transferir capacidades de modelos grandes (maestros) a la red compacta (estudiante).
  • Maestros: Se utiliza SAM3 (y SAM2) como modelo maestro.
  • Proceso: Se precalculan las máscaras suaves (soft masks) del maestro para todas las anotaciones de COCO. El estudiante se entrena para imitar estas predicciones suaves (usando pérdida MSE y Dice) y las máscaras binarias reales (Ground Truth).
  • Pérdida Adaptativa: Se introduce un término de preservación de área para evitar que el modelo prediga máscaras triviales y se ajusta el peso de la pérdida del maestro en función de su confianza.

• Cuantización y Despliegue:

  • Se aplica cuantización post-entrenamiento (PTQ) a INT8 utilizando el Model Compression Toolkit (MCT) de Sony.
  • El modelo cuantizado reduce su tamaño a 1.31 MB, cumpliendo estrictamente con las limitaciones de memoria del IMX500.
  • Se despliega en el sensor Sony IMX500, donde el sensor realiza el recorte, la inferencia y devuelve la máscara en tiempo real.

3. Contribuciones Clave

1. Arquitectura Hardware-Aware: Diseño de un modelo de 1.3-1.4M parámetros que opera completamente dentro de un sensor con <8MB de memoria, eliminando la dependencia de Transformers.
2. Estrategia de Prompting ROI: Implementación de una supervisión basada en recortes espaciales que elimina la sobrecarga computacional del procesamiento de prompts en tiempo de inferencia, permitiendo una integración fluida con el hardware.
3. Destilación de SAM3: Logro de un rendimiento superior mediante la destilación directa desde SAM3, superando a modelos entrenados solo con supervisión tradicional.
4. Despliegue en Tiempo Real: Demostración exitosa de inferencia en el sensor con una latencia de extremo a extremo de 11.82 ms (aprox. 84 FPS), sin necesidad de offloading a la nube.

4. Resultados Cuantitativos

El modelo se evaluó en los conjuntos de datos COCO y LVIS, comparándose con modelos fundacionales y baselines orientados al borde:

• Precisión (mIoU):
  • COCO: 65.45% (PicoSAM3) vs. 53.6% (SAM-H) y 51.6% (FastSAM). Supera a los baselines de borde en más de 14 puntos de mIoU.
  • LVIS: 64.01% (PicoSAM3), mostrando una mejora significativa sobre PicoSAM2 (+19.11 mIoU).
• Eficiencia y Tamaño:
  • Reducción de parámetros de 635M (SAM-H) a 1.37M.
  • Reducción de tamaño de modelo de 275.6 MB (FastSAM) a 1.31 MB (cuantizado INT8).
• Latencia en Sensor:
  • 11.82 ms en Sony IMX500 (vs. 14.3 ms de la versión cuantizada de PicoSAM2).
  • Degradación de precisión por cuantización insignificante (<0.2% en mIoU).
• Estudios de Ablación:
  • La destilación desde SAM3 aporta hasta +14.5% de mejora en mIoU sobre el entrenamiento supervisado desde cero.
  • El uso de entradas ROI (recorte) es crítico, mejorando el mAP en más de 10 puntos comparado con enfoques sin recorte.

5. Significancia e Impacto

Este trabajo representa un hito en la computación en el sensor (in-sensor computing) y la IA de borde (Edge AI):

• Privacidad y Latencia: Demuestra que la segmentación de alta calidad y promptable puede realizarse localmente en el sensor, eliminando la necesidad de transmitir datos brutos a la nube, lo cual es crucial para aplicaciones de privacidad (gafas inteligentes, IoT médico).
• Viabilidad de Hardware: Rompe la barrera de que los modelos de segmentación modernos requieren GPUs potentes, probando que es posible ejecutarlos en sensores CMOS con recursos extremadamente limitados.
• Escalabilidad: Proporciona una ruta viable para integrar capacidades de visión avanzada en dispositivos con restricciones de energía y memoria estrictas, abriendo puertas a nuevas aplicaciones en robótica embebida, realidad aumentada wearable y sistemas de vigilancia autónomos.

En resumen, PicoSAM3 no solo mejora el estado del arte en modelos ligeros, sino que redefine lo que es posible ejecutar directamente dentro de un sensor de imagen comercial, combinando eficiencia arquitectónica, destilación de conocimiento avanzada y optimización de hardware.