SAMannot: A Memory-Efficient, Local, Open-source Framework for Interactive Video Instance Segmentation based on SAM2

Resumen Técnico: SAMannot

1. El Problema
Los flujos de trabajo actuales para la segmentación precisa de video en investigación enfrentan un dilema crítico: deben elegir entre la curación manual intensiva en mano de obra, el uso de plataformas comerciales costosas o el empleo de servicios en la nube que comprometen la privacidad de los datos.

• Barreras de Privacidad y Costo: Herramientas como Roboflow, Encord o Labelerr requieren subir datos a servidores externos (inviiable para datos médicos o confidenciales) o son de pago.
• Limitaciones de Herramientas Locales: Las herramientas de código abierto existentes (como SILVI o VGG) suelen carecer de integración con modelos fundacionales modernos (como SAM), obligando a una anotación manual cuadro por cuadro, lo cual es lento y propenso a errores.
• Desafíos Técnicos: La anotación de video de larga duración con modelos de IA como SAM2 (Segment Anything Model 2) genera una sobrecarga de memoria (VRAM) prohibitiva en hardware estándar, dificultando el procesamiento de secuencias largas sin interrupciones.

2. Metodología y Arquitectura
SAMannot es un marco de trabajo de código abierto, local y eficiente en memoria diseñado para integrar SAM2 en un flujo de trabajo "humano-en-el-bucle" (human-in-the-loop).

• Arquitectura del Software:
  • Frontend: Desarrollado en Python utilizando Tkinter, ofrece una interfaz gráfica (GUI) con paneles de control, lienzo de visualización y deslizadores de tiempo. Permite la gestión de sesiones, carga de medios (video/series de imágenes), y visualización de máscaras y prompts.
  • Backend: Gestiona la lógica de anotación y se comunica con un wrapper personalizado de SAM2. Se divide en cuatro componentes principales: gestión de memoria, gestión de prompts y características, propagación temporal y guardado de resultados.
• Optimizaciones Clave para Eficiencia:
  • Procesamiento por Bloques: El video se divide en bloques de $N$ cuadros. Esto permite procesar secuencias largas en GPUs de gama media (ej. 24GB VRAM) sin desbordar la memoria, ya que solo se mantienen en memoria los cuadros del bloque activo.
  • Estrategia de Ventana Deslizante: Para mitigar la sobrecarga de los mecanismos de atención de SAM2 en secuencias largas, el sistema descarta explícitamente los datos latentes de cuadros anteriores a los últimos 16 cuadros.
  • Reinicialización de Estado: El estado de inferencia de SAM2 se reinicia para cada ciclo de propagación dentro de un bloque, minimizando la fragmentación de memoria.
• Mecanismos de Automatización:
  • Auto-Prompting: Al finalizar un bloque, el sistema genera automáticamente prompts de puntos basados en el esqueleto topológico de las máscaras del bloque anterior. Esto facilita la transición al siguiente bloque sin intervención manual inmediata.
  • Flujo "Lock-and-Refine" (Bloquear y Refinar): Los usuarios pueden establecer "puntos de control" (checkpoints) que actúan como barreras temporales. Esto impide que la propagación de un lado del punto de control sobrescriba las anotaciones validadas del otro lado, permitiendo iteraciones seguras.
  • Gestión de Identidad Persistente: Implementa una capa de gestión superior que mapea los "slots" de objetos internos de SAM2 a una estructura de datos persistente, asignando IDs inmutables y etiquetas semánticas a cada máscara rastreada.

3. Contribuciones Clave

• Integración Local de SAM2: Es la primera herramienta que integra eficazmente SAM2 en un flujo de trabajo de anotación de video local, resolviendo los problemas de memoria y gestión de metadatos persistentes que carecía el modelo original.
• Privacidad y Accesibilidad: Al ser de código abierto y ejecutarse localmente, elimina la necesidad de suscripciones comerciales y garantiza que los datos sensibles (ej. biológicos, médicos) nunca salgan del hardware del usuario.
• Formatos de Exportación: Genera conjuntos de datos listos para investigación en formatos estándar (máscaras PNG sin pérdida y etiquetas YOLO) junto con registros de interacción estructurados.
• Soporte para Hardware Común: Optimizado para funcionar en GPUs de gama media, democratizando el acceso a la anotación asistida por IA de alta fidelidad.

4. Resultados y Evaluación
El sistema fue validado en entornos de Linux (Ubuntu 22.04) y Windows 11, utilizando hardware con NVIDIA RTX 4090.

• Precisión de Segmentación:
  • Se evaluó en subconjuntos de los conjuntos de datos DAVIS 2017 y LVOS.
  • En DAVIS, SAMannot logró un IoU (Intersección sobre Unión) medio de 0.9185 y un coeficiente Dice de 0.9512, demostrando una precisión comparable a la verdad fundamental (ground truth).
  • En LVOS (un conjunto de datos más difícil con oclusiones y movimiento), se obtuvo un IoU medio de 0.8645.
• Análisis de Discrepancias: Las diferencias en las métricas a menudo se debieron a ambigüedades semánticas en la verdad fundamental (ej. la verdad fundamental excluía partes anatómicas conectadas que SAMannot identificaba correctamente como parte del objeto), no a fallos del modelo.
• Eficiencia de Memoria: Las pruebas mostraron que la estrategia de bloques mantiene un uso de VRAM estable (oscilando entre ~1.5 GB y ~2.8 GB en las pruebas), evitando los desbordamientos típicos de los modelos base en secuencias largas.
• Tiempo de Anotación: Aunque el tiempo varía según la complejidad de la escena y la experiencia del usuario, el flujo de trabajo propuesto reduce significativamente el esfuerzo manual en comparación con la anotación cuadro por cuadro.

5. Significado e Impacto
SAMannot representa un avance significativo para la comunidad de investigación que maneja grandes volúmenes de datos de video, especialmente en campos como el comportamiento animal, la biomedicina y la robótica.

• Democratización: Permite a grupos de investigación sin acceso a plataformas comerciales costosas o con restricciones de privacidad de datos, generar conjuntos de datos de alta calidad utilizando hardware accesible.
• Escalabilidad: Su arquitectura modular permite la futura integración de otros modelos fundacionales (ej. SAM3) o la adaptación de heurísticas específicas de dominio (como puntos clave de DeepLabCut).
• Reproducibilidad: Al ser de código abierto (licencia MIT) y proporcionar registros detallados de interacción, fomenta la transparencia y la reproducibilidad en la creación de datos de entrenamiento para modelos de visión por computadora.

En resumen, SAMannot cierra la brecha entre las herramientas manuales lentas y las plataformas comerciales costosas, ofreciendo una solución robusta, privada y eficiente para la anotación de instancias en video.