💻 computer science

MobileSAM2: Lightweight Segment Anything for Spatial Intelligence

Este artículo presenta MobileSAM2, una familia de modelos ligeros para segmentar objetos en imágenes y videos en dispositivos con recursos limitados, lo cual se logra destilando el pesado SAM2 mediante un novedoso marco de Destilación de Conocimiento Hipergráfico (HyperKD) que transfiere eficazmente el conocimiento temporal y de multigranularidad.

Autores originales: Kai Jiang, Jiaxing Huang, Jingyi Zhang, Weiying Xie, Yunsong Li, Yufei Wang, Aoran Xiao, Dacheng Tao

Publicado 2026-07-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kai Jiang, Jiaxing Huang, Jingyi Zhang, Weiying Xie, Yunsong Li, Yufei Wang, Aoran Xiao, Dacheng Tao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un cerebro robótico súper inteligente llamado SAM2 que puede mirar cualquier video e instantáneamente señalar cada una de las cosas en él: coches, gatos, incluso las diminutas hojas de un árbol. Es como un artista genio que ha estudiado más de 113.800 videos y 40,9 millones de diferentes "máscaras" o dibujos (piensa en ellos como recortes digitales) para aprender a ver el mundo. Pero aquí está el problema: este cerebro genio es tan grande y pesado que no cabe en un teléfono o una computadora portátil común. Es como intentar meter una biblioteca en una mochila.

Los investigadores de este artículo se hicieron una pregunta sencilla: ¿Podemos encoger este gigante genio para que quepa en un bolsillo sin que olvide cómo ser inteligente?

Su respuesta es una nueva familia de modelos ligeros llamada MobileSAM2. Para lograr esto, no se limitaron a cortar trozos del cerebro gigante; inventaron un método de enseñanza especial llamado HyperKD (Destilación de Conocimiento Hipergráfica).

La magia de los "Hipergrafos"

Normalmente, cuando le enseñas a un modelo estudiante pequeño desde un modelo maestro grande, solo le muestras la respuesta. Pero los autores se dieron cuenta de que la verdadera magia de SAM2 no es solo qué ve, sino cómo conecta las cosas. Utilizaron un concepto llamado hipergrafo, que es como una telaraña súper avanzada.

En una red normal, un hilo conecta dos puntos. Pero en un hipergrafo, un "hilo" (llamado hiperarista) puede conectar muchos puntos a la vez. Los investigadores usaron esto para enseñar a MobileSAM2 dos superpoderes específicos:

Viaje en el tiempo (Conocimiento Temporal): Imagina que estás viendo un video de una pelota rodando. Un modelo normal podría ver "pelota" en el segundo 1, luego "pelota" en el segundo 2. Pero SAM2 entiende que la pelota en el segundo 1 es la pelota en el segundo 2, y que se mueve en una trayectoria suave. Los investigadores construyeron un "Hipergrafo Temporal" que vincula la pelota a través de todos esos fotogramas a la vez, mostrándole al modelo estudiante cómo rastrear objetos mientras se mueven a través del tiempo.
Acercarse y alejarse (Conocimiento de Granularidad): Imagina que miras a un perro. Puedes ver al perro completo, o solo su oreja, o incluso un diminuto bigote. SAM2 entiende todos estos niveles a la vez. Los investigadores construyeron un "Hipergrafo de Granularidad" que conecta al perro completo con sus partes y subpartes simultáneamente. Esto le enseña al modelo estudiante a entender las cosas en detalle, desde la visión general hasta los fragmentos más pequeños.

El resultado: Un genio de bolsillo

Al usar este método de enseñanza de "super-telaraña", lograron reducir el masivo modelo SAM2 en tres versiones más pequeñas: MobileSAM2-5M, MobileSAM2-10M y MobileSAM2-23M (los números se refieren a cuántos "parámetros" o células cerebrales tienen).

Esto es lo que mostraron los experimentos:

Funciona en hardware eficiente: Mientras que el SAM2 original es masivo y requiere recursos enormes (como una A100 con 80 GB de memoria) para ejecutarse, MobileSAM2 está diseñado para la eficiencia. Se ejecuta sin problemas en GPUs de escritorio estándar (como una RTX 4060), procesando video a velocidades como 13,3 fotogramas por segundo para la versión de 5,8 millones de parámetros. Esta eficiencia es un paso crucial hacia su viabilidad en dispositivos con recursos limitados como teléfonos y computadoras portátiles.
Es sorprendentemente inteligente: Aunque es diminuto, supera a otros modelos pequeños por un margen enorme. Por ejemplo, en una prueba llamada LVOS, la versión de 23 millones de parámetros obtuvo 69,0, mientras que otros modelos de tamaño similar solo obtuvieron alrededor de 44,8 o 60,6.
No es solo un truco: Los investigadores probaron esto en otro cerebro robótico llamado TrackAnything (que no tiene nada que ver con el diseño de SAM2). Cuando utilizaron su método de enseñanza de "Hipergrafo" en él, ese modelo también se volvió más inteligente. Esto sugiere que el método en sí es la salsa secreta, no solo la copia de un diseño específico.

Lo que no hicieron

Es importante saber lo que este artículo no afirma. No dijeron que MobileSAM2 sea perfecto o que pueda hacer todo lo que hace SAM2. Excluyeron explícitamente la idea de que simplemente puedes usar un modelo pequeño sin este método especial de enseñanza; sus pruebas mostraron que un modelo pequeño sin este entrenamiento de "Hipergrafo" funciona mucho peor (obteniendo solo 44,8 en LVOS en comparación con los 69,0 con el método).

Tampoco afirmaron que esto sea un problema "resuelto" para todos los robots. Lo probaron en un conjunto específico de tareas robóticas (llamado LIBERO-PRO) donde ayudó a un brazo robótico a tener éxito aproximadamente el 21,8% de las veces, lo cual es mejor que otros modelos pequeños pero aún deja margen de mejora.

La conclusión

El artículo sugiere que, al usar estas conexiones de "super-telaraña" para enseñar a un modelo pequeño cómo ver el tiempo y el detalle, finalmente podemos poner un cerebro de comprensión de video potente en nuestros bolsillos. No es una varita mágica que lo hace todo perfecto, pero es un paso significativo hacia la creación de robots inteligentes y aplicaciones de video que realmente quepan en los dispositivos que llevamos con nosotros todos los días.

Resumen Técnico: MobileSAM2: Segmentación Ligera de "Segment Anything" para Inteligencia Espacial

Planteamiento del Problema

El Segment Anything Model 2 (SAM2) representa un avance significativo en la segmentación de video e imagen, aprovechando un conjunto masivo de datos de 113.8K videos y 40.9M de anotaciones de máscara para aprender correlaciones temporales robustas y conceptos visuales de multi-granularidad. Sin embargo, el gran número de parámetros de SAM2 (por ejemplo, la columna vertebral Hiera-L supera los 212M de parámetros) y sus altas demandas computacionales dificultan su despliegue en dispositivos con recursos limitados, tales como teléfonos móviles, computadoras portátiles, drones y robots. Los modelos de segmentación ligeros existentes suelen fallar en preservar la consistencia temporal integral y la comprensión de multi-granularidad que hacen que SAM2 sea efectivo para tareas de "segment anything" en flujos de video dinámicos. El desafío central es destilar el conocimiento generalizable de SAM2 en un modelo ligero sin sacrificar su robustez en la segmentación temporal y la comprensión de lo grueso a lo fino.

Metodología

1. Destilación de Conocimiento Hipergráfica (HyperKD)

Para abordar la dificultad de acceder directamente al conocimiento temporal y de multi-granularidad implícitamente codificado dentro de los parámetros de SAM2, los autores proponen HyperKD. Este marco introduce el concepto de hipergrafos en la destilación de conocimiento para modelar y transferir explícitamente estos tipos específicos de conocimiento. A diferencia de las estructuras de grafos de pares tradicionales, los hipergrafos permiten que un solo hiperarco conecte múltiples nodos, capturando efectivamente asociaciones de alto orden.

HyperKD consta de dos componentes distintos:

HyperKD Temporal: Este componente se dirige al conocimiento temporal generalizable a través de los fotogramas del video.
- Extracción: Construye dos tipos de hipergrafos: por parches (tratando los parches de la cuadrícula como nodos) e instancia por instancia (tratando las entidades de segmentación de alta confianza como nodos).
- Construcción: Para cada fotograma, los nodos se conectan mediante hiperarcos formados por un umbral de distancia de bola- $\epsilon$ alrededor de un vértice central. Estos hiperarcos locales se fusionan a través de los fotogramas para crear un hipergrafo temporal que modela las relaciones entre nodos relacionados a lo largo de la secuencia de video.
- Destilación: El modelo estudiante es entrenado para alinear sus propios hipergrafos temporales construidos con los del profesor (SAM2) minimizando la distancia de la norma de Frobenius entre sus matrices de incidencia.
HyperKD de Granularidad: Este componente se dirige al conocimiento integral de multi-granularidad (objetos, partes, subpartes).
- Extracción: Trata las entidades de segmentación dentro de un solo nivel de granularidad como nodos.
- Construcción: Los hiperarcos se forman fusionando arcos a través de diferentes niveles de granularidad (por ejemplo, vinculando un objeto con sus partes constituyentes y subpartes).
- Destilación: De manera similar al componente temporal, el modelo estudiante alinea su hipergrafo de granularidad con el del profesor, permitiendo que el estudiante aprenda relaciones semánticas jerárquicas, de lo grueso a lo fino.

El objetivo de entrenamiento general combina la alineación de características estándar (FitNet) con las pérdidas de HyperKD:
$\text{Loss} = \|z^I_t - z^I_s\|_1 + \alpha \cdot \mathcal{L}_{THKD} + \beta \cdot \mathcal{L}_{GHKD}$

2. Búsqueda de Arquitectura de MobileSAM2

Basándose en HyperKD, los autores introducen MobileSAM2, una familia de modelos ligeros. Emplean una estrategia de contracción progresiva de modelos para reducir la escala de la gran columna vertebral Hiera-L.

Se define un espacio de búsqueda parametrizado sobre componentes arquitectónicos críticos: dimensiones de incrustación ( $\Gamma_{Emb}$ ), conteo de bloques ( $\Gamma_{Blk}$ ), tamaños de ventana ( $\Gamma_{WinSiz}$ ) y ratios de expansión de cabezales de atención ( $\Gamma_{HExp}$ ).
El proceso de búsqueda identifica iterativamente arquitecturas que minimizan las pérdidas de HyperKD, asegurando que los modelos más pequeños resultantes retengan las capacidades temporales y de multi-granularidad del profesor.
Se presentan tres variantes: MobileSAM2-5M, MobileSAM2-10M y MobileSAM2-23M.

Contribuciones Clave

Destilación de Conocimiento Hipergráfica: El artículo introduce la primera aplicación de hipergrafos para la destilación de conocimiento de segmentación de video. Este enfoque modela y transfiere explícitamente el conocimiento temporal generalizable y el conocimiento de multi-granularidad integral de SAM2, los cuales son difíciles de capturar con métodos de destilación de pares estándar.
Familia MobileSAM2: Los autores presentan una nueva familia de modelos ligeros de SAM2 que logran un equilibrio favorable entre el tamaño del modelo y el rendimiento. Estos modelos están optimizados específicamente mediante la búsqueda de arquitectura guiada por HyperKD.
Evaluación Integral: Experimentos extensos validan MobileSAM2 a través de múltiples benchmarks, incluyendo segmentación de objetos de video general (VOS), VOS de largo plazo y conjuntos de datos de "segment anything in videos". Los modelos demuestran una generalización superior en tareas de IA incorporada (embodied AI) en comparación con otras columnas vertebrales ligeras.

Resultados Experimentales

Los autores evaluaron MobileSAM2 en cinco conjuntos de datos: MOSE, DAVIS 2017, LVOS (largo plazo), SA-V-val y SA-V-test.

Rendimiento: MobileSAM2 supera significativamente a los métodos de destilación de conocimiento existentes (FitNet, CIRKD, FAKD, etc.) y a las líneas base ligeras (SAM2-TinyViT).
- En el conjunto de datos LVOS, MobileSAM2-23M alcanzó una puntuación J&F de 69.0, superando por un amplio margen al siguiente mejor método (FAKD con 63.4) y superando significativamente a la línea base no destilada (44.8).
- En DAVIS 2017, MobileSAM2-23M alcanzó 72.1 J&F, comparado con 65.0 para FAKD.
- En SA-V test, MobileSAM2-23M logró 67.8 J&F, superando el 62.7 de FAKD.
Eficiencia: Las pruebas de inferencia en una GPU móvil RTX 4060 muestran que MobileSAM2 mantiene un FPS competitivo mientras reduce drásticamente los parámetros. Por ejemplo, MobileSAM2-23M (23.7M params) corre a 8.2 FPS, mientras que el SAM2 Large original (212M params) agota la memoria.
Estudios de Ablación:
- Eliminar tanto el HyperKD Temporal como el de Granularidad resulta en caídas significativas de rendimiento, confirmando la necesidad de ambos componentes.
- HyperKD supera a la destilación basada en grafos tradicional (Context Matters, IntRA-KD), validando la superioridad de los hipergrafos para capturar relaciones semánticas de alto orden.
- Se demuestra que el método es aplicable a otros modelos fundacionales (por ejemplo, TrackAnything), lo que sugiere que las ganancias provienen del objetivo de destilación y no de una co-adaptación arquitectónica específica.
IA Incorporada (Embodied AI): Al integrarse en el CaP-Agent0 para el benchmark LIBERO-PRO, MobileSAM2-23M logró una tasa de éxito promedio del 21.8%, superando la línea base SAM2-TinyViT-21M (19.3%) y acercándose al rendimiento del agente impulsado por SAM3 completo (23.2%).

Significancia

El artículo afirma que MobileSAM2 logra cerrar la brecha entre las capacidades de alto rendimiento de los grandes modelos fundacionales de video y las restricciones de las plataformas móviles y robóticas. Al aprovechar HyperKD, los autores demuestran que es posible destilar conocimiento temporal complejo y jerárquico de alto orden en modelos compactos. Esto permite capacidades de "segment anything" en dispositivos con recursos limitados, facilitando el despliegue práctico en aplicaciones como la conducción autónoma, la robótica y la edición de video móvil, donde el procesamiento en tiempo real y la memoria limitada son críticos. El trabajo establece un nuevo paradigma para la destilación de modelos fundacionales al ir más allá de la simple alineación de características hacia el modelado estructural explícito del conocimiento mediante hipergrafos.