💻 computer science

Memory-Augmented Multimodal Large Language Models for Small Object Understanding in Streaming Aerial Videos

Este artículo presenta **DroneEyes**, el primer conjunto de datos de vocabulario abierto a nivel de píxel para objetivos aéreos diminutos, y **SkyAnchor**, un modelo de lenguaje de gran escala multimodal aumentado por memoria que cuenta con un enrutador de tokens consciente de la semántica y un banco de memoria jerárquico para permitir la comprensión en tiempo real y de manera eficiente en recursos de objetos pequeños en videos aéreos en streaming.

Autores originales: Penglei Sun, Yehua Huang, Zhuoli Tao, Xiang Li, Runwei Guan, Yaoxian Song, Kaiyong Zhao, Henghui Ding, Bo Han, Yang Yang, Xiaowen Chu

Publicado 2026-07-23

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Penglei Sun, Yehua Huang, Zhuoli Tao, Xiang Li, Runwei Guan, Yaoxian Song, Kaiyong Zhao, Henghui Ding, Bo Han, Yang Yang, Xiaowen Chu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el piloto de un pequeño dron de alta tecnología que vuela sobre una ciudad bulliciosa. Tu trabajo no es solo tomar fotos bonitas; tienes que responder preguntas de un operador humano en tiempo real, como "Busca ese coche rojo" o "Muéstrame el camión blanco". Este es el mundo de la visión aérea, donde las computadoras intentan entender lo que ven desde el cielo. Pero aquí está el truco: las cosas que el dron ve son a menudo increíblemente pequeñas, como una sola hormiga en un gigantesco mantel de picnic. Para complicar aún más las cosas, el dron está volando, por lo que no puede esperar a ver la película completa antes de responder; tiene que reaccionar instantáneamente a medida que el video se transmite, fotograma a fotograma. Esto se llama comprensión de video en streaming.

Imagina que intentas describir esa diminuta hormiga a un amigo mientras corres un maratón. No puedes llevar un álbum de fotos gigante de cada paso que has dado (eso es demasiado pesado), pero si olvidas dónde estabas hace un segundo, podrías perder de vista a la hormiga entre la multitud. Este es exactamente el problema que enfrentan los investigadores con los Modelos de Lenguaje Extensos Multimodales (MLLM). Estos son cerebros de IA súper inteligentes que pueden ver y leer, pero que normalmente se ven abrumados por detalles diminutos o olvidan el pasado cuando el video sigue avanzando. Este artículo aborda el desafío de enseñar a estos cerebros de IA a detectar objetos pequeños y en movimiento en imágenes de drones en vivo sin confundirse o quedarse sin batería.

El Problema del Objetivo Diminuto

Los investigadores comenzaron al darse cuenta de que las herramientas de IA existentes eran pésimas para este trabajo específico. La mayoría de los modelos de IA son entrenados con videos de personas y perros en parques, donde los sujetos son grandes y fáciles de ver. Cuando apuntas una IA hacia un video de un dron, esta intenta comprimir toda la imagen para ahorrar espacio, tratando a un coche diminuto de la misma forma que a un edificio enorme. ¿El resultado? El coche diminuto se pierde en el desenfoque.

Para solucionar esto, el equipo construyó primero un nuevo campo de entrenamiento llamado DroneEyes. Piensa en esto como una enorme biblioteca de 2,140 videos de drones en alta definición, pero con un giro especial: cada objeto diminuto en cada fotograma está delineado con una precisión de píxel. No se limitaron a dibujar cajas alrededor de las cosas; trazaron la forma exacta de un pequeño coche plateado o de un peatón distante. Este conjunto de datos incluye más de 176,000 pares de preguntas y respuestas, enseñando a la IA no solo a encontrar estas cosas pequeñas, sino también a describirlas en detalle, como "Esa es una escultura roja en un patio circular".

Conoce a SkyAnchor: El Nuevo Cerebro del Dron

Con estos nuevos datos, el equipo construyó un nuevo modelo de IA llamado SkyAnchor. Si los modelos antiguos eran como un estudiante intentando leer un libro mientras hace malabares, SkyAnchor es como un estudiante con un cuaderno súper organizado y un resaltador mágico. Resuelve los dos dolores de cabeza de la visión de drones con dos trucos ingeniosos:

El Resaltador Mágico (Enrutador de Tokens Sensible a la Semántica):
Normalmente, cuando una IA mira un video, divide la imagen en miles de piezas de rompecabezas diminutas (llamadas tokens). Trata cada pieza por igual, incluso el cielo aburrido del fondo. SkyAnchor utiliza un "enrutador" que actúa como un resaltador inteligente. Escanea la imagen y dice: "Oye, ese parche de cielo es aburrido, ignorémoslo", pero "¡Ese pequeño coche es importante, mantengamos todos sus detalles!". Esto permite que la IA concentre su capacidad cerebral en los objetivos diminutos sin necesidad de procesar toda la imagen masiva, ahorrando energía y manteniendo los detalles nítidos.
El Sistema de Dos Cuadernos (Banco de Memoria Jerárquica):
Dado que el dron está volando, la IA necesita recordar lo que vio hace unos segundos para saber dónde está el objeto ahora. Pero no puede recordar todo para siempre, o su memoria se llenaría instantáneamente. SkyAnchor utiliza un sistema de memoria de dos capas:
- El Cuaderno del "Quién" (Memoria Semántica): Almacena la identidad del objeto. Recuerda: "Ese es un sedán plateado". Esta parte permanece en la memoria durante mucho tiempo para que la IA no olvide lo que está rastreando.
- El Cuaderno del "Dónde" (Memoria de Seguimiento): Esta es una ventana deslizante de corto plazo que solo contiene los últimos segundos de movimiento. Recuerda: "El coche se movió a la izquierda".
  Al separar el "quién es" del "dónde está", SkyAnchor puede rastrear un objetivo de manera fluida incluso mientras el dron hace zoom hacia adentro o hacia afuera, sin confundirse o perder el objeto.

Lo Que Encontraron

El equipo probó SkyAnchor en su nuevo conjunto de datos DroneEyes y lo comparó con los modelos de IA más inteligentes disponibles actualmente. Los resultados fueron impresionantes. En la tarea de describir objetos, SkyAnchor obtuvo una puntuación el doble de alta que los mejores modelos de propósito general. Cuando se trató de encontrar y delinear los objetos diminutos (segmentación de referencia), superó al siguiente mejor modelo por un 15.3%, a pesar de que SkyAnchor es mucho más pequeño y ligero.

Pero la verdadera prueba era si esta IA podía manejar un entorno completamente nuevo que nunca había visto antes. Los investigadores la lanzaron contra un conjunto de datos diferente llamado SkyFind, que presenta escenas marítimas (océano). Sin ningún entrenamiento adicional, SkyAnchor mejoró los resultados anteriores en un 25.9% en la detección precisa de objetos. Esto sugiere que el modelo aprendió una habilidad general para detectar cosas diminutas, no solo memorizó los videos de entrenamiento.

Vuelo en el Mundo Real

Finalmente, el equipo no dejó a SkyAnchor solo en un laboratorio de computación. Lo colocaron en un dron real volando sobre un campus universitario. Optimizaron el software para que pudiera ejecutarse en una computadora pequeña y portátil (una NVIDIA Jetson AGX Orin) sin necesidad de enviar datos a la nube. ¿El resultado? El sistema funcionó 3.05 veces más rápido que una configuración estándar, permitiendo que el dron responda preguntas y dibuje contornos en tiempo real mientras vuela.

En videos del mundo real, SkyAnchor rastreó con éxito un SUV rojo, un coche plateado escondido en un camino de grava e incluso un pez koi en un estanque, todo mientras el dron se movía y la vista cambiaba. No se perdió en las sombras ni se confundió con objetos de apariencia similar.

La Conclusión

Este artículo sugiere que, al combinar un nuevo conjunto de datos de alta calidad con un sistema de memoria inteligente y un enrutador que preserva el enfoque, podemos hacer que la IA sea mucho mejor detectando cosas diminutas en videos de drones en vivo. Demuestra que no necesitas una computadora gigante y pesada para hacer esto; un modelo optimizado y consciente de la memoria puede volar en un dron y ayudar a los operadores a encontrar exactamente lo que están buscando, justo ahora. Si bien el artículo muestra resultados sólidos en conjuntos de datos específicos y pruebas del mundo real, también insinúa que el trabajo futuro se centrará en hacer que el sistema sea aún más rápido y en enseñarle a controlar la trayectoria de vuelo del dron para mantener el objetivo a la vista.

Resumen Técnico: Modelos de Lenguaje Multimodales Aumentados por Memoria para la Comprensión de Objetos Pequeños en Videos Aéreos en Streaming

1. Planteamiento del Problema

El artículo aborda el desafío de la segmentación de objetos de video de referencia (RVOS) en línea en videos aéreos en streaming capturados por Vehículos Aéreos No Tripulados (UAV). A diferencia del procesamiento offline, los UAV deben responder en tiempo real a medida que llegan los fotogramas secuencialmente sin acceso a datos futuros. Este entorno presenta dos desafíos intrínsecos:

Percepción de Objetos Diminutos: Los objetivos aéreos suelen ocupar una porción minúscula de los fotogramas de alta resolución (por ejemplo, <0.24% del área de la imagen). Los Modelos de Lenguaje Multimodales (MLLM) existentes suelen aplicar una compresión visual uniforme (por ejemplo, fusión de tokens de ratio fijo), lo que trata por igual a los objetivos pequeños y a los fondos grandes, causando la pérdida de detalles finos esenciales para la identificación de objetos pequeños.
Contexto en Streaming vs. Restricciones de Recursos: Comprender un flujo continuo de video requiere contexto temporal para evitar la deriva o desaparición del objetivo. Sin embargo, el hardware a bordo tiene recursos limitados, lo que hace inviable el almacenamiento en caché de todo el historial visual de un flujo en constante crecimiento. Los mecanismos de memoria existentes (por ejemplo, el escalado lineal en SAM 3) no logran mantener la identidad a largo plazo o son demasiado pesados para el despliegue en el borde (edge).

Además, el artículo identifica la falta de datos adecuados: los conjuntos de datos aéreos existentes (por ejemplo, SkyFind, AerialMind) dependen de cuadros delimitadores (bounding boxes) gruesos o imágenes estáticas, mientras que los conjuntos de datos de la vida cotidiana (por ejemplo, MeViS) se centran en objetos grandes. Ninguno proporciona máscaras de segmentación por fotograma, a nivel de píxel y de vocabulario abierto para escenarios aéreos en streaming.

2. Metodología: SkyAnchor

Los autores proponen SkyAnchor, un marco de trabajo MLLM diseñado específicamente para la comprensión de objetos pequeños en video aéreo en streaming. El sistema opera sobre un backbone de visión-lenguaje (Qwen2.5-VL) y un decodificador de máscara (SAM 2), mejorado por dos componentes principales:

A. Enrutador de Tokens Sensible a la Semántica (Semantics-Aware Token Router)

Para abordar el desafío del "objetivo diminuto" bajo un presupuesto de tokens visuales fijo:

Mecanismo: El enrutador particiona los tokens espaciales densos en bloques no superpuestos. En lugar de una fusión uniforme, una red de puntuación ligera evalúa la saliencia semántica de cada token dentro de un bloque.
Agregación: Los tokens se fusionan mediante agregación ponderada por softmax, asignando pesos más altos a las regiones relevantes para el objetivo y pesos más bajos al fondo.
Entrenamiento: Una pérdida de enrutamiento auxiliar ( $L_{route}$ ), supervisada por máscaras de verdad de campo (ground-truth), guía al enrutador para preservar las características discriminativas de los objetos pequeños mientras comprime el ruido del fondo.

B. Banco de Memoria Jerárquico (Hierarchical Memory Bank)

Para abordar el desafío del "contexto en streaming" gestionando la memoria:

Capa de Memoria Semántica (Largo Plazo): Almacena características de apariencia persistentes a nivel de objeto (anclas) extraídas de "fotogramas ancla" clave (actualizados cada $N$ fotogramas). Esta capa preserva la identidad del objetivo (por ejemplo, "sedán plateado") para evitar la deriva a largo plazo y ayuda al VLM en el razonamiento.
Capa de Memoria de Seguimiento (Corto Plazo): Mantiene una ventana deslizante FIFO (First-In-First-Out) de tamaño fijo de estados espaciales recientes (memoria de seguimiento). Esta capa soporta la propagación de la máscara a corto plazo entre fotogramas ancla utilizando el decodificador SAM 2.
Integración: Las dos capas desacoplan la información temporal, permitiendo que el modelo mantenga una comprensión estable sin almacenar todo el historial.

C. Estrategia de Despliegue en el Borde (Edge Deployment Strategy)

El sistema emplea un programa de inferencia asíncrona:

El pesado backbone VLM se ejecuta solo en fotogramas ancla dispersos (por ejemplo, cada 16º fotograma) para actualizar las anclas semánticas.
El ligero decodificador SAM 2 se ejecuta densamente en cada fotograma, utilizando tokens almacenados en caché y el banco de memoria jerárquico para propagar las máscaras.
La optimización incluye compilación con TensorRT, captura de CUDA Graph para la atención de memoria y programación asíncrona para maximizar el rendimiento en dispositivos de borde (NVIDIA Jetson AGX Orin).

3. Contribuciones Clave

Datos: Conjunto de Datos DroneEyes

Los autores construyeron DroneEyes, el primer conjunto de datos a gran escala para segmentación de referencia de vocabulario abierto y a nivel de píxel en videos aéreos en streaming.

Escala: 2,140 videos de drones de alta definición (1080p–4K) y 176,623 pares de QA (pregunta-respuesta).
Granularidad: Máscaras de segmentación densas por fotograma (nivel de píxel) en lugar de cuadros delimitadores.
Niveles de Tarea:
- Nivel 1 (L1): Descripción de Objeto (dada una región, describir el objeto).
- Nivel 2 (L2): Expresión de Referencia (dada una consulta de texto, segmentar el objeto).
Características: Presenta una relación promedio de objeto-a-imagen extremadamente baja (0.24%), lo que lo convierte en un benchmark riguroso para la detección de objetos diminutos.

Método: Marco de Trabajo SkyAnchor

Introducción del Enrutador de Tokens Sensible a la Semántica para preservar detalles finos de objetivos diminutos bajo compresión.
Diseño del Banco de Memoria Jerárquico para equilibrar la preservación de la identidad a largo plazo con la eficiencia de seguimiento a corto plazo en escenarios de streaming.

Resultados Empíricos

Rendimiento en DroneEyes: SkyAnchor (3B de parámetros) supera a todos los MLLM de propósito general y modelos de segmentación especializados existentes.
- L1 (Descripción): Logra una mejora de 2× en las puntuaciones GPT sobre las líneas base más fuertes.
- L2 (Segmentación): Alcanza una puntuación J&F de 38.10%, superando al mejor anterior (Sa2VA-26B, 33.05%) en un 15.3% a pesar de usar significativamente menos parámetros.
- Robustez de Objetos Pequeños: Muestra una ventaja marcada en objetos ultra-diminutos (área relativa < $10^{-4}\%$ ), superando a las líneas base hasta en 10.8 puntos porcentuales.
Generalización de Dominio Cruzado: Evaluado en el benchmark SkyFind sin ajuste fino (fine-tuning). En la división de prueba marítima no vista, SkyAnchor mejoró el IoU@0.5 en un 25.9% y el IoU@mean en un 95.5% sobre el SOTA anterior específico de dominio (AerialREC), demostrando una fuerte robustez al cambio de dominio.
Despliegue en el Mundo Real: Desplegado en un UAV con un NVIDIA Jetson AGX Orin. El pipeline de optimización logró una aceleración de 3.05× sobre el PyTorch vanilla, alcanzando 5.8 FPS (172ms de latencia), lo que permite el monitoreo en línea sin dependencia de la nube.

4. Significado y Reivindicaciones

El artículo afirma que SkyAnchor proporciona una solución práctica para la percepción aérea en línea, cerrando la brecha entre las altas demandas computacionales de los MLLM y las restricciones de recursos de los UAV.

Contribución de Datos: Llena un vacío crítico en la literatura al proporcionar el primer conjunto de datos con anotaciones de nivel de píxel y vocabulario abierto para video aéreo en streaming, yendo más allá de las limitaciones de los conjuntos de datos basados en cuadros delimitadores.
Perspectiva Metodológica: Demuestra que simplemente escalar los parámetros de un MLLM es insuficiente para tareas de objetos pequeños aéreos; en su lugar, se requieren diseños arquitectónicos especializados (compresión sensible a la semántica y memoria jerárquica) para manejar el desequilibrio extremo entre primer plano y fondo, así como las restricciones de streaming.
Viabilidad Práctica: El despliegue exitoso en hardware real valida que el razonamiento multimodal complejo y la segmentación pueden realizarse a bordo sin descarga a la nube (cloud offloading), apoyando aplicaciones en vigilancia, búsqueda y rescate, e inspección de infraestructura.

Los autores concluyen que el trabajo futuro se centrará en una mayor optimización consciente del hardware para igualar las tasas de captura nativas y en explorar la integración de los resultados de segmentación para el control de cámara activo y la navegación autónoma.