⚡ ingeniería eléctrica

Efficient visual motion prediction using memristive spatiotemporal compression

Este artículo presenta una arquitectura de compresión espaciotemporal memristiva que logra una predicción de movimiento visual eficiente al integrar los cambios temporales en los estados de conductancia y comprimir los datos espaciales en corrientes unidimensionales, lo que resulta en una reducción significativa de la latencia y el consumo de energía en comparación con las bases de referencia de GPU, manteniendo al mismo tiempo una alta precisión.

Autores originales: Qingjiang Li, ao xu, lun lu, Yinan Wang, youpeng wu, lang qin, mingxin deng, Chang Liu, Changlin Chen, Xiao Fu, Hangyu Xu, binhan du, Hui Xu, Qi Liu

Publicado 2026-10-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Qingjiang Li, ao xu, lun lu, Yinan Wang, youpeng wu, lang qin, mingxin deng, Chang Liu, Changlin Chen, Xiao Fu, Hangyu Xu, binhan du, Hui Xu, Qi Liu

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El ojo humano no se limita a tomar instantáneas del mundo; teje una historia continua a partir del flujo de luz. Cuando observamos un pájaro volar por el cielo, nuestro cerebro no almacena una larga secuencia de imágenes separadas para determinar dónde aterrizará el ave después. En cambio, integra el movimiento en un sentido único y evolutivo de dirección y velocidad, lo que nos permite anticipar el futuro con una rapidez notable y casi sin esfuerzo. Esta capacidad de comprimir el tiempo y el espacio en una predicción compacta es una característica distintiva de la visión biológica. En contraste, las máquinas que construimos para ver el mundo a menudo luchan con esta misma tarea. Los sistemas tradicionales de visión computacional suelen registrar cada fotograma de un vídeo, los almacenan en la memoria y luego procesan todo el conjunto de imágenes para adivinar qué sucede después. Este enfoque requiere cantidades masivas de almacenamiento, energía y tiempo, creando un cuello de botella que limita qué tan rápidos y eficientes pueden ser estos sistemas, especialmente para aplicaciones como drones autónomos o vigilancia de seguridad que necesitan reaccionar instantáneamente.

Investigadores de la Universidad Nacional de Tecnología de Defensa y diversas instituciones colaboradoras han desarrollado un nuevo enfoque de hardware que imita la eficiencia del cerebro al cambiar la forma en que la información visual se almacena y se procesa antes de que se realice una predicción. En lugar de mantener un historial de fotogramas de vídeo separados, construyeron un sistema que utiliza un tipo especial de componente electrónico llamado memristor para acumular físicamente el historial de movimiento. Un memristor es un dispositivo cuya resistencia eléctrica cambia cuando se aplica voltaje, y puede mantener ese nuevo estado incluso después de que se apaga la energía. En este sistema, a medida que un vídeo se reproduce, los cambios en el brillo de un momento a otro se utilizan para ajustar ligeramente la resistencia eléctrica de millones de estos diminutos componentes. El resultado es que todo el historial del movimiento de un objeto se codifica en un único estado eléctrico evolutivo, en lugar de una larga lista de imágenes almacenadas. Este proceso comprime eficazmente el tiempo, convirtiendo una secuencia de eventos en una condición física estática que contiene toda la información necesaria sobre dónde ha estado el objeto y hacia dónde se dirige.

Una vez que este historial de movimiento se almacena en el estado eléctrico del chip, el sistema enfrenta el siguiente desafío: cómo leerlo sin desperdiciar energía. Los métodos convencionales requerirían leer cada uno de los puntos en la cuadrícula bidimensional del chip para reconstruir la imagen, lo que implica mover cantidades vastas de datos. Los investigadores resolvieron esto utilizando la física natural de su chip para comprimir el espacio. Cuando aplican un voltaje para leer la información almacenada, las corrientes eléctricas que fluyen a través de las filas y columnas del chip se suman naturalmente. En lugar de leer el mapa bidimensional completo de la trayectoria del objeto, el sistema solo mide la corriente total que fluye a través de cada fila y cada columna. Estas listas actúan como un resumen altamente comprimido de la trayectoria del objeto, conteniendo las pistas esenciales necesarias para la predicción mientras se descartan los detalles redundantes de la imagen completa. Esto colapsa la compleja forma bidimensional del historial de movimiento en solo dos listas simples de números: una para la posición horizontal y otra para la posición vertical.

Con estos datos comprimidos en mano, el sistema los pasa a una red neuronal pequeña y ligera construida directamente en el mismo hardware. Esta red toma las corrientes de las filas y columnas y calcula dónde estará el objeto en el siguiente momento. Los investigadores probaron todo este proceso en un chip diseñado a medida utilizando tecnología de 180 nanómetros. En experimentos de seguimiento de un único objeto en movimiento, el sistema predijo la posición futura con un error promedio de solo 1.31 celdas de la cuadrícula, un resultado muy cercano al error de 1.04 celdas logrado por un procesador de gráficos computacionales estándar ejecutando software complejo. Sin embargo, la diferencia en eficiencia fue dramática. El nuevo sistema de hardware completó la predicción en 15.75 microsegundos, lo que es un 58.6 por ciento más rápido que la base de referencia de software, y consumió 228 veces menos energía. Esto significa que el sistema puede tomar decisiones casi instantáneamente utilizando una fracción mínima de la potencia requerida por la tecnología actual.

Los investigadores también demostraron que este método funciona en situaciones más complejas que involucran a dos objetos en movimiento, como dos drones volando cerca el uno del otro. Incluso con múltiples objetivos, el sistema pudo separar sus trayectorias, predecir sus trayectorias futuras ocho pasos por delante y evaluar el riesgo de una colisión. En estas pruebas de doble objeto, el hardware mantuvo una precisión comparable a la del potente ordenador de referencia, mientras reducía la latencia en casi un 70 por ciento y recortaba el consumo de energía en un factor de 684. El estudio muestra que, al trasladar la compresión del tiempo y el espacio al propio hardware físico, es posible construir sistemas de visión que no solo sean más rápidos y eficientes energéticamente, sino también capaces de anticipar el futuro en entornos dinámicos. Este enfoque sugiere un camino a seguir para la creación de máquinas inteligentes que perciban el mundo con la misma fluidez y economía que los seres vivos, sin la pesada carga computacional que actualmente las limita.

Resumen Técnico: Predicción de Movimiento Visual Eficiente Mediante Compresión Espaciotemporal Memristiva

Declaración del Problema

Predecir el movimiento futuro de objetos a partir de observaciones visuales es crítico para aplicaciones que van desde la detección aérea y la robótica autónoma hasta la vigilancia de seguridad. Los enfoques convencionales suelen depender de la retención de múltiples fotogramas previos y del procesamiento de representaciones espaciales completas. Esta metodología incurre en un gasto excesivo en tres áreas:

Retención Temporal: Almacenar y acceder repetidamente a múltiples fotogramas precedentes para mantener el contexto temporal.
Transferencia de Datos Espaciales: Mover datos de imagen bidimensionales completos antes de la extracción de características.
Costo Computacional: Procesar información espaciotemporal redundante profundamente en el flujo de la predicción.

Estos factores resultan en costos sustanciales de almacenamiento, transferencia de datos y consumo de energía, lo que dificulta la percepción en tiempo real en entornos dinámicos.

Metodología

Los autores proponen una arquitectura de compresión espaciotemporal memristiva que traslada la carga del procesamiento de información al estado sensorial físico antes de la inferencia. El sistema opera a través de tres etapas principales:

1. Compresión Temporal mediante Conductancia Evolutiva

En lugar de almacenar fotogramas discretos, el sistema integra los cambios visuales sucesivos directamente en el estado de conductancia de un arreglo memristivo.

Mecanismo: Se utiliza un elemento de conmutación resistiva $TiN/O Ta_x/HfO_x/TiN$ en una estructura 1T1R (un transistor-una resistencia).
Codificación: El sistema calcula la diferencia de intensidad ( $\Delta P_{ij}$ ) entre fotogramas consecutivos. Basándose en umbrales simétricos ( $\pm \theta$ ), los cambios positivos activan operaciones de SET (potenciación) y los cambios negativos activan operaciones de RESET (depresión).
Granularidad: Un esquema de codificación de tres bits mapea la magnitud del cambio a pulsos de voltaje graduados (0.8–1.4 V para SET, -1.0 a -1.6 V para RESET), permitiendo que el estado de conductancia acumule un historial de trayectorias de movimiento físicamente dentro del arreglo. Esto permite al sistema distinguir entre diferentes trayectorias que convergen en la misma posición final, una capacidad que se pierde en los sensores estándar basados en fotogramas.

2. Compresión Espacial mediante Lectura de Corriente de Proyección

Para evitar la lectura de todo el mapa de conductancia bidimensional, el sistema utiliza la suma de corriente analógica.

Principio: Bajo un voltaje de lectura uniforme, la Ley de Corrientes de Kirchhoff suma naturalmente las corrientes a lo largo de cada fila y columna.
Salida: El estado de conductancia bidimensional se comprime en un vector de 178 dimensiones (64 corrientes de fila + 114 corrientes de columna para un arreglo de $64 \times 114$ ).
Localización: Las coordenadas del objetivo se identifican mediante las posiciones pico de los vectores de corriente de fila y columna, reduciendo efectivamente la dimensionalidad espacial en aproximadamente 41 veces antes de la etapa de predicción.

3. Predicción por Hardware

Las corrientes de proyección comprimidas sirven como entrada para un Perceptrón Multicapa (MLP) memristivo ligero.

Arquitectura: El sistema utiliza tres elementos de procesamiento (PE) en una plataforma memristiva de 180 nm. El PE1 gestiona la codificación sensorial y la proyección; el PE2 y el PE3 implementan el MLP utilizando el mapeo de conductancia diferencial.
Inferencia: El MLP predice desplazamientos futuros ( $\Delta x, \Delta y$ ) basándose en el estado comprimido actual, el cual incluye la historia de movimiento embebida.
Gestión de Múltiples Objetos: Para escenas de doble objeto, una lectura "condicionada por ventana" asocia respuestas ortogonales de fila y columna para separar objetivos que interactúan sin reconstruir el mapa 2D completo.

Contribuciones Clave

Compresión Espaciotemporal Física: El trabajo demuestra una arquitectura de hardware donde el historial de movimiento se consolida en un único estado de conductancia física y los datos espaciales se comprimen mediante proyección analógica, eliminando la necesidad de un almacenamiento en búfer de múltiples fotogramas explícitos.
Sensado e Inferencia Integrados: El sistema acopla estrechamente el sensado, la integración del historial de movimiento y la inferencia del estado futuro dentro de una vía de hardware común.
Validación Experimental: Los autores implementaron experimentalmente todo el flujo de trabajo en una plataforma memristiva de 180 nm, validando la codificación del historial de movimiento, la localización por corriente de proyección y la predicción de movimiento futuro basada en hardware.

Resultados

El sistema fue evaluado frente a una línea base de CNN-LSTM basada en GPU utilizando escenarios de un solo objeto y de doble objeto.

Predicción de un Solo Objeto

Precisión: El sistema memristivo logró un error de coordenada media de 1.31 celdas del arreglo, comparado con 1.04 celdas de la línea base de la GPU.
Eficiencia: El hardware redujo la latencia de inferencia en un 58.6% (15.75 $\mu$ s frente a 38 $\mu$ s) y el consumo de energía en 228 $\times$ (12.85 $\mu$ J frente a 2.93 mJ).

Predicción de Doble Objeto y Evaluación de Riesgo

Predicción de Trayectoria: En escenas con dos UAVs interactuando, el sistema realizó la predicción de trayectoria de ocho pasos con errores comparables a la línea base de CNN-LSTM.
Riesgo de Proximidad: El sistema evaluó con éxito el riesgo de proximidad proyectado basado en las trayectorias predichas, mostrando métricas de desempeño (precisión, exhaustividad, puntuación F1) cercanas a la línea base.
Eficiencia: Para tareas de múltiples objetos, el hardware logró una reducción de latencia del 69.4% (15.90 $\mu$ s frente a 52 $\mu$ s) y una reducción de consumo de energía de 684 $\times$ (13.29 $\mu$ J frente a 9091 $\mu$ J).

Significado

El artículo afirma que este trabajo hace avanzar la visión predictiva neuromórfica al demostrar que la percepción eficiente en entornos dinámicos puede lograrse desplazando el enfoque de la retención y el procesamiento repetitivo de observaciones de múltiples fotogramas de alta dimensión. En su lugar, la arquitectura propuesta extrae la información relevante del movimiento directamente del estado sensorial físico antes de la inferencia. Al acoplar la memoria temporal, la lectura espacial y la computación predictiva, el sistema ofrece un marco de hardware para la visión predictiva rápida y de bajo consumo energético, abordando los costos combinados de los enfoques de aprendizaje profundo convencionales.