🤖 AI

Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation

El artículo presenta Aero Realtime, un modelo multimodal de transmisión de 4B que logra una interacción de entrada-salida dúplex totalmente alineada en una rejilla temporal compartida, permitiendo una generación proactiva de baja latencia con reutilización eficiente de la caché KV y un retraso de procesamiento inferior a 200 ms.

Autores originales: Kaichen Zhang, Wei Huang, Keming Wu, Bo Li, Xiaojuan Qi

Publicado 2026-08-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kaichen Zhang, Wei Huang, Keming Wu, Bo Li, Xiaojuan Qi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando tener una conversación con un amigo que también está viendo una película contigo. En un chat normal, esperas a que termine una frase antes de hablar. Pero en una conversación verdaderamente natural, podrías interrumpirlo con un rápido "¡Guau!" mientras todavía está hablando, o podrías quedarte en silencio mientras explica un punto complejo de la trama, solo para intervenir en el segundo exacto en que comprendes algo nuevo. Este es el santo grial de la interacción en "tiempo real": la capacidad de escuchar y hablar al mismo tiempo sin perder el ritmo.

Durante mucho tiempo, las computadoras han sido terribles en esto. La mayoría de los modelos de IA funcionan como un juego de "la papa caliente" muy educado, pero ligeramente lento. Esperan a que termines toda tu historia (la entrada), la procesan toda a la vez, y luego comienzan a hablar (la salida). No pueden realmente "escuchar" mientras están "hablando". Si intentas introducir nueva información mientras están a mitad de una frase, se confunden o tienen que detenerse y reiniciar. Este artículo aborda el problema de construir una IA que sea verdaderamente "dúplex": capaz de oír cosas nuevas y decir cosas nuevas simultáneamente, tal como lo hace un humano, todo mientras sigue el ritmo de una transmisión de video de movimiento rápido.

Los investigadores detrás de este artículo, de la Universidad de Hong Kong y otras instituciones, han construido un nuevo modelo de IA llamado Aero Realtime. Piensa en él como un modelo que no solo habla en frases, sino en pequeños y rítmicos "pulsos" de tiempo. En lugar de esperar a que un video termine, Aero Realtime descompone el tiempo en diminutos fragmentos de 80 milisegundos. Por cada fragmento de audio que escucha, tiene que tomar una decisión en una fracción de segundo: "¿Debería decir una palabra justo ahora, o debería quedarme en silencio?".

Este es un cambio enorme respecto a cómo funcionan otros modelos. Usualmente, una IA tiene que terminar su fase de "pensamiento" antes de comenzar su fase de "habla". Aero Realtime hace ambas cosas a la vez. Alinea el video, el audio y sus propias palabras en una línea de tiempo única y compartida. Imagina una cinta transportadora donde cada 80 milisegundos llega una nueva pieza de video y audio. En ese mismo instante, la IA decide si deja caer una palabra sobre la cinta o si deja un "token de silencio" (un marcador de posición para estar callado). Esto permite que la IA siga escuchando nuevas partes del video incluso mientras está en medio de la generación de una oración. Nunca detiene el flujo para "ponerse al día".

El artículo argumenta que los intentos previos de hacer que la IA fuera "proactiva" (lista para hablar) eran torpes. Algunos sistemas utilizaban un método de "micro-turno", donde la IA se detenía constantemente para preguntarse a sí misma: "¿Debería hablar ahora?". Esto es como un conductor que se detiene en cada intersección para revisar un mapa antes de avanzar. Otros utilizaron "puertas" o interruptores externos para decidir cuándo hablar, lo que complicaba el sistema y lo hacía lento. Aero Realtime rechaza estos métodos. En su lugar, aprende el ritmo de forma natural. El modelo es entrenado para tratar el "silencio" como una palabra válida, igual que "hola" o "gato". Esto significa que la IA no necesita un interruptor separado para decidir cuándo hablar; la decisión de hablar o quedarse callado está integrada directamente en el mismo proceso que elige las palabras.

Para que esto funcionara, el equipo tuvo que resolver acertijos de ingeniería complicados. Crearon una forma especial de entrenar el modelo utilizando una mezcla de datos de video en tiempo real y preguntas de video estándar. También diseñaron una nueva forma de ejecutar el modelo en computadoras que ahorra memoria y velocidad. En lugar de volver a leer todo el video cada vez que llega un nuevo fotograma, el modelo recuerda lo que ya procesó y solo añade la nueva "rebanada" de información. Esto es como leer un libro donde no tienes que volver a leer el primer capítulo cada vez que pasas la página; simplemente recuerdas dónde te quedaste y sigas adelante.

Los resultados son impresionantes para un modelo de su tamaño. Los investigadores probaron Aero Realtime en una transmisión de video continua de 20 minutos. Incluso mientras el video se reproducía, el modelo logró mantener su "lag" —el retraso entre lo que sucede en el video y lo que la IA dice— en una mediana de 84 milisegundos. Eso es menos que un parpadeo. Incluso en el percentil 95 (lo que significa que el 95% del tiempo), el retraso fue de solo 173 milisegundos. Esto significa que la IA se mantiene dentro de los 200 milisegundos de la línea de tiempo "real", escuchando y hablando efectivamente en tiempo real.

Sin embargo, el artículo tiene cuidado de no afirmar que este es el mejor IA del mundo en cuanto a comprensión de video. Cuando fue probado en un benchmark estándar llamado OVOBench, el modelo de 4 mil millones de parámetros (que es relativamente pequeño) obtuvo una buena puntuación, pero no superó a los modelos de 7 mil millones de parámetros más grandes y potentes que están diseñados para tareas de procesamiento fuera de línea (offline) y no en tiempo real. Los autores sugieren que esta brecha existe porque el modelo tuvo que aprender una forma completamente nueva de interactuar (el estilo "dúplex") y no tuvo tanta información de entrenamiento específica para este tipo exacto de conversación en tiempo real como los modelos antiguos la tuvieron para las preguntas tradicionales.

En resumen, Aero Realtime demuestra que es posible construir una IA que no solo espera su turno para hablar, sino que puede conversar verdaderamente en tiempo real, escuchando y hablando simultáneamente sin despeinarse. Es un paso hacia una IA que se siente menos como un robot esperando instrucciones y más como un amigo que realmente está prestando atención al mundo contigo. Aunque aún no es el experto en video más inteligente de la sala, es el primero en dominar verdaderamente el arte de seguir el ritmo del tiempo.

Resumen Técnico: Aero Realtime

Planteamiento del Problema

Los modelos de lenguaje multimodales (LMM) actuales heredan en gran medida una arquitectura de turnos basada en prellenado y decodificación (prefill-then-decode). Aunque los modelos de streaming recientes procesan las observaciones de forma incremental, siguen siendo no dúplex: una vez que comienza la generación, las nuevas observaciones no pueden entrar de forma natural en el flujo de generación activo. Esto crea un desajuste fundamental con la interacción continua y en tiempo real, donde un modelo debe percibir el mundo mientras decide simultáneamente cuándo hablar y qué decir.

Los intentos existentes para abordar esto mediante muestreo de micro-turnos (micro-turn polling) o compuertas de respuesta externas sufren de desventajas significativas:

Fragmentación: Rompen la interacción continua en turnos o puntos de decisión discretos.
Desacoplamiento: El tiempo de respuesta se separa del objetivo de generación de lenguaje.
Ineficiencia: Los mecanismos de compuerta externos complican el despliegue al no alinearse con la reutilización del caché KV y las rutas de ejecución de prellenado-decodificación optimizadas en los motores de inferencia modernos.

El desafío central es unificar la percepción continua, el tiempo de respuesta y la generación léxica sin romper la eficiencia de la inferencia incremental.

Metodología: Aero Realtime

Aero Realtime es un modelo multimodal de streaming de 4B diseñado con una arquitectura dúplex que alinea video, audio y salida de texto en una rejilla temporal compartida.

1. Arquitectura y Alineación Temporal

Rejilla Temporal Compartida: El modelo divide el tiempo continuo en ranuras de audio de aproximadamente 80 ms.
Salida Unificada: Cada ranura predice exactamente un token: ya sea un token léxico (habla) o un token de silencio ([P]).
Mecanismo Dúplex: Al predecir silencio o habla dentro del mismo objetivo autorregresivo, el modelo aprende cuándo responder y qué generar de forma simultánea.
Fusión de Estado: En cada ranura de audio $t$ , la representación de audio actual se fusiona con el embedding del token de salida precedente ( $e^a_t = z^a_t + E(y_{t-1})$ ). Los tokens visuales (fotogramas con marca de tiempo) se intercalan en este flujo. Esto permite al modelo mantener el contexto de escucha y el historial de respuesta en cada ranura.
Recurrencia Causal: El modelo sigue una recurrencia de audio-texto causal donde los estados visuales se insertan por marca de tiempo, lo que permite al modelo "escuchar mientras habla" sin pausar la percepción.

2. Estrategia de Entrenamiento

Curación de Datos: Los autores construyeron un conjunto de datos Realtime QA muestreando prefijos de video y generando pares de QA temporalmente anclados utilizando GPT-5.4, asegurando que no se expongan fotogramas futuros. Esto se combina con datos de video QA y subtitulado convertidos (LLaVA-Video, LiveCC, EgoIT, QAEgo4D).
Supervisión Alineada con Ranuras: Las respuestas se mapean a la primera ranura de audio en o después de su marca de tiempo. Las posiciones no ocupadas se supervisan como tokens de silencio ([P]).
Optimización Consciente del Silencio: Para evitar que el modelo se vuelva excesivamente silencioso debido a la alta frecuencia de tokens de silencio, se aplica una relación de enmascaramiento ( $r$ ) para excluir una fracción de los objetivos [P] del cálculo de la pérdida (optimizado en $r=0.95$ en la Etapa 1).
Entrenamiento de Dos Etapas:
- Etapa 1: Adapta el modelo preentrenado basado en turnos a la interfaz de flujo alineado utilizando la mezcla completa de datos (2B tokens).
- Etapa 2: Refina la calidad de la respuesta y la comprensión de video utilizando un subconjunto enfocado de datos en tiempo real y corpora específicos de video QA (1B tokens).

3. Inferencia y Servicio

Inferencia Delta: El sistema añade solo la nueva ranura multimodal (característica de audio + tokens visuales opcionales) y transporta el token muestreado hacia el siguiente estado.
Reutilización del Caché KV: El programador elimina el sufijo muestreado, añade el nuevo delta y reutiliza el prefijo del caché KV. Esto evita pasos de prellenado repetidos, permitiendo una ejecución incremental eficiente.
Paralelismo de Tres Niveles: Para manejar flujos multimodales largos, los autores emplean:
1. Paralelismo de Fotogramas Balanceado por Carga: Distribuye los fotogramas visuales entre los rangos basados en la carga de trabajo de los parches para equilibrar el cómputo de la torre de visión.
2. Paralelismo de Secuencia Empaquetada Unificada: Utiliza DeepSpeed Ulysses para particionar las secuencias de audio y lenguaje sin relleno (padding).
3. Distribución Consciente de la Modalidad: Asegura que los tres componentes (visión, audio, lenguaje) se distribuyan para evitar cuellos de botella de memoria.

Resultados Clave

Rendimiento en OVOBench

Evaluado en OVOBench (un benchmark para la comprensión de video en línea), el modelo Aero Realtime de 4B logra:

Realtime: 61.49
Backward: 44.07
Forward: 39.36
Promedio: 48.31

Aunque queda por detrás de los baselines más fuertes de 7B+ (ej. Streamo, HERMES) en puntuaciones brutas de benchmark, es la única arquitectura evaluada que admite nuevas observaciones en una secuencia de decodificación activa mientras modela el silencio y el habla de forma nativa. Los autores atribuyen la brecha de rendimiento al cambio de distribución del preentrenamiento basado en turnos al flujo alineado denso y a la cantidad limitada de supervisión nativa en tiempo real.

Latencia y Rendimiento (Throughput)

Retraso de Procesamiento: En cuatro GPUs NVIDIA A6000, Aero Realtime mantiene un retraso mediano de 84 ms y un retraso P95 de 173 ms sobre un video continuo de 20 minutos.
Capacidad de Tiempo Real: El sistema se mantiene dentro de los 200 ms de la línea de tiempo de la fuente durante los 20 minutos de duración, demostrando un procesamiento sostenido en tiempo real en lugar de un simple rendimiento de clips cortos.
Eficiencia de Entrenamiento: El stack de entrenamiento mantiene más de 1,600 tokens por GPU por segundo en GPUs A100-40G, completando ambas etapas de entrenamiento en un día.

Significancia y Reivindicaciones

El artículo afirma que Aero Realtime demuestra la viabilidad de un modelado de entrada-salida totalmente alineado para la interacción multimodal dúplex, proactiva y alineada con el hardware.

Innovación Arquitectónica: Unifica la percepción, el tiempo y la generación bajo un único objetivo autorregresivo, eliminando la necesidad de compuertas externas o muestreo de micro-turnos.
Alineación con el Hardware: Al preservar la reutilización del caché KV y alinearse con las rutas de ejecución estándar de prellenado-decodificación, ofrece una receta de servicio práctica para sistemas en tiempo real.
Alcance Modesto: Los autores reconocen que Aero Realtime es una exploración arquitectónica. Está limitado a 12.5 tokens/segundo debido a la rejilla de 80 ms y actualmente está por debajo de los modelos de lenguaje de video de última generación en precisión de benchmark. Señalan que la latencia refleja la política de despliegue y que la deduplicación a nivel de ruta no garantiza la independencia de contenido respecto a los videos de evaluación.

El trabajo futuro sugerido por los autores incluye la decodificación de tasa adaptativa, una supervisión de tiempo real más nativa y auditorías de contaminación más estrictas.