Audio Flamingo Next: Next-Generation Open Audio-Language Models for Speech, Sound, and Music

1. Planteamiento del Problema

A pesar de los avances en modelos de lenguaje grandes (LLMs) y modelos de visión-lenguaje (VLMs), el desarrollo de Modelos de Lenguaje-Audio Grandes (LALMs) abiertos ha avanzado más lentamente. Los principales desafíos identificados son:

• Dependencia de benchmarks académicos: Muchos modelos se entrenan en conjuntos de datos pequeños y específicos, lo que resulta en un rendimiento deficiente en audio real, ruidoso y de larga duración.
• Falta de escalabilidad abierta: Los sistemas más avanzados suelen ser de código cerrado o carecen de transparencia en sus datos de entrenamiento.
• Limitaciones en el razonamiento temporal: Los modelos existentes tienen dificultades para razonar sobre audio largo (hasta 30 minutos), donde la evidencia está dispersa en el tiempo. Las técnicas actuales de "Cadena de Pensamiento" (Chain-of-Thought) no están bien adaptadas para anclar el razonamiento a marcas de tiempo específicas en el audio.
• Brechas en habilidades fundamentales: Falta de robustez en tareas como la diarización de hablantes, ASR multi-hablante y comprensión de música compleja.

2. Metodología

Arquitectura (AF-Next)

AF-Next es un modelo LALM generalista que sigue una arquitectura de cuatro componentes:

1. Codificador de Audio (AF-Whisper): Basado en Whisper, pre-entrenado adicionalmente con datos multilingües y multi-hablante. Extrae características mediante ventanas deslizantes.
2. Adaptador de Audio: Una capa MLP de 2 niveles que proyecta las representaciones del codificador al espacio de embeddings del LLM.
3. Backbone LLM: Utiliza Qwen-2.5-7B como base. Se ha extendido su contexto de 32k a 128k tokens.
   • Innovación Clave: Reemplazo de la codificación de posición RoPE estándar por Rotary Time Embeddings (RoTE). En lugar de usar el índice discreto del token, RoTE utiliza la marca de tiempo absoluta ($\tau_i$) del token, permitiendo una comprensión temporal nativa y precisa, crucial para el razonamiento en audio largo.
4. TTS en Streaming: Un módulo de texto-a-voz basado en transformadores para permitir interacciones voz-a-voz.

Estrategia de Entrenamiento (Curriculum Learning)

El modelo se entrena en cuatro etapas con mezclas de datos específicas:

1. Pre-entrenamiento: Dos etapas enfocadas en alinear el audio con el lenguaje (ASR, clasificación, descripción). Longitud máxima de audio: 1 minuto.
2. Mid-entrenamiento: Dos etapas para expandir capacidades hacia el razonamiento y habilidades complejas. Se introduce audio largo (hasta 30 minutos) y se ajusta el contexto a 128k tokens.
3. Post-entrenamiento: Aprendizaje por refuerzo basado en GRPO (Group Relative Policy Optimization) para mejorar el seguimiento de instrucciones, la seguridad y el chat multi-turno.
4. Entrenamiento CoT (Chain-of-Thought): Entrenamiento final con el nuevo paradigma Temporal Audio Chain-of-Thought.

Datos y Curación

Se ha creado un conjunto de datos masivo de ~1 millón de horas (~108M muestras), superando los límites de los benchmarks académicos:

• Fuentes: Datos públicos + audio crudo de internet etiquetado sintéticamente.
• Nuevas Categorías: Comprensión musical, ASR multi-hablante, descripción de audio largo (hasta 30 min), datos de seguridad y razonamiento temporal.
• Temporal Audio Chain-of-Thought (AF-Think-Time): Un nuevo marco de razonamiento donde el modelo genera pasos de pensamiento anclados explícitamente a marcas de tiempo del audio. Esto reduce las alucinaciones y mejora la agregación de evidencia en grabaciones largas.

Infraestructura de Entrenamiento

Para manejar secuencias de audio largas (hasta 128k tokens), se implementó un pipeline de Paralelismo de Secuencia Híbrido (Hybrid Sequence Parallelism) combinando:

• Ulysses Attention: Para comunicación eficiente dentro de nodos (ancho de banda alto).
• Ring Attention: Para escalar entre nodos.
  Esto permite el entrenamiento en 128 GPUs NVIDIA H100.

3. Contribuciones Clave

1. AF-Next: El primer LALM completamente abierto (pesos, código y datos de entrenamiento) que escala la comprensión de audio a datos de escala de internet. Supera a modelos abiertos de tamaño similar y compite con modelos cerrados mucho más grandes.
2. Temporal Audio Chain-of-Thought: Un nuevo paradigma de razonamiento que ancla los pasos intermedios a marcas de tiempo, mejorando la interpretabilidad y la precisión en audio largo.
3. Liberación de Modelos: Se abren tres variantes especializadas:
   • AF-Next-Instruct: Para preguntas y respuestas generales.
   • AF-Next-Think: Para razonamiento avanzado (CoT).
   • AF-Next-Captioner: Para generación de descripciones detalladas.
4. Receta de Entrenamiento Escalable: Una metodología que integra curación de datos de internet, expansión de capacidades y razonamiento temporal.

4. Resultados

El modelo fue evaluado en más de 20 benchmarks, mostrando mejoras significativas:

• Comprensión y Razonamiento (MMAU):
  • AF-Next-Captioner alcanza un 75.76% de precisión promedio, superando a Audio Flamingo 3 (72.42) y superando a modelos cerrados como Gemini-2.5-Pro en benchmarks específicos (MMAU-Pro).
  • Mejoras notables en subcategorías de sonido, música y habla.
• Comprensión de Audio Largo (LongAudioBench):
  • AF-Next-Instruct logra 73.9 puntos, superando ampliamente a Audio Flamingo 3 (68.6) y a Gemini-2.5-Pro (60.4).
  • En la variante con habla (+Speech), alcanza 81.2, demostrando una fuerte capacidad de razonamiento en contextos extensos.
• Reconocimiento de Voz (ASR):
  • Establece nuevos récords de bajo WER (Word Error Rate) entre modelos LALM en LibriSpeech (1.54 en test-clean) y supera a modelos de peso abierto como Phi-4-mm y Qwen2.5-Omni.
• Comprensión Musical:
  • Supera a los mejores modelos de código abierto en clasificación de fuentes e instrumentos (NSynth, Medley-Solos-DB).
• Traducción y Chat:
  • Supera a Qwen2.5-Omni y Audio Flamingo 3 en benchmarks de chat (VoiceBench) y muestra mejoras drásticas en traducción de idiomas de bajos recursos (ej. Árabe) en CoVoST2.

5. Significancia e Impacto

• Democratización del Estado del Arte: AF-Next demuestra que es posible construir modelos de audio de vanguardia de manera completamente abierta, proporcionando transparencia total en datos y métodos, algo que los modelos cerrados no ofrecen.
• Hacia la Aplicación en el Mundo Real: Al entrenar con datos de internet y audio largo, el modelo es mucho más robusto para aplicaciones prácticas (análisis de reuniones, transcripción de podcasts, análisis de eventos ambientales) que los modelos entrenados solo en datos académicos curados.
• Innovación en Razonamiento Temporal: La introducción de Temporal Audio Chain-of-Thought establece un nuevo estándar para cómo los modelos deben procesar y razonar sobre secuencias temporales largas, reduciendo la "alucinación" y mejorando la trazabilidad de las respuestas.
• Base para Futuras Investigaciones: La liberación de los pesos, el código de entrenamiento/inferencia y las técnicas de paralelismo híbrido facilitará la investigación futura en modelos multimodales de audio.

Limitaciones: El modelo aún enfrenta desafíos con idiomas de muy bajos recursos, eventos sonoros raros y la agregación de evidencia cuando esta está extremadamente dispersa en el tiempo, aunque representa un avance significativo respecto a la línea base anterior.