💬 NLP

Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models

Este artículo presenta un marco de trabajo libre de instrucciones y centrado únicamente en el alineamiento para entrenar modelos de lenguaje y audio generales que mantiene tanto el codificador de audio como el LLM congelados mientras aprende únicamente un proyector ligero mediante datos autogenerados, demostrando que se puede lograr un rendimiento multimodal competitivo sin una supervisión o un ajuste fino extensos y específicos de la tarea.

Autores originales: Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

Publicado 2026-08-20

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido un tipo específico de programa informático capaz de leer texto, observar imágenes y escuchar sonidos, para luego responder preguntas sobre ellos. Estos sistemas, conocidos como modelos de lenguaje de gran tamaño multimodales, se construyen tomando un potente motor de procesamiento de texto y enseñándole a comprender otras formas de datos, como el audio. Tradicionalmente, este proceso de enseñanza ha sido largo y laborioso. Por lo general, implica tres pasos distintos: primero, conectar los nuevos datos de sonido al motor de texto; segundo, entrenar al sistema en miles de tareas específicas con instrucciones escritas por humanos; y tercero, ajustar su comportamiento basándose en las preferencias humanas para que suene más natural. La creencia predominante ha sido que, sin esta supervisión pesada y de múltiples etapas, el sistema no aprendería a escuchar eficazmente.

Sin embargo, un nuevo estudio desafía esta suencia al plantear una pregunta más simple: si el motor de texto ya sabe cómo seguir instrucciones y razonar, ¿realmente necesita ser reentrenado desde cero para entender el sonido? Los investigadores proponen que el trabajo pesado de enseñar al modelo tareas específicas podría ser innecesario. En su lugar, sugieren que simplemente alinear los datos de sonido con el conocimiento existente del motor de texto podría ser suficiente. Este enfoque trata al audio no como un nuevo lenguaje que debe aprenderse, sino como una forma diferente de presentar información que el motor ya es capaz de comprender, siempre que la conexión entre ambos sea clara.

Los investigadores se propusieron probar esta idea construyendo un sistema que se salta las etapas de entrenamiento tradicionales. Tomaron un modelo de texto potente ya existente y un codificador de audio preexistente, que es una herramienta que convierte las ondas sonoras puras en un formato que la computadora puede procesar. Crucialmente, congelaron ambos componentes, lo que significa que no cambiaron ni un solo parámetro interno del motor de texto ni de la herramienta de audio durante el proceso de entrenamiento. La única parte del sistema que se permitió aprender fue un conector pequeño y ligero, o proyector, que se sitúa entre el audio y el motor de texto. El único trabajo de este conector era traducir las características del audio a un lenguaje que el motor de texto pudiera entender, sin que se le indicara nunca qué tarea específica debía realizar.

Para entrenar este conector sin instrucciones humanas, el equipo desarrolló un método llamado construcción de datos autogenerados. En lugar de pedir a los humanos que escribieran preguntas y respuestas para cada clip de audio, utilizaron el propio motor de texto para crear el material de entrenamiento. Tomaron descripciones sencillas de clips de audio, como una frase que dice "un perro ladrando", y las introdujeron en el motor de texto congelado sin ninguna instrucción o indicación. El motor, actuando como un escritor creativo, expandía entonces esa descripción simple en una respuesta larga y de forma libre, imaginando qué diría si realmente estuviera escuchando el sonido. Estas respuestas generadas se convirtieron en las respuestas objetivo. El sistema aprendió entonces a hacer que el audio se pareciera a esas descripciones ajustando únicamente el pequeño conector, enseñando efectivamente al audio a hablar el mismo lenguaje que los pensamientos internos del motor de texto.

Al ser probado contra una amplia variedad de evaluaciones que cubrían el habla, la música y los sonidos ambientales, este enfoque libre de instrucciones funcionó de manera notable. El modelo igualó o incluso superó a sistemas que habían pasado por el entrenamiento tradicional y costoso de múltiples etapas, a pesar de utilizar significamente menos datos. En las pruebas que medían la capacidad de seguir instrucciones complejas, el nuevo modelo superó a muchos competidores de código abierto, conservando la capacidad original del motor de texto para seguir comandos, debido a que dicho motor nunca fue alterado. El estudio sugiere que el cuello de botella en la construcción de estos sistemas de audio no es la falta de conjuntos de instrucciones masivos, sino la calidad de la conexión entre el sonido y el motor de texto.

Los investigadores también exploraron cómo diferentes factores influían en los resultados. Descubrieron que el rendimiento del sistema estaba limitado por dos factores principales: cuánta información podía extraer la herramienta de audio y qué tan capaz era el motor de texto para razonar. Si la herramienta de audio era buena capturando detalles del sonido pero el motor de texto era débil en razonamiento, el sistema no funcionaría bien, y viceversa. Descubrieron que el simple hecho de añadir más datos no siempre ayudaba; para tareas que requerían reconocer sonidos específicos, el sistema alcanzaba rápidamente un techo de rendimiento. Sin embargo, para tareas que requerían razonamiento abierto o descripciones creativas, más datos continuaban mejorando los resultados. Esto indica que el potencial del sistema está definido por las capacidades de sus componentes centrales más que por el volumen de ejemplos de entrenamiento.

Un hallazgo interesante fue que el sistema funcionaba mejor cuando el motor de texto utilizado para generar las respuestas de entrenamiento era el mismo que se usaba para la tarea de escucha final. Si los investigadores utilizaban un motor diferente para crear los datos de entrenamiento, el rendimiento caía significativamente. Esto sugiere que el sistema no solo está aprendiendo a reconocer sonidos, sino que está aprendiendo a alinearse con la lógica interna específica de un motor de texto determinado. Además, el estudio mostró que el sistema puede adaptarse a nuevas generaciones de motores de texto simplemente reentrenando el pequeño conector, sin necesidad de reentrenar los motores masivos mismos. Esto implica que, a medida que los modelos de texto mejoran, los modelos de audio podrían actualizarse instantáneamente simplemente cambiando el conector, en lugar de reconstruir todo el sistema.

El estudio concluye que construir un modelo de lenguaje y audio competitivo no requiere los complejos procesos de múltiples etapas que se han convertido en el estándar. Al congelar los componentes centrales y centrarse únicamente en alinear el audio con el conocimiento existente del motor de texto, los investigadores pueden crear sistemas que son eficientes, adaptables y altamente capaces. Este enfoque preserva las fortalezas originales del motor de texto, como su capacidad para seguir instrucciones, que a menudo se pierden cuando los modelos son ajustados intensamente para tareas específicas. Los resultados sugieren que el camino hacia una comprensión de audio más avanzada puede no residir en enseñarle al modelo nuevas habilidades, sino en encontrar la forma más eficiente de permitirle usar las habilidades que ya posee.

Resumen Técnico: El Alineamiento es Todo lo que Necesitas para Modelos de Audio-Lenguaje Generales

Declaración del Problema

Los actuales Modelos de Lenguaje de Gran Escala Multimodales (MLLM), incluyendo los Modelos de Lenguaje y Audio de Gran Escala (LALM), dependen típicamente de un flujo de entrenamiento de múltiples etapas: alineación transmodal, Ajuste Fino Supervisado (SFT) con instrucciones específicas de tareas y Optimización de Preferencias (p. ej., DPO). Este paradigma asume que la adaptación de un Modelo de Lenguaje de Gran Escala (LLM) preentrenado a una nueva modalidad requiere una supervisión extensa y específica para cada tarea. Sin embargo, este enfoque presenta dos desventajas principales:

Erosión de la Generalización: El SFT extensivo y la optimización de preferencias adaptan al LLM a distribuciones de instrucciones específicas, lo que potencialmente erosiona sus capacidades nativas y universales de seguimiento de instrucciones y provoca que el modelo se sobreajuste a plantillas de entrenamiento en lugar de al la señal de entrada subyacente.
Ineficiencia y Escalabilidad: Cada nueva generación de LLM requiere ejecutar costosos flujos de post-entrenamiento sobre un nuevo backbone, lo que hace que el proceso sea computacionalmente pesado y lento de adaptar.

La pregunta central planteada por los autores es si el alineamiento por sí solo es suficiente para construir un modelo multimodal competitivo, aprovechando las capacidades preexistentes de razonamiento y seguimiento de instrucciones del LLM sin tener que reentrenar el LLM o el codificador de audio.

Metodología

El artículo propone un marco de entrenamiento de Alineamiento Únicamente Libre de Instrucciones. La filosofía central es que un proyector bien alineado puede conectar un codificador de audio congelado a un LLM congelado, permitiendo que el LLM interprete el audio tal como interpreta el texto, sin necesidad de ser reentrenado en tareas específicas.

1. Arquitectura

El modelo consta de tres componentes:

Codificador de Audio Congelado ( $E$ ): Mapea el audio bruto $x$ a vectores de características. El artículo evalúa cinco codificadores a través de tres paradigmas: discriminativo (AudioSet-Zipformer), supervisado por ASR (Whisper-large-v2) y preentrenamiento conjunto de audio-lenguaje (familia Qwen).
LLM Congelado ( $L$ ): Un modelo autorregresivo preentrenado (p. ej., Qwen2.5-7B-Instruct) que actúa como un decodificador universal.
Proyector Entrenable ( $P_\theta$ ): Un módulo ligero y aprendible (un simple MLP de dos capas) que mapea la salida del codificador al espacio de incrustación de entrada del LLM. Solo se actualizan los parámetros del proyector.

2. Construcción de Datos Autogenerados

Para evitar el sesgo inducido por la instrucción, los autores eliminan las instrucciones de tareas explícitas y los pares de pregunta-respuesta (QA). En su lugar, utilizan un flujo de Construcción de Datos Autogenerados:

Surrogado Semántico: Un subtítulo (caption) en lenguaje natural $c$ (ya sea la verdad de campo o generado sintéticamente por un generador de subtítulos) sirve como un surrogado semántico para el audio $x$ .
Expansión de Respuesta: Un expansor de LLM congelado $g$ toma el subtítulo $c$ y genera una respuesta de formato libre $r = g(c)$ como si estuviera percibiendo directamente el audio.
Objetivo de Entrenamiento: El conjunto de datos resultante consiste en pares $(x, r)$ , donde $r$ es la respuesta objetivo generada a partir del subtítulo surrogado.

3. Entrenamiento de Alineamiento Libre de Instrucciones

El objetivo de entrenamiento minimiza la pérdida de modelado de lenguaje causal sobre los tokens de la respuesta $y$ (derivados de $r$ ), dado el prefijo de audio $h = P_\theta(E(x))$ :
$\mathcal{L}_{align}(\theta) = -\mathbb{E}_{(x,y) \sim \mathcal{D}_{align}} \sum_{t=1}^{n} \log p_L(y_t | y_{<t}, P_\theta(E(x)))$
Crucialmente, no se anteponen instrucciones a la entrada durante el entrenamiento. El prefijo de audio por sí solo debe activar la respuesta deseada. La instancia de LLM utilizada para el entrenamiento debe ser idéntica a la utilizada como el expansor $g$ para asegurar la consistencia distributiva.

4. Base Teórica

El enfoque se basa en la hipótesis de que los LLM modernos son decodificadores universales. Si el proyector logra un alineamiento completo (donde el prefijo de audio elica la misma distribución de respuesta que el subtítulo textual en ausencia de instrucciones), el modelo se generaliza a cualquier instrucción en tiempo de prueba. El rendimiento está teóricamente limitado por $\min(I(E), C(L))$ , donde $I(E)$ es la información retenida por el codificador y $C(L)$ es el espacio de respuesta del LLM congelado.

Contribuciones Clave

LALM de Alineamiento Únicamente Libre de Instrucciones: Los autores demuestran que se puede construir un LALM competitivo entrenando únicamente un proyector ligero mientras se mantienen el codificador de audio y el LLM totalmente congelados. Este enfoque iguala o supera a las líneas base con un post-entrenamiento pesado utilizando sustancialmente menos datos.
Preservación del Seguimiento de Instrucciones: Al congelar el LLM, el modelo retiene su competencia nativa de seguimiento de instrucciones, logrando un rendimiento de vanguardia en los benchmarks de seguimiento de instrucciones entre los LALM de código abierto sin necesidad de SFT u optimización de preferencias.
Flujo de Trabajo Completamente Automático: El trabajo extiende el marco de Construcción de Datos Autogenerados del habla al audio general, permitiendo un flujo de entrenamiento que no requiere pares de QA curados manualmente, plantillas de tareas o taxonomías de instrucciones.
Perspectivas de Ablación y Escalamiento: El estudio proporciona ablaciones extensas que muestran que el rendimiento está limitado conjuntamente por las representaciones del codificador y la capacidad del LLM. Encuentra que el escalamiento de los datos de alineamiento beneficia principalmente a las tareas de razonamiento de código abierto, mientras que el reconocimiento de conjunto cerrado se satura rápidamente según las limitaciones del codificador.

Resultados Experimentales

El modelo fue evaluado en cuatro benchmarks: MMAU, MMAR, MMSU y MMAU-Pro.

Rendimiento vs. Líneas Base: La variante AudioSet-Zipformer (7 mil millones de parámetros, entrenada en ~576k muestras) logró 80.8/77.4 en MMAU (Sonido), superando al mejor anterior de código abierto (Audio-Flamingo 3) que utilizó 46 veces más datos. En MMAU-Pro, obtuvo 52.8 (promedio), superando a otros modelos de código abierto (p. ej., Qwen2.5-Omni: 52.2, Kimi-Audio: 46.6) e igualando sistemas propietarios como GPT-4o-Audio (52.5).
Seguimiento de Instrucciones: El modelo alcanzó 62.9 en la división de seguimiento de instrucciones de MMAU-Pro, el más alto entre los LALM de código abierto listados, validando la preservación de las capacidades del LLM congelado.
Sensibilidad del Codificador: El codificador discriminativo AudioSet-Zipformer destacó en tareas de sonido y música, mientras que el ASR-supervisado Whisper-large-v2 funcionó mejor en tareas centradas en el habla (MMSU, MMAU Speech).
Comportamiento de Escalamiento: Aumentar los datos de entrenamiento de 400k a 4M de muestras mostró rendimientos decrecientes en los benchmarks de conjunto cerrado (MMAU), que se saturaron rápidamente. Sin embargo, las tareas de razonamiento de código abierto (MMAU-Pro Open-ended, MMAR) continuaron mejorando con más datos.
Fuentes de Subtítulos: Los subtítulos sintéticos generados por LLM fueron competitivos con los subtítulos de verdad de campo, particularmente para tareas centradas en el habla, aunque los subtítulos de verdad de campo mantuvieron una ligera ventaja para algunos codificadores.

Significado y Reivindicaciones

El artículo afirma que el alineamiento por sí solo es suficiente para construir modelos multimodales competitivos, desafiando la necesidad de un SFT extensivo y optimización de preferencias. Al reducir la extensión multimodal a un problema de entrenamiento de proyector ligero, el enfoque ofrece:

Eficiencia: Convergencia rápida y costos computacionales significativamente menores en comparación con el ajuste fino completo.
Portabilidad: La receta puede transferirse sin problemas a nuevas generaciones de LLM simplemente reentrenando el proyector, preservando el comportamiento de decodificación universal del LLM.
Generalización: El modelo evita el sesgo inducido por la instrucción, lo que le permite generalizarse a instrucciones arbitrarias en el tiempo de inferencia sin adaptaciones adicionales.

Los autores reconocen las limitaciones, señalando que el rendimiento está fundamentalmente limitado por las capacidades del codificador y el LLM base, y que el estudio actual está limitado al dominio del audio y a modelos de escala de 7B. Sugieren que, si bien el alineamiento captura bien la semántica, las señales más ricas supra-semánticas podrían requerir una supervisión especializada.