⚡ electrical engineering

LF ${}^{2}$ AR: Accounting for Layerwise Dynamics to Improve Multimodal Adaptation of Language Models

El artículo presenta LF ${}^{2}$ AR, una arquitectura novedosa que mejora la adaptación multimodal de los modelos de lenguaje mediante el aprovechamiento de la dinámica de abstracción-refinamiento por capas a través de la fusión de modalidad tardía, la fisión tardía con residuales de atención y mecanismos de acceso selectivo, lo que resulta en una mejora del alineamiento transmodal, el rendimiento del razonamiento y la decodificación de salida temprana eficiente.

Autores originales: Santiago Cuervo, Adel Moumen, Yanis Labrak, Sameer Khurana, Antoine Laurent, Mickael Rouvier, Phil Woodland, Ricard Marxer

Publicado 2026-08-11

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Santiago Cuervo, Adel Moumen, Yanis Labrak, Sameer Khurana, Antoine Laurent, Mickael Rouvier, Phil Woodland, Ricard Marxer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un bibliotecario brillante que ha pasado toda su vida leyendo millones de libros. Conoce las reglas de la gramática, la estructura de las historias y el significado de las palabras mejor que nadie. Ahora, imagina que quieres que este bibliotecario haga más que solo leer texto; quieres que "lea" la imagen de una oración o "escuche" una historia hablada y luego escriba una respuesta. El problema es que el texto es como una biblioteca perfectamente organizada donde cada libro tiene un título claro, pero las imágenes y los sonidos son como una pila caótica de piezas de un rompecabezas. Una sola palabra en un libro podría ocupar una página entera de píxeles o cien milisegundos de ondas sonoras. Si simplemente le entregas al bibliotecario una pila de piezas de rompecabezas, se confunde porque su cerebro está programado para procesar palabras abstractas y ordenadas, no detalles brutos y desordenados. Este es el desafío que enfrentan los científicos al intentar enseñar a los modelos de IA entrenados en texto a comprender y generar imágenes y voz. Necesitan una forma de traducir esos datos sensoriales desordenados y detallados al lenguaje limpio y abstracto del bibliotecario, y luego traducir los pensamientos abstractos del bibliotecario de vuelta a detalles sensoriales desordenados sin perder la magia de lo que aprendió de la lectura.

Este artículo, titulado LF²AR, propone una nueva y astuta forma de construir estos traductores de IA observando cómo funciona realmente el "cerebro" de un modelo de lenguaje. Los autores notaron que estos modelos no solo procesan la información en línea recta; tienen una danza de dos pasos. Primero, toman detalles pequeños y desordenados y los combinan en ideas grandes y abstractas (como convertir letras individuales en una palabra). Luego, más adelante en el proceso, toman esas ideas grandes y las refinan de nuevo en detalles específicos para predecir qué sigue. Los investigadores sugieren que, al tratar con imágenes o voz, necesitamos añadir un paso especial de "preprocesamiento" antes del cerebro principal para limpiar la entrada desordenada, y un paso especial de "postprocesamiento" después del cerebro para manejar la salida desordenada. Ellos lo llaman Fusión Tardía (limpiar la entrada) y Fisión Tardía (manejar la salida).

Pero aquí está la parte realmente genial: se dieron cuenta de que, a veces, el modelo necesita echar un vistazo a las "ideas grandes" y otras veces necesita enfocarse en los "detalles diminutos", dependiendo de lo que esté haciendo en ese momento exacto. Para resolver esto, inventaron un mecanismo llamado Residuales de Atención. Piensa en esto como un control remoto inteligente que permite a la capa de salida cambiar instantáneamente entre mirar el resumen de alto nivel y los detalles de bajo nivel, en lugar de obligar al modelo a cargar con cada pequeño detalle a través de todo el cerebro.

El equipo probó esta idea en dos tareas específicas: convertir texto en imágenes (donde el texto se representa como una imagen) y convertir texto en voz. Descubrieron que su nueva arquitectura, LF²AR, funcionaba mucho mejor que los métodos estándar. Ayudó al modelo a comprender mejor la conexión entre las palabras y los sonidos/imágenes, mantuvo intacta la capacidad de razonamiento textual del modelo e incluso hizo que el modelo fuera más rápido. Al usar su "control remoto inteligente", el modelo aprendió a saltarse capas profundas innecesarias cuando no las necesitaba, haciendo que generara voz 1.9 veces más rápido sin perder precisión. Los resultados sugieren que, al respetar cómo estos modelos organizan la información naturalmente —primero abstrayendo, luego refinando—, podemos hacer que sean mucho mejores para manejar el mundo desordenado de las vistas y los sonidos.

Resumen Técnico: LF²AR – Contabilización de la Dinámica por Capas para Mejorar la Adaptación Multimodal de los Modelos de Lenguaje

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLM) preentrenados en texto poseen un rico conocimiento del mundo; sin embargo, adaptarlos para procesar y generar modalidades perceptivas (como el audio y las imágenes) aprovechando eficazmente ese conocimiento sigue siendo un desafío. La dificultad central radica en un desajuste en la granularidad representacional. Los tokens de texto son semánticamente densos, mientras que las señales perceptivas (píxeles, fotogramas de audio) son de grano más fino, de nivel inferior y están distribuidas de forma dispersa a través de dimensiones espaciales o temporales.

Los enfoques existentes suelen depender de complejos procesos de múltiples etapas o arquitecturas de "fusión temprana" (mapeos lineales ligeros) que tratan las modalidades de forma monolítica. Sin embargo, estos métodos frecuentemente resultan en una transferencia imperfecta, donde los modelos rinden por debajo de lo esperado en entradas no textuales o sufren de olvido catastrófico de sus capacidades puramente textuales. Los autores postulan que estos fallos derivan de una falta de consideración de la dinámica de abstracción-refinamiento por capas inherente a los transformadores de lenguaje.

Metodología: LF²AR

El artículo propone LF²AR (Late Fusion and Late Fission with Attention Residuals - Fusión Tardía y Fisión Tardía con Residuales de Atención), una arquitectura diseñada para alinear el procesamiento multimodal con el flujo computacional natural de los transformadores preentrenados en texto. El enfoque se fundamenta en la observación de que las capas de los transformadores exhiben una dinámica de dos fases:

Fase de Abstracción: Las capas iniciales componen características de bajo nivel en representaciones abstractas y composicionales.
Fase de Refinamiento: Las capas posteriores refinan estas abstracciones en características de bajo nivel que predicen la estructura de grano fino.

Dado que las modalidades perceptivas son de grano más fino que el texto, los autores hipotetizan que una adaptación efectiva requiere etapas de procesamiento adicionales para igualar estas dinámicas:

1. Fusión Tardía (Lado de la Entrada)

Para manejar la naturaleza de grano fino de las entradas perceptivas, LF²AR añade capas de composición antes del backbone preentrenado. Estas capas realizan un procesamiento de fino-a-grueso, transformando señales perceptivas puras (por ejemplo, parches de imagen o tokens de habla) en representaciones abstractas que se alinean con las capas iniciales del modelo preentrenado en texto. Esto asegura que el backbone reciba las entradas en un nivel de abstracción apropiado.

2. Fisión Tardía (Lado de la Salida)

Para generar salidas perceptivas, LF²AR añade capas de refinamiento después del backbone. Estas capas realizan un procesamiento de grueso-a-fino, traduciendo las predicciones semánticas de alto nivel del backbone de vuelta a los detalles específicos de bajo nivel requeridos por la modalidad objetivo.

3. Residuales de Atención

Una innovación clave es el uso de residuales de atención dentro del mecanismo de fisión. En lugar de forzar a que los detalles de bajo nivel se propaguen a través de todo el backbone (lo que podría interferir con la formación de características de alto nivel), el módulo de fisión tiene acceso dinámico y dependiente de la entrada a los estados del flujo residual de todas las capas del backbone.

El módulo construye un resumen de las representaciones de las capas.
Una red selectora genera pesos de atención para formar un resumen residual ponderado ( $\bar{c}_i$ ).
Esto permite que el módulo de fisión acceda selectivamente a la estructura semántica de alto nivel (para anticipar la siguiente palabra) o al detalle local de bajo nivel (para predecir fonemas o píxeles específicos) según sea necesario.

Configuración Experimental

Los autores evaluaron LF²AR en dos modalidades donde la correspondencia semántica con el texto puede controlarse estrictamente:

Texto-como-Imágenes: Modelado de lenguaje de píxeles donde el texto se renderiza como parches de imagen binarios.
Habla: Representaciones de habla auto-supervisadas y vectorizadas.

Los experimentos se realizaron utilizando backbones de SmolLM que van desde 135M hasta 1.7B de parámetros. El estudio utilizó ablaciones extensas, comparando LF²AR contra:

Base: Modelos de fusión/fisión temprana (adaptación ligera estándar).
Variantes Abladas: Modelos con solo fusión tardía, solo fisión tardía, o residuales estáticos (no dinámicos).

La evaluación incluyó análisis de la dinámica de representación por capas (dimensionalidad intrínseca, similitud transmodal, alineación con BERT, sondas de perplejidad) y pruebas de rendimiento en tareas posteriores (MMLU, HellaSwag, StoryCloze) en diversas configuraciones transmodales (por ejemplo, Imagen $\to$ Texto, Habla $\to$ Texto).

Resultados Clave

Dinámica de Representación

Abstracción y Alineación: LF²AR logró consistentemente una mayor dimensionalidad intrínseca del conjunto de datos y una mayor similitud transmodal a nivel de palabra en comparación con el modelo Base. Se encontró que la fusión tardía induce características de las capas iniciales más similares al texto, lo que conduce a mejores representaciones intermedias semánticas.
Preservación de la Estructura del Texto: La fisión tardía evitó que las capas más profundas del backbone se especializaran excesivamente en la predicción de grano fino, preservando así la capacidad del modelo preentrenado para predecir el siguiente token de texto.
Semanticidad: Las representaciones de imagen y habla de LF²AR fueron tan semánticas y predictivas como las representaciones de texto, una propiedad que a menudo se pierde en las adaptaciones estándar.

Rendimiento en Tareas Posteriores

Ganancias Transmodales: LF²AR superó significativamente a los modelos Base, particularmente en tareas de razonamiento transmodal (por ejemplo, responder preguntas de texto basadas en entrada de imagen o habla).
Eficiencia de Escalamiento: Las mejoras arquitectónicas permitieron que LF²AR superara a modelos base más grandes. Por ejemplo, un modelo LF²AR de 150M fue competitivo o incluso más fuerte que un Base de 360M, y un LF²AR de 400M superó consistentemente a un Base de 1.7B en transferencia transmodal.
Eficiencia: Los residuales de atención indujeron un uso disperso e interpretable de la profundidad del backbone. El modelo aprendió a consultar las características textuales de alto nivel solo en puntos específicos (correlacionados con los límites de las palabras).

Decodificación de Salida Temprana (Early-Exit)

Aprovechando la dispersión de los residuales de atención, los autores implementaron un mecanismo de asignación de profundidad dinámica. Al entrenar un enrutador ligero para decidir si un token requiere un procesamiento profundo del backbone o si puede manejarse mediante una aproximación de solo prefijo, lograron una aceleración de generación de 1.9× (incremento de throughput) con una pérdida de rendimiento insignificante.

Significancia y Reivindicaciones

El artículo sostiene que la adaptación multimodal efectiva requiere igualar la organización por capas aprendida durante el preentrenamiento de texto, en lugar de tratar al backbone como un extractor de características estático.

Perspectiva Arquitectónica: El estudio demuestra que añadir capas específicas de la modalidad en la entrada (para la abstracción) y en la salida (para el refinamiento) es superior a la fusión temprana monolítica.
Acceso Dinámico: El uso de residuales de atención permite al modelo cambiar dinámicamente entre la guía semántica gruesa y el detalle perceptual fino, resolviendo la tensión entre preservar el conocimiento textual de alto nivel y generar señales perceptivas de bajo nivel.
Eficiencia: La arquitectura propuesta no solo mejora la precisión, sino que también permite una inferencia computacionalmente eficiente mediante la asignación de profundidad variable, lo que sugiere que las capacidades multimodales pueden emerger en escalas de parámetros más pequeñas de lo que se pensaba anteriormente.

Los autores concluyen que estas elecciones de diseño mejoran consistentemente la composicionalidad, la alineación transmodal y la preservación de la estructura predictiva de tipo textual, ofreciendo un camino fundamentado para adaptar los LLM a modalidades de grano más fino.