🤖 AI

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

Este artículo propone el Procesamiento Visual Desacoplado (DVP, por sus siglas en inglés), un marco de entrenamiento de eficiencia de parámetros que reemplaza las capas superiores del decodificador de un modelo de lenguaje grande multimodal con un único bloque de transformador ligero dedicado a los tokens visuales, logrando un rendimiento competitivo en evaluaciones mientras actualiza solo una fracción del total de los parámetros.

Autores originales: Mingkuan Feng, Zhengqi Wen, Jianhua Tao

Publicado 2026-07-30

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mingkuan Feng, Zhengqi Wen, Jianhua Tao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras pueden "ver" y "leer" al mismo tiempo, como un amigo súper inteligente que puede mirar la foto de un gato y contarte una historia divertida sobre él. Este es el reino de los Modelos de Lenguaje de Gran Escala Multimodales (MLLM, por sus siglas en inglés). Para que estos modelos funcionen, los científicos suelen tomar dos herramientas poderosas y pegarlas: un "codificador de visión" (un cerebro entrenado para entender imágenes) y un "Modelo de Lenguaje de Gran Escala" (un cerebro entrenado para entender palabras). La parte difícil es hacer que se comuniquen entre sí. Usualmente, cuando le muestras al computador una imagen y le haces una pregunta, la computadora mete tanto las partes de la imagen como las partes de las palabras en la misma gigantesca línea de ensamblaje de procesamiento. Cada uno de los pasos en esa línea se ajusta y se perfecciona para que la respuesta sea perfecta. Pero aquí está el problema: esa línea de ensamblaje es masiva, y ajustar cada una de las máquinas toma una cantidad enorme de tiempo, dinero y electricidad. Es como intentar arreglar todo el sistema de tráfico de una ciudad solo para que un único camión de reparto se mueva más rápido.

La gran pregunta que los científicos se han estado haciendo es: ¿Realmente las partes de la imagen y las partes de las palabras necesitan pasar por la misma línea de ensamblaje profunda y compleja? Tal vez las partes de la imagen solo necesitan un atajo rápido y especializado, mientras que las palabras necesitan el procesamiento completo y profundo. Si pudiéramos descubrir cómo darle a las imágenes un atajo sin romper todo el sistema, podríamos hacer que estos computadores inteligentes sean mucho más baratos y rápidos de entrenar. Este es exactamente el rompecabezas que un equipo de investigadores de la Universidad de Tsinghua decidió resolver.

El artículo: Dándole a las imágenes un atajo VIP

Los investigadores, Mingkuan Feng, Zhengqi Wen y Jianhua Tao, proponen una nueva forma de entrenar estos modelos llamada Procesamiento Visual Desacoplado (DVP). Piensa en el modelo estándar como un tobogán largo y sinuoso en un parque infantil. Todos —ya sea que lleven una imagen o una palabra— tienen que deslizarse por el tobogán de 32 pasos juntos. Los investigadores preguntaron: "¿Qué pasaría si dejamos que los que llevan imágenes salten del tobogán a mitad de camino, pasen por un túnel diminuto y súper rápido, y luego se reúnan con los que llevan palabras al final?".

Así es como funciona su "Procesumiento Visual Desacoplado", paso a paso:

El Inicio Compartido: Primero, tanto las piezas de la imagen (tokens visuales) como las piezas de las palabras (tokens de texto) se deslizan por la primera mitad del tobogán juntas (capas 0 a 16). Esto es importante porque permite que la imagen y las palabras se conozcan y entiendan el contexto.
La División: En el punto medio, la multitud se divide. Las piezas de las palabras continúan por el tobogán original, largo y congelado (capas 17 a 31). Este tobogán está "congelado", lo que significa que ya es perfecto para crear oraciones, por lo que no se toca.
El Túnel VIP: Las piezas de la imagen, sin embargo, no bajan por el tobogán largo. En su lugar, son dirigidas a través de un nuevo, diminuto y único túnel (un solo bloque de transformador). Este túnel es la única parte de todo el sistema que se entrena y se ajusta.
La Reunión: Al final de todo, las piezas de la imagen (ahora procesadas por el pequeño túnel) y las piezas de las palabras (procesadas por el largo tobogán) se vuelven a unir para generar la respuesta final.

Lo que encontraron

El equipo probó esta idea utilizando un modelo popular llamado LLaVA-1.5 con un núcleo de 7 mil millones de parámetros (Vicuna-7B). Compararon su método de "Túnel VIP" contra otros dos enfoques: el método estándar donde entrenan el modelo completo, y un método de "Entrenamiento Normal" donde usan su arquitectura dividida pero siguen entrenando todo.

Los resultados fueron sorprendentemente efectivos:

Ahorros Masivos: Al usar DVP, solo necesitaron entrenar aproximadamente el 3.1% de los parámetros totales. Eso es como arreglar todo el tráfico de una ciudad ajustando únicamente los semáforos de una sola esquina.
Viendo Claramente: En una prueba llamada MME (que verifica si el modelo puede realmente "ver" cosas como contar objetos o leer letreros), su método obtuvo una puntuación de 1440. Esto es increíblemente cercano a la puntuación del modelo totalmente entrenado de 1496, y de hecho es mucho mejor que el método de división de "Entrenamiento Normal", que solo obtuvo 1225. Esto sugiere que congelar el modelo principal en realidad ayuda a la computadora a "ver" mejor al evitar que se confunda.
Menos Alucinaciones: En una prueba llamada POPE (que verifica si el modelo inventa cosas que no están ahí, como ver un perro en una foto de un gato), DVP obtuvo 0.8619. Este fue el puntaje más alto de todos, superando al del modelo totalmente entrenado de 0.8577. Esto sugiere que dar a las imágenes su propio camino dedicado puede evitar que el modelo se vuelva "soñador" y se invente cosas.
La Compensación: El método no fue perfecto en todo. En ChartQA (una prueba para leer gráficos y tablas), DVP obtuvo 0.2356. Aunque esto fue mejor que el modelo totalmente entrenado (0.1776), fue inferior al del método de "Entrenamiento Normal" (0.432). Los autores sugieren que esto se debe a que leer gráficos requiere una revisión muy fina y de ida y vuelta entre los detalles de la imagen y las etiquetas de texto, lo cual es más difícil cuando los dos caminos están separados tempranamente.

Por qué esto es importante

El artículo sugiere que las capas profundas y complejas en la parte superior de estos modelos de IA están haciendo gran parte del trabajo pesado para las palabras, pero podrían ser excesivas para las imágenes. Los investigadores descubrieron que un solo bloque de transformador diminuto es suficiente para manejar el procesamiento de la imagen si la imagen y el texto ya han tenido la oportunidad de conocerse a mitad de camino.

Este enfoque desafía la vieja idea de que cada pieza de datos debe viajar a través de toda la red profunda. Sugiere que podemos construir una IA más inteligente y eficiente reconociendo que las imágenes y las palabras son diferentes y pueden necesitar distintos tipos de ayuda. Si bien el método funciona de maravilla para la visión general y la detección de objetos falsos, los autores señalan que podría necesitar un poco más de trabajo para tareas que requieren un razonamiento súper detallado, como la lectura de gráficos complejos. Pero en general, sugieren que este camino "desacoplado" es una forma poderosa y de ahorro energético de enseñar a las computadoras a ver sin necesidad de reconstruir todo el cerebro cada vez.

Resumen Técnico: Procesamiento Visual Desacoplado (DVP)

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs), como LLaVA, han logrado un éxito significativo integrando la comprensión visual y textual dentro de una arquitectura de transformador unificada. El paradigma predominante implica proyectar las características visuales en el espacio de incrustación (embedding) del LLM y procesar todos los tokens (tanto visuales como textuales) a través de todo el stack de capas del decodificador. Aunque este enfoque es efectivo, requiere tanto el ajuste fino completo de miles de millones de parámetros como la aplicación de métodos de eficiencia de parámetros (por ejemplo, LoRA) en cada capa, siendo ambos procesos computacionalmente costosos.

Una cuestión crítica y poco explorada que aborda este trabajo es si los tokens visuales y textuales realmente requieren la misma vía de representación profunda. Investigaciones previas sugieren que las capas inferiores del transformador capturan características generales y agnósticas a la modalidad, mientras que las capas superiores se vuelven cada vez más especializadas. En los MLLMs, se hipotetiza que los tokens visuales podrían beneficiarse de una vía de procesamiento especializada en las capas superiores, distinta del procesamiento orientado al texto del LLM original, lo que haría que el procesamiento de profundidad completa de los tokens visuales sea innecesario e ineficiente.

Metodología: Procesamiento Visual Desacoplado (DVP)

Los autores proponen el Procesamiento Visual Desacoplado (DVP), un marco de entrenamiento eficiente que modifica el stack del decodificador de un LLM preentrenado para separar las vías de procesamiento visual y textual tras una fase inicial compartida.

Arquitectura

Dado un LLM preentrenado con $L$ capas de decodificador, el DVP implementa un paradigma de división-procesamiento-concatenación (split-process-concatenate):

Procesamiento Compartido (Capas $0 $a$ K-1$): Todos los tokens (visuales y textuales) se procesan conjuntamente a través de las primeras $K$ capas del decodificador. Esta fase facilita la atención transmodal, permitiendo que el modelo establezca alineación y fundamentación contextual entre las modalidades.
División de Modalidad: Después de la capa $K$ , los estados ocultos se dividen por modalidad en tokens visuales ( $X_v$ ) y tokens textuales ( $X_t$ ).
Procesamiento Desacoplado:
- Vía Visual: Los tokens visuales son dirigidos a través de un único bloque de transformador, recién inicializado. Este bloque es el único componente entrenable durante la fase de ajuste fino.
- Vía Textual: Los tokens textuales continúan a través de las $L-K$ capas restantes del decodificador, las cuales permanecen congeladas (preservando la capacidad de modelado de lenguaje preentrenada).
Concatenación y Predicción: Las representaciones visuales y textuales procesadas se concatenan y se pasan a la cabeza de modelado de lenguaje para la predicción del siguiente token.

Justificación del Diseño

Punto de División ( $K$ ): En experimentos con Vicuna-7B (32 capas), la división ocurre después de la capa 16 ( $K=17$ ). Esta elección está motivada por la observación de que la primera mitad de las capas del transformador captura características de bajo nivel y transmodales, mientras que la segunda mitad se especializa en el razonamiento específico de la tarea.
Compresión Extrema: La vía visual reemplaza 15 capas del decodificador con un solo bloque de transformador. Esto obliga al modelo a aprender un mapeo de transformación compacto que vincula directamente las representaciones visuales de la capa compartida con el espacio de salida.
Eficiencia de Parámetros: Solo el único bloque de transformador se actualiza durante el ajuste de instrucciones. En la configuración de Vicuna-7B, esto constituye aproximadamente el 3.1% de los parámetros totales del modelo, mientras que el 96.9% restante (incluyendo las capas inferiores compartidas y las capas textuales superiores) permanece congelado.

Contribuciones Clave

Innovación Arquitectónica: El DVP introduce una modificación estructural que desacopla el procesamiento visual del stack profundo del decodificador, desafiando la suposición de que los tokens visuales deben atravesar toda la profundidad del LLM.
Eficiencia de Parámetros: El método logra un rendimiento competitivo entrenando solo una fracción de los parámetros (aprox. 3.1%) en comparación con el ajuste fino completo.
Validación de Hipótesis: El trabajo valida dos hipótesis: (1) las capas inferiores del LLM son suficientes para la alineación transmodal, y (2) los tokens visuales en las capas superiores requieren transformaciones más compactas y diferentes que los tokens textuales.

Resultados Experimentales

Los autores evaluaron el DVP utilizando el marco LLaVA-1.5 con un backbone de Vicuna-7B en tres benchmarks: MME (percepción y cognición), POPE (alucinación de objetos) y ChartQA.

Percepción (MME): El DVP logró una puntuación de percepción de 1440, que es el 96.3% de la línea base de LLaVA-1.5-7B totalmente ajustada (1496). Notablemente, el DVP superó a una línea base de "Entrenamiento Normal" (que utilizó la arquitectura dividida pero entrenó todos los parámetros) en percepción (1440 vs. 1225), lo que sugiere que congelar los parámetros ayuda a preservar las capacidades de percepción visual.
Alucinación (POPE): El DVP logró una puntuación de 0.8619, superando la línea base de LLaVA-1.5-7B (0.8577) y la línea base de Entrenamiento Normal (0.8381). Esto indica que la arquitectura desacoplada puede reducir la alucinación de objetos al evitar que el procesamiento visual sea influenciado por las capas superiores sesgadas hacia el texto.
Cognición y Comprensión de Gráficos: El DVP se desempeñó de manera comparable a la línea base en la cognición de MME (327 vs. 324). Sin embargo, obtuvo una puntuación más baja en ChartQA (0.2356) en comparación con la línea base de Entrenamiento Normal (0.432). Los autores atribuyen esto a la necesidad de un re-referenciamiento iterativo y detallado entre los detalles visuales y las etiquetas textuales en las capas superiores, lo cual se ve limitado en la arquitectura dividida.
Eficiencia: El DVP mantiene un rendimiento competitivo entrenando solo ~3.1% de los parámetros, lo que representa una reducción de ~32x en los parámetros entrenables en comparación con el ajuste fino completo.

Significado y Reivindicaciones

El artículo afirma que las representaciones visuales en los MLLM pueden aprenderse eficazmente a través de una vía desacoplada y eficiente en parámetros. Las implicaciones clave incluyen:

Redundancia en el Procesamiento Visual: El éxito de un solo bloque de transformador al reemplazar 15 capas del decodificador sugiere una redundancia sustancial en cómo los MLLM actuales procesan la información visual en las capas superiores.
Sesgo Inductivo Específico de la Modalidad: La arquitectura introduce una separación explícita entre la "comprensión" (lo que los tokens visuales portan) y la "generación" (cómo se usa la información para el texto), lo que potencialmente conduce a sistemas más interpretables y controlables.
Despliegue y Adaptación: La eficiencia extrema de parámetros hace que el DVP sea atractivo para el despliegue en entornos con recursos limitados, la adaptación a nuevos dominios visuales (donde solo es necesario actualizar el bloque visual) y escenarios de aprendizaje continuo.
Perspectiva de Destilación de Conocimiento: El bloque único comprime eficazmente el "conocimiento" de 15 capas, lo que sugiere que el rango efectivo de la transformación aplicada a los tokens visuales es mucho menor que la capacidad paramétrica total de esas capas.

Los autores reconocen limitaciones, incluyendo la evaluación en un conjunto limitado de benchmarks, la heurística del punto de división fijo y la falta de atención transmodal después de la división, lo que puede dificultar las tareas que requieren un razonamiento visual-textual iterativo. Sugieren que el trabajo futuro podría explorar puntos de división adaptativos, múltiples bloques visuales ligeros y extensiones a escalas de modelos más grandes.