From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion

Resumen Técnico: De Uno-a-Uno a Muchos-a-Muchos: Inyección Dinámica de Capas Cruzadas para la Fusión Profunda de Visión y Lenguaje

Declaración del Problema
Los modelos actuales de visión y lenguaje (VLM) sufren un cuello de botella arquitectónico fundamental: dependen de una conexión estática y asimétrica de "uno-a-uno" que vincula únicamente la capa de salida final del codificador Vision Transformer (ViT) con la entrada del Modelo de Lenguaje Grande (LLM). Este diseño descarta la rica información jerárquica capturada en las capas intermedias del ViT, como las texturas y bordes de bajo nivel, que son cruciales para la percepción de grano fino. En consecuencia, los LLM se ven privados del espectro completo de evidencia visual, lo que limita su capacidad para integrar detalles locales con semántica global para un razonamiento matizado. El artículo sostiene que esta conexión estática crea un "desajuste funcional", impidiendo que los modelos realicen tareas sofisticadas como identificar partes específicas de un objeto (por ejemplo, las ruedas de un zapato) o fundamentar conceptos abstractos en datos visuales de grano fino.

Metodología: Inyección de Capas Cruzadas (CLI)
Para resolver esto, los autores proponen la Inyección de Capas Cruzadas (CLI), un marco que reemplaza el puente estático con una arquitectura dinámica de "muchos-a-muchos". Esto permite al LLM consultar e integrar activamente características de toda la jerarquía visual basándose en su contexto de decodificación en tiempo real. La CLI consta de dos componentes sinérgicos y de eficiencia de parámetros:

1. Proyección Múltiple Adaptativa (AMP): Para abordar la varianza de distribución entre las características de las diferentes capas del ViT (que van desde texturas de bajo nivel hasta semántica de alto nivel), los autores introducen un módulo de proyección que armoniza estas características en un espacio semántico compartido. En lugar de entrenar un proyector separado para cada capa (lo cual es computacionalmente prohibitivo), la AMP utiliza Adaptación de Bajo Rango (LoRA). Esta aumenta el proyector preentrenado con adaptadores LoRA específicos por capa, permitiendo la alineación eficiente de los tokens visuales multinivel con el espacio de incrustación (embedding) del LLM.

2. Fusión de Puerta Adaptativa (AGF): Este es el mecanismo central que permite la selección dinámica. En múltiples puntos de inyección dentro del decodificador del LLM, un módulo AGF actúa como un controlador sensible al contexto. Emplea un mecanismo de atención basado en consultas donde vectores de consulta aprendibles destilan información tanto del estado oculto actual del LLM como de las características visuales alineadas. Un controlador de puerta calcula un peso dinámico (0 a 1) para determinar la relevancia de la nueva información visual. Esto permite que el LLM pueda "hacer zoom" selectivamente en detalles de grano fino de las capas superficiales del ViT o "alejarse" hacia conceptos abstractos de las capas profundas, dependiendo del paso de razonamiento específico requerido.

Contribuciones Clave

• Un Nuevo Marco de Trabajo: La CLI aborda sistemáticamente la infrautilización de las características visuales jerárquicas mediante el establecimiento de un puente dinámico de muchos-a-muchos entre las jerarquías de visión y lenguaje.
• Módulos Sinérgicos: La introducción de AMP y AGF, que colectivamente permiten la alineación y la fusión selectiva y sensible al contexto de las características visuales multinivel sin requerir un aumento masivo de parámetros.
• Validación Empírica: Experimentos extensos en dos arquitecturas distintas de VLM (LLaVA-OneVision y LLaVA-1.5) a través de 28 diversos benchmarks demuestran mejoras consistentes y significativas sobre las líneas base y otras estrategias de fusión profunda.

Resultados
Los autores integraron la CLI en LLaVA-OneVision (0.5B y 7B de parámetros) y LLaVA-1.5 (7B de parámetros). Los resultados en 28 benchmarks que cubren análisis de documentos, razonamiento de gráficos y percepción general muestran:

• Ganancias Significativas: La CLI supera al proyector base y a otros métodos de fusión (como DeepStack y la Inyección de Capa Superficial). Por ejemplo, en LLaVA-OV-7B, la CLI logró mejoras de 6.5 puntos en LLa-in-the-Wild, 3.3 puntos en MME y 4.7 puntos en OCR-Bench.
• Superioridad sobre Alternativas: A diferencia de DeepStack, que a menudo degrada el rendimiento debido a una inyección no selectiva y de fuerza bruta, y la Inyección de Capa Superficial, que no logra ayudar a las capas de razonamiento profundo, la puerta dinámica de la CLI asegura que solo la información visual relevante sea integrada.
• Rendimiento de Grano Fino: El método muestra una fortaleza particular en tareas que requieren alta fidelidad de detalle, como el Reconocimiento Óptico de Caracteres (OCR) y la localización visual (visual grounding), donde el acceso a las capas tempranas del ViT es crítico.
• Eficiencia: El marco introduce un overhead computacional mínimo, con un aumento de la memoria de inferencia de solo el 1.3%, mientras entrega ganancias sustanciales de rendimiento.

Significado y Reivindicaciones
El artículo afirma que la CLI establece un nuevo paradigma escalable para la comprensión multimodal profunda. Al otorgar a los LLM acceso bajo demanda a toda la jerarquía visual, el marco desbloquea un nivel más profundo de razonamiento que las arquitecturas estáticas no pueden alcanzar. Los autores enfatizan que las ganancias de rendimiento provienen de la efectividad arquitectónica de la fusión dinámica de muchos-a-muchos, más que de un simple aumento en el recuento de parámetros. El trabajo sugiere que, para que los VLM se acerquen a la cognición humana, deben ir más allá de las conexiones estáticas de una sola capa hacia interacciones dinámicas y conscientes del contexto que permitan al modelo de lenguaje actuar como un "observador activo" del mundo visual.