Reasoning Resides in Layers: Restoring Temporal Reasoning in Video-Language Models with Layer-Selective Merging

1. El Problema: La Degradación del Razonamiento Temporal

Los autores identifican una paradoja fundamental en los Modelos de Lenguaje Multimodales (VLMs): aunque la adaptación multimodal dota a los Grandes Modelos de Lenguaje (LLMs) de capacidades perceptuales, a menudo debilita las habilidades de razonamiento heredadas de su preentrenamiento en texto.

• El Dilema: La alineación visual en VLMs tiende a priorizar la percepción espacial y la alineación a nivel de objetos, descuidando la supervisión necesaria para la abstracción temporal y la inferencia causal.
• Consecuencias:
  1. Pérdida de Razonamiento Temporal (TR): Los VLMs adaptados fallan en problemas de lógica temporal que sus contrapartes puramente textuales resolvían correctamente.
  2. Desconexión Percepción-Razonamiento: Incluso cuando el modelo identifica correctamente objetos y señales visuales, falla al inferir la estructura temporal-causal de una secuencia de eventos.
• Limitaciones de Soluciones Existentes:
  • Los métodos basados en entrenamiento (como DPO) requieren datos adicionales y costos computacionales elevados.
  • Las técnicas de fusión de modelos sin entrenamiento (training-free) actuales suelen realizar una fusión uniforme a nivel de todo el modelo, tratando el "backbone" de lenguaje como un bloque homogéneo. Esto es demasiado grueso, recupera el razonamiento de manera poco fiable y a menudo sacrifica el rendimiento perceptual.

2. Metodología: MERIT

Los autores proponen MERIT (Merging for Enhanced Reasoning In Temporal Tasks), un marco de fusión de modelos sin entrenamiento y guiado por tareas. La premisa central es que el razonamiento no está distribuido uniformemente, sino que depende desproporcionadamente de un subconjunto específico de capas.

Formulación del Problema y Objetivo

MERIT busca una "receta" de fusión a nivel de capa que combine un VLM ($M$) con su backbone de texto puro ($N$).

• Objetivo de Optimización: Maximizar la ganancia en Razonamiento Temporal (TR) mientras se penaliza la degradación en la Percepción Temporal (TP).
• Función de Objetivo ($F(g)$):
  $$F(g) = Acc_{TR}(g) - \lambda \cdot D_{TP}(g)$$
  Donde $D_{TP}$ es la degradación en la percepción temporal respecto al VLM original y $\lambda$ controla la fuerza de la penalización.

Búsqueda Evolutiva (CMA-ES)

Dado que el espacio de búsqueda de recetas por capas es combinatorio y la función de evaluación no es diferenciable, MERIT utiliza la Estrategia Evolutiva de Adaptación de Matriz de Covarianza (CMA-ES):

1. Parametrización: Cada receta se define por un vector de puertas continuo $g \in [0, 1]^L$ (donde $L$ es el número de capas de atención).
2. Umbralización: Durante la evaluación, las puertas se convierten en discretas ($\hat{g}_\ell = 1$ si $g_\ell \ge 0.5$, sino $0$).
3. Fusión Direccional: Para una capa $\ell$, los parámetros de atención se interpolan:
   • Si $\hat{g}_\ell = 1$: Se prioriza el backbone de texto ($N$) para recuperar el razonamiento.
   • Si $\hat{g}_\ell = 0$: Se prioriza el VLM ($M$) para mantener la percepción.
   • La interpolación se controla mediante un peso $\alpha$.
4. Proceso: CMA-ES muestrea poblaciones de vectores de puertas, evalúa el modelo fusionado en un subconjunto de datos de búsqueda (Video-MME) y actualiza la distribución hacia las recetas que maximizan $F(g)$.

3. Contribuciones Clave

1. Marco MERIT: Un método training-free que restaura el razonamiento temporal mediante la intervención selectiva a nivel de capa, evitando el reentrenamiento costoso.
2. Descubrimiento de la Localización del Razonamiento: Demuestran empíricamente que el razonamiento temporal en VLMs reside en un subconjunto específico de capas, y que la fusión uniforme es inferior a la fusión selectiva.
3. Generalización: Las recetas descubiertas en un subconjunto pequeño de datos se generalizan efectivamente a múltiples benchmarks y arquitecturas distintas.
4. Análisis Causal: Utilizan enmascaramiento intervencional y atribución a nivel de fotograma para validar que las capas seleccionadas son críticas para el razonamiento y que el modelo fusionado cambia su atención hacia evidencia causalmente relevante en lugar de señales locales engañosas.

4. Resultados Experimentales

Los experimentos se realizaron en tres VLMs representativos: LongVA-7B, InternVL3-8B y Qwen3-VL-4B.

• Mejora en Razonamiento Temporal (TR):
  • MERIT mejoró consistentemente el TR en todos los modelos. Por ejemplo, en LongVA-7B, el TR aumentó un 23.9% (de 40.1% a 49.7%) en el benchmark Video-MME.
  • Las mejoras se generalizaron a otros benchmarks como LongVideoBench, LVBench, MMBench-Video y Video-Holmes.
• Preservación de la Percepción (TP):
  • A diferencia de la fusión uniforme (ALL-LAYER) que a veces degrada la percepción, MERIT mantuvo o incluso mejoró ligeramente la TP y el rendimiento general, cumpliendo con la restricción de la función de objetivo.
• Comparación con Baselines:
  • Fusión Uniforme (ALL-LAYER): Resultados inconsistentes, a veces mejorando el TR pero a costa de la percepción.
  • Selección Aleatoria (RANDOM-K): Rendimiento significativamente inferior y alta varianza, demostrando que qué capas se seleccionan es más importante que cuántas.
• Análisis de Enmascaramiento:
  • Al enmascarar las capas seleccionadas por MERIT en el modelo base, la caída en el rendimiento de razonamiento fue desproporcionadamente mayor (ej. -51.7% en LongVA-7B) en comparación con otras métricas, confirmando que estas capas son el "lugar" del razonamiento.
• Cambio en la Atribución (Case Studies):
  • En casos de estudio (Video-Holmes), el modelo base tendía a anclarse en eventos locales salientes pero engañosos. MERIT, en cambio, logró integrar eventos temporalmente distantes pero causalmente informativos para inferir la respuesta correcta.

5. Significado e Impacto

El trabajo de MERIT es significativo por varias razones:

• Eficiencia: Ofrece una vía escalable para recuperar capacidades especializadas en sistemas multimodales sin los costos prohibitivos del reentrenamiento o la fine-tuning masiva.
• Comprensión de la Arquitectura: Proporciona evidencia de que la adaptación multimodal no destruye el razonamiento, sino que lo "oculta" o diluye en capas específicas, y que la arquitectura de los LLMs permite una recuperación dirigida.
• Dirección Futura: Sugiere que la fusión de modelos debe ser granular y consciente de la tarea, no uniforme. Abre la puerta a recuperar otras capacidades de razonamiento especializadas en sistemas multimodales mediante intervenciones arquitectónicas precisas.

En resumen, el artículo demuestra que el razonamiento temporal en los VLMs puede restaurarse eficazmente identificando y fusionando selectivamente las capas críticas del backbone de lenguaje, equilibrando la percepción visual con la lógica temporal sin necesidad de nuevos datos de entrenamiento.