Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer

1. Planteamiento del Problema

Los Modelos de Lenguaje y Visión Grandes (LVLMs) han avanzado rápidamente en tareas como la descripción de imágenes y la interacción. Sin embargo, en tareas que requieren inferencia de múltiples pasos y toma de decisiones composicional (como matemáticas complejas o razonamiento científico), siguen quedando muy por detrás de los Modelos de Lenguaje Grandes (LLMs) de solo texto, que son más maduros en estas capacidades.

Las estrategias actuales para cerrar esta brecha se basan principalmente en escalar los LVLMs con más datos multimodales y tamaños de modelo mayores. No obstante, esto enfrenta obstáculos:

• La cantidad de datos de pares "imagen-razonamiento" es limitada en comparación con los vastos corpus de texto.
• No está claro cómo transferir las capacidades generales adquiridas por los LLMs a entornos multimodales de manera eficiente.

La pregunta central de la investigación es: ¿Podemos aprovechar las capacidades maduras de inferencia de los LLMs para mejorar a los LVLMs a un costo relativamente bajo, asumiendo que comparten mecanismos internos?

2. Metodología y Enfoque

Los autores investigan si LLMs y LVLMs utilizan circuitos neuronales comunes para la inferencia, a pesar de sus diferencias en modalidades y datos de entrenamiento.

A. Descubrimiento de Neuronas Compartidas

• Perfilado de Activación: Se realizó un análisis a nivel de neurona utilizando corpus de detección que incluyen problemas y sus respuestas de inferencia (razonamiento). Se identificaron las unidades que se activan más fuertemente durante tareas de inferencia en modelos de texto (ej. Qwen2.5-Math) y modelos visuales (ej. Qwen2.5-VL).
• Hallazgo Clave: Se descubrió una sobreposición sorprendente: más del 50% de las neuronas de mayor activación durante la inferencia son compartidas entre LLMs y LVLMs representativos. Esto revela un "subespacio de inferencia invariante a la modalidad".
• Validación Causal: Mediante un análisis de amplificación (aumentar artificialmente la activación de estas neuronas), se demostró que estas neuronas compartidas codifican conceptos funcionales coherentes (muchos relacionados con matemáticas) y que su amplificación mejora sistemáticamente el comportamiento de inferencia. Por el contrario, desactivar estas neuronas específicas colapsa el rendimiento de inferencia a cero, mientras que la eliminación aleatoria de neuronas tiene un impacto mucho menor.

B. Propuesta: SNRF (Shared Neuron Low-Rank Fusion)

Basándose en este hallazgo, los autores proponen SNRF, un marco eficiente en parámetros para transferir circuitos de inferencia de un LLM (fuente) a un LVLM (objetivo) sin necesidad de un ajuste fino (fine-tuning) multimodal a gran escala.

El proceso de SNRF es el siguiente:

1. Identificación: Se perfilan las activaciones cruzadas para identificar el conjunto de neuronas compartidas ($S_{\ell,p}$) en cada capa y proyección (atención y feed-forward).
2. Cálculo de Diferencia: Se calcula la diferencia de pesos entre el modelo fuente y el objetivo ($\Delta = W_{src} - W_{tgt}$).
3. Aproximación de Bajo Rango: Se aplica una descomposición en valores singulares (SVD) para obtener una aproximación de bajo rango ($\Delta^{(r)}$) de la diferencia de pesos.
4. Fusión Selectiva: Se actualizan únicamente las neuronas dentro del subespacio compartido utilizando la aproximación de bajo rango. Las neuronas no compartidas (especializadas en percepción visual o formatos específicos) permanecen intactas.
   • Fórmula: $\tilde{W}_{\ell,p} = W_{tgt} + \beta \cdot M_{S_{\ell,p}}(\Delta^{(r)}_{\ell,p})$, donde $M$ es un operador de enmascaramiento y $\beta$ controla la fuerza de la actualización.

3. Contribuciones Clave

1. Hallazgo Empírico: Demostración de que LLMs y LVLMs comparten un subespacio neuronal sustancial y funcional para la inferencia, sugiriendo que la capacidad de razonamiento es una propiedad modular transferible entre modalidades.
2. Análisis de Neuronas: Introducción de un método de análisis basado en amplificación que revela conceptos funcionales (como operaciones matemáticas o sintaxis) codificados en neuronas específicas, permitiendo una interpretación causal de la inferencia.
3. Método SNRF: Desarrollo de un marco de fusión de bajo rango que transfiere habilidades de inferencia de texto a modelos multimodales con cambios mínimos de parámetros, sin requerir entrenamiento costoso con datos multimodales.

4. Resultados Experimentales

Los autores evaluaron SNRF en diversos modelos (Qwen2.5-VL, Intern2.5-VL, Idefics3) y benchmarks (MathVista, ScienceQA, MMMU-Pro, MME, POPE).

• Mejora en Inferencia: SNRF mejoró consistentemente el rendimiento en tareas de razonamiento matemático y científico.
  • En MathVista, se observaron ganancias promedio de +2.0 puntos en "Solución" y +1.66 en "Cadena de Pensamiento" (CoT).
  • En ScienceQA, las mejoras fueron significativas (ej. +22.6 puntos en Qwen2.5-VL-3B).
  • En MMMU-Pro (un benchmark de razonamiento difícil), se lograron saltos notables, superando a modelos base y a otros métodos de fusión.
• Preservación de Capacidades: A diferencia de otros métodos de fusión lineal o ajuste fino, SNRF mantuvo las capacidades perceptuales y de alucinación estables.
  • Métricas de percepción (MME) y detección de alucinaciones (POPE) se mantuvieron prácticamente sin cambios o mejoraron ligeramente.
  • Esto confirma que la actualización selectiva en el subespacio compartido no degrada la capacidad del modelo para "ver" o entender el mundo visual.
• Comparación con Baselines: SNRF superó a técnicas de fusión lineal, DARE y FRANK, así como a modelos entrenados con SFT (Fine-Tuning Supervisado) y RL en métricas de inferencia estricta, manteniendo un costo computacional mucho menor.

5. Significado e Impacto

Este trabajo tiene implicaciones profundas para el desarrollo de IA multimodal:

• Eficiencia: Proporciona una vía de bajo costo para dotar a modelos multimodales de capacidades de razonamiento avanzadas sin necesidad de recopilar masivos conjuntos de datos de razonamiento imagen-texto o entrenar desde cero.
• Interpretabilidad: Refuerza la idea de que los modelos de lenguaje tienen una estructura interna compartida y modular, donde la "inteligencia" de razonamiento reside en circuitos neuronales específicos que pueden ser aislados y transferidos.
• Futuro de la IA: Sugiere que la brecha entre modelos de texto y multimodales no es fundamental, sino de acceso a circuitos de inferencia maduros. SNRF ofrece un mecanismo práctico para cerrar esta brecha, permitiendo que los modelos visuales hereden la "sabiduría" de razonamiento de los modelos de texto de manera selectiva y segura.

En resumen, el paper demuestra que la inferencia compleja en LVLMs puede mejorarse drásticamente inyectando circuitos neuronales específicos de inferencia de LLMs, validando la existencia de un sustrato neuronal compartido entre modalidades.