L2V-CoT: Cross-Modal Transfer of Chain-of-Thought Reasoning via Latent Intervention

Resumen Técnico: L2V-CoT

1. El Problema

Aunque los Modelos de Lenguaje Grande (LLMs) han demostrado capacidades excepcionales en tareas de razonamiento mediante el método de Cadena de Pensamiento (Chain-of-Thought, CoT), los Modelos Visión-Lenguaje (VLMs) aún luchan con tareas que requieren razonamiento multietapa (como análisis de gráficos, geometría o problemas matemáticos complejos).

Las causas principales de esta limitación son:

• Escasez de datos: La generación de datos de razonamiento multimodal (CoT) es costosa y consume muchos recursos.
• Limitaciones de los métodos existentes:
  • Los enfoques de entrenamiento (fine-tuning) son costosos.
  • Los métodos de fusión de modelos (model merging) requieren que el VLM y el LLM fuente compartan la misma arquitectura, lo cual es poco común en escenarios reales.
  • Los métodos de intervención de activación actuales a menudo no logran transferir el razonamiento entre arquitecturas diferentes.

La pregunta clave: ¿Cómo podemos transferir las capacidades de razonamiento de un LLM a un VLM sin entrenamiento y sin requerir que compartan la misma arquitectura?

2. Metodología: L2V-CoT

Los autores proponen L2V-CoT, un método de intervención latente libre de entrenamiento (training-free) que transfiere las capacidades de razonamiento CoT de un LLM a un VLM. El enfoque se basa en dos hallazgos empíricos clave obtenidos mediante Tomografía Artificial Lineal (LAT):

1. Representaciones de Baja Frecuencia: Las representaciones latentes que codifican el razonamiento CoT en los VLMs se encuentran principalmente en sus componentes de baja frecuencia. Los componentes de alta frecuencia suelen ser ruido o específicos de la modalidad visual que no contribuyen al razonamiento lógico.
2. Alineación Estructural: A pesar de las diferencias arquitectónicas, las representaciones de baja frecuencia del razonamiento CoT en LLMs y VLMs comparten una distribución y estructura latente similar, lo que permite su transferencia.

El Proceso de L2V-CoT:

1. Extracción de Patrones CoT (en el LLM):

   • Se utilizan prompts contrastivos (con y sin CoT) en un LLM potente (ej. DeepSeek-R1) para extraer las representaciones ocultas de las respuestas.
   • Se calcula la dirección de razonamiento ($u$) restando las representaciones de las respuestas no-CoT de las respuestas CoT.
   • Se promedian estas direcciones para obtener un patrón general de CoT ($v$).

2. Filtrado y Re-muestreo (Alineación de Dimensiones):

   • Dado que el LLM y el VLM tienen diferentes dimensiones de capas, no se pueden inyectar directamente.
   • Se aplica un filtro paso bajo (Low-Pass Filter, LPF) en el dominio de la frecuencia (usando Transformada Rápida de Fourier - FFT) al vector de dirección del LLM. Esto elimina el ruido de alta frecuencia y preserva la información esencial de razonamiento.
   • Se utiliza un método de re-muestreo (LMN) en el dominio de la frecuencia para ajustar la dimensión del vector del LLM a la del VLM, minimizando la pérdida de información.

3. Intervención Latente (Inyección en el VLM):

   • Durante la inferencia del VLM, se inyecta el vector de patrón CoT procesado en las representaciones ocultas de una capa intermedia del VLM.
   • La operación se realiza como: $\hat{h}_V = h_V + \alpha \cdot \hat{v}_{LPF}$, donde $\alpha$ es un coeficiente que modula la fuerza de la inyección.
   • Finalmente, se normaliza el resultado para preservar la magnitud original de la activación y evitar la inestabilidad.

3. Contribuciones Clave

• Análisis Empírico Innovador: Son los primeros en utilizar la Tomografía Artificial Lineal (LAT) para demostrar que las representaciones de razonamiento CoT de baja frecuencia son transferibles entre LLMs y VLMs, a pesar de sus diferencias modales.
• Método Libre de Entrenamiento (Training-Free): L2V-CoT no requiere fine-tuning ni re-entrenamiento del VLM, lo que lo hace extremadamente eficiente en términos computacionales.
• Independencia de Arquitectura: A diferencia de los métodos de fusión de modelos, L2V-CoT funciona entre modelos con arquitecturas completamente diferentes (ej. transferir de LLaMA a Qwen-VL).
• Superioridad sobre Baselines: Demuestra que la intervención en el espacio latente es más efectiva que los métodos de prompting (Few-shot) o la fusión de parámetros para esta tarea específica.

4. Resultados Experimentales

Los autores evaluaron L2V-CoT en múltiples VLMs (LLaVA, InternVL, Qwen-VL, Idefics) y benchmarks de razonamiento visual (MathVista, MathVerse, MMStar, DynaMath).

• Rendimiento General: L2V-CoT superó consistentemente a todos los baselines libres de entrenamiento (como Few-shot CoT, MathNeuro, RoT) y también superó a métodos supervisados que requieren fine-tuning (como Finetuned CoT).
• Mejoras Cuantitativas: Se observó una mejora promedio del 3.7% en el rendimiento general, con picos de hasta un 8.6% en tareas específicas de razonamiento matemático.
• Análisis de Capas: La inyección en capas medias del VLM resultó ser óptima. Las capas bajas afectan la percepción visual, mientras que las capas muy altas no permiten suficiente procesamiento posterior de la información inyectada.
• Longitud de Respuesta: El método induce un "pensamiento lento" (slow thinking) en el VLM, resultando en respuestas más largas y detalladas, lo cual es un indicador de un proceso de razonamiento más profundo.
• Robustez: El método funciona bien con diferentes tamaños de modelos y es sensible a la fuerza de inyección ($\alpha$), mostrando que una inyección moderada es óptima.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Puente entre Modalidades: Proporciona una solución práctica para dotar a modelos visuales de capacidades de razonamiento avanzado sin necesidad de costosos conjuntos de datos multimodales.
• Eficiencia: Al ser un método de inferencia (sin entrenamiento), democratiza el acceso a modelos de razonamiento avanzado para aplicaciones donde el re-entrenamiento es inviable.
• Nueva Perspectiva Teórica: Sugiere que el razonamiento lógico tiene una "firma" latente de baja frecuencia que es universal entre diferentes arquitecturas de IA, lo que abre nuevas vías para la investigación en ingeniería de activaciones y transferencia de capacidades entre modelos heterogéneos.

En conclusión, L2V-CoT demuestra que es posible "hackear" la capacidad de razonamiento de un VLM inyectando patrones latentes de un LLM, superando las barreras de arquitectura y datos que han limitado el avance del razonamiento multimodal.