Generalize LMMs to Versatile Visual Modalities via Fabricated Modality Synthesis

Resumen Técnico: Generalización de los LMM a Modalidades Visuales Versátiles mediante la Síntesis de Modalidades Fabricadas

Planteamiento del Problema
Los actuales Modelos Multimodales Grandes (LMM, por sus siglas en inglés) demuestran un fuerte rendimiento en RGB (visión convencional), pero tienen dificultades para generalizarse a modalidades visuales no vistas (por ejemplo, térmica, profundidad, rayos X). Los enfoques existentes suelen depender de escalar los datos para incluir modalidades no RGB específicas durante el entrenamiento, lo que crea una "brecha de generalización" donde los modelos fallan en modalidades que no estuvieron presentes en su distribución de entrenamiento. El desafío central es que los LMM a menudo confunden la semántica escénica invariante con las apariencias visuales específicas de la modalidad, obligando al modelo a aprender nuevos alineamientos para cada modalidad distinta en lugar de desarrollar una comprensión unificada del mundo físico.

Metodología: VVM-Tuning
Los autores proponen VVM-Tuning, un marco de entrenamiento diseñado para dotar a los LMM de dos capacidades distintas: Percepción ajena a la modalidad y Comprensión consciente de la modalidad. Esto se logra a través de un flujo de trabajo de Síntesis de Modalidades Fabricadas y Contextos de Modalidad.

1. Flujo de Síntesis de Modalidades:

   • Síntesis de Imágenes: Para crear datos de entrenamiento diversos sin requerir conjuntos de datos no RGB reales, los autores fabrican imágenes a partir de fuentes RGB estándar. Esto implica convertir imágenes RGB a escala de grises, aplicar interpolación de spline cúbico aleatoria para ajustar los histogramas y mapearlas a pseudo-colores utilizando 22 mapas de colores científicos. Adicionales aumentos (ruido, desenfoque) simulan características de sensores de baja resolución o con ruido.
   • Fabricación de Contextos de Modalidad: Se generan prompts textuales para describir el significado físico de las modalidades sintetizadas (por ejemplo, "los colores más cálidos representan temperaturas más altas"). Para imágenes con máscaras de segmentación, los contextos se ensamblan vinculando los mapas de colores a los objetos; para imágenes sin anotaciones, se solicita a los LLM que generen contextos basados en ejemplos escritos por humanos.

2. Marco de Entrenamiento (VVM-Tuning):
   El marco utiliza el Ajuste Fino Supervisado (SFT) con dos conjuntos de tareas desentrelazadas:

   • Percepción ajena a la modalidad: Estas tareas buscan extraer la semántica invariante y los elementos visuales básicos (percepción fotográfica) independientemente de la apariencia visual.
     • Tareas Semánticas: El modelo es entrenado para extraer la semántica subyacente compartida entre la imagen RGB original y la imagen fabricada.
     • Tareas Fotográficas: El modelo extrae pistas visuales únicas (por ejemplo, patrones de color específicos) presentes en la imagen fabricada pero no en la descripción semántica.
     • Formato: Incluye tanto descripciones de imágenes como tareas de Visual Question Answering (VQA).
   • Comprensión consciente de la modalidad: Estas tareas enseñan al modelo a conectar las apariencias visuales sintetizadas con los atributos físicos definidos en el Contexto de la Modalidad.
     • El modelo aprende a integrar la descripción semántica, la descripción fotográfica y el contexto específico de la modalidad para responder preguntas que requieren conocimiento de la modalidad.
     • Esto permite la adaptación zero-shot durante la inferencia, utilizando las capacidades de seguimiento de instrucciones y aprendizaje en contexto del modelo.

Contribuciones Clave

• Nuevo Enfoque de Generalización: El artículo es el primero en explorar la generalización de los LMM a modalidades visuales no vistas sin datos de entrenamiento de la propia modalidad, demostrando que la síntesis de modalidades y el contexto pueden cerrar esta brecha.
• Síntesis de Modalidades Fabricadas: Un flujo de trabajo que genera diversas imágenes no RGB y sus correspondientes contextos de modalidad a partir de datos RGB, permitiendo la creación de un conjunto de instrucciones sintéticas general.
• Estrategia de Entrenamiento Desentrelazada: Un marco que separa la "percepción ajena a la modalidad" (extracción de semántica compartida) de la "comprensión consciente de la modalidad" (conexión del significado físico con la apariencia), evitando el sobre-alineamiento de la semántica con apariencias RGB específicas.
• VVM-Bench: Un benchmark exhaustivo que presenta 6 modalidades visuales (3 reales: Térmica, Profundidad, Rayos X; 3 fabricadas: Flujo Óptico, Sintetizada 1, Sintetizada 2) y 11 tareas de VQA para evaluar tanto la capacidad de percepción como de comprensión.

Resultados Experimentales
El marco fue evaluado en cinco modelos base (LLaVA-1.5, Qwen2.5-VL, Qwen3-VL) a través de VVM-Bench.

• Mejoras en la Percepción: Los modelos entrenados con VVM-Tuning mostraron una mejora promedio del 8.2% en el subconjunto de percepción (tareas sin contextos de modalidad) en todas las modalidades probadas. Las ganancias más significativas se observaron en las modalidades fabricadas (por ejemplo, +22.2% para LLaVA-1.5 en Sintetizada 1).
• Mejoras en la Comprensión: Con la inclusión de contextos de modalidad, los modelos lograron una mejora promedio del 3.8% en el subconjunto de comprensión.
• Generalización: A pesar de haber sido entrenados con datos sintéticos, los modelos demostraron mejoras consistentes en modalidades del mundo real (Térmica, Profundidad, Rayos X, Flujo Óptico), confirmando que los principios subyacentes de las modalidades visuales son compartidos.
• Estudios de Ablación: Los resultados confirmaron que tanto las tareas de percepción ajena a la modalidad como las tareas de comprensión consciente de la modalidad son necesarias; eliminar cualquiera de los componentes degradó significativamente el rendimiento, siendo la base de percepción crítica para el aprendizaje de la adaptabilidad.

Significancia y Reivindicaciones
Los autores afirman que su trabajo demuestra un camino viable para que los LMM logren la generalización zero-shot hacia modalidades visuales versátiles. Al desentrelazar la semántica invariante de las apariencias específicas de la modalidad y utilizar contextos textuales para cerrar la brecha, los LMM pueden reconocer entidades físicas y comprender atributos específicos de la modalidad sin haber sido entrenados explícitamente en esas modalidades específicas.

El artículo postula que este enfoque ofrece una nueva perspectiva sobre la visión artificial: distinguir entre la "imagen" (apariencia visual) y el "mundo real" (semántica subyacente). Los autores sugieren que los LMM actuales a menudo tratan la imagen como la realidad, mientras que su método fomenta una separación que permite una generalización más amplia. Concluyen que, con suficientes capacidades de percepción y contextos de modalidad, los LMM pueden adaptarse a modalidades visuales no vistas, y proporcionan VVM-Bench para facilitar la investigación futura en esta dirección.