Resumen Técnico: Splash – Aprendizaje de Alineación Táctil con Máscara Aislada en MLLMs

1. Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) se utilizan cada vez más para la robótica empotida, donde la comprensión de propiedades físicas como la fricción y la complacencia es crucial. Sin embargo, dotar a los MLLMs compactos (sMLLMs, por ejemplo, ≤3B de parámetros) de capacidades de razonamiento táctil presenta un desafío significativo: el olvido catastrófico.

Los enfoques existentes que integran modalidades táctiles suelen requerir la actualización de todo el modelo o de grandes subconjuntos de parámetros. En los sMLLMs con recursos limitados, esta optimización para las señales táctiles distorsiona las características visuales-lingüísticas (VL) preentrenadas, provocando que el modelo pierda sus capacidades de razonamiento de propósito general. Como demuestra el artículo, incluso pequeñas cantidades de datos de entrenamiento táctil pueden degradar el rendimiento VL, creando un compromiso de suma cero entre la adquisición de nuevas modalidades sensoriales y la preservación de las capacidades de razonamiento establecidas.

2. Metodología: El Marco de Trabajo Splash

Los autores proponen Splash, un marco de alineación táctil con máscara aislada diseñado para integrar la detección táctil en los sMLLMs sin sobrecarga adicional de inferencia ni olvido catastrófico. La filosofía central es confinar toda la adaptación táctil a un subespacio de parámetros "latente" (menos importante) mientras se mantienen congelados los parámetros "críticos".

2.1 Localización del Subespacio Latente

Splash aprovecha la hipótesis de la escasez natural en los modelos preentrenados, donde solo un subconjunto de parámetros es crítico para mantener su función.

• Métrica de Importancia: Utilizando un pequeño conjunto de calibración de datos visión-lenguaje (por ejemplo, CC12M), el método calcula una puntuación de importancia relativa visual ($S_{i,j}$) para cada peso en las capas lineales del LLM. La puntuación se define como el producto de la magnitud del peso y la norma $\ell_2$ de la activación de entrada correspondiente:
  $$S_{i,j} = |W_{i,j}| \cdot \|x_i\|_2$$
• Generación de la Máscara: Basándose en una relación de escasez ($s\%$), se genera una máscara binaria ($\mathbf{M}$). Los parámetros con puntuaciones inferiores a un umbral se marcan como "latentes" (entrenables), mientras que aquellos superiores se consideran "críticos" (congelados).
• Restricciones de Estabilidad: El primer y el último bloque del transformador se excluyen del enmascaramiento para preservar el anclaje de entrada y las representaciones semánticas de alto nivel, asegurando la estabilidad del entrenamiento.

2.2 Alineación Táctica con Máscara Aislada

A diferencia de los enfoques previos de dos etapas (alinear primero los codificadores y luego realizar el ajuste fino del LLM), Splash emplea un proceso de entrenamiento unificado de una sola etapa.

• Arquitectura: El modelo consta de un front-end visual congelado, un front-end táctil entrenable (un ViT-Tiny inicializado desde ImageNet) y el backbone del LLM.
• Objetivo de Entrenamiento: El modelo minimiza la pérdida de entropía cruzada para generar descripciones táctiles dadas imágenes RGB, imágenes de contacto y prompts de texto.
• Actualizaciones de Parámetros:
  • Parámetros Críticos: Congelados ($\nabla \mathcal{L} = 0$). Actúan como anclajes estables para el manifold VL preentrenado.
  • Parámetros Latentes: Actualizados mediante descenso de gradiente usando la máscara ($\theta \leftarrow \theta - \eta (\mathbf{M} \odot \nabla_\theta \mathcal{L})$).
  • Front-end Táctil: Totalmente entrenable.
• Mecanismo: Al aislar estrictamente las actualizaciones al subespacio latente, Splash evita la perturbación de todo el manifold de parámetros, evitando eficazmente el olvido catastrófico sin introducir módulos externos como adaptadores (por ejemplo, LoRA) que añaden latencia de inferencia.

3. Contribuciones Clave

1. Marco de Trabajo Splash: Un novedoso método de adaptación de parámetros aislados que integra la detección táctil en los sMLLMs con cero sobrecarga de inferencia adicional, mitigando el olvido catastrófico relacionado con la visión.
2. Entrenamiento Unificado: Un esquema de entrenamiento de una sola etapa que optimiza concurrentemente el front-end táctil y el subespacio latente del LLM, eliminando la necesidad de procedimientos de alineación de múltiples etapas.
3. Preservación de Capacidades: Capacidad demostrada para alcanzar el estado del arte (SOTA) en razonamiento táctil en modelos de pequeña escala (1B y 3B) mientras preserva las capacidades originales de VL de propósito general de los modelos.

4. Resultados Experimentales

Los autores evaluaron Splash en tres benchmarks de Visión-Tacto-Lenguaje (VTL) (SSVTP, TVL, TacQuad) y cinco benchmarks de Visión-Lenguaje (VL) de propósito general (MMMU, MathVista, MME, MMBench).

• Razonamiento Táctil (Benchmarks VTL):

  • Splash-3B (basado en Qwen2.5-VL-3B) logró una puntuación promedio de 4.91, superando al baseline más fuerte, TVL-LLaMA (backbone de 7B), que obtuvo 4.31.
  • Splash-1B (basado en InternVL2.5-1B) logró un promedio de 5.01, superando a UniTouch (backbone de 7B, 3.74) y TVL-Qwen (4.50).
  • Splash demostró una robustez superior bajo cambios de distribución (por ejemplo, TacQuad), donde otros métodos como (IA)3 sufrieron caídas significativas de rendimiento.

• Preservación de Capacidades (Benchmarks VL):

  • Splash-3B mantuvo o mejoró el rendimiento en tareas VL generales en comparación con su baseline zero-shot y otros modelos adaptados. Por ejemplo, mejoró MMMUval de 50.0 (TVL-Qwen) a 55.3 y MathVista de 52.8 a 65.3.
  • En contraste, métodos como (IA)3 que preservan la capacidad VL a menudo fallaban en aprender la dinámica táctil de manera efectiva (subajuste), mientras que el ajuste fino completo o LoRA a menudo degradaban el rendimiento VL.

• Estudios de Ablación:

  • Relación de Escasez: Una relación de escasez del 60% (60% de los parámetros congelados) proporcionó el equilibrio óptimo entre el aprendizaje táctil y la preservación de VL. Una escasez del 100% (ajuste completo) causó olvido catastrófico, mientras que una escasez muy baja limitó el aprendizaje táctil.
  • Datos de Calibración: El método demostró ser robusto a la elección del conjunto de datos de calibración, funcionando bien incluso con datos de ruido no emparejados, lo que sugiere que captura redundancias arquitectónicas intrínsecas en lugar de sobreajustarse a alineaciones semánticas específicas.

5. Significado y Reivindicaciones

El artículo afirma que Splash ofrece un camino práctico hacia la inteligencia táctil de alto nivel para robots de borde con recursos limitados. Al identificar y reactivar pesos "latentes" infrautilizados, el marco permite que los modelos compactos internalicen dinámicas de contacto complejas sin sacrificar sus capacidades de razonamiento fundamentales.

Los autores enfatizan que Splash logra una expansión de modalidad no destructiva. A diferencia de los métodos de ajuste fino eficiente de parámetros (PEFT) aditivos que pueden perturbar todo el espacio de parámetros, el aislamiento estructural de Splash asegura que las vías de razonamiento VL preentrenadas permanezcan fundamentalmente intactas. Esto permite el despliegue de un razonamiento visuo-táctil sofisticado en modelos pequeños (≤3B) que son adecuados para el despliegue en el borde robótico del mundo real, superando los cuellos de botella computacionales de los modelos más grandes de 7B+.