Resumen Técnico: El ajuste fino de modelos de Visión-Lenguaje-Acción requiere menos capas de lo que se piensa

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA), como $\pi_0$ y GR00T-N1.5, han revolucionado la manipulación robótica al aprovechar el preentrenamiento masivo en conjuntos de datos de video-robot para generar políticas de control continuo. Sin embargo, estas arquitecturas de vanguardia (SOTA) suelen abarcar miles de millones de parámetros, lo que crea cuellos de botella computacionales severos. Estos cuellos de botella se manifiestan como costos de hardware prohibitivos durante el ajuste fino (fine-tuning) descendente, alta latencia operativa y una pesada sobrecarga de ancho de banda de memoria que restringe la inferencia en tiempo real en el borde (edge).

Las estrategias de optimización existentes enfrentan tres limitaciones críticas:

1. Alcance limitado: Muchos métodos se centran en bases autoregresivas de tokens de texto más antiguas (por ejemplo, OpenVLA) en lugar de los modernos fundamentos de control continuo.
2. Ineficiencia de entrenamiento: Los métodos libres de entrenamiento (por ejemplo, la poda de tokens o el almacenamiento en caché) a menudo aceleran la inferencia, pero no logran reducir el costo computacional de la costosa fase de ajuste fino descendente.
3. Complejidad arquitectónica: Los métodos adaptativos al entrenamiento (por ejemplo, el enrutamiento dinámico o la salida temprana) introducen módulos auxiliares y objetivos de entrenamiento complejos, alterando la estructura central del modelo y creando fricción con los algoritmos de aprendizaje descendentes.

La pregunta central abordada es si las capas redundantes pueden eliminarse antes del ajuste fino sin sacrificar el rendimiento de la política.

Metodología: Poda de Capas Guiada por CKA (CLP)

Los autores proponen CLP, un flujo de trabajo de compresión estructural que es completamente libre de entrenamiento y no requiere módulos de enrutamiento auxiliares. La idea central es que los backbones de VLA modernos exhiben una severa redundancia representacional por capa, donde los bloques de transformadores consecutivos producen representaciones de tokens altamente correlacionadas.

El marco de trabajo CLP opera de la siguiente manera:

1. Diagnóstico de Redundancia: Utilizando un conjunto de calibración compacto muestreado de episodios de entrenamiento, el método realiza una única pasada hacia adelante (forward pass) para extraer las representaciones de los estados ocultos.
2. Medición de Similitud: Emplea el Alineamiento de Kernel Centrado (CKA) para cuantificar la similitud representacional entre capas adyacentes. Se elige CKA por su invariancia a las transformaciones ortogonales y la escala isotrópica, lo que lo hace robusto para identificar redundancias estructurales.
3. Identificación de Capas: Los puntajes altos de CKA entre capas consecutivas indican una transformación de características mínima. El método agrega capas redundantes adyacentes en bloques contiguos.
4. Poda Estática: Dentro de cada bloque redundante, todas las capas excepto la capa "ancla funcional" inicial se eliminan permanentemente. Este proceso se aplica independientemente tanto al backbone del Modelo de Visión-Lenguaje (VLM) como a la cabeza de política de control continuo.
5. Adaptación Descendente: El modelo comprimido resultante se ajusta finamente en la tarea objetivo utilizando el objetivo de entrenamiento nativo. No se requieren pérdidas de destilación ni modificaciones arquitectónicas.

Contribuciones Clave

• Adaptación Accesible de SOTA VLAs: El artículo demuestra que los fundamentos de control continuo de vanguardia ($\pi_0$, GR00T-N1.5) pueden ajustarse finamente con una profundidad sustancialmente reducida, disminuyendo los costos de memoria, entrenamiento e inferencia sin introducir enrutamiento auxiliar o módulos de salida temprana.
• Compresión de Backbone Pre-Ajuste Fino: La introducción de CLP, un marco de trabajo de calibración simple que identifica y elimina bloques de transformadores representacionalmente redundantes utilizando CKA antes de la adaptación descendente.
• Validación Multiembodiment Diversificada: Evaluaciones extensas a través de tres entornos de simulación (LIBERO, RoboCasa, SimplerEnv) y 10 tareas de manipulación en el mundo real que abarcan cuatro implementaciones robóticas (UR10, UR5, ALOHA de un solo brazo, ALOHA bimanual).

Resultados Experimentales

Los autores validan CLP a través de entornos de simulación y del mundo real, reportando los siguientes hallazgos clave:

• Eficiencia de Compresión: CLP reduce la profundidad del modelo hasta en un 50% y los parámetros entrenables entre un 25% y 37% en diferentes backbones ($\pi_0$, GR00T-N1.5, SmolVLA).
  • Velocidad de Entrenamiento: Logra una reducción del 40–50% en el tiempo de entrenamiento (por ejemplo, 1.94$\times$ más rápido en tareas del mundo real).
  • Velocidad de Inferencia: Ofrece hasta un 30% más de velocidad en la inferencia en tiempo real.
  • FLOPs: Reduce el costo computacional hasta en un 50% (por ejemplo, una reducción del 49.3% para GR00T-N1.5).
• Retención de Rendimiento: A pesar de la poda significativa, la arquitectura simplificada iguala o supera el rendimiento de los modelos base a escala completa.
  • En simulación (LIBERO), CLP mantiene tasas de éxito competitivas mientras reduce los parámetros entrenables en aproximadamente un 30%.
  • En despliegues del mundo real, CLP mejora las tasas de éxito promedio (por ejemplo, del 73.5% al 75.9% en GR00T-N1.5) y supera a los modelos completos en tareas específicas como el servicio de servilletas (+20%) y la colocación de destornillador (+15%).
• Efecto de Regularización: En regímenes de escasez de datos, la compresión estructural actúa como un regularizador efectivo. Por ejemplo, restringir el entrenamiento al 10% de los datos de LIBERO elevó las tasas de éxito del 77.7% al 84.6% con CLP, superando tanto al modelo base completo como a los métodos de enrutamiento dinámico como MoLe-VLA.
• Comparación con Baselines: CLP supera a los métodos de poda de tokens libres de entrenamiento (que no reducen los costos de ajuste fino) y a los métodos adaptativos al entrenamiento (que añaden complejidad) tanto en eficiencia como en eficiencia de muestra.

Significado y Reivindicaciones

El artículo afirma que los VLA avanzados requieren significativamente menos capas de lo que se suponía anteriormente. Al revelar una "característica arquitectónica altamente no trivial" de severa redundancia por capa, el trabajo ofrece un paradigma altamente eficiente en cómputo para el aprendizaje robótico escalable.

Los autores enfatizan que su enfoque es "estructuralmente limpio", evitando la fricción del enrutamiento dinámico o los procesos de destilación. Argumentan que eliminar las capas redundantes no solo acelera el entrenamiento y la inferencia, sino que también regulariza implícitamente el modelo, evitando el sobreajuste en regímenes de bajos datos. Los hallazgos sugieren un cambio de paradigma lejos de la suposición de que las arquitecturas VLA en constante crecimiento son necesarias, apuntando en su lugar hacia políticas fundacionales más eficientes y sostenibles que pueden adaptarse con un gasto computacional mínimo.