Resumen Técnico: GuardVLA – Hacia la Verificación de Propiedad Basada en Puertas Traseras para Modelos Visión-Lenguaje-Acción

1. Declaración del Problema

Los modelos Visión-Lenguaje-Acción (VLA) permiten el control robótico generalista al mapear entradas multimodales (lenguaje y visión) a acciones robóticas continuas. A medida que estos modelos se convierten en activos de propiedad intelectual valiosos que requieren una inversión significativa en arquitectura, ajuste fino y datos, su publicación abierta los expone a reutilización no autorizada, modificación y despliegue comercial.

Los métodos existentes de verificación de propiedad de modelos enfrentan limitaciones críticas al aplicarse a VLA:

• Separabilidad Débil de Respuestas: A diferencia de los modelos estándar de visión-lenguaje que producen salidas semánticas, los VLA generan acciones continuas ejecutables. Diferentes políticas a menudo exhiben comportamientos exitosos altamente similares en la misma tarea, lo que dificulta distinguir la propiedad basándose en discrepancias a nivel de respuesta.
• Restricciones de Seguridad: Los métodos tradicionales basados en puertas traseras o las perturbaciones adversarias que inducen salidas anormales son inadecuados para la robótica, ya que podrían desencadenar comportamientos inseguros durante el despliegue.
• Robustez: Los mecanismos de verificación deben mantenerse efectivos incluso después de que el modelo experimente ajuste fino o adaptación aguas abajo.

El desafío central es diseñar un marco de verificación que proporcione evidencia de propiedad distinguible sin comprometer el rendimiento normal de la tarea ni inducir comportamientos robóticos inseguros.

2. Metodología: GuardVLA

Los autores proponen GuardVLA, el primer marco de verificación de propiedad basado en puertas traseras diseñado específicamente para VLA. El marco opera mediante un mecanismo de "intercambio y detección", desacoplando la ejecución benigna de la verificación en modo activador.

2.1. Incrustación de Marca de Agua (Ajuste Fino Seguro)

Durante la fase de entrenamiento, GuardVLA incrusta una marca de agua de puerta trasera sigilosa e inofensiva en el modelo protegido:

• Inyección Estenográfica: Un mensaje secreto fijo ($m_s$) se incrusta en las observaciones visuales encarnadas ($x_{ob}$) utilizando un embebidor de estenografía de imágenes preentrenado ($E_\phi$), creando una observación marcada con agua $x_s = x_{ob} + \delta_s$.
• Ajuste Fino Seguro: El modelo protegido ($M_w$) se ajusta finamente sobre estas observaciones marcadas utilizando la pérdida de tarea estándar. Esto incrusta el patrón de puerta trasera en los parámetros del modelo sin alterar su comportamiento en entradas limpias.
• Modelos Auxiliares: Para apoyar la detección, se entrenan dos modelos auxiliares:
  • Un Modelo Limpio ($M_c$) ajustado finamente sobre datos originales y no modificados.
  • Un Modelo de Ruido ($M_r$) ajustado finamente sobre datos con mensajes secretos no objetivo aleatorios ($m_r$).

2.2. Entrenamiento Conjunto del Proyector de Activadores y el Clasificador

Para habilitar la detección sin alterar el comportamiento benigno del modelo desplegado, GuardVLA entrena módulos externos:

• Proyector de Activadores ($P_t$): Reemplaza al proyectador estándar durante la verificación. Mapea características visuales a tokens que son sensibles a la marca de agua incrustada.
• Cabeza de Clasificador ($H_c$): Reemplaza al experto de acción estándar durante la verificación para emitir probabilidades de propiedad.
• Objetivo de Entrenamiento: Estos módulos se entrenan utilizando una Pérdida de Tríada para estructurar el espacio de representación (acercando las representaciones limpias y de ruido mientras aleja la representación marcada con agua) y una Pérdida de Entropía Cruzada Binaria para clasificar el modelo marcado con agua como positivo y los demás como negativos.

2.3. Protocolo de Verificación de Intercambio y Detección

La verificación de propiedad ocurre en dos modos distintos:

1. Modo Benigno (Prueba de Rendimiento): El modelo utiliza sus componentes originales ($P_b, H_a$) para ejecutar tareas. Se mide la Tasa de Éxito (SR) para asegurar que el modelo no se ha bloqueado o degradado significativamente.
2. Modo Activador (Detección de Marca de Agua): Si el modelo supera la prueba de rendimiento, el proyectador interno y la cabeza de acción se intercambian por el Proyector de Activadores entrenado ($P_t$) y la Cabeza de Clasificador ($H_c$). El modelo procesa las mismas entradas y el clasificador emite una Confianza de Identificación de Marca de Agua (WIC).
   • Si $WIC \ge \tau_{wic}$, el modelo se identifica como una copia del modelo protegido.
   • Si $WIC < \tau_{wic}$, el modelo se considera sin marca de agua.

3. Contribuciones Clave

1. Marco GuardVLA: El primer marco de verificación de propiedad basado en puertas traseras adaptado para VLA, que incrusta una marca de agua inofensiva durante el entrenamiento que permanece inactiva durante el despliegue estándar.
2. Mecanismo de Intercambio y Detección: Una estrategia de verificación novedosa que desacopla explícitamente la ejecución benigna de la verificación en modo activador. Esto asegura que la evidencia de propiedad solo se active durante la auditoría, previniendo comportamientos inseguros durante la operación robótica normal.
3. Robustez y Fidelidad: Experimentos extensos demuestran que GuardVLA preserva el rendimiento de tareas aguas abajo (fidelidad) mientras mantiene una alta detectabilidad de la marca de agua incluso después de la adaptación del modelo tras su publicación (ajuste fino) y bajo varios ataques de supresión.

4. Resultados Experimentales

Los autores evaluaron GuardVLA en tres arquitecturas VLA representativas (OpenVLA-OFT, VLA-Adapter y $\pi_{0.5}$) utilizando el conjunto de pruebas LIBERO.

• Fidelidad del Modelo: GuardVLA preservó o mejoró ligeramente las tasas de éxito de la tarea (SR) en comparación con los modelos limpios. Por ejemplo, OpenVLA-OFT marcado con agua alcanzó un 99.4% de SR en el conjunto de Objetos (frente a un 98.2% limpio), y VLA-Adapter mejoró del 89.8% al 93.4% en LIBERO-10.
• Detectabilidad de la Marca de Agua: En modo activador, los modelos marcados con agua alcanzaron consistentemente puntuaciones WIC superiores al 99.8%, mientras que los modelos limpios y de ruido permanecieron por debajo del 0.1%. Esto indica una separación clara entre modelos protegidos y no protegidos.
• Robustez ante la Adaptación:
  • Ajuste Fino entre Conjuntos de Datos: Cuando un modelo marcado con agua entrenado en LIBERO-10 se ajustó finamente en LIBERO-Spatial, el WIC se mantuvo cerca del 100% durante todo el proceso de adaptación.
  • Ajuste Fino entre Métodos: Incluso cuando se ajustó finamente con entradas visuales reducidas (vista única frente a vista dual), la marca de agua permaneció detectable.
• Resistencia a la Supresión: El marco resistió la cuantificación de pesos (INT4), la destilación de conocimientos y ataques adaptativos invariantes al proyectador. En todos los casos, el WIC se mantuvo cerca del 100%, mientras que los ataques a menudo degradaron el rendimiento de la tarea del modelo (SR), lo que sugiere que eliminar la marca de agua compromete la utilidad.
• Extensión a Nivel de Comportamiento: Los autores demostraron que la propiedad también puede verificarse mediante patrones distintivos de movimiento del efector final inducidos por el activador, proporcionando una señal de verificación interpretable a nivel de comportamiento.

5. Significado y Afirmaciones

El artículo afirma que GuardVLA aborda una brecha crítica en el despliegue de VLA de código abierto al proporcionar un método fiable, seguro y robusto para la verificación de propiedad.

• Seguridad Primero: A diferencia de los métodos anteriores de puertas traseras que podrían inducir acciones incorrectas, GuardVLA asegura que la marca de agua permanezca dormida durante la operación normal, preservando la seguridad y la utilidad de la política robótica.
• Persistencia: La marca de agua está diseñada para persistir a través del ajuste fino aguas abajo, un escenario común en la adaptación de VLA, asegurando que las reclamaciones de propiedad sigan siendo válidas incluso después de que el modelo se adapte a nuevas tareas o entornos.
• Practicidad: El marco opera bajo un modelo de amenaza realista donde el verificador tiene acceso limitado (basado en interfaz) en lugar de los pesos completos del modelo, y el proceso de verificación no requiere exponer datos de entrenamiento privados.

Los autores concluyen que GuardVLA permite el intercambio responsable de modelos al permitir que los desarrolladores rastreen el uso no autorizado sin obstaculizar la investigación y adaptación benignas, apoyando así un ecosistema sostenible para la inteligencia encarnada.