Resumen Técnico: LIBERO-PRO

Declaración del Problema

Los modelos Visión-Lenguaje-Acción (VLA) se han convertido en un paradigma central para la IA encarnada, sin embargo, su evaluación depende en gran medida del punto de referencia LIBERO. Los autores identifican un defecto crítico en la configuración actual de entrenamiento y evaluación de LIBERO: las tareas de prueba son casi idénticas a las tareas de entrenamiento, diferenciándose únicamente por perturbaciones marginales, a menudo imperceptibles visualmente, en los estados iniciales de los objetos.

Esta configuración conduce a estimaciones infladas del rendimiento. Se demuestra que los modelos que logran más del 90% de éxito en LIBERO estándar dependen de la memorización mecánica de secuencias de acciones y disposiciones del entorno, en lugar de una comprensión genuina de la tarea o percepción ambiental. El análisis cualitativo revela modos de fallo sistemáticos, que incluyen:

• Alucinaciones Visuales: Ejecutar agarres sobre objetos no relacionados o "agarrar el aire" cuando se eliminan los objetos objetivo.
• Insensibilidad a las Instrucciones: Ignorar instrucciones sin sentido o corruptas y proceder con trayectorias memorizadas.
• Fragilidad Espacial: Fallar inmediatamente cuando las posiciones de los objetos se desplazan ligeramente respecto a las distribuciones de entrenamiento.
• Falta de Composicionalidad: Incapacidad para combinar subtareas aprendidas en comportamientos coherentes de múltiples pasos.

En consecuencia, el protocolo de evaluación actual no logra evaluar rigurosamente el razonamiento, la composicionalidad y la capacidad de generalización de las arquitecturas VLA modernas.

Metodología: LIBERO-PRO

Para abordar estas limitaciones, los autores introducen LIBERO-PRO, un punto de referencia extendido y plug-and-play diseñado para evaluar sistemáticamente el rendimiento del modelo bajo perturbaciones razonables. El marco formaliza una tarea VLA $T = (l, e, G)$ e introduce variaciones controladas a través de cuatro dimensiones ortogonales:

1. Objetos Manipulados (Perturbación de Atributos del Objeto): Modificar atributos visuales no esenciales (color, textura, tamaño) preservando la equivalencia semántica, o reemplazar objetos con artículos no relacionados.
2. Estados Iniciales (Perturbación de la Configuración Espacial): Alterar las posiciones absolutas y relativas de los objetos dentro de límites físicamente plausibles.
3. Instrucciones de Tarea (Perturbación de Instrucciones): Introducir variaciones semánticas (parafraseo) y variaciones estructurales, incluida la inyección de tokens sin sentido para probar la anclaje del lenguaje.
4. Entornos (Perturbación del Entorno): Cambiar el contexto visual, como fondos, iluminación y texturas.

Adicionalmente, el marco incluye Perturbaciones de Tarea (modificar objetos objetivo o acciones dentro de la distribución de entrenamiento) y soporta combinaciones aleatorias multidimensionales de estas perturbaciones, excluyendo únicamente las perturbaciones a nivel de tarea de las combinaciones entre tipos para garantizar la viabilidad.

La evaluación impone restricciones para asegurar que las tareas perturbadas permanezcan semánticamente coherentes y ejecutables, variando la magnitud de la perturbación ($\delta_k$) para caracterizar la sensibilidad de la política.

Contribuciones Clave

El artículo hace tres contribuciones principales:

1. Demostración Empírica de Sobreajuste: Los autores proporcionan evidencia de que las altas puntuaciones de LIBERO provienen de memorizar configuraciones de entrenamiento en lugar de razonamiento transferible, exponiendo graves defectos en las prácticas de evaluación actuales.
2. Introducción de LIBERO-PRO: Una nueva suite de puntos de referencia que integra perturbaciones diseñadas sistemáticamente a través de atributos de objetos, estados iniciales, instrucciones de tarea y entornos para apoyar una evaluación rigurosa, de una sola y múltiples dimensiones.
3. Evaluación Exhaustiva: La evaluación de modelos de última generación (OpenVLA, Pi0, Pi0.5) en LIBERO-PRO, revelando una degradación significativa del rendimiento que subraya las limitaciones del protocolo original.

Resultados Experimentales

Los autores evaluaron los principales modelos VLA (OpenVLA, Pi0, Pi0.5) en la suite LIBERO-PRO. Los resultados indican un colapso casi completo del rendimiento bajo configuraciones generalizadas:

• Rendimiento Estándar vs. Generalizado: Mientras que los modelos logran >90% de precisión en LIBERO estándar, su rendimiento cae al 0.0% bajo la configuración generalizada de LIBERO-PRO.
• Sensibilidad a las Perturbaciones:
  • Desplazamientos de Posición: Las tasas de éxito de OpenVLA y Pi0 caen a cero una vez que el desplazamiento del objeto supera 0.2 unidades. Incluso el más fuerte Pi0.5 se degrada a cero más allá de 0.4 unidades.
  • Reemplazo de Objetos: Los modelos no logran adaptarse cuando los objetos objetivo son reemplazados por artículos no relacionados, a menudo ejecutando agarres sobre los objetos incorrectos.
  • Corrupción de Instrucciones: Los modelos ejecutan acciones a pesar de recibir instrucciones sin sentido (por ejemplo, "fdsgfdsgsd"), lo que indica una falta de anclaje del lenguaje.
  • Composición de Tareas: Los modelos no logran combinar subtareas simples en instrucciones complejas de múltiples pasos, dependiendo en cambio de fragmentos de trayectoria espurios.
• Diferencias entre Modelos: Aunque la mayoría de los modelos fallan severamente, Pi0.5 mostró una resiliencia ligeramente superior en tareas específicas (por ejemplo, 0.38 de tasa de éxito en libero-goal bajo cambios de posición frente a 0 para los demás), destacando diferencias sutiles de capacidad enmascaradas por los puntos de referencia estándar.

Significado y Afirmaciones

El artículo afirma que la "moneda común" actual de la evaluación VLA (LIBERO) es fundamentalmente defectuosa porque recompensa la memorización sobre la generalización. Los autores argumentan que las precisiones reportadas que superan el 90% no reflejan un anclaje perceptual genuino ni razonamiento a nivel de tarea.

El significado de LIBERO-PRO radica en su capacidad para proporcionar un estándar de evaluación más justo, fiel y reproducible. Al exponer la dependencia de los modelos actuales en correlaciones de características-acciones de atajo (por ejemplo, diseños de escenas canónicos y posiciones recurrentes de objetos), los autores instan a la comunidad a abandonar metodologías engañosas. Abogan por protocolos de evaluación que incorporen perturbaciones estructuradas para asegurar que el progreso reportado se alinee con los requisitos de una inteligencia encarnada robusta y generalizable.