AFUN: Towards an Affordance Foundation Model for Functionality Understanding

Resumen Técnico: AFUN: Hacia un Modelo de Fundación de Afordancia para la Comprensión de la Funcionalidad

Planteamiento del Problema
La comprensión de la afordancia (affordance) sirve como una interfaz crítica entre la percepción visual y la acción física, permitiendo que los robots operen en entornos abiertos y no estructurados. Sin embargo, construir un modelo de fundación que generalice simultáneamente a través de diversos entornos, objetos y tareas sigue siendo un desafío significativo. Los métodos existentes abordan típicamente solo aspectos parciales de este problema: algunos localizan regiones relevantes para la tarea (dónde interactuar) sin especificar el movimiento ejecutable, mientras que otros predicen el movimiento pero carecen de escalabilidad o requieren heurísticas de localización. Además, los enfoques actuales suelen fallar al caracterizar cómo debe moverse un objeto tras la interacción (por ejemplo, la trayectoria específica para abrir un cajón frente a levantar una tapa), y la mayoría de los modelos de aprendizaje profundo sufren de una limitada generalización en el mundo abierto debido a conjuntos de datos de pequeña escala y no diversos.

Metodología
Los autores presentan AFUN, un modelo de fundación unificado diseñado para predecir tanto dónde interactuar como cómo interactuar a partir de una única observación RGB-D y una descripción de tarea en lenguaje natural.

• Pipeline de Datos Unificado: Para soportar la generalización en el mundo abierto, los autores construyeron un pipeline de datos a gran escala y estandarizado. Agregaron 321,190 videos crudos de 10 fuentes públicas, incluyendo teleoperación robótica, videos egocéntricos humanos, simulaciones y escaneos del mundo real. El pipeline convierte estas fuentes heterogéneas en un esquema compartido que contiene:

  • Descripción de la Tarea: Instrucciones en lenguaje natural.
  • Máscara Funcional: Una máscara de segmentación que identifica la parte manipulable.
  • Movimiento 3D: Una trayectoria 3D post-contacto representada como una curva de Bézier.
  • Innovación Clave: A diferencia de trabajos previos que utilizan trayectorias de mano/pinza (que incluyen ruido de pre-contacto), AFUN rastrea el movimiento del objeto en sí mismo. Utiliza un Modelo de Lenguaje-Visión (Qwen3-VL) para generar consultas a nivel de parte y SAM3 para rastrear el objeto manipulado, posteriormente retroproyectando la máscara para recuperar una curva de movimiento 3D suave.

• Arquitectura del Modelo: AFUN emplea una arquitectura de doble rama condicionada a un Modelo de Lenguaje-Visión congelado (Qwen3-VL-8B) y un modelo de segmentación congelado (SAM3).

  • Condicionamiento por MetaQuery: El modelo utiliza tokens de "MetaQuery" aprendibles para conectar el VLM con las tareas descendentes. Un conjunto de tokens ($mqs$) se conecta al modelo de segmentación, y otro ($mqm$) se conecta al decodificador de movimiento. Esto permite que el modelo comparta capacidades de razonamiento del VLM en una sola pasada hacia adelante (forward pass).
  • Rama de Segmentación: Utiliza SAM3 para predecir máscaras funcionales condicionadas a la tarea basadas en los tokens semánticos.
  • Rama de Movimiento: Utiliza un codificador de características 3D (Sonata) para extraer características geométricas de la entrada de profundidad. Un decodificador de transformador predice los parámetros de una curva de spline de Bézier 3D. La curva está anclada en el centroide de contacto ($P_0$) y se define mediante puntos de control predichos en coordenadas 3D relativas.

• Esquema de Entrenamiento: El modelo se entrena en tres etapas para asegurar la estabilidad:

  1. Alineación: Alineación de los tokens MetaQuery con el espacio de condicionamiento de texto de SAM3 utilizando el conjunto de datos Visual Genome.
  2. Segmentación: Entrenamiento de extremo a extremo de la rama de segmentación en conjuntos de datos de afordancia agregados (HOVA-500K, RAGNet, InstructPart, ReasonAFF).
  3. Entrenamiento Conjunto: Entrenamiento conjunto de la segmentación y la predicción de movimiento en el conjunto de datos curado de AFUN, utilizando una función de pérdida combinada de fundamentación de segmentación y ajuste de curva (pérdida de muestreo de puntos).

Contribuciones Clave

1. Modelo AFUN: Un modelo de fundación que predice conjuntamente máscaras funcionales condicionadas a la tarea y curvas de movimiento 3D post-contacto, cerrando la brecha entre el "dónde" y el "cómo" en la manipulación robótica.
2. Dataset Estandarizado a Gran Escala: La creación de uno de los conjuntos de datos de afordancia más grandes hasta la fecha, que cuenta con 59,867 muestras de entrenamiento de alta calidad con lenguaje, máscaras y etiquetas de movimiento 3D centradas en el objeto derivadas de fuentes heterogéneas.
3. Rastreo de Movimiento Centrado en el Objeto: Una novedosa estrategia de procesamiento de datos que rastrea el movimiento del objeto en lugar del de la pinza, evitando el ruido de pre-contacto y proporcionando una representación directa de la interacción funcional.
4. Despliegue Zero-Shot: La capacidad de desplegar el modelo en robots reales sin heurísticas específicas de la tarea o ajuste fino (finetuning) específico de la encarnación (embodiment).

Resultados Experimentales
AFUN fue evaluado en 8 benchmarks de segmentación y 3 de movimiento, demostrando un rendimiento superior en todas las métricas:

• Segmentación de Afordancia: AFUN logró un gIoU medio de 69.3% y un cIoU de 67.2%, superando al baseline más fuerte (Affordance-R1) por +23.9/+26.3 puntos. También superó a los baselines en regiones complejas dependientes de la intención (por ejemplo, distinguir la hoja de una pala para "contener" frente al mango para "usar").
• Predicción del Punto de Contacto: Utilizando el Polo de Inaccesibilidad de la máscara predicha, AFUN logró una ganancia en la tasa de acierto (hit rate) de 12.7%–61.3% sobre los mejores baselines (por ejemplo, 96.5% en InstructPart frente a 35.2% para VRB).
• Predicción de Movimiento 3D: AFUN logró el menor Error de Desplazamiento Promedio (ADE) y el menor Error de Desplazamiento Final (FDE) en todos los tres conjuntos de prueba (conjunto de prueba AFUN, SceneFun3D y RoboMIND2). Superó significativamente a los baselines en las tasas de acierto de Contacto-en-Máscara (CIM) (por ejemplo, 81.0% en el conjunto de prueba AFUN frente a 11.0% para VRB).
• Despliegue en Robot Real: El modelo se desplegó en un brazo Franka Research 3 para tareas como abrir un microondas, quitar la tapa de una olla y abrir un cajón. Logró una tasa de éxito promedio del 90% sin ningún ajuste fino específico del robot.

Significancia y Reivindicaciones
El artículo afirma que AFUN representa un paso significativo hacia un modelo de fundación de afordancia en el mundo abierto. Al unificar la percepción de la funcionalidad (máscara) con la acción ejecutable (movimiento 3D) y aprovechar un conjunto de datos masivo y estandarizado, AFUN demuestra la capacidad de adaptarse a tareas del mundo abierto sin depender de datos de dominios estrechos o heurísticas manuales. Los autores enfatizan que la capacidad del modelo para predecir trayectorias 3D suaves y conscientes de la orientación (mediante splines de Bézier) permite manipulaciones complejas (como la apertura rotacional) que son difíciles para los enfoques de movimiento discretos o basados en líneas previos. El trabajo sugiere un camino práctico para que los robots comprendan y ejecuten diversas interacciones físicas en entornos no estructurados.