Resumen Técnico: AFFORDMEM – Fundamentación por Recordación

Enunciado del Problema

El artículo aborda la fundamentación de affordances funcionales 3D, una tarea que requiere que un agente no solo reconozca un objeto, sino que localice la región 3D específica y pequeña que soporta una interacción (por ejemplo, el tirador de un cajón, el botón de un mando a distancia). Los autores identifican dos desafíos principales que las pipelines existentes de visión-lenguaje sin entrenamiento no logran abordar en combinación:

1. Ambigüedad de Granularidad: Las regiones accionables suelen ser minúsculas (por ejemplo, un tirador que ocupa menos de 30×30 píxeles en un fotograma de alta resolución). Los Modelos de Visión-Lenguaje (VLM) solicitados con texto (por ejemplo, "tirador de cajón") tienden a localizar todo el objeto padre (el panel del cajón) en lugar de la subregión operable específica.
2. Desambiguación de Instancias: Las escenas a menudo contienen múltiples instancias geométricamente idénticas del mismo objeto (por ejemplo, tres tiradores de cajón idénticos). Resolver consultas con calificadores espaciales (por ejemplo, "el segundo tirador desde arriba") requiere un razonamiento espacial global en toda la escena, algo que las pipelines de vista única o independientes de fotogramas no pueden proporcionar.

Los métodos existentes tratan los fotogramas como bolsas 2D independientes, descartando la geometría 3D, o se centran en la segmentación de objetos completos en lugar de subregiones de granularidad fina.

Metodología: AFFORDMEM

Los autores proponen AFFORDMEM, un marco sin entrenamiento que fundamenta affordances funcionales 3D manteniendo memoria en dos niveles distintos. El sistema procesa una secuencia RGB-D con pose y una consulta en lenguaje natural sin ajustar finamente los modelos subyacentes ni anotar la escena objetivo.

1. Descomposición de la Consulta Funcional

La consulta de entrada se analiza en una tripleta estructurada:

• $\ell_{ctx}$: La etiqueta del objeto de referencia (por ejemplo, "cajón").
• $\ell_{int}$: La etiqueta del elemento interactivo (por ejemplo, "tirador").
• $\sigma$: El descriptor relacional espacial (por ejemplo, "segundo desde arriba").

2. Memoria de Affordance Transescena (Abordando la Granularidad)

Este componente aborda la ambigüedad de granularidad proporcionando un prior geométrico a nivel de categoría.

• Construcción de Memoria: Se crea un banco de memoria a partir de escenas fuente previamente anotadas. Para cada categoría semántica, el sistema proyecta puntos de affordance 3D anotados en planos de imagen 2D utilizando las poses de la cámara fuente. Filtra estas proyecciones para consistencia de profundidad y suprimir falsos positivos en los límites de oclusión.
• Recuperación y Prompting: En el momento de la consulta, el sistema recupera las $K$ imágenes enmascaradas más informativas (mostrando dónde aparecen típicamente las affordances en el objeto) para la categoría objetivo. Estas imágenes se proporcionan como prompts visuales a un VLM congelado junto con el fotograma actual.
• Prompting Adversarial: Se instruye al VLM para que genere cajas delimitadoras emparejadas: una caja "positiva" para el núcleo directamente operable y una caja "negativa" para regiones visualmente similares pero no operables (por ejemplo, la base de montaje). Esto dirige al modelo lejos de la segmentación gruesa a nivel de objeto.
• Fusión 3D: Las máscaras 2D de granularidad fina resultantes se retroproyectan y fusionan en un grupo de candidatos 3D utilizando votación multi-vista y agrupamiento (DBSCAN).

3. Memoria Espacial Intraescena (Abordando la Desambiguación)

Este componente aborda la desambiguación de instancias organizando el grupo de candidatos 3D en un grafo de escena estructurado.

• Construcción del Grafo de Escena: Cada instancia candidata 3D es un nodo anotado con su centroide 3D, su Caja Delimitadora Alineada a los Ejes (AABB) y su tipo semántico. Los nodos se vinculan a sus objetos padres para codificar relaciones parte-objeto.
• Razonamiento Global: El grafo se serializa y se presenta a un Modelo de Lenguaje Grande (LLM) junto con una renderización ortográfica esquemática, vista cenital de la escena (donde todos los candidatos son visibles sin oclusión) y recortes RGB por nodo.
• Selección: El LLM razona sobre la disposición global para resolver calificadores espaciales (por ejemplo, "segundo desde arriba") y selecciona el ID del nodo correcto, que corresponde a la predicción final de la máscara 3D.

Contribuciones Clave

1. Memoria de Affordance Transescena: Un banco de memoria visual a nivel de categoría que recupera priores geométricos para guiar a los VLM congelados hacia subregiones operables pequeñas, superando la tendencia a seleccionar objetos envolventes.
2. Memoria Espacial Intraescena: Una memoria espacial estructurada que acumula candidatos 3D y sus relaciones, permitiendo una selección fiable bajo calificadores espaciales ordinales, relacionales y de larga distancia mediante razonamiento del LLM.
3. Estado del Arte sin Entrenamiento: El marco no requiere ajuste fino de modelos ni anotación de la escena objetivo, logrando un nuevo rendimiento de estado del arte entre los métodos sin entrenamiento en el benchmark SceneFun3D.

Resultados Experimentales

El método se evaluó en SceneFun3D, un benchmark a gran escala para la segmentación de affordances funcionales 3D.

• Rendimiento: AFFORDMEM superó al estado del arte anterior sin entrenamiento (Fun3DU) en +3.23 AP50 en la División 0 y en +3.7 AP50 en la División 1.
• Comparación con Métodos Basados en Entrenamiento: En la División 0, AFFORDMEM superó al método basado en entrenamiento AffordBot por un margen significativo en AP25 (41.66 vs. 24.76), indicando una localización superior de subregiones operables a pesar de carecer de entrenamiento específico de la escena.
• Estudios de Ablación:
  • Eliminar la Memoria Espacial Intraescena (grafo de escena) causó la mayor caída de rendimiento (7.18 AP50), confirmando su necesidad para resolver calificadores espaciales.
  • Eliminar la Memoria de Affordance Transescena (prompting adversarial) redujo AP25 en 2.92 puntos, validando su papel en la localización de granularidad fina.
  • Una pipeline diagnóstica "estilo Fun3DU" que utiliza los mismos modelos base (Qwen3-VL y SAM3) pero sin los módulos de memoria logró un rendimiento significativamente menor (7.14 AP50), demostrando que las ganancias provienen de los mecanismos de memoria propuestos y no de mejoras en los modelos base.

Significado y Afirmaciones

El artículo afirma que la geometría 3D codifica las señales específicas que faltan en las pipelines actuales: priores espaciales a nivel de categoría para la granularidad y disposiciones globales de instancias para la desambiguación. Al tratar estos como "fallos de memoria" distintos y abordarlos con mecanismos de memoria geométrica dedicados, AFFORDMEM cierra la brecha entre el reconocimiento de objetos y la interacción funcional precisa.

Los autores enfatizan que su enfoque es modesto en cuanto a la generalización: el sistema actual depende de la coincidencia exacta de cadenas entre las etiquetas de interacción y el índice de memoria, lo que significa que no puede generalizar a categorías no vistas sin anotación previa. Identifican trabajos futuros en recuperación basada en incrustaciones para categorías no vistas y la extensión del marco a escenas dinámicas. La contribución principal es un marco robusto y sin entrenamiento que establece una nueva línea base para la fundamentación de affordances funcionales 3D al aprovechar eficazmente la memoria para resolver la granularidad y la ambigüedad espacial.