기술 요약: AFFORDMEM – 기억을 통한 그라운딩

문제 정의

본 논문은 3D 기능적 어포던스 그라운딩을 다룬다. 이는 에이전트가 단순히 물체를 인식하는 것을 넘어, 상호작용을 지원하는 구체적인 작은 3D 영역 (예: 서랍의 손잡이, 리모컨의 버튼) 을 국소화해야 하는 작업이다. 저자들은 기존 훈련 없는 비전 - 언어 파이프라인이 결합적으로 해결하지 못하는 두 가지 주요 과제를 식별한다:

1. 세분성 모호성 (Granularity Ambiguity): 실행 가능한 영역은 종종 미미하다 (예: 고해상도 프레임에서 30×30 픽셀 미만을 차지하는 손잡이). 텍스트 (예: "서랍 손잡이") 로 프롬프트된 비전 - 언어 모델 (VLM) 은 특정 작동 가능한 하위 영역이 아닌 전체 부모 물체 (서랍 패널) 를 국소화하는 경향이 있다.
2. 인스턴스 모호성 해소 (Instance Disambiguation): 장면에는 종종 동일한 물체의 기하학적으로 동일한 여러 인스턴스가 포함된다 (예: 세 개의 동일한 서랍 손잡이). 공간적 한정사 (예: "위에서 두 번째 손잡이") 가 포함된 쿼리를 해결하려면 전체 장면에 걸친 글로벌 공간 추론이 필요하며, 단일 뷰 또는 프레임 독립적 파이프라인은 이를 제공할 수 없다.

기존 방법들은 프레임을 독립적인 2D 묶음으로 취급하여 3D 기하학을 버리거나, 정밀한 하위 영역이 아닌 전체 물체 분할에 초점을 맞춘다.

방법론: AFFORDMEM

저자들은 두 가지 다른 수준에서 기억을 유지함으로써 3D 기능적 어포던스를 그라운딩하는 훈련 없는 프레임워크인 AFFORDMEM을 제안한다. 이 시스템은 기본 모델을 미세 조정하거나 대상 장면을 주석하지 않고도 포즈가 지정된 RGB-D 시퀀스와 자연어 쿼리를 처리한다.

1. 기능적 쿼리 분해

입력 쿼리는 구조화된 삼중항으로 파싱된다:

• $\ell_{ctx}$: 참조 물체 레이블 (예: "서랍").
• $\ell_{int}$: 상호작용 요소 레이블 (예: "손잡이").
• $\sigma$: 공간적 관계 기술자 (예: "위에서 두 번째").

2. 교차 장면 어포던스 기억 (세분성 해결)

이 구성 요소는 카테고리 수준의 기하학적 사전 지식을 제공함으로써 세분성 모호성을 해결한다.

• 기억 구축: 메모리 뱅크는 이전에 주석된 소스 장면에서 구축된다. 각 의미 카테고리별로 시스템은 소스 카메라 포즈를 사용하여 주석된 3D 어포던스 포인트를 2D 이미지 평면에 투영한다. 가림 경계에서의 잘못된 양성을 억제하기 위해 투영된 결과물을 깊이 일관성으로 필터링한다.
• 회상 및 프롬프팅: 쿼리 시, 시스템은 대상 카테고리에 대해 가장 정보량이 많은 상위-K 개의 마스크된 이미지 (어포던스가 일반적으로 물체에서 나타나는 위치를 보여줌) 를 검색한다. 이러한 이미지들은 현재 프레임과 함께 고정된 VLM 에게 시각적 프롬프트로 제공된다.
• 적대적 프롬프팅: VLM 은 직접 작동 가능한 코어에 대한 "양성" 박자와 시각적으로 유사하지만 작동 불가능한 영역 (예: 마운팅 베이스) 에 대한 "음성" 박자로 구성된 쌍을 출력하도록 지시된다. 이는 모델을 거친 물체 수준 분할에서 벗어나게 한다.
• 3D 융합: 생성된 정밀한 2D 마스크는 역투영되어 다중 뷰 투표 및 클러스터링 (DBSCAN) 을 통해 3D 후보 풀로 융합된다.

3. 장면 내 공간 기억 (모호성 해소)

이 구성 요소는 3D 후보 풀을 구조화된 장면 그래프로 조직화함으로써 인스턴스 모호성을 해결한다.

• 장면 그래프 구축: 각 3D 후보 인스턴스는 3D 중심점, 축 정렬 바운딩 박스 (AABB), 의미 유형이 주석된 노드이다. 노드는 부분 - 물체 관계를 인코딩하기 위해 부모 물체에 연결된다.
• 글로벌 추론: 그래프는 직렬화되어 모든 후보가 가림 없이 보이는 다이어그램 형태의 상단 정면 투영도 (orthographic render) 와 노드별 RGB 컷과 함께 대형 언어 모델 (LLM) 에게 제시된다.
• 선택: LLM 은 공간적 한정사 (예: "위에서 두 번째") 를 해결하기 위해 전체 레이아웃에 대해 추론하고, 최종 3D 마스크 예측에 해당하는 올바른 노드 ID 를 선택한다.

주요 기여

1. 교차 장면 어포던스 기억: 작은 작동 가능한 하위 영역을 향해 고정된 VLM 을 안내하기 위해 기하학적 사전 지식을 회상하는 카테고리 수준의 시각적 메모리 뱅크로, 포괄적인 물체를 선택하는 경향을 극복한다.
2. 장면 내 공간 기억: 3D 후보와 그 관계를 축적하는 구조화된 공간 기억으로, LLM 추론을 통해 순차적, 관계적, 장거리 공간 한정사 하에서 신뢰할 수 있는 선택을 가능하게 한다.
3. 훈련 없는 최첨단 성능: 이 프레임워크는 모델 미세 조정과 대상 장면 주석이 필요 없으며, SceneFun3D 벤치마크에서 훈련 없는 방법 중 새로운 최첨단 성능을 달성한다.

실험 결과

이 방법은 3D 기능적 어포던스 분할을 위한 대규모 벤치마크인 SceneFun3D에서 평가되었다.

• 성능: AFFORDMEM 은 Split 0 에서 기존 훈련 없는 최첨단 방법 (Fun3DU) 보다 +3.23 AP50을, Split 1 에서 +3.7 AP50을 상회했다.
• 훈련 기반 방법과의 비교: Split 0 에서 AFFORDMEM 은 훈련 기반 방법인 AffordBot 을 AP25 에서 (41.66 대 24.76) 상당한 차이로 능가했는데, 이는 장면별 훈련이 없음에도 불구하고 작동 가능한 하위 영역의 우수한 국소화를 나타낸다.
• 절대 실험 (Ablation Studies):
  • 장면 내 공간 기억(장면 그래프) 을 제거하면 성능이 가장 크게 하락하여 (7.18 AP50), 공간적 한정사 해결에 필수적임을 확인했다.
  • 교차 장면 어포던스 기억(적대적 프롬프팅) 을 제거하면 AP25 가 2.92 포인트 감소하여 정밀한 국소화에서의 역할을 입증했다.
  • 동일한 백본 모델 (Qwen3-VL 및 SAM3) 을 사용하지만 메모리 모듈이 없는 진단용 "Fun3DU 스타일" 파이프라인은 현저히 낮은 성능 (7.14 AP50) 을 보였는데, 이는 성능 향상이 백본 개선이 아닌 제안된 메모리 메커니즘에서 비롯됨을 보여준다.

중요성 및 주장

본 논문은 3D 기하학이 현재 파이프라인에서 누락된 특정 신호, 즉 세분성을 위한 카테고리 수준 공간 사전 지식과 모호성 해소를 위한 글로벌 인스턴스 레이아웃을 인코딩한다고 주장한다. 이를 별도의 "기억 실패"로 간주하고 전용 기하학적 기억 메커니즘으로 해결함으로써, AFFORDMEM 은 물체 인식과 정밀한 기능적 상호작용 사이의 간극을 메운다.

저자들은 일반화에 있어 그들의 접근 방식이 겸손함을 강조한다. 현재 시스템은 상호작용 레이블과 메모리 인덱스 간의 정확한 문자열 매칭에 의존하므로, 사전 주석 없이는 보지 못한 카테고리로 일반화할 수 없다. 저자들은 보지 못한 카테고리를 위한 임베딩 기반 검색과 동적 장면으로의 프레임워크 확장을 향후 작업으로 식별한다. 주요 기여는 기억을 효과적으로 활용하여 세분성과 공간적 모호성을 해결함으로써 3D 기능적 어포던스 그라운딩을 위한 새로운 기준을 설정하는 견고한 훈련 없는 프레임워크이다.