AFUN: Towards an Affordance Foundation Model for Functionality Understanding

기술 요약: AFUN: 기능 이해를 위한 어포던스 파운데이션 모델을 향하여

문제 정의
어포던스(Affordance) 이해는 시각적 인지와 물리적 행동 사이의 핵심적인 인터페이스 역할을 하며, 로봇이 개방되고 구조화되지 않은 환경에서 작동할 수 있게 합니다. 그러나 다양한 환경, 물체 및 작업에 걸쳐 동시에 일반화될 수 있는 파운데이션 모델을 구축하는 것은 여전히 큰 과제로 남아 있습니다. 기존 방법들은 대개 이 문제의 일부 측면만을 다룹니다. 어떤 방식은 실행 가능한 동작을 명시하지 않은 채 작업 관련 영역(어디를 상호작인할 것인가)만을 국지화하며, 다른 방식은 동작을 예측하지만 확장성이 부족하거나 휴리스틱한 국지화가 필요합니다. 또한, 현재의 접근 방식들은 상호작용 후 물체가 어떻게 움직여야 하는지(예: 서랍을 여는 것과 뚜껑을 들어 올리는 것의 구체적인 궤적 차이)를 특성화하는 데 실패하는 경우가 많으며, 대부분의 딥러닝 모델은 소규모의 비다양성 데이터셋으로 인해 제한된 오픈 월드 일반화 성능을 보입니다.

방법론
저자들은 단일 RGB-D 관측값과 자연어 작업 설명을 기반으로 상호작용할 위치(where)와 상호작용 방법(how)을 모두 예측하도록 설계된 통합 파운데이션 모델인 AFUN을 제시합니다.

• 통합 데이터 파이프래인: 오픈 월드 일반화를 지원하기 위해 저자들은 대규모의 표준화된 데이터 파이프라인을 구축했습니다. 저자들은 로봇 텔레오퍼레이션, 인간의 1인칭 시점 비디오, 시뮬레이션, 실제 스캔 데이터를 포함한 10개의 공개 소스로부터 321,190개의 원시 비디오를 수집했습니다. 이 파이프라인은 이러한 이질적인 소스들을 다음과 같은 공유 스키마로 변환합니다:

  • 작업 설명: 자연어 지시문.
  • 기능적 마스크(Functional Mask): 조작 가능한 부분을 식별하는 세그멘테이션 마스크.
  • 3D 동작: 베지에 스플라인(Bézier spline) 곡선으로 표현된 접촉 후 3D 궤적.
  • 핵심 혁신: 손/그리퍼 궤적(접촉 전 노이즈를 포함함)을 사용하는 이전 연구들과 달리, AFUN은 물체의 움직임 자체를 추적합니다. AFUN은 VLM(Qwen3-VL)을 사용하여 부품 수준의 쿼리를 생성하고, SAM3를 사용하여 조작되는 물체를 추적한 다음, 마스크를 역투영하여 매끄러운 3D 운동 곡선을 복원합니다.

• 모델 아키텍처: AFUN은 동결된 시각-언어 모델(Qwen3-VL-8B)과 동결된 세그멘테이션 모델(SAM3)에 조건화된 듀얼 브랜치 아키텍처를 채택합니다.

  • MetaQuery 컨디셔닝: 모델은 VLM과 다운스트림 작업을 연결하기 위해 학습 가능한 "MetaQuery" 토큰을 사용합니다. $mqs$토큰 세트는 세그멘테이션 모델에 연결되고,$mqm$ 토큰 세트는 모션 디코더에 연결됩니다. 이를 통해 모델은 단일 순방향 패스(forward pass) 내에서 VLM의 추론 능력을 공유할 수 있습니다.
  • 세그멘테이션 브랜치: 시맨틱 토큰에 따라 작업 조건부 기능 마스크를 예측하기 위해 SAM3를 사용합니다.
  • 모션 브랜치: 기하학적 특징을 추출하기 위해 3D 특징 인코더(Sonata)를 사용하여 깊이(depth) 입력으로부터 특징을 추출합니다. 트랜스포머 디코더는 3D 베지에 스플라인 곡선의 파라미터를 예측합니다. 이 곡선은 접촉 중심점($P_0$)에 고정되며, 상대적 3D 좌표로 표현된 예측 제어점들에 의해 정의됩니다.

• 학습 체계: 안정성을 보장하기 위해 모델은 세 단계로 학습됩니다:

  1. 정렬(Alignment): Visual Genome 데이터셋을 사용하여 MetaQuery 토큰을 SAM3의 텍스트 컨디셔닝 공간과 정렬합니다.
  2. 세그멘테이션(Segmentation): 통합된 어포던스 데이터셋(HOVA-500K, RAGNet, InstructPart, ReasonAFF)을 사용하여 세그멘테이션 브랜치를 엔드 투 엔드로 학습합니다.
  3. 결합 학습(Joint Training): 큐레이션된 AFUN 데이터셋에서 세그멘테이션 그라운딩과 곡선 피팅(point-sampling loss)을 결합한 손실 함수를 사용하여 세그멘테이션과 모션 예측을 공동으로 학습합니다.

주요 기여

1. AFUN 모델: 작업 조건부 기능 마스크와 3D 접촉 후 모션 곡선을 공동으로 예측하여, 로봇 조작에서 "어디를"과 "어떻게" 사이의 간극을 메우는 파운데이션 모델입니다.
2. 대규모 표준화 데이터셋: 언어, 마스크, 그리고 이질적인 소스로부터 도출된 물체 중심의 3D 모션 레이블을 특징으로 하는, 현재까지 가장 큰 규모의 공개 어포던스 데이터셋 중 하나를 구축했습니다.
3. 물체 중심 모션 트래킹: 그리퍼가 아닌 물체의 움직임을 추적함으로써 접촉 전 노이즈를 피하고, 기능적 상호작용의 직접적인 표현을 제공하는 새로운 데이터 처리 전략을 제시합니다.
4. 제로샷 배포(Zero-Shot Deployment): 작업별 휴리스틱이나 특정 임보디먼트(embodiment)를 위한 미세 조정 없이 실제 로봇에 배포할 수 있는 능력입니다.

실험 결과
AFUN은 8개의 세그멘테이션 벤치마크와 3개의 모션 벤치마크에서 평가되었으며, 모든 지표에서 우수한 성능을 입증했습니다:

• 어포던스 세그멘테이션: AFUN은 평균 gIoU 69.3% 및 cIoU **67.2%**를 달성하여, 가장 강력한 베이스라인인 Affordance-R1보다 각각 +23.9/+26.3 포인트 높은 성능을 보였습니다. 또한 의도에 따라 달라지는 복잡한 영역(예: "담기"를 위한 삽의 날 부분과 "사용하기"를 위한 손잡이 구분)에서도 베이스라인을 능가했습니다.
• 접촉점 예측: 예측된 마스크의 가해지는 불능점(Pole of Inaccessibility)을 사용하여, AFUN은 최상위 베이스라인(예: VRB의 35.2%) 대비 높은 히트율 상승(InstructPart에서 96.5%)을 달est했습니다.
• 3D 모션 예측: AFUN은 세 가지 테스트 세트(AFUN test set, SceneFun3D, RoboMIND2) 모두에서 가장 낮은 평균 변위 오차(ADE)와 최종 변위 오차(FDE)를 기록했습니다. 특히 CIM(Contact-in-Mask) 히트율에서 베이스라인을 크게 앞질렀습니다 (예: AFUN 테스트 세트에서 VRB의 11.0% 대비 81.0%).
• 실제 로봇 배포: 전자레인지 열기, 냄비 뚜껑 벗기기, 서랍 열기와 같은 작업을 위해 Franka Research 3 암에 모델을 배포했습니다. 로봇 특화 미세 조정 없이 평균 성공률 **90%**를 달성했습니다.

의의 및 주장
본 논문은 AFUN이 오픈 월드 어포던스 파운데이션 모델을 향한 중요한 진전이라고 주장합니다. 기능적 인지(마스크)와 실행 가능한 행동(3D 모션)을 통합하고 대규모의 표준화된 데이터셋을 활용함으로써, AFUN은 좁은 도메인 데이터나 수동 휴리스틱에 의존하지 않고도 오픈 월드 작업에 적응할 수 있음을 보여줍니다. 저자들은 베지에 스플라인을 통해 매끄럽고 방향을 고려한 3D 궤적을 예측하는 AFUN의 능력이, 선형 또는 이산적 모션 방식으로는 어려운 복잡한 조작(회전하며 열기 등)을 가능하게 한다고 강조합니다. 이 연구는 로봇이 구조화되지 않은 환경에서 다양한 물리적 상호작용을 이해하고 실행할 수 있는 실질적인 경로를 제시합니다.