Probing and Bridging Geometry-Interaction Cues for Affordance Reasoning in Vision Foundation Models

이 논문은 비전 기초 모델에서 기하학적 구조 인식과 상호작용 인식이 각각 독립적으로 인코딩되어 있음을 규명하고, 이를 결합하여 학습 없이 제로샷 방식으로 affordance(행동 가능성) 추론을 수행하는 새로운 방법을 제시합니다.

핵심

이 논문은 **"로봇이나 AI 가 사물을 볼 때, 단순히 '이게 뭐야?'라고 아는 것을 넘어, '이걸로 무엇을 할 수 있을까?'(예: 컵은 잡고, 컵은 마실 수 있음) 라는 것을 어떻게 이해할 수 있을까?"**라는 질문에 답합니다.

저자들은 이 능력을 이해하기 위해 두 가지 핵심 능력이 필요하다고 말합니다. 마치 레고 블록을 조립하듯, 이 두 가지 능력을 섞으면 AI 는 별도의 학습 없이도 사물의 쓰임을 정확히 파악할 수 있다는 것을 증명했습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🏗️ 1. 두 가지 핵심 능력: "모양"과 "행동"

저자들은 AI 가 사물의 쓰임 (Affordance) 을 이해하려면 다음 두 가지가 필요하다고 말합니다.

1. 기하학적 지각 (Geometry Perception): "이건 어떤 모양일까?"

   • 비유: 마치 건축가가 건물을 볼 때, "이곳은 기둥이고, 저곳은 문틀이구나"라고 구조를 파악하는 능력입니다.
   • 논문 내용: AI 가 사물의 '손잡이', '날', '받침대' 같은 구조적인 부분을 잘 구분할수록, 무엇을 할 수 있는지 더 잘 알게 됩니다.
   • 주요 발견: 'DINO'라는 AI 모델은 사물을 전체적으로 보는 게 아니라, 레고 블록처럼 부품 (손잡이, 날 등) 단위로 잘게 나누어 인식하는 능력이 탁월했습니다.

2. 상호작용 지각 (Interaction Perception): "이걸로 무엇을 할까?"

   • 비유: 마치 연출가가 "사람이 컵을 잡는 장면을 그려줘"라고 했을 때, 손이 컵의 어디에 닿아야 하는지 자연스럽게 알아맞히는 능력입니다.
   • 논문 내용: 'Flux'라는 생성형 AI(그림을 그리는 AI) 는 "잡다", "자르다", "마시다" 같은 **동사 (행동)**를 입력받으면, 그 행동이 일어날 **장소 (접촉 부위)**를 자동으로 찾아냅니다.
   • 주요 발견: 이 AI 는 따로 가르치지 않아도, "잡다"라는 말을 들으면 자연스럽게 손잡이 부분을 집중해서 봅니다.

---

🧩 2. 마법 같은 조합: "레고" + "연출가"

이 논문에서 가장 흥미로운 부분은 이 두 가지 능력을 섞어서 (Fusion) 사용했다는 점입니다.

• 기존 방식: AI 에게 "컵의 손잡이 부분을 가르쳐줘"라고 수만 번 학습시키는 방식 (지도 학습).
• 이 논문의 방식:
  1. **건축가 (DINO)**에게 "이 컵의 손잡이 부분을 찾아줘"라고 하면, 정확한 모양을 찾아냅니다.
  2. **연출가 (Flux)**에게 "컵을 잡는 장면을 그려줘"라고 하면, 손이 닿아야 할 위치를 찾아냅니다.
  3. 이 두 정보를 단순히 합치기만 합니다.

결과: 별도의 추가 학습 없이도, AI 는 "컵의 손잡이 부분"을 정확히 찾아내어 "여기 잡으면 돼!"라고 알려줍니다. 이는 기존에 약한 감독 (Weakly-supervised) 으로 학습한 모델들과 견줄 만한 성능을 냅니다.

---

💡 3. 핵심 요약: 왜 이것이 중요한가요?

이 연구는 **"AI 가 세상을 이해하는 방식"**에 대한 새로운 통찰을 줍니다.

• 과거의 생각: AI 가 사물의 쓰임을 이해하려면, 엄청난 양의 데이터를 보고 "이건 컵이니까 잡아야 해"라고 외워야 한다고 생각했습니다.
• 이 연구의 결론: 아니요! AI 는 이미 내재된 능력을 가지고 있습니다.
  • **구조를 보는 눈 (기하학)**과
  • 행동을 상상하는 능력 (상호작용)
    이 두 가지가 이미 AI 안에 존재합니다. 우리가 해야 할 일은 이 두 가지를 잘게 쪼개서 (Probing) 찾아내고, **적절히 섞어주는 것 (Bridging)**뿐입니다.

🎁 한 줄 요약

"AI 가 사물의 쓰임을 이해하는 비결은, 사물의 '모양'을 잘게 나누어 보는 능력과, '행동'을 상상하는 능력을 레고처럼 맞춰주는 데 있습니다."

이제 AI 는 더 이상 무언가를 외우는 학생이 아니라, 사물의 구조와 행동을 자연스럽게 연결하는 현명한 관찰자가 될 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 시각적 어포던스 (Visual Affordance) 의 본질: 시각 시스템이 "어포던스 (사물이 어떻게 사용될 수 있는가)"를 진정으로 이해한다는 것은 무엇을 의미하는가? 기존 연구들은 어포던스 학습을 위해 밀집된 픽셀 주석 (Fully-supervised), 간접적인 행동 단서 (Weakly-supervised), 또는 대규모 텍스트 - 이미지 정렬 (Open-vocabulary) 에 의존해 왔습니다.
• 기존 접근법의 한계:
  • Fully-supervised: 정확한 영역 예측이 가능하지만, 레이블된 카테고리/기하학적 분포에 종속되어 일반화 능력이 떨어집니다.
  • Weakly-supervised: 인간 - 사물 상호작용 (HOI) 을 통해 추론하지만 공간적 정밀도가 낮습니다.
  • Open-vocabulary: 의미론적 연관성을 활용하지만, 실제 상호작용 단서 (grounded interaction cues) 보다는 상위 수준의 의미에 의존하여 프롬프트 품질에 민감합니다.
• 핵심 질문: 시각 기반 모델 (VFMs) 내부에서 어포던스 이해를 가능하게 하는 **근본적인 능력 (Core Capabilities)**은 무엇이며, 이것이 어떻게 발현되는가?

2. 제안된 방법론 (Methodology)

저자들은 어포던스 이해가 두 가지 상호 보완적인 능력의 결합이라고 가정하고 이를 검증하기 위해 체계적인 프로빙 (Probing) 과 융합 프레임워크를 제안했습니다.

가. 이중 차원 프레임워크 (Dual-Dimensional Framework)

1. 기하학적 지각 (Geometric Perception): 상호작용을 가능하게 하는 사물의 구조적 부분 (예: 손잡이, 날, 받침대) 을 식별하는 능력.
2. 상호작용 지각 (Interaction Perception): 에이전트 (행위자) 가 해당 구조와 어떻게 상호작용하는지를 모델링하는 능력 (동사 기반).

나. 시각 기반 모델 (VFMs) 프로빙 (Systematic Probing)

• 기하학적 측면 분석 (Discriminative Models):
  • DINO, CLIP, SAM 등 다양한 VFMs 를 UMD 데이터셋에서 선형 프로빙 (Linear Probing) 하여 어포던스 분할 성능을 측정.
  • 결과: DINO 계열 모델이 강력한 기하학적 인식 (Geometric Awareness) 을 가지며, 이는 부분 수준 (Part-level) 의 구조적 표현과 직접적인 상관관계가 있음을 발견.
  • PCA 분석: DINOv3 의 임베딩을 PCA 로 분석한 결과, 손잡이, 날, 그립 등 의미 있는 '부분 (Parts)'에 해당하는 주성분이 안정적으로 추출됨을 확인. 이는 기하학적 구조가 행동 가능한 인식의 기초임을 시사.
• 상호작용 측면 분석 (Generative Models):
  • Flux, Stable Diffusion 등 생성형 모델의 교차 주의 (Cross-attention) 맵을 분석.
  • 결과: 생성형 모델 (특히 Flux) 은 동사 (Verb, 예: '잡다', '자르다') 조건부 주의 맵을 내재적으로 학습하고 있음. 이 맵은 인간 - 사물 상호작용의 접촉 영역을 자동으로 국소화하며, 명시적인 어포던스 학습 없이도 상호작용 사전 지식 (Priors) 으로 작용.

다. 훈련 없는 융합 프레임워크 (Training-Free Fusion)

• 접근법: 어포던스 추정을 위해 새로운 모델을 학습시키지 않고, 기존 VFMs 의 내부 능력을 조합.
• 프로세스:
  1. 기하학적 원형 추출: DINOv3 의 특징 맵을 PCA 를 통해 부분 수준의 기하학적 원형 (Geometric Prototypes) 으로 분해.
  2. 상호작용 지도 생성: Flux Kontext 를 사용하여 동사 (Verb) 와 사물 (Object) 조건부 교차 주의 맵을 추출.
  3. 융합 (Fusion): 동사 주의 맵과 기하학적 원형 간의 **정규화 스캔패스 솔리언시 (Normalized Scanpath Saliency, NSS)**를 계산하여 가장 잘 정렬된 기하학적 성분을 선택.
  4. 결과: 선택된 기하학적 성분을 동사 주의 맵과 융합하여 제로샷 (Zero-shot) 어포던스 마스크 생성.

3. 주요 기여 (Key Contributions)

1. 이중 차원 프레임워크 제안: 어포던스를 '기하학적 지각'과 '상호작용 지각'으로 분해하여, 특정 감독 방식 (Supervision) 에 구애받지 않는 통일된 분석 기반을 마련.
2. VFMs 에 대한 체계적 프로빙: 다양한 시각 기반 모델에서 기하학적 인식이 부분 수준의 분리 가능성을 가능하게 하고, 생성형 모델이 동사 조건부 공간 상호작용 사전 지식을 내재화하고 있음을 최초로 규명.
3. 생성형 모델의 교차 주의 활용: 생성형 모델의 내부 교차 주의 (Cross-attention) 를 어포던스 추정을 위한 풍부한 훈련 없는 공간 사전 지식 (Training-free Spatial Priors) 으로 활용하는 최초의 연구.
4. 성능 입증: 약한 감독 (Weakly-supervised) 방법과 경쟁 가능한 수준의 제로샷 어포던스 추정을 훈련 없이 달성하여, 두 능력이 VFMs 내에서 구성 가능한 요소임을 실증.

4. 실험 결과 (Results)

• 기하학적 상관관계: 기하학적 인식이 강한 모델 (DINOv2/v3) 이 UMD 데이터셋에서 어포던스 분할 정확도 (mIoU) 가 높았으며, 3D 정보 (깊이, 표면 법선) 를 추가하면 성능이 더욱 향상됨.
• 상호작용 사전 지식: Flux 의 동사 조건부 주의 맵은 AGD20K 데이터셋에서 약한 감독 방법 (Weakly-supervised baselines) 과 유사한 성능을 보임. 이는 생성 과정 자체가 상호작용의 공간적 조직을 학습했음을 의미.
• 융합 성능 (AGD20K):
  • 제안된 'Interaction × Geometry' 융합 방법은 'Interaction 만 사용'한 경우보다 KLD(감마 분포 거리) 가 감소하고 SIM(유사도) 및 NSS(주요성) 가 향상됨.
  • 이는 기하학적 단서가 비현실적인 영역을 억제하고, 상호작용 단서가 중요한 행동 영역을 강조하여 더 정확한 예측을 가능하게 함을 의미.
  • 정성적 결과: 컵의 손잡이, 칼의 날, 의자의 등받이 등 기능적 부분에 정확하게 어포던스 마스크가 할당됨.

5. 의의 및 결론 (Significance & Conclusion)

• 메커니즘적 설명: 어포던스 이해가 단순히 데이터 학습의 결과가 아니라, VFMs 내부에 이미 존재하는 '기하학적 구조 인식'과 '동작 - 공간 연결'이라는 두 가지 기본 구성 요소의 조합임을 규명.
• 패러다임 전환: 특정 작업에 맞는 모델을 훈련시키는 방식에서, 기존 사전 학습된 모델의 내재적 능력을 조합 (Compose) 하여 추론하는 방식으로의 전환을 제안.
• 미래 전망: 비디오 생성 모델 등을 통해 3D 기하학과 상호작용 역학을 통합한 더 강력한 어포던스 추론의 기반을 마련할 수 있음.

이 연구는 시각 기반 모델이 어떻게 '보이는 것 (Perception)'을 '행동 가능한 것 (Action)'으로 연결하는지에 대한 근본적인 통찰을 제공하며, 훈련 데이터에 의존하지 않는 강력한 어포던스 추론의 새로운 길을 제시합니다.