기술 요약: A4D – 어포던스 추론을 위한 기능적 잠재 공간 (Functional Latent Spaces for Affordance Reasoning)

문제 정의

기존의 로봇 계획 시스템은 주로 **외형 기반 추론(appearance-based reasoning)**에 의존하며, 시각적 관찰을 객체 카테고리(예: "카트" 식별)를 중심으로 구성된 잠재 공간으로 인코딩합니다. 이러한 방식은 인식에는 효과적이지만, 객체가 "움직일 수 있는지(movable)", "들어 올릴 수 있는지(liftable)", 또는 "지지할 수 있는지(supportable)"와 같은 **태스크 관련 기능성(affordances)**을 포착하는 데는 실패합니다. 결과적으로, 이러한 시스템은 시각적으로는 매우 다르지만 기능은 동일한 객체, 혹은 시각적으로는 유사하지만 기능은 다른 객체를 만났을 때 일반화하는 데 어려움을 겪습니다.

이러한 간극을 메우려는 현재의 솔루션들은 상당한 한계점에 직면해 있습니다:

• 상호작러 기반 방법론(예: AffordanceNet, SayCan)은 도메인 특화 데이터를 필요로 하며, 특정 로봇 플랫폼에 종속적이고, 새로운 태스크에 적응하는 데 비용이 많이 듭니다.
• **시각-언어 모델(VLMs)**은 오픈 보캐블러리(open-vocabulary) 추론을 가능하게 하지만, 높은 추론 지연 시간(수 초에서 수 분)과 거친 출력값으로 인해 실시간의 정밀한 계획 수립에는 부적합합니다.
• 제로샷(Zero-shot) 접근 방식은 신뢰할 수 있는 어포던스 추론에 필요한 기능적 구별 능력이 부족합니다.

핵심 과제는 높은 정확도, 낮은 지연 시간, 그리고 광범위한 재학습 없이도 미지의 객체 및 새로운 어포던스에 일반화할 수 있는 능력을 갖추고 시각적 관찰로부터 직접 어포던스를 추론하는 시스템을 개발하는 것입니다.

방법론: A4D 프레임워크

저자들은 시각적 관찰을 객체의 외형이 아닌 어포던스를 중심으로 구조화된 **공유 기능적 잠재 공간(shared functional latent space)**으로 매핑하는 A4D 프레임워크를 소개합니다. 이 시스템은 네 가지 상호 연결된 구성 요소로 작동합니다.

1. 기능적 잠재 공간 구축

A4D는 사전 학습된 시각-언어 모델(CLIP)을 활용하여 공유 잠재 공간 $Z$를 생성합니다.

• 어포던스 축(Affordance Axes): 각 어포론스 $a$(예: "움직일 수 있는")에 대해, 시스템은 어포던스의 텍스트 임베딩($z_a$)과 그 반의어($z_{\bar{a}}$, 예: "고정된")를 연결하여 의미론적 축을 정의합니다. 방향 벡터 $u_a = z_a - z_{\bar{a}}$는 기능의 존재와 부재 사이의 의미론적 대비를 포착합니다.
• 미세 조정(Fine-tuning): 시각적 임베딩과 이러한 의미론적 축 사이의 정렬을 개선하기 위해, 대조 손실(contrastive loss)을 사용하여 라벨링된 소수의 이미지-어포던스 쌍을 통해 인코더를 미세 조정합니다. 이는 시각적 투영이 어포던스 축을 따라 더 변별력 있게 되면서도 전역적 구조를 유지하도록 잠재 공간을 재형성합니다.

2. 투영 근접도를 통한 어포던스 추론

이미지 $x$가 주어지면, 그 임베딩 $z_{img}$는 의미론적 어포던스 축 위로 투영됩니다.

• 결정 규칙: 스칼라 투영 좌표 $\lambda_a(z_{img})$는 축 상에서의 객체의 상대적 위치를 결정합니다. 중간 지점을 기준으로 이진 결정이 내려집니다. 만약 투영이 어포던스 임베딩에 더 가깝다면 해당 어포던스가 존재하는 것으로 추론합니다.
• 효율성: 이 기하학적 결정 규칙을 통해 약 22 ms 내에 추론이 가능하여 실시간 계획 수립을 지원합니다.

3. 불확실성 정량화

모델이 확신하지 못하는 시나리오를 처리하기 위해, A4D는 투영 점수를 사용하여 불확실성을 정량화합니다.

• 교정(Calibration): 원시 투영 점수는 홀드아웃(held-out) 세트에서 등각 회귀(isotonic regression)를 사용하여 정규화 및 교정되며, 이를 통해 어포던스 존재 확률 $\eta(x, a)$를 추정합니다.
• 트리거 메커니즘: 교정된 확률이 사용자 정의된 불확실성 임계값(예: $0.3 < \eta < 0.7$) 범위에 있으면 시스템은 예측을 불확실한 것으로 표시합니다. 이 불측성 지표는 발견 메커니즘을 작동시키는 트리거 역할을 합니다.

4. 어포던스 발견 및 라벨링

기존 어포던스가 불충분하거나 불확실성이 높을 때, A4D는 동적으로 메모리를 확장합니다.

• 생성: 태스크 컨텍스트와 현재 관찰 내용을 바탕으로 후보 어포던스(예: 계단에 대해 "통행 가능한(Traversable)"을 제안)를 제안하도록 VLM에 질의합니다.
• 라벨링: 두 번째 오라클(oracle) VLM 질의를 통해 이러한 새로운 후보들에 대한 소수의 사례를 라벨링합니다.
• 통합: 이 라벨링된 샘플들은 새로운 어포던스 축을 구축하거나 잠재 공간을 미세 조정하는 데 사용되어, 기존에 학습된 어포던스에 대한 파괴적 망각(catastrophic forgetting) 없이 소량의 데이터(few-shot data)(최소 16개 사례)만으로 새로운 기능성을 학습할 수 있게 합니다.

주요 기여

1. 어포던스 추론을 위한 기능적 잠재 공간: A4D는 표현의 중심을 객체의 외형에서 태스크 관련 기능성으로 전환하여, 객체가 '무엇인지'가 아니라 '무엇을 할 수 있는지'를 기반으로 한 계획 수립을 가능하게 합니다.
2. 정확하고 효율적인 추론: 이 프레임워크는 기존 어포던스에 대해 94.2%의 정확도를 달와내며(기존 VLM 베이스라인보다 15 퍼센트 포인트 이상 상회), 동시에 100배 빠른 추론 속도(VLM의 수 초/수 분 대비 22 ms)를 유지합니다.
3. 불확실성 인지형 발견: 시스템은 메모리를 선택적으로 확장하는 메커니즘을 도입합니다. 잠재 공간에서의 근접도를 사용하여 불확실성을 정량화하고, VLM 보조 발견을 필요한 경우에만 트리거함으로써, 원래 훈련 데이터의 10% 미만을 사용하여 새로운 어포덴스 추론 정확도를 약 70%에서 90% 이상으로 높입니다.

실험 결과

저자들은 본 연구의 성과를 본 적 있는(seen) 및 본 적 없는(unseen) 객체 클래스와 어포던스를 포함한 다양한 계획 태스크에 걸쳐 평가했습니다:

• 알려진 어포던스 성능: A4D는 알려진 어포던스와 알려진 객체 클래스(Setting A)에서 **94.2%**의 정확도를 기록하며, 제로샷 CLIP(48%) 및 중간 규모의 GPT-5 베이스라인(78.9%)을 크게 앞질렀습니다.
• 일반화: 모델은 본 적 없는 객체 클래스에 대해서는 잘 일반화되었으나(정확도 86.3%), 발견 메커니즘 없이는 본 적 없는 어포던스에 대해 성능 저하(59–61%)를 보였습니다.
• 샘플 효율성: 발견 메커니즘을 통해 시스템은 홀드아웃 어포던스에 대한 성능을 회복하였으며, 단 16개의 라벨링된 사례(원래 데이터셋의 약 10%)만으로 92% 이상의 정확도에 도달했습니다.
• 강건성: 시스템은 VLM 라벨 노이즈(최대 15% 오류율)에 대해 강건함을 입증하였으며, 추론 정확도의 저하는 미미했습니다.
• 불확실성 가이드 폴백(Fallback): 상위 20%의 불확실한 예측에 대해서만 VLM 추론을 호출함으로써, 하이브리드 시스템은 93%의 정확도를 달성하여 속도와 신뢰성 사이의 균형을 효과적으로 맞추었습니다.

의의 및 주장

본 논문은 A4D가 오픈 보캐블러리 어포던스 추론과 실시간 로봇 계획 사이의 실질적인 가교를 제공한다고 주장합니다. 외형 기반 추론에서 벗어남으로써, 이 프레임워크는 새로운 객체 및 상호작용에 강건한, 더 일반화 가능한 계획의 토대를 제공합니다.

저자들은 이 접근 방식이 불확실성을 인지하는 어포던스 추론을 가능하게 하여, 폐쇄 루프 제어(closed-loop control)의 낮은 지연 시간 요구 사항을 유지하면서도 최소한의 라벨링된 데이터로 미지의 시나리오에 적응할 수 있음을 강조합니다. 이 연구는 **기능적 잠재 표현(functional latent representations)**이 확장 가능하고 견고한 로봇 계획을 위한 유망한 방향임을 보여주며, 초점을 "객체가 무엇인가"에서 "객체가 무엇을 가능하게 하는가"로 전환합니다.

논문은 한계점 또한 겸허히 인정하는데, 현재 다운스트림 플래너와의 통합이 임시적(ad-hoc)이며, 어포던스 축이 훈련 후 고정되어 있어 상호작용 피드백에 따른 온라인 적응이 제한적이고, 불확실성 추정이 형식적 확률 보증보다는 경험적 교정에 의존한다는 점을 언급했습니다. 향후 연구로는 A4D를 완전 자율 스택에 내장하고 온라인 적응을 탐구하는 것이 제안되었습니다.