💻 computer science

FUSE: Active Functional Affordance Grounding through Adaptive Semantic-Geometric Evidence Acquisition

본 논문은 불확실성 기반 탐색 전략과 학습된 아모티즈드 플래너(amortized planner)를 통해 의미론적-기하학적 증거를 적응적으로 획득함으로써, 체화된 에이전트가 기능에 기반하여 객체를 효율적으로 식별하고 공간적으로 그라운딩할 수 있게 하는 능동적 기능적 어포던스 그라운딩을 위한 새로운 프레임워크인 FUSE를 소개하며, 이를 새로운 Habitat 기반 벤치마크를 통해 검증한다.

원저자: Zhou Chen, Sathyanarayanan N. Aakur

게시일 2026-08-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhou Chen, Sathyanarayanan N. Aakur

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇이고, 인간 상사로부터 "쏟아진 수프를 떠낼 무언가를 찾아라"라는 단 하나의 지시를 받은 채 지저ка로운 주방으로 걸어 들어가는 모습을 상상해 보십시오. 이제 당신은 구멍을 통해 방의 아주 작은 단면만을 볼 수 있습니다. 당신은 반짝이는 빨간 공, 파란 상자, 혹은 기묘하게 생긴 돌을 볼 수도 있습니다. 만약 당신이 이 작은 단면만을 보고 추측한다면, 그 공을 그릇이라고 생각하여 집어 들었다가 처참하게 실패할 수도 있습니다. 이것이 바로 "체화된 에이전트(embodied agents)"—실제 세상 속에 살며 세상과 상호작용해야 하는 로봇들—가 겪는 일상적인 고군분투입니다. 오랫동안 과학자들은 로봇에게 사물을 인식하는 법(예: "저것은 컵이다")이나 정지된 사진 한 장으로부터 그것을 어떻게 잡아야 하는지 추측하는 법을 가르쳐 왔습니다. 하지만 실제 삶은 복잡합니다. 물건은 숨겨지기도 하고, 빛이 변하기도 하며, 때로는 그 "컵"이 정말 손잡이가 있는 것인지 아니면 그냥 색칠된 돌인지 확인하기 위해 머리를 움직여야 할 때도 있습니다. 연구자들이 던지는 핵심 질문은 이것입니다: 어떻게 하면 로봇이 자신이 충분히 알지 못한다는 것을 스스로 인지하게 하고, 시간과 에너지를 낭비하지 않으면서도 퍼즐을 풀기 위해 정확히 어디를 다음에 살펴봐야 할지 알아내도록 가르칠 수 있을까요?

이 논문은 로봇이 이 "어디를 봐야 할까?" 게임을 수행하는 새로운 방법인 **능동적 기능적 어포던스 그라운딩(Active Functional Affordance Grounding)**을 소개합니다. 단순히 사진을 빤히 쳐다보며 추측하는 대신, 로봇은 적극적으로 움직이고, 물건 뒤를 훔쳐보고, 적절한 도구를 찾았다고 확신할 수 있을 때까지 단서를 수집하도록 권장됩니다. Auburn 대학교의 Zhou Chen과 Sathyanarayanan N. Aakur 연구원은 이를 해결하기 위해 FUSE(Functional Understanding through Semantic–Geometric Exploration)라고 불리는 새로운 시스템을 제안합니다. FUSE를 두 가지 서로 다른 "두뇌"를 사용하여 미스터리를 해결하는 로봇 탐정이라고 생각해 보십시오. 첫 번째 두뇌는 "빠른 추측가"(아모티즈 플래너, amortized planner)로, 장면을 빠르게 훑어보고 "내 생각에 숟가락은 저기에 있을 거야!"라고 말합니다. 두- 번째 두뇌는 "느리고 신중한 조사관"(명시적 탐사, explicit exploration)으로, 실제로 방의 상세한 3D 지도를 구축하여 빠른 추측가가 맞는지 확인합니다.

FUSE의 마법은 언제 어떤 두뇌를 사용할지 안다는 점에 있습니다. 만약 빠른 추측가가 매우 확신한다면, 로봇은 그 계획을 그대로 따라 시간을 절약하고 배터리를 아낍니다. 하지만 빠른 추측가가 혼란스러워하거나 장면이 이상해 보이면, FUSE는 느리고 신중한 모드로 전환합니다. 로бо트는 물체의 형태와 위치에 대해 자신이 얼마나 '모르는지'를 측정하기 위해 3D 가우시안 스플래팅(3D Gaussian Splating)이라는 기술을 사용하여 방의 상세한 3D 모델을 구축합니다. 그런 다음, 가장 많은 새로운 정보를 얻을 수 있는 지점으로 카메라를 이동합니다. 논문은 이 "적응형(adaptive)" 접근 방식이 승자임을 보여줍니다. 테스트에서 FUSE는 72%의 확률로 올바른 물체를 찾아냈는데, 이는 무작위로 추측했을 때(56%)나 언어 모델을 사용하여 탐색을 유도했을 때(65%)보다 더 나은 성과입니다. 또한 F-USE는 필요하지 않을 때 3D 지도를 구축하며 시간을 낭비하지 않았기 때문에, 속도 측면에서도 "느리고 신중한" 방식보다 1.33배 더 빠르게 실행되었습니다.

연구진은 또한 F-USE를 다양한 "지식 소스", 즉 로봇에게 "떠내는 도구"가 어떻게 생겼는지 알려주는 다양한 방식들과 함께 테스트했습니다. 그들은 로봇의 후보 목록을 제공하는 "두뇌"가 특화된 로봇 모델이든, Llama와 같은 거대 언어 모델이든, 혹은 정답을 미리 알고 있는 완벽한 "오라클(oracle)"이든 상관없이 FUSE가 잘 작동한다는 것을 발견했습니다. 그러나 그들은 한계점도 발견했습니다. 만약 로봇의 후보 목록이 완전히 틀렸다면(예를 들어 돌을 숟가락이라고 생각한다면), 아무리 둘러본다 해도 도움이 되지 않습니다. 로봇은 자신이 찾는 물체가 실제로 자신의 후보 목록에 있을 때만 그 물체를 그라운딩(grounding)할 수 있습니다.

결론적으로, FUSE는 로봇이 세상을 이해하는 최선의 방법은 단순히 더 많이 보는 것이 아니라, 더 똑똑하게 보는 것이라는 점을 시사합니다. 빠른 직관과 증거 기반의 신중한 확인을 결래함으로써, 로봇은 추측을 멈추고 확신을 가질 수 있으며, 시야가 가려져 있거나 장면이 혼란스러운 상황에서도 적절한 도구를 찾아낼 수 있습니다. 이는 단순한 이론적 승리가 아닙니다. 저자들은 이 방법을 사용함으로써 로봇이 일을 제대로 완수하면서도 생각하고 움직이는 데 소비하는 시간을 상당 부분 줄일 수 있음을 보여줍니다.

기술 요약: FUSE – 능동적 기능적 어포던스 그라운딩 (Active Functional Affordance Grounding)

문제 정의: 능동적 기능적 어포던스 그라운딩

본 논문은 체화된 AI(Embodied AI)의 핵심적인 공백을 다룹니다. 즉, 사물의 사전 정의된 정체성이 아니라 그 기능에 기반하여 사물을 식별하고 상호작용하는 능력에 관한 것입니다. 기존 방법들은 대개 고정된 시점에서 작동하거나 충분한 시각적 증거가 이미 존재한다고 가정합니다. 그러나 기능적 쿼리(예: "밧줄을 자르기 위해", "음식을 뜨기 위해")는 필요한 변별적 증거가 가려져 있거나, 불완전하거나, 초기 뷰에서는 가용하지 않은 여러 가지 가능한 가설을 생성할 수 있습니다.

저자들은 **능동적 기능적 어포던스 그라운딩(Active Functional Affordance Grounding)**을 다음과 같은 순차적 지각 작업으로 정의합니다:

기능적 언어 쿼리로부터 후보 사물 가설을 추론한다 (사전 정의된 타겟 클래스 없이).
의미적 및 기하학적 모호성을 해결하기 위해 능동적으로 감지 행동(시점 선택)을 결정한다.
물리적 실행 전, 기능적 의도를 가장 잘 충족하는 사물을 공간적으로 그라운딩(grounding)한다.

이는 수동적 그라운딩(조기에 확정될 위험이 있음), 능active 오브젝트 서치(사전 정의된 카테고리를 탐색함), 그리고 넥스트 베스트 뷰 플래닝(알려진 타겟을 가정함)과는 차별화됩니다.

방법론: FUSE 프레임워크

저자들은 효율적으로 정보가 풍부한 관측을 획득하도록 설계된 적응형 프레임워크인 FUSE(Functional Understanding through Semantic–Geometric Exploration)를 제안합니다. FUSE는 기능적 타겟을 그라운딩하는 데 필요한 미해결된 의미적 및 기하학적 증거인 **기능적 불확실성(functional uncertainty)**을 최소화함으로써 작동합니다.

핵심 구성 요소

기능적 불확실성 표현:
- 의미적 불확실성 ( $U_{sem}$ ): 후보 사물 가설에 대한 픽셀 수준 마스크와 점수를 생성하는 SAM3로부터 도출됩니다. 불확실성은 $1 - \text{score}$ 로 추정됩니다.
- 기하학적 불확실성 ( $U_{geo}$ ): 관찰된 이미지와 3D 장면 표현으로부터 렌더링된 이미지 간의 그래디언트를 비교하여 계산되는 SSNR(Structural Signal-to-Noise Ratio)에서 도출됩니다. 낮은 SSNR은 구조적 모델링이 불완전하거나 부정확함을 나타냅니다.
- 증거 맵(Evidence Map): 이 구성 요소들은 후보의 관련성과 기하학적 관찰 부족 사이의 균형을 맞추는 기능적 증거 획득 맵( $E_t$ )으로 융합됩니다.
공간적 증거 표현:
- 에이전트는 지속적이고 점진적으로 정교해지는 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS) 모델을 유지합니다. 이를 통해 에이전트는 관측을 단절된 시퀀스로 취급하는 대신, 시점 전반에 걸쳐 가시성, 폐쇄(occlusion), 기하학적 구조를 추론할 수 있습니다.
적응형 계획 전략:
FUSE는 두 가지 계획 모드를 전환하기 위한 신뢰도 게이트 메커니즘을 채택합니다:
- 아모티즈드 플래너(Amortized Planner): 단일 순전파(forward pass) 내에서 감지 행동의 가치를 예측하는 학습된 정책(CLIP 백본 + MLP)입니다. 속도는 빠르지만 생소한 상태에서는 모호할 수 있습니다.
- 명시적 탐사(Explicit Exploration): 3DGS 표현을 업데이트하고, 후보 시점을 렌더링하며, 전체 의미적-기하학적 증거 맵을 계산하여 최적의 행동을 선택하는 심사숙고 과정입니다.
- 전환 로직: 시스템은 아모티즈드 플래너의 행동 분포에 대한 엔트로피를 계산합니다. 엔트로피가 낮으면(신뢰도가 높으면) 아모티즈드 행동을 선택합니다. 엔트로피가 높으면(불확실성이 높으면), 장면 표현을 정교화하고 재평가하기 위해 명시적 탐사를 트리거합니다.
종료 조건:
융합된 타겟 점수(SAM3 점수 + 깊이 근접도 점수)가 $K$ 단계 연속으로 개선되지 않거나 감지 예산이 소진되면 탐사를 중단합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

태스크 정식화: 부분 관측 가능성 하에서 타겟 발견과 공간적 그라운딩을 요구하는 새로운 순차적 지각 작업으로서 능동적 기능적 어포던스 그라운딩을 정의했습니다.
벤치마크: 100개의 무작위 장면 인스턴스, 표준화된 중단 기준, 그리고 정적, 캐노니컬, 랜덤, VLM 기반 및 적응형 방법들을 비교하는 평가 트랙을 갖춘 Habitat 기반 벤치마크를 도입했습니다.
알고리즘: 계산 비용과 그라운딩 신뢰도 사이의 균형을 맞추기 위해 빠른 아모티즈드 계획과 명시적 의미적-기하학적 탐사를 적응적으로 교차하는 프레임워크인 FUSE를 개발했습니다.
실험적 검증: 다양한 지식 소스에 걸쳐 기능적 쿼리에 따른 의미적-기하학적 증거 획득이 능동적 그라운딩을 개선함을 입증했습니다.

실험 결과

실험은 CRAFT-E를 주요 어포돌(affordance) 지식 소스로 사용하여 제안된 Habitat 벤치마크에서 수행되었으며, 다른 LLM 및 VLM들과 비교되었습니다.

베이스라인 대비 성능:
- 수동/정적(Passive/Static): 성공률 **42%**만을 달성했습니다.
- 랜덤 능동(Random Active): 성공률은 **56%**로 향상되었으나, 훨씬 더 많은 단계(12.20)가 필요했으며 과업 방향성이 부족했습니다.
- VLM 능동(VLM Active): 오라클 레이블과 파운데이션 모델 가이드를 사용하여 **65%**의 성공률에 도달했으나, 최종 그라운딩 품질(SAM3 점수) 측면에서 여전히 FUSE보다 뒤처졌습니다.
- FUSE: 가장 높은 비오라클(non-oracle) **성공률(72%)**과 **평균 IoU(70.91%)**를 달성했습니다.
효율성:
- FUSE는 성능(72% vs 70% 성공률)은 비슷하게 유지하면서도 전체 명시적 탐사 대비 계산 비용을 1.33배 줄였습니다.
- FUSE는 일상적인 단계에서는 아모티즈드 플래너에 의존하며, 결정의 **33.41%**에 대해서만 명시적 탐사를 호출했습니다.
강건성(Robustness):
- FUSE는 다양한 지식 소스(CRAFT, GPT, Llama, Qwen, Sonnet, Gemini) 전반에서 효과적이었으며, 이는 FUSE의 전략이 특정 상위 추론 메커니즘과 분리되어 있음을 나타냅니다.
- "Oracle-Label" 변형은 77%의 성공률을 기록하여, FUSE가 강건하지만 초기 기능적 가설 생성의 품질이 여전히 제한 요인임을 시사했습니다.
절제 연구(Ablation Studies):
- 의미적 vs 기하학적: 의미적 전용 그라운딩(53%)은 불충분했습니다. 기하학적 전용(65%)은 더 나았지만 융합된 접근 방식(72%)보다는 열등했습니다.
- 입도(Granularity): 픽셀 수준의 의미적 증거(SAM3)가 매우 중요했습니다. 패치 수준(CLIP)은 성공률을 34%로 떨어뜨렸습니다.
- 종료 조건: 종료 기준에 깊이 근접도를 포함하는 것이 SAM3 단독 사용보다 성공률을 약 5% 향상시켰습니다.

의의 및 주장

저자들은 FUSE가 사전 정의된 타겟 없이 "무엇을 찾을 것인가"와 "어디를 볼 것인가" 문제를 동시에 해결함으로써 체화된 지각의 중요한 진전을 이루었다고 주장합니다.

수동적 그라운딩을 넘어: 기능적 이해에는 능동적인 증거 획득이 필요하다고 주장합니다. 고정된 뷰나 단일 관측에 의존하는 것은 조기 확정과 실패로 이어질 수 있습니다.
능동적 지각의 효율성: 학습된(아모티즈드) 계획과 명시적 계획을 적응적으로 전환함으로써, FUSE는 지속적인 명시적 장면 재구성의 막대한 계산 비용 없이도 높은 충실도의 그라운딩을 달 Ach 수 있음을 보여줍니다.
일반화 가능성: FUSE 프레임워크는 다양한 기능적 추론 백엔드에 대해 강건함을 보여주며, 이는 적응형 증거 획득 메커니즘이 기능적 그라운딩 작업을 위한 일반화 가능한 솔루션임을 시사합니다.

본 논문은 현재의 방법들이 가용한 관측으로부터 기능적 추론을 개선해 왔지만, FUSE는 그 앞선 지각 문제, 즉 기능적 의도를 신뢰성 있게 그라운딩하기 위해 어떤 추가적인 관측이 필요한지를 결정하는 문제를 명시적으로 해결한다고 결론짓습니다. 향후 연구로는 FUSE를 실제 로봇 플랫폼에서 검증하고, 동적 환경 및 장기 과업(long-horizon tasks)으로 확장하는 것이 제안되었습니다.