💻 computer science

A3R: Agentic Affordance Reasoning via Cross-Dimensional Evidence in 3D Gaussian Scenes

이 논문은 복잡한 3D 가우시안 장면에서 텍스트 명령에 따른 affordance 추론을 위해 MLLM 기반 에이전트가 2D 의미론적 및 3D 기하학적 증거를 순차적으로 수집하고 GRPO 기반 학습을 통해 최적화하는 'A3R' 프레임워크를 제안합니다.

원저자: Di Li, Jie Feng, Guanbin Li, Ronghua Shang, Yuhui Zheng, Weisheng Dong, Guangming Shi

게시일 2026-04-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Di Li, Jie Feng, Guanbin Li, Ronghua Shang, Yuhui Zheng, Weisheng Dong, Guangming Shi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"3D 공간에서 로봇이나 AI 가 물건을 어떻게 잡아야 할지 (Affordance) 를 더 똑똑하게 찾아내는 방법"**에 대한 이야기입니다.

기존의 방법들은 "한 번에 사진만 보고 답을 맞히려고" 했지만, 이 방법은 **"질문을 던지고, 필요한 정보를 하나씩 찾아서 답을 맞춰가는 탐정"**처럼 행동합니다.

이해를 돕기 위해 세 가지 비유로 설명해 드릴게요.

1. 문제 상황: "어두운 방에서 한 번에 맞추기" (기존 방식의 한계)

상상해 보세요. 어두운 방에 여러 개의 물체가 있고, 누군가 **"이 컵의 손잡이를 찾아줘"**라고 요청했다고 칩시다.

기존 AI (한 번에 맞추기): 방에 들어와서 한 번만 쓱 훑어보고 "아, 저기 손잡이 있네!"라고 바로 답을 내놓습니다.
- 문제점: 만약 컵이 여러 개 있고, 손잡이 모양이 비슷하거나, 그림자에 가려져 있다면? AI 는 헷갈려서 엉뚱한 컵을 잡거나, 손잡이가 아닌 컵 몸통을 잡으려 할 수 있습니다. 정보 (증거) 가 부족해서 실패하는 것입니다.

2. 새로운 해결책: "A3R, 똑똑한 탐정 로봇"

이 논문에서 제안한 A3R은 그냥 답을 외우는 학생이 아니라, 증거를 하나씩 수집하는 탐정입니다.

탐정의 행동 (에이전트):
1. 초기 관찰: "컵의 손잡이를 찾아줘"라는 명령을 받으면, 일단 전체를 훑어봅니다.
2. 의심스러운 점 발견: "음, 저기 컵 두 개가 비슷한데, 어느 게 진짜 손잡이지? 3D 모양만 봐서는 헷갈리네."
3. 증거 수집 (크로스-디멘셔널):
  - 3D 확대 (줌): "자, 이 컵 가까이 가서 3D 로 자세히 볼까?" (기하학적 증거: 모양, 깊이 확인)
  - 2D 의미 분석: "아니면 이 컵을 2D 사진으로 찍어서 '손잡이'라고 적힌 라벨이 있는지 검색해 볼까?" (의미론적 증거: 기능 확인)
4. 답 도출: "아하! 저 컵은 손잡이가 있고, 이 컵은 없구나. 정답은 저기다!"

이처럼 A3R 은 한 번에 모든 것을 보려고 하지 않고, 헷갈릴 때만 필요한 정보 (3D 모양 정보나 2D 의미 정보) 를 그때그때 찾아서 정답을 확신하게 됩니다.

3. 핵심 기술: "마법 같은 도구 상자"

이 탐정 로봇은 두 가지 종류의 '마법 도구'를 가지고 있습니다.

3D 도구 (기하학적 증거): 물체의 모양, 깊이, 위치를 정확히 파악합니다. (예: "손잡이가 실제로 튀어나와 있네?")
2D 도구 (의미적 증거): 물체의 기능과 이름을 이해합니다. (예: "이건 '손잡이'라고 불리는 부분이야.")

기존 방식은 이 두 가지를 섞어서 한 번에 쓰려고 했지만, A3R 은 "지금 헷갈리는 게 모양인지, 이름인지에 따라 필요한 도구를 골라" 사용합니다. 마치 요리할 때 "소금이 부족하면 소금통을, 후추가 부족하면 후추통을" 따로 꺼내 쓰는 것과 같습니다.

4. 왜 이 방법이 더 잘될까? (학습 전략)

이 탐정 로봇은 GRPO라는 특별한 학습법을 배웁니다.

기존 학습: "정답을 맞추면 점수 줌."
이 방법의 학습: "정답을 맞추되, 불필요하게 많은 질문을 하지 않고 빠르게 맞추면 더 큰 점수 줌."

그래서 로봇은 처음엔 넓게 보고, 헷갈리면 좁게 보고, 다시 헷갈리면 다시 넓게 보는 식으로 가장 효율적인 경로를 스스로 찾아냅니다.

요약: 이 연구의 결론

"복잡한 3D 세상에서 로봇이 물건을 잡을 때, 한 번에 다 보려고 하지 말고, 헷갈릴 때 필요한 정보를 하나씩 찾아보는 '능동적인 탐정'이 되어야 한다."

이 방법을 사용하면, 로봇은 훨씬 더 정교하고 정확한 동작을 할 수 있게 되며, 특히 처음 보는 상황 (새로운 물건이나 환경) 에서도 훨씬 잘 적응할 수 있습니다. 마치 우리가 낯선 도시에서 길을 찾을 때, 지도를 한 번만 보는 게 아니라 "저기 표지판이 있네?", "저기 길거리 예술가가 있네?"라고 주변 정보를 하나씩 확인하며 길을 찾는 것과 같은 원리입니다.

1. 문제 정의 (Problem Definition)

배경: 3D 가우시안 스플래팅 (3DGS) 을 활용한 3D 장면 이해 분야에서, 텍스트 명령에 따라 특정 행동 (예: 잡기, 열기) 을 지원할 수 있는 물체의 영역을 식별하는 'Affordance Reasoning( affordance 추론)'이 중요한 과제로 부상하고 있습니다.
현재의 한계: 기존 방법론들은 대부분 정적 (Static) 인 단일 관찰 (One-shot prediction) 에 의존합니다. 고정된 시점의 관찰 데이터만으로 추론을 수행하므로, 복잡한 3D 장면에서 다음과 같은 문제가 발생합니다.
- 증거 부족 (Evidence Limitation): 국소 기하학적 구조가 유사하거나, affordance 영역이 좁고 구조적으로 복잡한 경우, 단일 관찰만으로는 모호성을 해결할 충분한 정보가 부족합니다.
- 정보의 불완전성: 3D 기하학적 정보만으로는 기능적 유사성을 구분하기 어렵고, 2D 시맨틱 정보만으로는 3D 공간적 정합성 (Grounding) 이 부족합니다. 기존 방법들은 이를 정적으로 융합하여 사용하지만, 이는 현재 모호성 상태에 맞춰 필요한 정보를 동적으로 획득하지 못하게 합니다.
핵심 통찰: 많은 실패 사례는 모델의 예측 능력 부족이 아니라, 고정된 관찰 하에서 부족한 작업 관련 증거 (Task-relevant evidence) 때문입니다. 따라서 추론을 수동적인 예측이 아닌, 증거를 점진적으로 수집하는 순차적 과정으로 재정의해야 합니다.

2. 방법론 (Methodology)

저자들은 A3R(Agentic Affordance Reasoning) 프레임워크를 제안하며, 이를 부분 관측 마코프 결정 과정 (POMDP) 으로 모델링합니다.

가. 순차적 교차 차원 증거 수집 (Sequential Cross-Dimensional Evidence Acquisition)

에이전트는 현재 상태 (Workspace, Affordance Belief, 행동 - 증거 히스토리) 를 기반으로 다음 행동을 선택하여 모호성을 점진적으로 줄입니다.

상태 (State): 현재 작업 공간 (Workspace), affordance 신념 지도 (Belief Map), 행동 및 증거 히스토리를 포함하는 장면 기반 결정 상태.
행동 공간 (Action Space): 5 가지 주요 연산자로 구성되며, 상황에 따라 동적으로 선택됩니다.
1. 3D Instance Segmentation (Inst): 쿼리된 물체 인스턴스를 식별하여 방해 요소를 제거.
2. 3D Part Segmentation (Part): 정밀한 affordance 위치를 찾기 위한 3D 기하학적 증거 수집.
3. 2D Semantic Segmentation with 3D Lifting (SAM2D): 렌더링된 2D 뷰에서 시맨틱 정보를 추출하여 3D 공간으로 투영 (의미론적 모호성 해소).
4. 3D Zoom: 관심 영역을 확대하여 공간적 세분화 (Coarse-to-Fine) 수행.
5. Terminate: 수집이 완료되었음을 판단하고 최종 예측 출력.
신념 업데이트: 수집된 증거는 3D 가우시안 서포트에 투영되어 affordance 신념 지도 ( $h_t$ ) 를 업데이트합니다. 기하학적 증거와 시맨틱 증거는 상호 보완적으로 작용합니다.

나. MLLM 기반 에이전트 정책 (MLLM-Driven Agentic Policy)

정책 모델: 멀티모달 대규모 언어 모델 (MLLM, 예: Qwen3-VL) 을 사용하여, 현재 시각적 컨텍스트 (렌더링된 뷰), 텍스트 쿼리, 히스토리, 작업 프롬프트를 종합적으로 해석합니다.
동작: MLLM 은 고정된 규칙이 아닌, 현재 모호성 상태에 맞춰 어떤 증거 (2D 또는 3D) 를 언제, 어떻게 수집할지를 동적으로 결정합니다.

다. GRPO 기반 정책 학습 (GRPO-based Policy Learning)

학습 전략: 단계별 지도 학습 (Step-wise supervision) 이 아닌, 최종 작업 성공 여부 (Final Task Reward) 를 기반으로 정책을 최적화합니다.
GRPO (Group Relative Policy Optimization): 여러 트레젝토리를 그룹으로 묶어 상대적 이득 (Advantage) 을 계산하고, 정확도 (IoU) 보상과 불필요한 단계 수에 대한 패널티를 통해 효율적인 증거 수집 경로를 학습합니다.

3. 주요 기여 (Key Contributions)

문제 재정의: 정적 관찰 하의 증거 부족이 fine-grained affordance 추론의 핵심 난제임을 규명하고, 이를 순차적 증거 수집 문제로 재정의했습니다.
A3R 프레임워크 제안: MLLM 기반 에이전트가 3D 기하학적 증거와 2D 시맨틱 증거를 동적 (On-demand) 으로 교차 수집하며 모호성을 해소하는 새로운 아키텍처를 제시했습니다.
GRPO 기반 학습 전략: 단계별 레이블 없이 최종 결과 보상을 통해 증거 수집 경로를 최적화하는 효율적인 학습 방식을 도입했습니다.
성능 입증: 기존 정적 방법론 대비 뛰어난 성능을 보이며, 특히 훈련 데이터에 없는 새로운 affordance(Unseen) 에 대한 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

데이터셋: 3DAffordSplat(인스턴스 레벨) 및 SeqAffordSplat(장면 레벨) 벤치마크에서 평가.
성능 비교:
- A3R 은 모든 정적 One-shot 베이스라인 (IAGNet, PointRefer, AffordSplatNet 등) 을 압도적으로 능가했습니다.
- Unseen 설정 (새로운 affordance): 훈련 패턴에 의존하지 않고 추가 증거 수집을 통해 모호성을 해결하는 A3R 의 강점이 두드러졌습니다. (예: SeqAffordSplat Unseen 에서 mIoU 16.55 포인트 향상).
- 학습 없는 정책 (Training-free): 정책 학습 없이도 기존 방법보다 우월한 성능을 보여, 프레임워크 자체의 유효성을 입증했습니다.
- GRPO 적용: 학습을 통해 증거 수집 효율 (평균 단계 수 감소) 과 정확도를 동시에 향상시켰습니다.
증거 수집 전략 분석:
- 3D 기하학적 정보만 사용하거나 2D 시맨틱 정보만 사용하는 것보다, 두 가지를 상황에 맞게 조합하는 것이 가장 효과적이었습니다.
- 고정된 순서 (Fixed Sequence) 나 단순한 휴리스틱보다 적응형 에이전트 정책이 더 좋은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

패러다임 전환: 복잡한 3D 장면에서의 affordance 추론을 '고정된 관찰로부터의 예측'에서 **'적응형 증거 수집을 통한 점진적 추론'**으로 전환했습니다.
실용성: 로봇 조작, 인간 - 로봇 상호작용, AR/VR 등 실제 환경에서 불완전한 정보 하에 정확한 행동을 계획해야 하는 분야에서 중요한 기여를 합니다.
미래 방향: 이 연구는 에이전트가 환경과 상호작용하며 필요한 정보를 능동적으로 획득하는 'Active Perception'의 중요성을 강조하며, 3DGS 기반의 정밀한 3D 이해를 위한 새로운 표준을 제시합니다.

요약하자면, A3R 은 3DGS 장면에서 부족한 정보를 동적으로 채워나가는 지능형 에이전트를 통해, 기존 정적 방법론이 해결하지 못했던 복잡한 affordance 추론 문제를 성공적으로 해결한 혁신적인 연구입니다.