기술 요약: EgoAfford – 1인칭 시점 참조 분할을 통한 과업 지향적 어포던스 그라운딩

문제 정의

현재의 어포던스 그라운딩 연구는 주로 단일 객체나 단일 단계의 지침을 위한 요소적 동작(예: 자르기 위한 칼날)에 국한된 국소적 기능 부위를 식별하는 데 집중해 왔습니다. 그러나 이를 복잡한 다단계 테이블탑 과업으로 확장할 경우, 기존의 정식화에는 두 가지 결정적인 한계가 드러납니다:

1. 단일 대상 중심: 기존 방식은 일반적으로 하나의 동작에 조건화된 영역만을 그라운딩하며, 여러 참여 객체에 대한 의미론적 역할(직접 대상, 도구, 목적지)을 명시적으로 할당하지 않습니다.
2. 단일 단계 범위: 최근의 양손 또는 장면 수준의 정식화조차도 과업 진행 상황에 따라 남은 절차를 추론하기보다는 주어진 단일 동작에 대한 어포던스를 예측하는 데 그칩니다.

EgoAfford는 과업 지향적 어포던스 그라운딩을 다음과 같은 결합된 문제로 정식화함으로써 이러한 간극을 메웁니다: 1인칭 시점의 테이블탑 이미지와 상위 수준의 자연어 과업이 주어졌을 때, 모델은 (i) 남은 동작 단계의 계획을 생성하고 (ii) 다음 동작 단계의 기능적 부위를 세 가지 특정 역할로 분할해야 합니다:

• 직접 대상 ($M_o$): 조작되는 객체.
• 도구 ($M_s$): 객체에 작용하는 데 사용되는 도구 (맨손 동작의 경우 부재).
• 목적지 ($M_d$): 이동 또는 전달을 위한 대상 위치 또는 컨테이너 (제자리 동작의 경우 부재).

결정적으로, 이 마스크들은 부분 단위(예: 냄비 전체가 아닌 냄비의 주둥이)여야 하며, 부재하는 구성 요소(전부 0인 마스크로 표시)를 처리할 수 있어야 합니다.

방법론

EgoAfford 벤치마크

저자들은 데이터셋과 참조 모델로 구성된 종합적인 벤치마크를 소개합니다.

• 데이터셋 구축: 이 데이터셋은 2,000개의 생성된 다단계 장면에서 유래된 약 15,537개의 인간 검증된 1인칭 이미지를 포함합니다. 상용 VLM(예: GPT-5.5, Gemini 3)을 사용하는 생성 파이프라인이 과업 시드(seed)를 생성하고, 이를 단계별로 분해하며, 의미론적으로 정렬된 이미지를 합성합니다. 이후 엄격한 인간 검증 및 마스크 수정 과정을 거칩니다.
• EgoAfford-Real: 일반화 능력을 평가하기 위해, 생성된 장면들과 분리된 26개 과업에 걸친 102개의 수동 캡처 테스트 세트가 포함됩니다.
• 주석 프로토콜: 주석은 단계당 세 개의 역할별 마스크를 정의합니다. 데이터셋은 여러 유효한 다음 동작이 존재할 수 있는 다중 분기 과업을 지원하며, 모델은 가장 적절한 동작을 선택하고 그 구성 요소를 그라운딩해야 합니다.

EgoLens 참조 모델

강력한 베이스라인을 구축하기 위해, 저자들은 이 결합된 과업을 위해 설계된 3B 파라미터 멀티모달 대규모 언어 모델(MLLM)인 EgoLens를 제시합니다.

• 아키텍처: Qwen2.5-VL 3B 백본을 기반으로 한 LENS 아키텍처를 활용합니다. 이는 세 개의 병렬적인 역할별 마스크 디코더(각 구성 요소 $M_o, M_s, M_d$에 대해 하나씩)를 통해 전달되는 학습 가능한 그라운딩 쿼리를 사용합니다. 이러한 아키텍처 설계는 텍스트 생성에만 의존하지 않고 마스크와 그 역할 사이의 의미론적 결합을 보장합니다.
• 학습 전략: 모델은 통합된 프롬프트 템플릿으로 학습됩니다. 모델은 사고 사슬(Chain-of-Thought, CoT) 계획 추적(학습 중에는 교사 강제 방식 적용)을 생성한 후, 남은 계획과 세 가지 구성 요소 마스크를 포함하는 구조화된 답변을 생성합니다. 손실 함수는 언어 모델링 손실(구조화된 답변 토큰만 감독)과 세그멘테이션 손실(비어 있지 않은 마스크에 대해 BCE + Dice, 비어 있는 마스크에 대해 BCE만 적용)을 결합합니다.
• 추론: 모델은 이미지와 과업 설명을 바탕으로 단 한 번의 순방향 패스(forward pass)를 통해 전체 계획과 세 가지 구성 요소 마스크를 자기회귀적으로 생성합니다.

주요 기여

1. 과업 지향적 정식화: 논문은 다단계 과업 지향적 어포드 결합을 남은 계획 생성과 부분 단위 그라우딩이 결합된 과업으로 정의하고, 이를 EgoAfford 벤치마크에 구현했습니다.
2. EgoLens 모델: 계획 생성과 미세한 그 grounding을 결합하는 과제를 해결하며, 남은 계획을 동시에 생성하고 세 가지 역할별 구성 요소 마스크를 예측하는 참조 MLLM입니다.
3. 종합적 평가: 생성된 장면과 실제 환경 관측 모두에 대한 광범로한 평가를 통해, 다음 단계 추론과 동작-역할 조건부 부분 그라운딩의 구체적인 과제를 규명했습니다.

실험 결과

논문은 최근의 참조 분할 MLLM(Sa2VA, UniPixel, LENS, OMG-LLaVA), 상용 VLM-SAM2 파이프라인, 그리고 EgoLens를 평가합니다.

• 전체 과업 성능: EgoLens는 생성된 테스트 세트에서 0.700 gIoU와 0.486 cIoU를 달성하며 강력한 참조 성능을 확립했습니다. 이는 가장 강력한 상용 VLM 파이프라인(GPT-5.5 + SAM2, 0.476 gIoU) 및 단일 패스에서 세 가지 역할별 마스크를 모두 반환하지 못하는 경우가 많은 오픈 소스 베이스라인들을 크게 앞서는 수치입니다.
• 실제 환경 일반화: EgoAfford-Real(제로샷 전이)에서 EgoLens는 0.666 gIoU와 0.455 cIoU를 달려 GPT-5.5 + SAM2 파이프라인보다 gIoU 측면에서 9.7포인트 앞섰습니다. 이는 EgoLens가 더 일관된 샘플 수준의 예측을 제공함을 시사합니다.
• 추론과 그라운딩의 분리: 참조 단계가 제공되었을 때(계획 부담을 제거했을 때), EgoLens-Seg는 0.839 gIoU를 달성했습니다. 참조 단계가 제거되었을 때 성능이 하락하는 것은 다음 단계 추론이 여전히 주요한 오류 원인임을 보여줍니다.
• 구성 요소 분석: EgoLens는 비어 있지 않은 타겟에 대해 견고한 로컬라이제이션을 보여주었습니다(직접 대상의 NE-mIoU 0.668, 도구 0.614, 목적지 0.568). 이는 성능이 단순히 부재하는 구성 요소를 인식하는 것에만 의존하는 것이 아님을 확인시켜 줍니다.

의의 및 주장

본 논문은 EgoAfford와 EgoLens가 다단계 테이블탑 과업에서 인지와 계획을 공동으로 연구하기 위한 토대를 제공한다고 주장합니다. 저자들의 주장은 다음과 같습니다:

• 상호 보완적인 과제: 이 벤치마크는 다음 단계 추론(계획)과 동작-역할 조건부 부분 그라운딩의 상호 보완적인 어려움을 강조합니다.
• 역할별 그라운딩: 직접 대상, 도구, 목적지를 명시적으로 모델링함으로써 단일 객체 중심의 정식화를 넘어 여러 객체가 과업에 어떻게 참여하는지를 포착합니다.
• 미래 방향: 본 연구는 역할 구조화된 그라운딩을 체화된 실행(embodied execution)과 연결하는 경로를 제시합니다. 여기서 식별된 구성 요소들은 재사용 가능한 조작 기술(예: pour(source, destination))의 명시적인 인자(argument) 역할을 수행하며, 이는 엔드 투 엔드 월드 액션 모델(World Action Models)에 대한 에이전트적 대안을 제공합니다.

저자들은 본 데이터셋이 주로 생성된 것이라는 점(자연스러운 환경의 시각적 충실도와 혼란함이 부족함)과 정적 이미지 평가가 동작 가능성이나 폐쇄 루프 성공 여부를 포착하지 못한다는 점을 언급하며 한계를 인정했습니다. 또한, EgoLens가 단일 유효 경로에 대해 학습되었기 때문에 대안적인 솔루션을 처리하는 능력이 제한될 수 있음을 명시했습니다.