🤖 AI

Token-Based Affordance Grounding with Large Vision-Language Models

이 논문은 대규모 시각-언어 모델로부터 객체 중심의 어텐션 맵을 추출하기 위해 공간 인지적 토큰 선택 메커니즘을 활용함으로써, 외부의 지도 학습 없이도 행동 관련 영역을 국지화하는 데 있어 기존의 약지도 학습 방식보다 우수한 성능을 달성하는 제로샷 어포던스 그라운딩 프레임워크인 TokAG를 제안한다.

원저자: Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상과 상호작용하는 법을 가르치고 있다고 상상해 보세요. 당신은 단순히 로봇이 물체가 무엇인지(예: "저것은 의자다") 아는 것을 넘어, 그것을 어떻게 사용하는지(예: "여기에 앉아라", "여기를 밀어라", 또는 "이것으로 잘라라") 알기를 원합니다. 물체의 어느 부분에서 동작이 일어나는지를 이해하는 이 능력을 **어포던스 그라운딩(Affordance Grounding)**이라고 부릅니다.

이 논문은 컴퓨터가 수천 개의 라벨링된 예시를 수동으로 학습하지 않고도, 인간이 물체의 정확히 어디에서 동작을 수행해야 하는지 파악할 수 있도록 돕는 TokAG라는 새로운 방법을 소개합니다.

이 방법이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

문제점: "눈먼" 가이드

기존의 방식들은 마치 흐릿한 사진을 보며 "앉으세요"라는 아주 짧은 메모만 가지고 오토바이의 어디에 앉아야 할지 추측하려는 학생과 같았습니다.

혼란: 만약 사진에 오토바이가 있고 메모에 "앉다"라고만 적혀 있다면, 컴퓨터는 혼란에 빠질 수 있습니다. 시트(안장)에 앉아야 할까요? 핸들에 앉아야 할까요? 아니면 연료 탱크에 앉아야 할까요?
한계: 기존 방식들은 짧고 모호한 지침에 의존하는 경우가 많았습니다. 그래서 한 이미지 내에서 여러 가지 일이 동시에 일어날 때(예: 누군가 칫솔을 잡고 있으면서 동시에 양치질을 하는 상황)나, 두 동작이 비슷해 보일 때(예: 자전거를 "미는 것"과 "위에 앉는 것") 어려움을 겪었습니다. 또한 특정 부분이 아닌 물체 전체를 가리키는 경향이 있었습니다.

해결책: "슈퍼 리더" (LVLM)

저자들은 거대 시각-언어 모델(Large Vision-Language Models, LVLMs)—사진을 보고 매우 상세한 이야기를 써낼 수 있는 것과 같은 유형의 AI—이 비록 말로 내뱉지는 않더라도, 사물의 위치에 대해 매우 똑똑하게 알고 있다는 사실을 깨달았습니다.

LVLM을 사진과 질문(예: "칫솔의 어느 부분이 양치질하는 데 사용되나요?")을 보고 답하는 슈퍼 리더라고 생각해 보세요.

슈퍼 리더는 단순히 "솔(bristles)"이라는 정답만 툭 던지는 것이 아닙니다.
AI가 단어 하나하나를 생성하며 답변을 만들어내는 동안, 내부적으로는 이미지의 여러 부분에 자신의 내부적인 "손가락"(어텐션/Attention)을 몰래 대고 있습니다.
때로는 배경(욕실 세면대)을 가리키기도 하고, 때로는 칫솔 전체를 가리키기도 합니다. 하지만 "솔(bristles)"이라는 단어를 생각할 때, AI의 내부 손가락은 솔 부분에 매우 강력하게 집중됩니다.

혁신: "스포트라이트 선택기" (TokAG)

까다로운 점은 슈퍼 리더가 전체 문장을 생성하며, 문장의 모든 단어마다 여러 가지 것들을 가리킨다는 것입니다. 만약 전체 문장만을 본다면, 그 "가리킴"은 매우 어지럽고 흐릿해집니다.

TokAG는 이 혼란을 해결하는 스포트라이트 선택기와 같습니다:

질문: AI에게 동작에 관한 구체적인 질문을 던집니다 (예: "사람들이 침대에 앉을 때, 어느 부분을 사용하나요?").
단어별 스캔: AI가 답변(예: "매트리스")을 생성함에 따라, TokAG는 생성되는 모든 단어에 대한 "어텐션 맵"(내부적인 가리킴)을 살펴봅니다.
필터링: 배경을 가리키거나 방 전체를 가리키는 단어들은 무시합니다. 대신, AI의 내부적인 가리킴이 물체에 가장 집중되어 있는 특정 단어를 찾습니다.
- 예시: AI가 "매트리스"라고 말할 때, 그 주의력은 침대의 표면에 빽빽하게 집중됩니다. 반면 "침대"라고 말할 때는 주의력이 분산될 수 있습니다. TokAG는 바로 이 "매트리스"의 순간을 포착합니다.
결과: 그 특정 "집중의 순간"을 가져와서, 어디에 앉아야 하는지를 명확하게 보여주는 히트맵(Heat map)으로 변환합니다.

왜 더 나은가?

학습 불필요: 수백만 개의 라벨링된 사진을 학습해야 했던 기존 방식들과 달리, TokAG는 **제로샷(Zero-shot)**으로 작동합니다. 이는 마치 똑똑한 사람이 매뉴얼 없이도 새로운 상황을 스스로 파악하는 것과 같이, AI가 이미 가지고 있는 지식을 그대로 활용합니다.
정밀도: TokAG는 "오토바이에 앉는 것"(시트)과 "오토바이를 미는 것"(핸들)의 차이를 명확히 구분할 수 있습니다. 비록 대상 물체는 동일하더라도 말이죠.
성능: 논문에 따르면 TokAG는 기존 방식보다 성능이 월등히 뛰어납니다. 표준 테스트에서, 별도의 학습 데이터 없이도 기존의 가장 뛰어난 기술들과 비교했을 때 정확도를 약 10%에서 30% 정도 향상시켰습니다.

한계점 (Catch)

이 방법은 AI가 하나의 "핵심 단어"를 생성하여 올바른 지점을 가리켜야 한다는 점에 의존한다는 한계가 있습니다.

복합적인 동작: 만약 동작이 두 손을 사용하거나 두 개의 서로 다른 부분을 동시에 사용해야 하는 경우(예: 한 손은 뚜껑을 잡고 다른 한 손은 병을 잡아야 하는 "병 열기"), 현재의 방식은 하나의 단어만을 찾는 특성 때문에 어려움을 겪을 수 있습니다.
주의 분산: 물체에 밝은 로고나 글자가 있는 경우, AI가 기능적인 부분 대신 로고를 가리키도록 주의가 분산될 수 있습니다.

요약

TokAG는 "챗봇" AI를 정밀한 "포인터(Pointer)"로 바꾸는 영리한 기법입니다. AI에게 상자를 그리거나 좌표를 쓰라고 요구하는 대신, 동작을 설명하게 한 뒤, 어떤 단어를 말할 때 AI가 물체의 올바른 부분을 가장 집중해서 바라보는지를 관찰합니다. 이는 AI의 내부적인 "사고 과정"을 로봇과 컴퓨터가 따라갈 수 있는 정밀한 지도로 변환하는 기술입니다.

기술 요약: 대규모 시각-언어 모델을 이용한 토큰 기반 어포던스 그라운딩 (TokAG)

문제 정의
어포던스 그라운딩(Affordance grounding)은 물리적 지능과 체화된 인지(embodied perception)에 필수적인 능력으로, 잠재적인 인간 행동을 지원하는 특정 이미지 영역을 국지화하는 것을 목표로 합니다. 최근 약지도 학습(weakly supervised learning)의 발전은 액션 수준의 감독이 포함된 외재적(exocentric) 이미지를 활용해 왔으나, 이러한 방법들은 두 가지 주요 한계점에 직면해 있습니다:

공존하는 동작에서의 시각적 모호성: 외재적 이미지에는 종종 여러 동작이 동시에 발생합니다 (예: "칫솔로 닦는 것"과 "칫솔을 잡는 것"). 기존 방식은 액션별 시각적 증거를 분리하는 데 어려움을 겪으며, 이로 인해 동일한 이미지 내에서 서로 다른 액션에 대해 동일하거나 잘못된 위치의 히트맵을 생성합니다.
의미론적 불충분성: 현재의 접근 방식은 짧은 액션 구절(예: "밀다")에 의존하는데, 이는 기능적으로 구별되는 부품(예: 핸들 vs. 시트)에 대한 그라운딩이 필요한 의미론적으로 유사한 동작(예: 오토바이를 "미는 것" vs. "앉는 것")을 구분하는 데 필요한 풍부한 의미적 세부 사항이 부족합니다.

대규모 시각-언어 모델(LVLM)은 풍부한 액션 의미론을 인코딩하고 그 텍_출력이 암시적으로 공간적 단서를 포함하고 있지만, 이들은 미세한 공간 국지화보다는 텍스트 생성에 최적화되어 있습니다. 결과적으로 LVLM은 액션별 공간 맵을 직접 출력하지 않으며, 이들의 내부 어텐션 메커니즘은 타겟 기능 영역보다는 무관한 배경 영역을 향하는 확산된 패턴을 보이는 경우가 많습니다.

방법론: TokAG
저자들은 외부 감독이나 태스크별 훈련 없이 사전 학습된 LVLM 내의 잠재적인 의미-공간 신호를 활용하는 제로샷 어포던스 그라운딩 프레임워크인 TokAG를 제안합니다. 파이프라인은 다음과 같이 작동합니다:

입력 및 생성: 에고센트릭 이미지와 텍스트 프롬프트(예: "사람들이 [물체]로 [액션]을 수행할 때, [물체]의 어느 부분이 사용되는가?")가 주어지면, 동결된(frozen) LVLM(예: Qwen3-VL)이 출력 토큰 시퀀스를 생성합니다.
어텐션 집계: 프레임워크는 생성된 출력 토큰과 시각적 패치 사이의 교차 모달 어텐션 맵을 추출합니다. 어포던스와 관련된 단서가 서로 다른 아키텍처 레이어와 어텐션 헤드에 분산되어 있음을 인식하여, 이 방법은 분산된 의미-공간 단서를 포착하기 위해 각 출력 토큰에 대해 모든 레이어와 헤드에 걸쳐 어텐션 가중치를 집계합니다.
공간 인식 토큰 선택: 확산된 어텐션과 배경 노이즈 문제를 해결하기 위해, 이 방법은 공간적 제약을 도입합니다. 타겟 물체에 대한 이진 물체 마스크(CLIPSeg로 생성됨)를 사용하여, 시스템은 타겟 물체 영역 내의 활성화 값을 엄격히 측정함으로써 각 집계된 어텐션 맵에 대한 "중첩 점수(overlap score)"를 계산합니다.
토큰 선택 및 히트맵 생성: 프레임워크는 타겟 물체 영역 위에서 가장 높은 활성화 점수를 생성하는 단일 출력 토큰( $t^*$ )을 선택합니다. 선택된 토큰에 해당하는 어텐션 맵은 원래 이미지 차원으로 업샘플링되어 최종 어포던스 히트맵을 생성합니다.

주요 기여

제로샷 프레임워크: TokAG는 LVLM의 토큰 수준 신호를 활용함으로써 어포던스 전용 감독의 필요성을 제거한 최초의 제로샷 어포던스 그라운딩 프레임워크입니다.
공간 인식 토큰 선택: 저자들은 임의의 어텐션 맵이나 구조적 프루닝에 의존하는 대신, 물체 중심의 활성화를 기준으로 출력 토큰을 체계적으로 평가하는 메커니즘을 제안합니다. 이는 암시적인 의미 신호를 정밀한 공간 히트맵으로 변환합니다.
해석 가능성 및 분석: 논문은 선택된 토큰이 종종 의미 있는 기능적 물체 부품(예: "날", "시트", "핸들")에 대응함을 보여주는 경험적 분석을 제공합니다. 또한, 분석 결과 더 강력한 LVLM 백본(예: 32B vs. 2B)이 더 의미론적으로 관련 있는 토큰을 선택하며, 이것이 개선된 그라운딩 성능과 상관관계가 있음을 나타냅니다.

실험 결과
TokAG는 AGD20K와 HICO-IIF 두 벤치마크 데이터셋에서 평가되었습니다. 이 방법은 최신 약지도 학습 방식 및 파운데이션 모델 기반 베이스라인들과 비교되었습니다.

AGD20K 성능: 미학습 분할(Set 2)에서 TokAG(2B 모델 사용)는 이전 최고 성능의 약지도 학습 방법(Moon et al., 1.368)보다 10.7% 향상된 1.514의 NSS를 달성했습니다. 또한 가장 낮은 KLD(1.060)와 가장 높은 SIM(0.455)을 기록했습니다.
HICO-IIF 성능: TokAG는 1.655의 NSS(32B 모델 사용)를 달성하였으며, 이는 기존 약지도 학습 베이스라인(1.234) 대비 29.7% 증가한 수치입니다.
파운데이션 모델과의 비교: LVLM에 좌표를 직접 프롬프팅하거나 LVLM을 세그멘테이션 모델(예: SAM 3, GroundingDINO)과 결합하는 방식은 현저히 낮은 성능을 보였습니다. 어텐션 맵에서 직접 공간 신호를 추출하는 TokAG의 방식이 단순한 좌표 예측이나 다단계 파이프라인보다 우수함을 입증했습니다.
절제 연구(Ablation Studies): 실험을 통해 모든 레이어와 헤드에 걸쳐 어텐션을 집계하는 것이 특정 레이어나 헤드를 선택하는 것보다 우수함을 확인했습니다. 또한, 공간 인식형 Top-1 토큰 선택 전략이 첫 번째/마지막 토큰 사용 또는 모든 토큰 평균화와 같은 휴리스틱보다 뛰어난 성능을 보였습니다.

의의 및 주장
논문은 TokAG가 제로샷 어포던스 그라운딩의 새로운 SOTA(State-of-the-art)를 구축한다고 주장합니다. 이 연구의 주요 의의는 LVLM이 텍스트 생성 모델임에도 불구하고, 토큰 수준의 어텐션 분석을 통해 접근할 때 정밀한 액션 국지화를 수행할 수 있는 충분한 암시적 공간 지식을 포함하고 있음을 입증했다는 점에 있습니다.

저자들은 이 프레임워크가 매우 효과적이지만, 현재 어포던스가 단일 의미 토큰으로 표현될 수 있다고 가정한다는 점을 언급했습니다. 또한 구성적 어포던스(여러 영역이 필요한 경우, 예: "따르다") 및 양손 상호작용을 처리하는 데 한계가 있음을 인정했습니다. 그러나 본 연구는 값비싼 픽셀 수준의 주석 없이도 고수준의 의미 이해과 저수준의 공간 국지화 사이의 간극을 메움으로써 분야를 크게 진전시킨, 훈련이 필요 없는 기초적인 접근 방식을 제공합니다.

문제점: "눈먼" 가이드

해결책: "슈퍼 리더" (LVLM)

혁신: "스포트라이트 선택기" (TokAG)

왜 더 나은가?

한계점 (Catch)

요약

유사한 논문