💻 computer science

Gaze2Act: Gaze-Conditioned Vision-Language-Action Policies for Interactive Robot Manipulation

Gaze2Act는 인간의 시선을 동적 의도 신호로 통합하여 로봇 조작을 향상시키고, 에고-엑소 뷰 간극을 연결하여 Unitree G1 휴머노이드에서 객체 모호성 해소, 세밀한 상호작용, 그리고 동적 의도 조종 분야에서 최첨단 성능을 달성하는 새로운 비전-언어-액션 프레임워크입니다.

원저자: Kuangji Zuo, Gen Li, Bofan Lyu, Yanshuo Lu, Boyu Ma, Shijia Han, Xinyu Zhou, Xichen Yuan, Chuhao Zhou, Jiaqi Bai, Geng Li, Jianfei Yang

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kuangji Zuo, Gen Li, Bofan Lyu, Yanshuo Lu, Boyu Ma, Shijia Han, Xinyu Zhou, Xichen Yuan, Chuhao Zhou, Jiaqi Bai, Geng Li, Jianfei Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 부엌에서 도와달라고 가르치려 한다고 상상해 보세요. "저 컵 좀 건네줘."라고 말하지만, 테이블 위에는 다섯 개의 컵이 있습니다: 빨간 컵 하나, 파란 컵 하나, 금이 간 컵 하나, 그리고 똑같은 흰 컵 두 개. 만약 단순히 "그 컵"이라고만 말한다면, 로봇은 잘못된 컵을 집거나, 더 나쁘게는 당신이 원하지 않는 컵을 집어올릴 수 있습니다.

이것이 논문 Gaze2Act가 해결하려는 문제입니다. 이 논문은 인간의 언어가 로봇이 정확히 무엇을 원하는지 이해하기에 종종 너무 모호하다고 주장합니다. 특히 정밀함이 필요할 때나 작업 도중 생각이 바뀔 때 더욱 그렇습니다.

다음은 이 논문이 간단한 비유를 사용하여 그들의 해결책을 설명하는 방식입니다:

핵심 아이디어: "눈이 손을 이끈다"

저자들은 인간이 자연스럽게 하는 한 가지 사실을 발견했습니다: 우리는 만지기 전에 만지려는 물체를 바라봅니다. 특정 사과를 집어 올리려 한다면, 손이 뻗어 나가기 직전에 눈이 그 사과에 잠깐 고정됩니다.

이 논문은 로봇에게 단순히 말하는 대신, 로봇이 우리의 시선이 어디에 머무는지 "보게" 해야 한다고 제안합니다. 그들은 이를 Gaze2Act라고 부릅니다. 이는 마치 당신이 실시간으로 무엇에 집중하고 있는지 정확히 보여 주는 "마음 읽기 안경"을 로봇에게 주는 것과 같습니다.

작동 원리: 세 단계의 마술

이 논문은 당신이 보는 것과 로봇이 보는 것 사이의 간극을 메우는 시스템을 설명합니다.

1. 번역기 (교차 시야 정합, Cross-View Grounding)

문제: 당신은 스마트 안경을 쓰고 당신의 시점에서 컵을 바라보고 있습니다. 로봇은 다른 각도에서 같은 컵을 바라보고 있습니다. 당신의 "시선 지점"(눈이 바라보는 곳) 은 로봇의 카메라 화면과 일치하지 않습니다.
해결: 이 시스템은 초지능 번역기처럼 작동합니다. 당신의 시선 지점을 가져와 "시각 매칭" 도구를 사용하여 로봇의 카메라 화면에서 정확히 같은 물체를 찾습니다. 그리고 당신이 바라보는 물체 주위에 디지털 마스크 (형광펜과 같은) 를 그려 당신이 주시하는 정확한 지점을 표시합니다.
비유: 언덕에서 숲속의 특정 나무를 가리킨다고 상상해 보세요. 로봇은 언덕 아래에 있습니다. 시스템은 각도가 완전히 다르더라도 로봇의 화면에서 그 정확한 나무 주위에 빛나는 원을 즉시 그립니다.

2. 하이라이터 (지각 수준 프롬프팅, Perception-Level Prompting)

문제: "어디"인지 아는 것만으로는 부족합니다. 로봇은 그 정보를 가지고 무엇을 해야 하는지 알아야 합니다.
해결: 시스템은 그 디지털 하이라이트를 가져와 로봇이 보는 이미지 위에 직접 칠합니다.
- 전체 물체를 잡아야 한다면, 물체 주위에 색상 윤곽선을 그립니다.
- 망치의 손잡이처럼 작고 구체적인 부분을 만져야 한다면, 그 손잡이 바로 위에 히트맵(빛나는 붉은 점) 을 칠합니다.
비유: 지도에서 가고 싶은 도시 주위에 빨간 원을 그려 로봇이 어떤 도시를 의미하는지 추측하지 않도록 하는 선생님이 손가락으로 가리키는 것과 같습니다.

3. 내면의 목소리 (행동 수준 조건부, Action-Level Conditioning)

문제: 때로는 로봇에게 그림을 보여주는 것만으로는 완벽하게 움직이게 하기에 충분하지 않습니다. 로봇이 여전히 약간 혼란스러울 수 있습니다.
해결: 시스템은 로봇에게 그림을 보여줄 뿐만 아니라, 로봇의 "뇌"(행동 생성 코드) 에 직접 비밀 지시를 속삭입니다. "이봐, 다른 건 다 무시하고 이 특정 빛나는 점에만 집중해."라고 말해 주는 것입니다.
비유: 골대를 가리키는 것뿐만 아니라, 선수의 어깨를 두드리며 "옆이 아닌 그 곳으로 곧장 달려가라"고 말하는 코치와 같습니다.

그들이 테스트한 것 ("현실 세계" 증명)

연구진들은 사람처럼 생긴 휴머노이드 로봇인 Unitree G1에서 이를 테스트했습니다. 그들은 다음을 포함한 16 가지 다른 작업을 주었습니다:

많은 유사한 컵이 있을 때 올바른 컵을 선택하기 (모호성 해소).
망치의 머리 대신 손잡이처럼 물체의 특정 부분을 잡기 (세밀한 상호작용).
도중 목표 변경. 로봇이 빨간 컵을 향해 걷기 시작했는데, 갑자기 파란 컵을 바라본다고 상상해 보세요. 로봇은 멈추고, 당신의 생각이 바뀌었음을 깨닫고 파란 컵으로 전환합니다.

결과

이 논문은 Gaze2Act가 언어만 듣는 로봇이나 텍스트 설명을 기반으로 추측하려는 로봇보다 훨씬 더 뛰어났다고 주장합니다.

언어만 사용하는 로봇은 쉽게 혼란을 겪었습니다 (어려운 작업에서 약 33% 성공률).
Gaze2Act는 거의 매번 정확했습니다 (약 89% 성공률).
특히 다른 로봇들이 어려워했던 사용자의 시선이 이동할 때 목표를 변경하는 데 특히 뛰어났습니다.

결론

이 논문은 시선이 로봇에게 정확히 무엇을 원하는지 알려 주는 자연스럽고 노력이 적은 방법이라고 결론지었습니다. 이는 추측을 제거합니다. 로봇 프로그래머가 되거나 완벽한 코드로 말할 필요가 없습니다. 로봇에게 무엇을 하길 원하는지 바라보기만 하면, 로봇은 당신의 눈을 따라갈 것입니다.

논문에서 언급된 한계점:
이 시스템은 아직 완벽하지 않습니다. 머리를 너무 빠르게 움직이거나 시야가 가려지면 (가림 현상), 로봇이 혼란을 겪을 수 있습니다. 또한, 이 시스템은 당신이 만지려는 의도를 가지고 바라본다고 가정하지만, 때로는 사람들의 눈이 방황하거나 실제로 잡으려는 것이 아닌 것을 바라볼 수도 있습니다.

기술 요약: Gaze2Act

문제 정의

비전 - 언어 - 행동 (VLA) 모델이 언어 지시를 통해 로봇 학습을 발전시켰지만, 상호작용적 조작에서 근본적인 병목 현상에 직면해 있습니다. 언어만으로는 정밀한 인간의 의도를 전달하기에 종종 불충분합니다. 사용자는 시각적으로 유사한 후보들 중 구체적으로 어떤 객체와 상호작용할지, 객체의 어디에 정밀하게 작용할지 (세밀한 상호작용), 또는 실행 중 대상을 어떻게 동적으로 수정할지 명시적으로 설명하는 데 자주 어려움을 겪습니다. 언어를 공간 표현 (예: 바운딩 박스 또는 마스크) 으로 변환하는 기존 접근법은 언어의 고유한 모호성을 계승하며, 실시간 동적 의도 업데이트에 필요한 시간적 연속성이 부족합니다. 식별된 핵심 한계는 정적 언어 지시를 보완할 직접적이고 지속적으로 업데이트되며 공간적으로 정밀한 의도 신호의 부재입니다.

방법론

저자들은 인간 시선을 동적 의도 신호로 활용하여 VLA 정책을 보강하는 Gaze2Act 프레임워크를 제안합니다.该系统은 고정된 Eagle2 VLM 과 Diffusion Transformer 행동 헤드를 갖춘 GROOT N1.5 백본을 사용하는 Unitree G1 휴머노이드 로봇에서 작동합니다. 방법론은 세 가지 통합 단계를 거칩니다:

1. 교차 뷰 시선 그라운딩

인간의 1 인칭 (자기 중심) 시점과 로봇의 시점 간의 간극을 해소하기 위해, Gaze2Act 는 마커 없이, 학습 없이, 보정 없이 작동하는 의미 매칭 메커니즘을 사용합니다:

특징 추출: DINOv3(ViT-L/16) 을 활용하여 인간의 자기 중심 이미지와 로봇의 관측치로부터 다층 패치 특징을 추출합니다.
대략적 매칭: 음성 트리거가 발생하면, 시스템은 인간의 뷰에서 SAM3 를 사용하여 참조 객체를 분할합니다. 그런 다음 패치 특징을 평균화하고 가장 높은 코사인 유사도를 가진 마스크를 선택함으로써 로봇 뷰에서 생성된 후보 마스크와 이 참조를 매칭합니다.
세밀한 매칭: 선택된 객체 내의 특정 상호작용 지점을 국소화하기 위해, 시스템은 인간 뷰의 시선 지점 주변에서 이웃 특징 벡터를 추출하고, 로봇 뷰의 대략적 마스크 내의 밀집 특징과 매칭합니다.
출력: 이 과정은 대상 마스크 ( $m_t$ ) 와 고정점 ( $p_t$ ) 으로 구성된 통합된 공간 표현을 산출합니다.

2. 지각 수준 시선 프롬프팅

그라운딩된 단서 ( $m_t, p_t$ ) 는 명시적인 공간 지시를 제공하기 위해 로봇의 시각적 관측에 직접 렌더링됩니다:

윤곽선 오버레이: 관심 대상을 지정하기 위해 대상 마스크의 경계를 따라 컬러 윤곽선이 그려지며, 이는 범주 무관 언어 지시 (예: "윤곽선이 그려진 객체를 들어 올리세요") 를 가능하게 합니다.
시선 히트맵: 고정점은 마스크 영역 내 $p_t$ 를 중심으로 하는 2D 등방성 가우시안 히트맵으로 변환됩니다. 이는 취약한 단일 점 입력을 대체하여 세밀한 부분 수준의 상호작용을 위한 부드럽고 강력한 신호를 제공합니다.

3. 행동 수준 시선 조건부

시각적 지각을 넘어 시선 신호가 정책의 의사결정에 직접 영향을 미치도록 하기 위해, 시스템은 행동 헤드에 시선 정보를 주입합니다:

시선 토큰 구성: 마스크와 고정점은 컴팩트한 공간 토큰 ( $c^{gaze}_t$ ) 으로 인코딩됩니다. 여기에는 위치 경로 (사인파 인코딩) 와 객체 경로 (대상 컷에 고정된 DINOv3 ViT 인코더 사용) 가 포함됩니다.
분리된 교차 어텐션: Diffusion Transformer(DiT) 내 기존 비전 - 언어 경로와 병렬로 새로운 교차 어텐션 브랜치가 추가됩니다. 이 브랜치는 별도의 키/값 프로젝션을 통해 시선 토큰을 탈노이즈 과정에 주입합니다.
안정화된 주입: 시선 브랜치의 출력 프로젝션은 0 으로 초기화됩니다. 이는 추가된 브랜치가 초기에는 "작동 없음 (no-op)"으로 작용하여 사전 훈련된 정책의 사전 지식을 보존하면서, 조작 목표에서 시선 영향을 점진적으로 학습할 수 있도록 보장합니다.

주요 기여

연속적 의도 인터페이스로서의 시선: 이 논문은 VLA 정책에 대한 새로운, 연속적이며 동적인 모달리티로서 인간 시선을 제안하여, 객체 수준, 부분 수준, 그리고 동적으로 진화하는 시나리오 전반에 걸쳐 정밀한 대상 지정을 가능하게 합니다.
Gaze2Act 프레임워크: 마커나 보정 없이 1 인칭 시선을 로봇의 시각 공간에 그라운딩하고, 지각 수준의 시각적 프롬프팅과 행동 수준의 공간 조건부 모두를 통해 이러한 단서들을 통합하는 완전한 시스템입니다.
포괄적인 실세계 평가: 일곱 가지 작업 범주와 16 가지 실제 로봇 작업에 걸친 Unitree G1 휴머노이드에 대한 광범위한 테스트를 통해, 모호성 해소, 국소화, 동적 조향 분야에서 베이스라인 대비 일관된 개선을 입증했습니다.

실험 결과

이 프레임워크는 모호한 객체, 보이지 않는 객체, 투명한 객체, 구성적 작업, 서브파트 그리핑, 그리고 동적 의도 조향이 포함된 16 가지 작업에서 평가되었습니다.

객체 모호성 해소: 모호하거나 보이지 않거나 투명한 객체가 포함된 작업에서 Gaze2Act 는 언어만 사용하는 베이스라인 (Vanilla GROOT: 약 34%) 과 마스크 기반 베이스라인 (RoboGround/ControlVLA: 약 60–80%) 에 비해 훨씬 높은 의도 정확도 (예: 모호한 객체에서 92–100%) 를 달성했습니다.
세밀한 상호작용: 서브파트 그리핑 (예: 망치 손잡이 대 머리) 과 부분 조건부 행동의 경우, Gaze2Act 는 평균 의도 정확도 80.4% 와 작업 성공률 72.4% 를 달성한 반면, 베이스라인은 부분별 조건을 제공할 수 없었습니다.
동적 의도 조향: 실행 중간에 대상이 변경되는 장기 작업에서 Gaze2Act 는 30 회 시도 중 14 회 성공적으로 로봇을 재지시하여, 마스크 업데이트에도 불구하고 진행 중인 조작을 업데이트하는 데 어려움을 겪던 베이스라인 (4–5/30) 을 능가했습니다.
애블레이션 연구: 결과는 지각 수준 프롬프팅과 행동 수준 조건부가 상호 보완적임을 확인시켰습니다. 시각적 프롬프팅만으로도 부분 수준 성공률이 향상되었고, 행동 수준 조건부는 구성적 작업에서 객체 바인딩을 개선했습니다. 시선 브랜치의 0 초기화는 안정적인 미세 조정을 위해 결정적임이 입증되었습니다.

중요성과 주장

이 논문은 Gaze2Act 가 인간 - 루프 VLA 제어에 대해 자연스럽고, 부담이 적으며, 매우 표현력 있는 모달리티로서 인간 시선을 입증한다고 주장합니다. 인간 행동에 내재된 "눈이 손을 이끔" 조율을 활용함으로써, 이 프레임워크는 언어만 사용하는 인터페이스의 모호성과 시간적 불연속성을 극복합니다. 저자들은 그들의 접근법이 로봇이 관련 영역에 주의를 기울이고 동적 의도 하에서 정밀한 상호작용을 수행할 수 있게 하여, 고수준 작업 설명 (언어) 과 저수준 공간 실행 (시선) 간의 간극을 효과적으로 메운다고 주장합니다. 이 연구는 시선이 단순한 관찰 신호가 아니라 현대 VLA 아키텍처에 원활하게 통합되어 상호작용적 조작 능력을 향상시킬 수 있는 모터 의도의 직접적인 발현임을 강조합니다.