🤖 machine learning

Moving Out: Physically-grounded Human-AI Collaboration

이 논문은 기존의 이산적이거나 비물리적인 데이터셋의 한계를 해결하는 물리적으로 근거한 인간-AI 협업을 위한 새로운 벤치마크인 "Moving Out"을 소개하며, 에이전트가 다양한 인간 행동과 복잡한 물리적 제약에 적응하는 능력을 향상시키기 위한 BASS 방법을 제안한다.

원저자: Xuhui Kang, Sung-Wook Lee, Haolin Liu, Yuyan Wang, Yen-Ling Kuo

게시일 2026-06-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xuhui Kang, Sung-Wook Lee, Haolin Liu, Yuyan Wang, Yen-Ling Kuo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 왜 로봇에게 소파 옮기기는 어려운가?

당신과 친구가 아파트에서 무겁고 거추장스러운 소파를 옮기려고 노력하는 상황을 상상해 보세요. 단순히 직선으로 밀기만 해서는 안 됩니다. 소파를 기울이고, 좁은 복도 모퉁이를 돌리기 위해 회전시켜야 하며, 물건을 떨어뜨리거나 끼이지 않도록 힘을 조절하며 협력해야 합니다.

이것이 논문에서 말하는 **"물리적 근거를 둔 협업(physically-grounded collaboration)"**입니다. 이는 로봇(AI)이 물리 법칙이 중요한 실제 세상에서 인간과 함께 일하는 것을 의미합니다. 실제 세상에는 무게, 모양, 마찰력이 존재합니다. 둥근 탁자를 밀면 구르고, 사각형 상자를 밀면 미끄러집니다. 무거운 물체를 밀려면 두 사람이 필요합니다.

문제는 현재 대부분의 AI 학습이 "그리드 월드(grid worlds)"(체스판이나 단순한 비디오 게임 같은 환경)에서 이루어진다는 점입니다. 그런 게임에서는 단순히 칸을 클릭하여 이동할 뿐입니다. 거기에는 무게도, 관성도, 까다로운 각도도 없습니다. 저자들은 실제로 가구를 옮길 수 있는 로봇을 만들려면, 실제 세상처럼 느껴지는 환경에서 훈련시켜야 한다고 주장합니다.

해결책: "Moving Out" (벤치마크)

저자들은 Moving Out이라는 새로운 테스트 환경을 만들었습니다. 이것은 현실적인 물리 엔진 기반으로 작동하는 2D 비디오 게임 시뮬레이터라고 생각하면 됩니다.

게임 방식: 두 에이전트(AI 하나와 인간 또는 다른 AI 하나)가 다양한 물체(별, 원, 다각형 등)를 시작 지점에서 "목표 구역"으로 옮겨야 합니다.
반전 요소: 물체들은 단순한 아이콘이 아닙니다. 질량(어떤 것은 무겁고 어떤 것은 가볍습니다), 모양(어떤 것은 구석에 끼이고 어떤 것은 구릅니다), 크기(어떤 것은 한 명이 필요하고 어떤 것은 두 명이 필요합니다)를 가지고 있습니다.
목표: AI는 다음과 같은 사실을 스스로 파악하는 법을 배워야 합니다: "아, 이 상자는 무거우니까 파트너에게 도움을 요청해야겠구나" 또는 "이 복도는 좁으니까 테이블을 옆으로 돌려서 통과해야겠다."

두 가지 큰 도전 과제

논문은 AI가 실제 삶을 다룰 만큼 똑똑한지 확인하기 위해 두 가지 특정 테스트를 설정했습니다.

"새로운 파트너" 테스트 (인간에게 적응하기):
당신이 항상 방의 왼쪽에서 걷는 친구와 게임을 한다고 상상해 보세요. 그다음에는 항상 오른쪽에서 걷는 다른 친구와 게임을 합니다. 좋은 팀원은 상대에게 적응합니다.

테스트 내용: AI는 36명의 서로 다른 인간 플레이어로부터 얻은 데이터로 학습됩니다. 그 후, 한 번도 만난 적 없는 인간을 상대로 테스트를 받습니다. AI가 이 낯선 사람의 독특한 스타일에 맞춰 협력할 수 있을까요?
결과: 대부분의 AI는 여기서 실패합니다. 왜냐하면 그들은 훈련 파트너의 특정 움직임을 암기해 버리기 때문입니다. 파트너가 예상과 조금만 다르게 행동해도 혼란에 빠집니다.

"새로운 물체" 테스트 (물리에 적응하기):
당신이 작은 나무 의자를 옮기는 연습을 했다고 가정해 봅시다. 그런데 갑자기 거대하고 무거운 강철 금고를 옮겨야 합니다.

테스트 내용: AI는 특정 무게와 모양을 가진 물체들로 학습됩니다. 그 후, 본 적 없는 새로운 무게와 모양의 물체들을 대상으로 테스트를 받습니다.
결과: AI는 단순히 특정 상자를 옮기는 법을 암기하는 것이 아니라, "무거움"이나 "모양"이라는 개념을 이해해야 합니다.

새로운 방법론: BASS (행동 증강, 시뮬레이션 및 선택)

이 문제들을 해결하기 위해 저자들은 BASS라는 새로운 방법을 발명했습니다. 작동 방식은 요리 비유를 통해 설명할 수 있습니다.

1. 행동 증강 (Behavior Augmentation - "만약에?" 요리사)
보통 로봇에게 인간이 가구를 옮기는 영상을 보여주며 가르치면, 로봇은 보이는 것을 그대로 복사합니다. 하지만 인간은 서투릅니다. 때로는 비틀거리기도 하고, 세게 밀기도 하며, 기다리기도 합니다.

BASS의 기술: AI는 훈련 영상들을 가져와서 "가짜" 새로운 영상들을 만들어냅니다. 시작점과 끝점이 완벽하게 일치한다면, 한 사람의 움직임 일부를 다른 사람의 움직임과 교체하는 방식입니다.
비유: 당신이 춤을 배우고 있다고 상상해 보세요. 당신은 무용수의 영상을 보고 있습니다. BASS는 한 노래의 발놀림과 다른 노래의 팔 동작을 가져오되, 박자가 맞을 때만 결합합니다. 이를 통해 AI는 단 하나의 스타일이 아니라, 수많은 다양한 스타일을 다룰 수 있도록 수천 개의 유효한 새로운 댄스 루틴을 만들어냅니다.

2. 시뮬레이션 (Simulation - "정신적 리허설")
AI는 움직임을 실행하기 전에 단순히 추측하지 않습니다. 대신 "정신적 시뮬레이션"을 돌립니다.

BASS의 기술: AI는 스스로에게 묻습니다. "내가 상자를 이렇게 밀고, 내 파트너가 저렇게 민다면, 어떤 일이 벌어질까?" 그리고 물체의 미래 상태를 예측합니다 기계적으로 계산합니다.
비유: 당신이 기내 선반에 가방을 밀어 넣으려고 할 때, 머릿속으로 빠르게 체크합니다. "이걸 왼쪽으로 기울이면 들어갈까? 아래로 누르면 조명에 부딪힐까?" BASS는 모든 가능한 움직임에 대해 이 계산을 즉각적으로 수행합니다.

3. 선택 (Selection - "최선의 선택")
미래를 시뮬레이션한 후, AI는 성공 가능성이 가장 높은 움직임을 고릅니다.

BASS의 기술: 목표에 가장 가깝게 물체를 가져가면서도 끼이지 않는 동작을 선택합니다.
비유: 당신에게 꽉 끼어 있는 문을 여는 세 가지 방법이 있습니다. 당신은 머릿속으로 세 가지를 모두 시도해 보고, 어떤 것이 가장 잘 작동할지 상상해 본 뒤, 실제로 그 동작을 수행합니다.

결과: 성공했는가?

저자들은 BASS를 다른 표준적인 AI 방식들(단순 복사나 일반적인 게임 알고리즘 등)과 비교 테스트했습니다.

보지 못한 인간을 상대로: BASS는 낯선 사람과 협력하는 데 훨씬 뛰어났습니다. 인간 파트너가 예상과 다르게 행동해도 혼란을 겪지 않았습니다.
새로운 물체를 상대로: BASS는 새로운 모양과 무게를 훨씬 더 잘 다루었습니다. 특정 무거운 물체를 본 적이 없더라도, 무거운 물체에는 더 큰 힘이 필요하다는 개념을 이해했습니다.
인간의 피드백: 실제 인간이 BASS AI와 함께 플레이했을 때, 인간들은 AI가 더 도움이 되고 "인간답다"고 느꼈다고 보고했습니다. 인간들은 AI가 언제 자신이 도움이 필요한지, 그리고 언제 혼자 작업하도록 내버려 두어야 하는지를 이해한다고 느꼈습니다.

요약

이 논문은 우리가 실제 세상(가구 옮기기 등)에서 진정으로 도움을 줄 수 있는 로봇을 만들려면, 단순한 그리드 게임만으로는 부족하다고 주장합니다. 우리는 무게와 모양이 중요한 물리 기반 환경에서 훈련시켜야 합니다.

그들은 이를 테스트하기 위해 Moving Out이라는 새로운 게임을 만들었고, BASS라는 새로운 AI 방법을 개발했습니다. BASS는 다양한 시나리오를 "상상"하고 다양한 스타일의 파트너와 연습하는 방식으로 작동합니다. 그 결과, 인간이 예측 불가능하거나 물체가 특이하더라도 인간과 훨씬 더 잘 협력할 수 있는 AI가 탄생했습니다.

기술 요약: Moving Out: 물리적으로 근거한 인간-AI 협업

문제 정의

Overcooked-AI와 같은 기존의 인간-AI 협업 벤치마크는 주로 이산적(discrete), 상징적(symbolic) 또는 태스크 수준의 액션 공간에 의존합니다. 이러한 환경은 상호작용 역학을 단순화하여, 에이전트가 연속적인 상태-액션 공간에서 작동하는 물리적 세계의 복잡성을 포착하지 못합니다. 물리적 환경에서 협업은 연속 변수(위치, 방향), 객체 속성(질량, 모양, 크기), 그리고 접촉 역학(마찰, 충돌)에 의해 제약됩니다. 이러한 요소들은 미세한 인간의 행동 변화(예: 회전 각도, 가해진 힘)가 결과를 극적으로 바꿀 수 있는 고차원적인 구성 공간(configuration space)을 생성합니다.

본 논문은 중요한 격차를 식별합니다: 현재의 방법론들은 다양한 인간의 행동과 보이지 않는 물리적 제약에 동시에 적응하는 데 어려움을 겪습니다. 구체적으로, 셀프 플레이(self-play)를 통해 학습된 에이전트는 서로 다른 행동 패턴을 가진 인간 파트너에게 일반화되지 못하는 경우가 많으며, 고정된 물리적 속성에 대해 학습된 모델은 새로운 객체 특성(예: 다른 질량이나 모양)에 일반화되지 못합니다. 저자들은 이 문제를 AI 에이전트가 알려지지 않은 인간 정책의 분포( $D$ )에 맞서 정책을 최적화하는 동시에, 가능한 상태 전이를 제한하는 물리적 제약( $\Gamma$ )을 탐색해야 하는 분산 마르코프 결정 과정(Dec-MDP)으로 정의합니다.

방법론: BASS

이러한 과제를 해결하기 위해, 저자들은 연속적인 물리 환경에서 에이전트의 다양성과 액션 이해도를 높이기 위해 설계된 새로운 프레임워크인 BASS(Behavior Augmentation, Simulation, and Selection)를 제안합니다.

1. 행동 증강 (Behavior Augmentation)

표준적인 궤적 증강(예: 노이즈 추가)은 협업에 필요한 일관성을 깨뜨릴 수 있기 때문에 다중 에이전트 협업에는 불충분합니다. BASS는 유효한 증강 데이터를 생성하기 위해 두 가지 특정 전략을 사용합니다.

포즈 섭동 (Pose Perturbation): 다른 상태 변수는 그대로 유지한 채 파트너의 포즈에 작은 가우시안 노이즈를 추가합니다 ( $\tilde{p}_{partner} = p_{partner} + \epsilon$ ). 이는 자연스러운 인간의 움직임 변화를 모사하며 작은 편차에 대한 강건성을 향상시킵니다.
하위 궤적 재조합 (Sub-trajectory Recombination): 두 개의 서로 다른 데모에서 에이전트 A가 거의 동일한 상태(오차 범위 $\epsilon_{pose}$ 이내)에서 시작하고 끝나는 구간을 식별합니다. 그런 다음 두 데모 사이에서 에이전트 B의 해당 하위 궤적을 교체합니다. 이를 통해 에이전트 A의 의도는 일관되게 유지하면서도 모델이 다양한 파트너 행동에 노출되도록 하여, 물리적으로 유효하지 않은 상태를 만들지 않으면서도 협업 전략의 다양성을 효과적으로 높입니다.

2. 시뮬레이션 및 액션 선택 (Simulation and Action Selection)

실제 배포 환경에서는 시행착오를 위한 물리 엔진에 접근할 수 없으므로, BASS는 미래 상태를 예측하기 위해 **잠재 역학 모델(latent dynamics model)**을 학습시킵니다.

아키텍처: 시스템은 상태를 잠재 공간으로 인코딩하기 위해 두 개의 오토인코더(VAE)를 사용합니다. 역학 모델( $f$ )은 현재 잠재 상태( $z_t$ ), 에이전트의 액션( $a_t$ ), 그리고 예측된 파트너의 액션( $a^{(p)}_t$ )을 입력받아 다음 잠재 상태( $z_{t+1}$ )를 예측합니다.
파트너 액션 예측: 전용 예측기가 현재 상태를 기반으로 파트너의 액션을 예측합니다.
액션 선택: 추론 시, 정책은 여러 후보 액션을 생성합니다. 역학 모델은 각 후보의 결과를 시뮬레이션하여(예측된 파트너 액션 고려) 결과로 나타날 미래 상태를 추정합니다. 에이전트는 정규화된 최종 거리(Normalized Final Distance, NFD)—객체와 목표 영역 사이의 거리 감소량—를 기반으로 보상 함수를 최대화하는 액션을 선택합니다. 이를 통해 에이전트는 실시간 시뮬레이터 없이도 협업에 가장 효과적인 액션을 선택할 수 있습니다.

주요 기여

Moving Out 벤치마크: 2D 강체 엔진(rigid-body engine)을 기반으로 구축된 연속적이고 물리 기반인 환경을 도입했습니다. 기존 벤치마크와 달리, 이 환경은 현실적인 물리적 제약(마찰, 질량, 모양)을 특징으로 하며 에이전트가 좁은 통로를 통과하고 힘을 조율할 것을 요구합니다.
두 가지 새로운 도전 과제:
- 챌린지 1 (다양한 인간 행동에 대한 적응): 36명의 참가자로부터 수집된 1,000개 이상의 인간-인간 데모 데이터셋을 사용하여 보이지 않는 인간 전략에 대한 일반화 능력을 평가합니다.
- 챌린지 2 (보이지 않는 물리적 제약에 대한 일반화): 무작위화된 물리적 속성을 가진 맵에서 4명의 전문가로부터 얻은 720개의 데모를 사용하여 새로운 객체 속성(질량, 크기, 모양)에 대한 일반화 능력을 평가합니다.
BASS 프레임워크: 다양성을 위한 행동 증강과 물리적 추론을 위한 시뮬레이션 기반 액션 선택을 결합함으로써 베이스라인(MLP, GRU, Diffusion Policy, MAPPO)을 크게 상회하는 성능을 보여주는 방법론입니다.

실험 결과

저자들은 AI-AI 및 인간-AI 설정 모두에서 여러 베이스라인(MLP, GRU, Diffusion Policy, MAPPO)을 대상으로 BASS를 평가했습니다.

보이지 않는 행동에 대한 적응 (챌린지 1): BASS는 우수한 강건성을 입증했습니다. 보이지 않는 인간 행동에 대해 테스트했을 때(교차 그룹 평가), BASS는 베이스라인들에 비해 작업 완료율(TCR)과 정규화된 최종 거리(NFD)의 하락 폭이 가장 작았습니다. 예를 들어, 표준 Diffusion Policy(DP)의 TCR이 20.72% 하락할 때, DP/BASS는 14.07%만 하락했습니다.
보이지 않는 제약에 대한 일반화 (챌린지 2): BASS는 TCR과 NFD 모두에서 베이스라인을 지속적으로 앞질렀습니다. 시뮬레이션 기반 선택 덕분에 에이전트는 객체의 질량, 크기, 모양의 변화에 더 잘 적응할 수 있었던 반면, 베이스라인들은 새로운 물리적 구성에서 어려움을 겪었습니다.
인간-AI 협업: 32명의 인간 참가자를 대상으로 한 사용자 연구에서, BASS는 작업 완료율(TCR: 0.6512 vs DP: 0.3855)을 크게 높였고 대기 시간을 줄였습니다. 참가자들은 BASS가 "도움됨(Helpfulness)"과 "물리 이해도(Physics understanding)" 측면에서 더 높게 평가하였으며, 이는 인간의 의도와 더 잘 정렬되어 있음을 나타냅니다.
절제 연구 (Ablation Studies): 다중 에이전트 시뮬레이션 구성 요소나 행동 증강을 제거하면 성능이 크게 저하되었으며, 이는 파트너의 역학을 모델링하고 다양한 행동을 증강하는 것이 성공에 모두 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 Moving Out이 물리적 제약 하에서의 연속적인 저수준 모션 제어를 연구하기 위해 특별히 설계된 인간 수집 데이터셋을 갖춘 첫 번째 벤치마크라고 주장합니다. 저자들은 기존 모델들이 연속적인 상태-액션 공간과 상호작용 역학에 미치는 물리적 속성의 영향을 고려하지 못하기 때문에, 물리적으로 근거한 협업에 불충분하다고 주장합니다.

저자들은 BASS를 모델의 적응성을 개선하기 위한 기초적인 단계로 위치시킵니다. 시뮬레이션을 통해 액션의 결과를 명시적으로 모델링하고 다양한 파트너 전략을 커버하도록 행동을 증강함으로써, 에이전트가 보이지 않는 AI 파트너 및 인간과 더 효과적으로 협업할 수 있다고 주장합니다. 이 연구는 향후 연구가 실제 세계의 물리적 상호작용의 복잡성을 다루기 위해 상징적 또는 이산적인 환경을 넘어 이동해야 하며, 여기에는 더 나은 인간-AI 협업의 이론적 이해와 명시적인 통신 채널의 통합이 필요함을 시사합니다.

논문은 BASS가 실패율을 줄이지만(예: 실패 사례를 약 0.8에서 ~0.34로 감소), 연속적인 물리적 협업에서 모든 실패 패턴을 효과적으로 해결하는 것은 여전히 향후 연구의 중대한 과제로 남아 있다는 점을 인정하며 겸허하게 마무리됩니다.