AceAction-5M: Hierarchical Goals for Generalist Action Learning Across 3D Game Worlds
이 논문은 범용 에이전트가 역동적인 환경에서 기술 구성 및 하위 목표 전이를 학습할 수 있도록 계층적이고 시간적으로 정렬된 시각-언어-행동 주석을 제공하는, 여러 3D 게임에 걸친 대규모 인간 게임 플레이 데이터셋인 AceAction을 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
기계에게 세상에서 행동하는 법을 가르치기 위해, 연구자들은 에이전트가 보는 것, 달성하고자 하는 것, 그리고 그곳에 도달하기 위해 수행하는 구체적인 움직임 사이의 연결 고리를 보여주는 방대한 사례 라이브러리가 필요합니다. 물리적 세계에서 이러한 종류의 데이터를 수집하는 것은 느리고, 비용이 많이 들며, 위험합니다. 여기에는 로봇, 인간 감독관, 그리고 축적하는 데 수년이 걸릴 수 있는 반복적인 설정이 필요하기 때문입니다. 비디오 게임은 실용적인 대안을 제공합니다. 게임은 인간 플레이어가 매일 복잡한 과업을 수행하는 풍부한 3차원 환경을 제공하며, 모든 시각적 장면은 그것을 만들어낸 정확한 키보드 및 마우스 명령과 완벽하게 짝을 이룰 수 있습니다. 과학자들의 과제는 게임이 끝없는 데이터를 생성함에도 불구하고, 가공되지 않은 게임 플레이를 인공지능을 위한 유용한 학습 내용으로 바꾸는 데는 단순히 영상을 녹화하는 것 이상의 것이 필요하다는 점이었습니다. 그것은 단순히 최종 결과뿐만 아니라, 그 결과로 이어진 단계별 사고 과정, 즉 플레이어가 언제 움직이기로 결정하는지, 언제 탐험에서 전투로 전환하는지, 그리고 어떻게 커다란 목표를 작고 관리 가능한 작업들로 나누는지에 대한 이해를 요구합니다.
한 연구팀은 컴퓨터가 다양한 3D 비디오 게임에서 복잡한 지시를 따르는 법을 가르치기 위해 설계된 AceAction-5M이라는 새로운 데이터 컬렉션을 제작함으로써 이 문제를 해결했습니다. 연구자들은 단순히 일어난 일을 기록하는 대신, 수천 시간의 인간 게임 플레이를 구조화된 계층 구조로 정리했습니다. 그들은 길고 연속적인 플레이 세션을 하나의 명확한 명령 체계, 즉 주요 미션, 일련의 중간 하위 목표, 그리고 각 목표를 달성하기 위해 필요한 구체적이고 순간적인 동작들로 세분화했습니다. 예를 들어, 단일 작업은 "복도를 가로질러 붉은 벽돌 집까지 계단을 올라가는 것"일 수 있습니다. 시스템은 이를 더 세분화합니다. 먼저 플레이어는 오른쪽 문에 도달해야 하고, 그다음에는 계단을 올라가야 하며, 마지막으로 집에 접근해야 합니다. 각 단계는 플레이어가 본 정확한 시각적 장면 및 실행에 사용된 정밀한 키 입력 및 마우스 움직임과 연결됩니다.
이 데이터셋은 Fortnite, Minecraft, Counter-Strike, Euro Truck Simulator 2와 같은 인기 타이틀을 포함하여 매우 다양한 가상 세계를 다룹니다. 총합적으로, 이 컬로렉션은 42개의 서로 다른 게임에서 추출한 5,000시간 이상의 게임 플레이를 포함하며, 이는 540만 개 이상의 뚜렷한 작업 지시와 약 1억 1,600만 개의 개별 키보드 및 마우스 동작을 나타냅니다. 이를 구축하기 위해 연구자들은 자신들의 스튜디오에 있는 프로 플레이어들의 녹화본과 온라인 커뮤니티의 공개 가능한 경기 데이터를 결합했습니다. 그런 다음 고급 컴퓨터 비전 도구를 사용하여 게임 플레이를 관찰하고 플레이어의 목표가 언제 변하는지를 자동으로 식별했습니다. 만약 플레이어가 복도를 걷다가 적을 쏘기 위해 멈췄다면, 시스템은 "걷기" 단계가 종료되고 "전투" 단계가 시작되었음을 인식했습니다. 시스템은 이러한 변화를 별개의 단계로 라벨링하여 모든 하위 목표에 대해 명확한 시작과 종료 시간을 할당했습니다.
이 작업의 핵심적인 부분은 이러한 단계들을 특정 시각적 랜드마크와 연결하는 능력입니다. 플레이어가 목적지를 향해 이동할 때, 시스템은 플레이어가 문, 경사로 또는 특정 방과 같이 인식 가능한 지점에 도착하는 순간을 식별하고 이를 웨이포인트(경유지)로 표시합니다. 이를 통해 데이터는 플레이어가 단순히 움직였다는 것뿐만 아니라, 특정한 목적지를 염두에 두고 움직였다는 것을 보여줄 수 있습니다. 연구자들은 이후 이 웨이포인트들을 더 긴 시퀀스로 그룹화하여 완전한 작업 설명을 형성했습니다. 데이터의 정확성을 보장하기 위해 그들은 엄격한 2단계 검증 과정을 채택했습니다. 첫째, 인공지능 모델이 모든 주석을 검토하여 작성된 설명이 영상 및 기록된 컨트롤과 일치하는지 확인했습니다. 그 다음, 8명의 인간 검토자 팀이 수백 개의 게임 플레이 궤적을 수동으로 조사했습니다. 이 인간 감사 결과, 설명이 95.8%의 확률로 정확하다는 것이 확인되었으며, 이를 통해 언어, 시각, 그리고 행동 사이의 연결이 견고함을 보장했습니다.
그 결과는 인공 에이전트에게 상황이 변함에 따라 어떻게 서로 다른 기술을 전환하는지를 명시적으로 가르치는 데이터셋입니다. 최종 결과만을 설명하거나 모호한 지시를 제공할 수 있는 이전의 컬렉션들과 달리, AceAction-5M은 기계에게 언제 한 활동을 멈추고 다른 활동을 시작해야 하는지를 정확히 보여줍니다. 이는 지도를 탐색하고 적을 정찰하는 것부터 전투에 참여하고 좌절 후에 회복하는 것에 이르기까지 역동적인 환경에서 필요한 전체 범위의 행동을 포착합니다. 이러한 수준의 상세함을 제공함으로써, 연구자들은 에이전트가 복잡하고 다단계적인 지시를 이해하고 인간 플레이어와 같은 유연성으로 이를 실행할 수 있도록 하는 토대를 마련했습니다. 이 연구는 게임 플레이를 명확한 계층적 목표로 조직함으로써, 기계에게 단순히 어떻게 움직이는지가 아니라, 복잡한 목표를 달하기 위해 일련의 행동을 어떻게 생각하며 진행해야 하는지를 가르칠 수 있음을 입증합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.