🤖 machine learning

ASH: Agents that Self-Hone via Embodied Learning

원저자: Benjamin Schneider, Xavier Schneider, Victor Zhong, Sun Sun

게시일 2026-05-15

📖 3 분 읽기☕ 가벼운 읽기

원저자: Benjamin Schneider, Xavier Schneider, Victor Zhong, Sun Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마치 포켓몬스터나 젤다의 전설처럼 매우 길고 복잡한 비디오 게임을 배우려는데, 설명서도, 선생님도, 어떤 버튼을 눌러야 하는지 알려주는 사람도 없다고 상상해 보세요. 이런 일을 하려는 대부분의 컴퓨터 프로그램은 몇 시간 만에 막히곤 합니다. 왜냐하면 인간이 꼼꼼하게 라벨을 붙인 방대한 데이터나 미리 작성된 규칙에 의존하기 때문입니다.

이 논문은 ASH(Embodied Learning 을 통한 자기 연마 에이전트)라는 새로운 시스템을 소개합니다. ASH 를 스크립트를 따르는 로봇이 아니라, 구글 사용법을 아는 호기심 많은 인간 플레이어로 생각하세요.

ASH 가 작동하는 방식을 간단한 단계로 나누어 설명하면 다음과 같습니다:

1. "막힘" 순간

ASH 가 게임을 시작합니다. 이는 단기 기억 (지난 30 초 동안 일어난 일) 과 장기 기억 (이전에 본 중요한 순간들) 을 가지고 있습니다. 벽에 부딪힐 때까지 게임을 진행하다가, 몬스터를 싸우는 방법을 모르거나 미로에서 어느 길을 가야 할지 모를 때 멈춥니다. 논문의 용어로 말하면 "막히게" 됩니다.

2. "구글 검색"

ASH 가 막히면 포기하지 않습니다. 대신 방금 화면에서 본 것을 바탕으로 인터넷 (구체적으로는 방대한 양의 유튜브 비디오 모음) 으로 나가 다른 사람들이 게임을 하는 모습을 찾습니다. 현재 막힌 순간과 정확히 일치하는 비디오를 검색합니다.

3. "스마트 필터"

인터넷은 잡음으로 가득 차 있습니다. ASH 는 무작위 비디오를 그냥 보는 것이 아니라, 핵심 순간을 찾아내는 특수 도구를 사용합니다. 누군가가 게임을 하는 20 시간 분량의 비디오를 본다고 가정해 보세요. 보스전을 어떻게 치르는지 배우려면 전체를 볼 필요는 없습니다. 그들이 전략을 터득하는 특정 30 초만 보면 됩니다. ASH 는 자동으로 이러한 "하이라이트 릴"을 찾아 장기 기억에 저장합니다.

4. "역공학"

이제 까다로운 부분입니다: ASH 가 찾은 인터넷 비디오는 보통 화면만 보여줄 뿐, 버튼 누름 동작은 보여주지 않습니다. ASH 는 "번역기"(역동역학 모델, Inverse Dynamics Model) 를 가지고 있어 비디오를 보고 "좋아, 이 화면에서 저 화면으로 가려면 플레이어가 'A'를 누른 다음 '위'를 눌러야 했겠군"이라고 추측합니다. 소리가 없는 비디오를 일련의 명령어로 변환하는 것입니다.

5. "자기 개선" 루프

이제 ASH 는 그 새로운 명령어를 받아 연습합니다. 다음에 막혔을 때 무엇을 해야 할지 알 수 있도록 자신의 뇌 (정책) 를 업데이트합니다. 그 후 다시 게임을 합니다. 나중에 다른 문제에서 다시 막히면 전체 과정을 반복합니다: 막히기, 인터넷 검색, 트릭 학습, 그리고 계속 진행하기.

결과: 왜 중요한가

연구진은 ASH 를 두 가지 매우 다른 게임에서 테스트했습니다:

포켓몬스터 에메랄드: 모험을 떠나 몬스터를 잡고 전투를 벌이는 전략 게임.
젤다의 전설: 미니쉬 캡: 실시간으로 뛰고, 점프하고, 퍼즐을 풀고, 적과 싸우는 액션 게임.

그들은 ASH 를 다른 AI 방법들과 비교했습니다:

"교과서" 학습자: 이러한 시스템은 미리 라벨이 붙은 방대한 동작 데이터셋에서 학습하려 했습니다. 이전에 보지 못한 새로운 상황에 대처하지 못해 일찍 막혔습니다.
"천재" 모델: 훈련 없이 답을 추측하려는 거대한 AI 모델들입니다. 이들은 종종 "환각"(사실을 왜곡하거나 만들어냄) 을 일으켜 벽에 부딪히거나 존재하지 않는 캐릭터와 대화하곤 합니다.
ASH: ASH 는 계속 발전했습니다. 다른 시스템들이 약 6 시간 후에 진전이 멈춘 반면, ASH 는 8 시간 동안 계속 진행하며 전투, 몬스터 포획, 퍼즐 해결 등 새로운 기술을 배웠습니다. 두 게임에서 거의 모든 주요 목표를 달성했습니다.

큰 그림

이 논문은 ASH 가 긴 복잡한 작업을 AI 에게 가르치기 위해 인간이 보상 시스템을 작성하거나 모든 비디오에 라벨을 붙일 필요가 없음을 증명한다고 주장합니다. 대신, AI 에게 막히면 인터넷에서 도움을 찾고, 그로부터 배우는 능력을 부여한다면, 긴 개방형 모험을 스스로 마스터할 수 있습니다.

이는 어린이에게 자전거 타기를 가르칠 때 설명서를 작성하는 대신, 넘어지게 하고 다른 사람이 타는 비디오를 보게 한 뒤 다시 시도하게 하는 것과 같습니다. ASH 는 복잡한 비디오 게임에서 이 루프를 자동으로 성공적으로 수행한 최초의 시스템입니다.

기술 요약: ASH (Embodied Learning 을 통한 자기 연마 에이전트)

문제 정의

장기적 신체화 작업은 인공지능에서 근본적인 과제로 남아 있습니다. 이러한 환경에서 에이전트를 훈련시키는 기존 방법들은 심각한 확장성 문제를 직면하고 있습니다:

행동 복제 (BC): 방대하고 고품질이며 행동 레이블이 지정된 데이터셋에 의존합니다. 이러한 데이터를 구성하려면 광범위한 인간 주석과 도메인 지식이 필요합니다. 또한 표준 BC 정책은 종종 단기 기억에만 조건을 두어, 수 시간에 걸쳐 확장되는 시퀀스 간의 의존성을 포착하지 못합니다.
강화 학습 (RL): 복잡한 설정에서 성공적이지만, RL 은 일반적으로 밀집된 수동 설계 보상 함수에 의존합니다. 다양한 하위 목표를 가진 개방형 다시간 작업에 대한 보상을 설계하는 것은 취약하고 노동 집약적이며, 종종 긴 시퀀스에서는 처리 불가능합니다.
기초 모델: 제로샷 접근법은 특권 상태 접근이나 특정 발판 없이는 새로운 시각적 맥락과 메커니즘에 적응하지 못하거나 환각을 일으키는 경우가 많습니다.

핵심 문제는 인간이 보상을 설계하거나 전문가가 주석을 다는 것 없이, 레이블이 지정되지 않은 노이즈가 있는 인터넷 비디오로부터 에이전트가 장기 정책을 학습할 수 있는 확장 가능한 방법의 부재입니다.

방법론: ASH

저자들은 레이블이 지정되지 않은 인터넷 비디오에서 학습하기 위해 동적 자기 개선 루프를 사용하는 에이전트 시스템인 ASH를 소개합니다. ASH 는 보상 설계 없이 작동하며, 대신 에이전트가 "막히게" 될 때 트리거되는 부트스트랩 메커니즘에 의존합니다.

핵심 아키텍처

ASH 는 장기적 의존성을 처리하기 위해 이중 기억 시스템을 활용합니다:

단기 기억: 반응적 제어를 위한 최근 $w_s$ 개의 관찰 - 행동 쌍 (32 초의 맥락).
장기 기억: 수 시간 전에 내려진 결정에 대한 맥락을 제공하는 최근 $w_l$ 개의 "핵심 순간" (주목할 만한 관찰) 버퍼.

정책 $\pi$ 는 두 가지 기억 유형 모두에 조건을 두어 행동을 예측하는 인과적 트랜스포머입니다.

자기 개선 루프

ASH 는 3 단계 사이클 (알고리즘 1) 을 따릅니다:

추론:
- $N$ 개의 에이전트가 공유 정책 $\pi$ 하에서 환경과 상호작용합니다.
- 핵심 순간 분류기 $K$ (HDBSCAN 클러스터링 기반) 가 실시간으로 주목할 만한 관찰을 식별합니다.
- 에이전트가 새로운 핵심 순간을 마주치면, 에이전트의 장기 기억에 추가되고 "막힘 타이머"가 재설정됩니다.
- 어떤 에이전트라도 $\Delta$ 단계 동안 새로운 핵심 순간을 찾지 못하면 (막혔음을 나타냄), 시스템은 추론을 중단하고 부트스트랩을 시작합니다.
검색:
- 시스템은 DINOv2 를 사용하여 막힌 에이전트의 궤적을 임베딩합니다.
- 대규모 인터넷 코퍼스 (YouTube) 에서 시각적으로 유사한 상위 $k$ 개의 비디오 세그먼트를 검색합니다.
- 관련 게임 플레이 세그먼트의 고품질 검색을 보장하기 위해 탐욕적 1 대 1 매칭 알고리즘이 시간 창을 점수화합니다.
부트스트랩 (정책 업데이트):
- 역동역학 모델 (IDM) 업데이트: IDM 은 에이전트 자신의 궤적 (관찰 - 행동 쌍) 을 사용하여 관찰로부터 행동을 예측하는 능력을 향상시키기 위해 업데이트됩니다.
- 핵심 순간 발견: 분류기 $K$ 는 새로 검색된 인터넷 비디오를 사용하여 새로운 반복 패턴을 식별하도록 업데이트됩니다.
- 정책 훈련: 검색된 인터넷 비디오 (관찰 전용) 는 업데이트된 IDM 이 생성한 의사 행동으로 레이블이 지정됩니다. 이러한 레이블이 지정된 궤적은 $K$ 에 의해 구성된 장기 기억과 결합되어 새로운 훈련 데이터셋 $D_\pi$ 를 형성합니다. 그런 다음 정책 $\pi$ 는 이 데이터에 대해 지도 학습 (교차 엔트로피 손실) 을 통해 훈련됩니다.

주요 기여

동적 부트스트랩: 저자들은 에이전트가 장애물에 직면했을 때만 정책과 검색 모델을 자율적으로 업데이트하는 메커니즘을 제안하여, 개방형 환경에서의 지속적인 적응을 가능하게 합니다.
인터넷 비디오에서의 장기 기억: 수동으로 큐레이션된 기억이나 고정된 컨텍스트 창에 의존하는 대신, ASH 는 대규모 인터넷 데이터에서 "핵심 순간"을 자율적으로 발견하고 유지하여 수 시간 단위의 계획을 가능하게 합니다.
확장 가능한 신체화 학습 레시피: 실험을 통해 동적 부트스트랩과 장기 기억을 결합하면 인간 주석 없이 정밀한 운동 제어와 새로운 시각적 맥락에 대한 적응이 가능한 확장 가능한 접근 방식이 만들어짐을 입증했습니다.

실험 결과

ASH 는 두 가지 상호 보완적인 장기 환경에서 평가되었습니다:

Pokémon Emerald: 전략적 전투와 개방형 탐험이 필요한 턴제 RPG.
The Legend of Zelda: The Minish Cap: 퍼즐 해결과 정밀한 운동 제어가 필요한 실시간 액션 어드벤처 게임.

성능 지표:

ASH 성능: 8 시간 평가 후, ASH 는 Pokémon Emerald 에서 평균 11.2/12개의 마일스톤을, Legend of Zelda에서는 9.9/12개의 마일스톤을 달성했습니다.
베이스라인 성능: 가장 강력한 베이스라인들 (행동 복제, 검색 증강, 제로샷 기초 모델) 은 훨씬 더 일찍 성능이 정체되어 각각 평균 6.5/12개와 6.0/12개의 마일스톤을 달성했습니다.
적응성: 베이스라인들은 새로운 역학 (예: Zelda 성 진입 또는 Pokémon 전투 인터페이스) 을 마주치면 실패한 반면, ASH 는 성공적으로 적응했습니다. 예를 들어, ASH 의 초기 체크포인트는 전투를 할 수 없었으나, 부트스트랩 후 Pokémon 전투에서 87% 의 승률을 달성했습니다.
구성 요소 제거 실험: 장기 기억이나 동적 부트스트랩을 제거하면 명확한 성능 저하가 발생하여 두 구성 요소 모두 지속적인 진행에 필수적임을 확인했습니다.
검색 품질: ASH 의 검색 방법은 훈련 데이터에 대해 94% 의 관련성률을 달성하여 무작위 검색 (8%) 및 기타 유사성 베이스라인을 크게 능가했습니다.
파괴적 망각: 오프라인 재생 테스트는 ASH 가 파괴적 망각을 보이지 않았음을 보여주었습니다. 최종 정책은 온라인 학습 에이전트보다 환경의 처음부터 더 빠르게 재생할 수 있었습니다.

중요성과 주장

이 논문은 ASH 가 장기 신체화 학습을 위한 확장 가능한 레시피를 입증한다고 주장합니다. 레이블이 지정되지 않은 인터넷 비디오와 자기 개선 루프를 활용함으로써 ASH 는 정적 훈련 코퍼스와 수동 설계 보상의 한계를 극복합니다.

저자들은 이 접근 방식이 에이전트에게 다음과 같은 능력을 부여한다고 주장합니다:

고정된 정책이 실패하는 수 시간 단위의 시간 범위에서 진행을 유지합니다.
검색과 모방을 통해 전투, 검술 등 새로운 기술을 자율적으로 습득합니다.
인간의 개입 없이 분포 변화와 새로운 시각적 맥락에 적응합니다.

이 연구는 자신의 실패와 인터넷의 집단 지식에서 부트스트랩하는 자기 개선 에이전트가 인간이 레이블을 다는 데이터나 보상 공학의 비실용적인 확장성에 의존하지 않는 개방형 장기 AI 로 가는 실현 가능한 길을 제시한다고 시사합니다. 저자들은 유용한 인터넷 비디오의 가용성에 대한 의존성과 시각적으로 구별되지 않는 행동을 추론하는 어려움과 같은 한계를 지적하며 겸손한 태도를 유지합니다.