CASD: Chunk-Aligned Semantic Distillation for Multi-StageRobot Manipulation

실제 세계에서 물체를 조작할 수 있는 로봇들은 타이밍에 관한 근본적인 문제에 직면합니다. 인간이 로봇에게 "그릇을 서랍에 넣고 닫아줘"라고 요청하면, 이 명령은 하나의 명령처럼 들리지만 물리적 실체는 뚜렷한 순간들의 연속입니다. 즉, 그릇을 향해 손을 뻗고, 움켜쥐고, 이동시키고, 놓아주고, 마지막으로 서랍을 밀어 닫는 과정입니다. 현대의 로봇들은 종종 이 문제를 해결하기 위해 미래의 움직임을 짧은 블록 단위로 한꺼번에 예측하려고 시도하며, 이 기술은 로봇이 아주 작은 동작 하나하나마다 멈춰서 생각하지 않고도 부드럽게 움직일 수 있도록 도와줍니다. 하지만 이러한 접근 방식은 사각지대를 만듭니다. 만약 로봇이 20개의 동작을 하나의 블록으로 예측했는데, 그 블록의 중간 지점이 바로 그릇을 잡고 있는 상태에서 놓는 상태로 전환되는 정확한 순간이라면, 로봇의 내부 가이드는 블록의 전반부 명령이었던 "잡기"를 여전히 수행하도록 지시할 수 있습니다. 이는 목표가 이미 "놓기"로 바뀌었다는 사실을 인지하지 못하게 하여, 서투르거나 실패한 시도로 이어집니다.

이를 해결하기 위해 앤트 그룹(Ant Group)의 연구진은 '청크 정렬 의미론적 증류(Chunk-Aligned Semantic Distillation)'라고 불리는 방법을 개발했습니다. 핵심 아이디어는 로봇에게 현재 무엇을 하고 있는지뿐만 아니라, 다가올 동작 블록 중 얼마만큼이 각 작업 단계에 속하는지를 정확히 이해하도록 가르치는 것입니다. 로봇에게 전체 블록에 대해 "이동 중" 또는 "닫는 중"과 같은 단일 레이블을 강요하는 대신, 시스템은 가중치가 적용된 혼합값을 계산합니다. 만약 동작 블록의 4분의 3은 이동이고 4분의 1은 놓기라면, 로봇은 두 가지 상태가 혼합된 상태를 준비하도록 학습합니다. 이를 통해 로봇은 사후에 반응하는 것이 아니라 변화를 미리 예측함으로써 단계 사이를 부드럽게 전환할 수 있습니다.

연구진은 "생각하는 것"과 "행동하는 것"을 분리하는 2단계 훈련 과정을 통해 이 시스템을 구축했습니다. 먼저, 강력한 오프라인 언어 모델을 사용하여 인간이 과업을 수행하는 영상을 관찰했습니다. 이 모델은 교사 역할을 하며 각 영상을 "잡기", "운반", "놓기"와 같은 뚜렷한 단계로 나누었습니다. 영상의 모든 순간마다, 교사는 로봇이 다음 동작 블록 동안 각 단계에서 정확히 얼마만큼의 시간을 보낼지를 계산했습니다. 그런 다음 교사는 해당 순간의 정답 역할을 할 '의미론적 타겟(semantic target)', 즉 미래의 단계들이 어떻게 혼합될지에 대한 설명을 생성했습니다.

다음으로, 로봇의 카메라 시야, 자신의 물리적 상태, 그리고 텍스트 명령만을 사용하여 이 미래의 혼합 구성을 예측하는 별도의 컴퓨터 프로그램인 '생성기(generator)'를 훈련시켰습니다. 생성기는 현재를 보고 즉각적인 미래의 구성을 추측하는 법을 배웠습니다. 이 생성기가 훈련되면 연구진은 설정값을 고정하여 더 이상 변하지 않도록 했습니다. 그 후, 이 고정된 생성기를 메인 로봇 정책(policy)에 연결했습니다. 이제 로봇이 무엇을 할지 결정해야 할 때마다, 생성기는 즉각적으로 현재의 단계들이 어떻게 섞여 있는지를 설명하는 '의미론적 컨텍스트 토큰(semantic context token)'을 제공합니다. 로봇은 이 토큰을 사용하여 움직임을 안내받으며, 결과적으로 변화가 일어나기 전에 이를 미리 보게 됩니다. 결정적으로, 이 모든 과정은 로봇이 작동하는 동안 거대한 언어 모델을 호출하거나 텍스트를 생성할 필요 없이 이루어집니다. 과업의 구조를 이해하는 무거운 작업은 사전에 생성기에 저장되어 완료되었기 때문입니다.

연구진은 이 접근 방법을 단일 팔, 협동하는 양팔, 복잡한 내비게이션 시나리오를 포함한 다양한 벤치마크와 여러 가지 로봇 학습 시스템에 적용하여 테스트했습니다. 표준 테스트에서 이 방법은 명확한 개선을 보여주었습니다. 이 방법을 '조인트 모델(Joint model)'이라 불리는 특정 유형의 로봇 두뇌와 결합했을 때, 조작 과업의 성공률은 기존 모델의 98.0%에서 98.9%로 상승했습니다. 양손을 사용하는 다른 과업 세트에서는 개선 폭이 더욱 두드러져 90.6%에서 93.0%로 뛰어올랐습니다. 또한 조명이 바뀌거나 로봇의 시작 위치가 달라지는 등 환경이 변해도 높은 성공률을 유지하며 다른 방법들이 어려움을 겪는 상황에서도 견고함을 입증했습니다.

하지만 이 방법이 모든 종류의 로봇 두뇌에 항상 승리하는 것은 아니었습니다. 연구진이 이 방법을 다른 변형 시스템에 적용했을 때 성능이 오히려 약간 하락하는 결과가 나타났습니다. 이는 이러한 의미론적 가이드의 이점이 로봇의 기저 시스템이 어떻게 구축되었는지에 크게 의존한다는 것을 시사합니다. 어떤 아키텍처에서는 추가적인 컨텍스트가 동작을 정교하게 만드는 데 도움이 되지만, 다른 아키텍처에서는 미세한 불일치를 유발할 수 있습니다 있습니다.

테스트의 한 구체적인 사례는 이 방법이 만드는 차이를 잘 보여줍니다. 로봇이 검은색 그릇을 서랍에 넣고 닫아야 하는 과업에서, 표준 로봇 모델은 제때 그릇을 놓지 못하고 놓아야 할 시점 이후에도 계속 붙잡고 있다가 결국 시간 초과로 실패했습니다. 반면, 동일한 위치에서 동일한 랜덤 시드를 사용하여 시작한 이 새로운 방법이 적용된 로봇은 과업의 전환을 더 일찍 인식했습니다. 이 로봇은 전환이 발생하는 정확한 순간에 그릇을 놓기 시작하여 과업을 성공적으로 완수했습니다. 시스템은 그릇을 잡고 있는 동안 서랍 손잡이에 대해 "생각"할 필요가 없었습니다. 자신이 받은 의미론적 토큰이 이미 즉각적인 미래의 상당 부분이 "놓기" 단계로 채워져 있음을 알려주었기 때문입니다.

연구진은 이 접근 방식이 로봇이 움직이는 동안 단계별 계획이나 하위 목표 목록을 생성할 필요가 없다는 점을 강조합니다. 대신, 결정 주기마다 한 번씩 생성되는 과업 구조의 압축된 수학적 표현에 의존합니다. 이는 시스템을 빠르고 효율적으로 유지하여 복잡한 추론 과정에서 발생할 수 있는 지연을 피하게 해줍니다. 이 방법은 고수준의 설명과 저수준의 물리적 동작 타이밍 사이의 간극을 성공적으로 메워, 로봇이 인간의 기대와 유사한 유연함으로 다단계 명령을 처리할 수 있게 합니다. 이 기술이 모든 로봇 구성에 대한 마법 같은 해결책은 아닐지라도, 기계가 자신의 움직임 속 시간의 흐름을 이해하는 방식을 개선하여 경직된 명령 시퀀스를 역동적이고 문맥을 인식하는 퍼포먼스로 바꾸는 구체적인 방법을 제시합니다.