Am I Still Coupled to My Environment? Task-agnostic Runtime Telemetry from the Reinforcement-learning Interaction Loop

한 로봇이 복잡한 세상을 가로질러 달리는 법을 배우고 있다고 상상해 보십시오. 로봇은 자신이 보는 것에 기반하여 결정을 내리고, 행동을 취하며, 그 다음에 어떤 일이 일어나는지를 관찰합니다. 이 순환 과정은 강화 학습이라고 알려진 현대 인공지능의 심장 박동입니다. 수년 동안 엔지니어들은 로봇이 잘하고 있는지 알려주는 단 하나의 숫자, 즉 '보상(reward)'이라 불리는 점수에 의존해 왔습니다. 점수가 올라가면 로봇이 성공하고 있는 것이고, 점수가 내려가면 무언가 잘못된 것입니다. 하지만 이 점수는 단 하나의 질문에만 답할 수 있습니다. 로봇이 목표를 달성했는가? 이 점수는 더 미묘하면서도 결정적인 질문에는 답하지 못합니다. 로봇이 여전히 의도했던 방식대로 세상과 상호작용하고 있는가? 로봇이 비틀거리거나, 센서에 오류가 생기거나, 모터가 마모될 수 있지만, 그럼에도 불구하고 높은 점수를 얻으며 결승선에 도달할 수도 있습니다. 이런 경우, 보상 신호는 거짓말을 하며 기계가 취약하거나 고장 난 상태로 작동하고 있다는 사실을 숨깁니다.

이것이 바로 연구자 와엘 하페즈(Wael Hafez)와 체난 웨이(Chenan Wei)가 해결하고자 했던 문제입니다. 그들은 최종 점수를 보는 대신, 로봇과 환경 사이의 대화에 귀를 기울이는 다른 종류의 모니터를 만들 수 있을지 자문했습니다. 디지털 치타들이 평면 위를 달리는 시뮬레이션 세계에서 수행된 그들의 연구는 이러한 기계들을 관찰하는 새로운 방법을 제시합니다. 로봇이 과업에 실패하기를 기다리는 대신, 그들은 로봇의 내부 리듬이 건강한 패턴으로부터 벗어나기 시작하는 순간을 포착하고자 했습니다. 그들은 로봇의 모든 발걸음을 하나의 작은 이야기, 즉 무엇을 보았고, 무엇을 했으며, 그 결과로 어떤 일이 일민지에 대한 이야기로 취급하는 시스템을 개발했습니다. 이러한 이야기의 흐름을 분석함으로써, 그들은 전통적인 점수가 놓치는 문제를 발견하는 방법을 찾아냈습니다.

연구진은 이 아이디어를 두 가지 서로 다른 학습 방법을 사용하여 최대한 빨리 달리도록 훈련된 21종의 서로 다른 디지털 치타에게 테스트했습니다. 이 에이전트들이 충분히 훈련된 후, 연구진은 테스트 중에 학습 내용이 변하지 않도록 학습을 동결했습니다. 그런 다음, 새로운 모니터가 문제를 포착할 수 있는지 확인하기 위해 다양한 문제들, 즉 '섭동(perturbations)'을 도입했습니다. 어떤 문제는 로봇의 다리로 보내는 명령에 무작위 노이즈를 추가하는 것처럼 로봇의 뇌 자체에 추가되었습니다. 다른 문제들은 중력의 강도를 바꾸거나 외부의 힘으로 로봇을 미는 것과 같이 세상 자체에 추가되었습니다. 총 168회의 문제가 발생한 실험과 모든 것이 완벽하게 유지된 21회의 실험이 진행되었습니다.

무엇을 찾고자 했는지 이해하기 위해, 연구진은 로봇 경험의 세 부분 사이의 관계에 집중했습니다. 건강한 주행에서는 로봇이 보는 것, 선택한 행동, 그리고 얻게 되는 결과 사이에 긴밀하고 예측 가능한 연결이 존재합니다. 연구진은 이 연결을 측정하는 방법인 '커플링 셰어(coupling share)'를 만들었습니다. 이것을 로봇의 전체 활동 중 실제로 결과물과 연결된 부분이 얼마나 되는지 확인하는 방법이라고 상상해 보십시오. 로봇이 건강할 때 이 연결은 강력하고 일관됩니다. 무언가 잘못되면 이 연결은 느슨해집니다. 로봇은 여전히 움직이고 있고 세상도 여전히 반응하고 있을 수 있지만, 둘 사이의 특정한, 특징적인 춤은 변해버립니다. 새로운 모니터는 로봇이 움직이면서 생성하는 데이터 스트림만을 사용하여 이 변화를 실시간으로 추적합니다. 이 모니터는 로봇의 목표가 무엇인지 알 필요도 없고, 보상 점수를 볼 필요도 없습니다. 그저 이렇게 묻습니다. 로봇이 건강했을 때 사용했던 것과 같은 목소리로 여전히 세상과 대화하고 있는가?

결과는 이 접근 방식이 매우 효과적임을 보여주었습니다. 연구진이 새로운 모니터를 전통적인 보상 점수와 비교했을 때 차이는 명확했습니다. 표준 보상 시스템은 문제의 44%만을 감지했습니다. 그것은 로봇이 고군분투하면서도 여전히 주행을 마칠 수 있는 미묘한 변화를 자주 놓쳤습니다. 반면, 새로운 모니터는 문제의 69%를 감지했습니다. 이는 새로운 모니터가 보상 시스템보다 25%포인트 더 많은 오류를 잡아냈음을 의미하며, 건강한 로봇에 대해 발생하는 오보의 횟수는 동일했습니다. 중력이 10% 증가한 특정 테스트에서, 보상 시스템은 24%의 시행에서만 문제를 포착한 반면, 새로운 모니터는 거의 절반에 가까운 사례에서 이를 찾아냈습니다.

결정적으로, 연구진은 자신들의 시스템이 무엇이고 무엇이 아닌지를 설명하는 데 주의를 기울였습니다. 그들은 고장 난 로봇을 고치는 마법 지팡이나 미래를 예측하는 수정구슬을 만든 것이 아닙니다. 이 시스템은 센서가 더러운지 혹은 모터가 약한지와 같이 무엇이 고장 났는지를 운영자에게 정확히 알려주지 않습니다. 또한, 이 모니터가 항상 보상 점수보다 훨씬 더 일찍 문제를 경고하는 것도 아닙니다. 많은 경우, 새로운 모니터와 보상 점수는 동시에 경보를 울렸습니다. 대신, 이 시스템은 보완적인 점검 역할을 합니다. 그것은 기계의 작동 상태에 대한 제2의 의견을 제공합니다. 만약 보상 점수가 로봇이 괜찮다고 말하지만, 이 새로운 모니터가 상호작용이 변했다고 말한다면, 이는 로봇이 더 이상 건강한 상태의 특징을 갖지 않는 방식으로 작동하고 있음을 알리는 신호입니다. 이는 인간 운영자가 완전한 실패가 일어나기 전에 추가 조사를 할 수 있는 기회를 제공합니다.

이 연구는 전적으로 컴퓨터 시뮬레이션 내에서 수행되었으며, 연구진은 실제 세계의 로봇이 훨씬 더 복잡하고 예측 불가능한 도전에 직면해 있다는 점을 인정합니다. 그들이 발견한 구체적인 수치들은 디지털 치타와 도입된 특정 유형의 문제들에 묶여 있습니다. 그러나 핵심 아이디어는 자율 시스템의 미래에 중요한 가능성을 시사합니다. 우리가 로봇을 실제 세계에 더 많이 배치함에 따라, 단순히 그들이 목표를 달성하는지만을 확인하는 것으로는 충분하지 않을 수 있습니다. 우리는 그들이 세상과 상호작용하는 근본적인 과정이 건전하게 유지되는지를 검증해야 할 수도 있습니다. 이 연구는 상호작용의 리듬 자체에 귀를 기울임으로써, 기계가 움직임을 멈추기 훨씬 전부터 쇠퇴의 미묘한 징후를 포착하는 안전망을 구축할 수 있음을 시사합니다.