인공지능의 세계에서 기계는 여러 가지를 시도해 보고 무엇이 효과적이었는지 기억함으로써 의사결정을 내리는 법을 배웁니다. 시험 공부를 하는 학생이 자신이 틀린 모든 문제를 공책에 기록한다고 상상해 보십시오. 더 빨리 배우기 위해, 그 학생은 자신을 가장 혼란스럽게 했던 문제들에만 집중하여 그 어려운 문제들을 반복해서 검토하기로 결정할 수도 있습니다. 이것이 지능형 에이전트를 훈련하는 데 사용되는 흔한 방법의 기본 개념입니다. 즉, 에이전트는 과거의 경험을 다시 재생하되, 자신의 예측이 가장 틀렸던 경험들을 우선순위에 두어 그 오류를 빠르게 바로잡고자 합니다. 이 접근 방식은 비디오 게임을 플레이하는 것부터 로봇을 제어하는 것까지, 컴퓨터가 복잡한 과업을 수행하도록 가르치는 표준적인 도구가 되었습니다. 그러나 이 전략은 한 가지 중요한 가정을 전제로 합니다. 바로 '혼란스러움'이 곧 배울 가치가 있는 무언가가 있다는 뜻이라는 가정입니다. 만약 그 혼란이 이해의 부족이 아니라 무작위적이고 변하지 않는 노이즈(noise)에 의한 것이라면, 그것에 집중하는 것은 함정이 됩니다. 기계는 결코 예측할 수 없는 것에 집착하게 되어 시간을 낭비하고, 세상의 실제 규칙을 배우는 데 실패하게 됩니다.

연구진은 이 학습 전략이 학습 불가능한 무작위성으로 가득 찬 환경과 맞닥뜨렸을 때 정확히 어떤 일이 발생하는지 조사하기 위해 연구를 시작했습니다. 그들은 에이전트 자신의 기술 부족으로 인한 오류와 순수한 우연에 의한 오류를 구분하는 필터처럼 작동하는 새로운 시스템을 구축했습니다. 세 가지 매우 다른 시나리오에서 이 시스템을 테스트한 결과, 그들은 기계가 어떻게 학습해야 하는지에 대한 놀라운 진실을 발견했습니다. 어떤 경우에는 이 새로운 필터링 방식이 완벽하게 작동하여 에이전트가 위험을 피하고 더 빠르게 학습하도록 도왔습니다. 또 다른 경우에는, 오류에 집중하는 기존의 단순한 방식이 오히려 더 나았습니다. 하지만 가장 혼란스러운 환경에서는, 아무것도 우선순위를 두지 않고 단순히 무작위 샘플로부터 학습하는 것이 가장 현명한 방법이라는 사실을 발견했습니다. 이 발견은 가장 어려운 문제에 집중하는 것이 항상 최선의 학습 방법이라는 오랜 믿음에 도전하며, 때로는 무작위성을 완전히 무시하고 그 무작위성을 신뢰하는 것이 가장 효과적인 전략임을 보여줍니다.

연구진은 먼저 "TD-포이즈닝(TD-Poisoning)"이라 부르는 문제를 조사하며 시작했습니다. 표준 학습 시스템에서 컴퓨터는 예측을 할 때마다 "놀라움 점수(surprise score)"를 계산합니다. 예상했던 결과와 실제 결과가 매우 다를 경우 점수가 높아지며, 컴퓨터는 그 순간을 나중에 공부하기 위해 저장합니다. 이는 컴퓨터가 아직 풀지 못한 어려운 퍼즐로부터 놀라움이 발생할 때는 잘 작동합니다. 하지만 현실 세계나 시뮬레이션된 세계에는 에이전트의 행동과는 아무런 상관이 없는 정적 노이즈(static noise)—마치 TV 화면의 무작위한 눈보라와 같은 것—가 존재하는 경우가 많습니다. 이 노이즈는 진정으로 무작위적이기 때문에 컴퓨터는 이를 절대 예측할 수 없습니다. 아무리 공부해도 이러한 노이즈가 섞인 순간의 놀라움 점수는 영구적으로 높게 유지됩니다. 연구진은 표준 학습 시스템이 이 노이즈에 의해 하이재킹(hijacked)된다는 것을 발견했습니다. 시스템은 이러한 학습 불가능한 순간들에 집착하여 이를 끊임없이 재생하며, 정작 중요한 통제 가능한 부분들은 무시하게 됩니다. 이는 마치 학생이 실제 수학 문제를 푸는 대신, 왜 무작위로 째깍거리는지 알아내기 위해 고장 난 시계를 뚫어지게 쳐다보며 시간을 보내는 것과 같습니다.

이를 해결하기 위해 연구팀은 "특징 가중치 우선순위 경험 재생(Feature-Weighted Prioritized Experience Replay)"이라는 새로운 방법을 개발했습니다. 놀라움 점수를 사용하여 무엇을 공부할지 결정하는 대신, 그들은 에이전트가 실제로 제어할 수 있는 세상의 고유한 구조를 찾는 특별한 필터를 만들었습니다. 그들은 컴퓨터가 자신의 행동과 결과 사이의 인과관계를 이해하도록 강제하는 기술을 사용했습니다. 만약 에이전트의 행동과 상관없이 환경의 변화가 일어난다면, 시스템은 이를 무시하는 법을 배웁니다. 이 노이즈를 제거함으로써 시스템은 세상에 대한 깨끗하고 저차원적인 지도를 생성합니다. 그런 다음 이 지도를 사용하여 실제로 배울 가치가 있는 희귀하고 흥미로운 순간들을 찾아냅니다. 이 새로운 시스템은 게이트키퍼(gatekeeper) 역할을 하여, 컴퓨터가 단순히 통계적으로 소음이 큰 것이 아니라 개선의 진정한 기회를 제공하는 경험만을 우선순위에 두도록 보장합니다.

연구팀은 이 새로운 접근 방식을 기존 방식 및 경험을 완전히 무작위로 선택하는 단순한 방식과 비교하여 테스트했습니다. 그들은 각 시스템이 서로 다른 난이도를 어떻게 처리하는지 확인하기 위해 세 가지 뚜렷한 환경에서 실험을 진행했습니다. 첫 번째 테스트는 자동차가 교통 흐름을 헤쳐 나가야 하는 고속 주행 시뮬레이션이었습니다. 여기서 목표는 시스템이 충돌 없이 안전하게 운전하는 법을 배울 수 있는지 확인하는 것이었습니다. 가장 큰 실수를 찾는 데 집중하는 표준 방식은 교통의 혼란스러운 특성에 휘말려 너무 조심스럽게 운전하거나, 위험을 피하기 위해 속도를 줄이는 경향을 보였습니다. 반면, 새로운 필터링 시스템은 일상적인 차선 변경과 실제적인 위험을 구분하는 법을 배웠습니다. 이 시스템은 낮은 충돌률을 유지하면서도 고속으로 주행할 수 있었으며, 이는 안전을 위한 스마트한 게이트키퍼 역할을 할 수 있음을 증명했습니다.

두 번째 테스트는 자동차가 언덕을 올라가야 하는 훨씬 단순하고 완벽하게 예측 가능한 물리 문제였습니다. 이 세계에는 무작위 노이즈가 없었기 때문에, "놀라움 점수"는 완벽한 가이드가 되었습니다. 이 깨끗한 환경에서는 오류에 집중하는 기존 방식이 새로운 필터링 시스템보다 더 성능이 좋았습니다. 연구진은 복잡한 필터를 추가하는 것이 불필요하며 오히려 학습 과정을 늦춘다는 것을 발견했습니다. 이 결과는 새로운 방법이 보편적인 해결책이 아니라는 점을 보여주는 중요한 대목이었습니다. 이 방법은 무질서하고 노이즈가 많은 세상을 위해 설계된 특화된 도구입니다. 세상이 명확하고 예측 가능하다면, 실수에 집중하는 기존 방식이 가장 효율적인 경로로 남습니다.

마지막이자 가장 극적인 테스트는 극도로 많은 양의 무작위 노이즈가 의도적으로 삽입된 우주선 착륙 시뮬레이션이었습니다. 연구진은 시각 데이터에 순수한 정적 노이즈 층을 추가하여, 컴퓨터가 다음 순간을 절대 예측할 수 없는 상황을 만들었습니다. 이 혼란스러운 환경에서 표준 방식은 완전히 실패했습니다. 컴퓨터는 무작위 노이즈에 너무 몰두한 나머지 유용한 것을 전혀 배우지 못했고, 반복적으로 추락했습니다. 새로운 필터링 시스템은 노이즈를 무시하고 우주선을 착륙시키는 데 성공하며 회복할 수 있었습니다. 그러나 가장 놀라운 발견은 가장 단순한 방식, 즉 경험을 무작위로 선택하는 방식에서 나왔습니다. 이 심하게 오염된 환경에서 무작위 방식이 실제로 가장 좋은 성능을 보였습니다. 무작위 방식은 아무것도 우선순위를 두지 않았기 때문에 노이즈로부터 면역력을 가졌습니다. 이 방식은 세상을 균등하게 샘플링함으로써 다른 시스템들이 빠졌던 집착의 함정을 피했습니다.

이 결과는 연구진으로 하여대 "균등 경험 재생 역설(Uniform ER Paradox)"이라 부르는 현상을 식별하게 했습니다. 그들은 환경이 학습 불가능한 노이즈에 압도될 때, 모든 우선순위 지정 시도를 포기하는 것이 수학적으로 가장 강력한 전략임을 발견했습니다. 무작위 샘플링의 타고난 면역력은 복잡한 알고리즘 필터보다 우월했습니다. 새로운 필터링 시스템이 노이즈로 인한 피해를 복구할 수는 있었지만, 모든 것을 균등하게 샘플링하는 원초적인 효율성을 이길 수는 없었습니다. 이는 환경에서 추출할 수 있는 지능에는 명확한 한계가 있음을 시사합니다. 노이즈가 너무 크다면, 최선의 전략은 더 열심히 필터링하려고 노력하는 것이 아니라, 무작위성을 받아들이고 편향 없이 그것으로부터 배우는 것입니다.

이 연구는 기계를 가르치는 데 있어 단 하나의 최선인 방법은 존재하지 않는다고 결론짓습니다. 적절한 전략은 전적으로 환경의 성격에 달려 있습니다. 운전과 같이 복잡하고 위험이 따르는 상황에서는 노이즈를 무시하는 스마트한 필터가 필수적입니다. 깨끗하고 예측 가능한 세상에서는 실수에 집중하는 전통적인 방식이 가장 효율적인 경로입니다. 하지만 극도로 혼란스럽고 학습 불가능한 카오스 앞에서는, 무엇을 배울지 똑똑하게 판단하려 하기보다 모든 것을 똑같이 배우는 것이 가장 강력한 움직임입니다. 이 연구는 언제 우선순위를 두고, 언제 필터링하며, 언제 무작위성에 운전대를 맡겨야 하는지에 대한 명확한 지도를 제공함으로써, 인공지능이 세상의 복잡한 현실에 어떻게 적응할 수 있는지에 대한 더 깊은 이해를 제공합니다.