컴퓨터가 규칙을 배우는 것이 아니라, 직접 시도해보고, 실수를 저지르고, 어떤 움직임이 점수로 이어지고 어떤 움직임이 실패로 이어지는지를 천천히 파악하며 비디오 게임을 배우는 모습을 상상해 보십시오. 이것은 딥 강화 학습(deep reinforcement learning)이라 불리는 분야의 핵심으로, 인공지능 에이전트가 시행착오를 통해 학습하는 방식입니다. 이러한 에이전트들이 학습하는 가장 일반적인 방법은 '가치(value)'라는 정신적 지도를 구축하는 것인데, 이는 특정 상황이 얼마나 좋은지, 그리고 미래에 얼마나 많은 보상을 가져다줄지에 대한 추측입니다. 컴퓨터는 현재의 추측을 사용하여 다음 단계를 예측하며 이 지도를 반복해서 업데이트하는데, 이 과정을 부트스트래핑(bootstrapping)이라고 합니다. 이 방법은 기계가 복잡한 게임을 마스터할 수 있게 해주었지만, 치명적인 결함이 있습니다. 바로 학습 과정이 종종 불안정하다는 것입니다. 에이전트의 추측이 통제 불능 상태로 치솟아, 마치 새로운 아이디어에 너무 들뜬 나머지 선생님의 말을 듣지 않는 학생처럼, 이전에 배웠던 것을 잊어버리거나 변덕스러운 결정을 내리게 할 수 있습니다.

수년 동안 과학자들은 컴퓨터가 승리할 가능성에 대해 너무 낙관적인 태도를 보이는 것과 같은 특정 원인을 지목하며 이 불안정성을 해결하려 노력해 왔습니다. 그러나 새로운 연구는 문제가 단 하나의 나쁜 행위자가 아니라, 서로 충돌하며 작동하는 세 가지 서로 다른 부분들로 구성된 복잡하고 자기 강화적인 루프라고 제안합니다. 베이징 대학교 연구팀이 이끄는 연구진은 불안정성이 컴퓨터가 미래 예측을 구축하는 방식, 의사결정을 내릴 때 노이즈가 섞인 데이터를 해석하는 방식, 그리고 내부 메모리 구조가 시간이 지남에 따라 변화하는 방식 사이에서 발생한다는 것을 발견했습니다. 이 세 가지 상호작용하는 힘을 이해함으로써, 그들은 학습 과정을 안정시켜 AI가 데이터가 부족한 환경에서도 더 빠르고 신뢰성 있게 학습할 수 있도록 하는 새로운 방법을 개발했습니다.

연구진은 먼저 컴퓨터가 어떻게 예측을 구축하는지 면밀히 살펴보는 것부터 시작했습니다. 표준적인 설정에서 AI는 상황을 보고, 자신이 할 수 있는 최선의 움직임을 선택한 뒤, 그 움직임으로부터 얻은 보상을 사용하여 지도를 업데이트합니다. 연구팀은 AI가 긍정적인 보상을 받을 때 기이한 피드백 루프가 발생할 수 있다는 것을 발견했습니다. 컴퓨터의 세계에 대한 내부 표현이 서로 다른 행동들에 걸쳐 공유되기 때문에, 특정 움직임에 대한 보상이 바로 다음 상황에서 동일한 움직임의 가치를 우연히 부풀릴 수 있습니다. 그 후 컴퓨터가 다음에 무엇을 할지 결정하기 위해 앞을 내다볼 때, 이 부풀려진 가치를 보고 똑같은 움직임을 다시 선택하게 됩니다. 이는 컴퓨터가 설령 그렇지 않더라도, 그것이 최선의 선택이라고 확신하며 똑같은 행동을 계속해서 반복하게 만드는 순환 구조를 만듭니다. 연구진은 이를 '자기 강화적 함정(self-reinforcing trap)'이라 부르는데, 이는 AI가 스스로 만든 루프에 갇혀 학습 과정이 무너질 때까지 자신의 편향을 증폭시키는 메커니즘을 의미합니다.

두 번째 문제의 근원은 데이터가 불완전할 때 컴퓨터가 어떻게 의사결정을 내리는가에 있습니다. 학습은 노이즈가 많은 과정입니다. 컴퓨터의 가치 추정치는 결코 완벽하게 정밀하지 않습니다. 최선의 움직임과 차선책 사이의 차이가 작을 때, 아주 작은 노이즈만으로도 컴퓨터는 선택을 바꿀 수 있습니다. 컴퓨터의 선택이 다음에 수집할 데이터를 결정하기 때문에, 노이즈에 의한 단 한 번의 잘못된 결정이 좋지 않은 경험의 경로로 컴퓨터를 이끌 수 있습니다. 이는 컴퓨터가 보는 데이터의 드리프트(drift)를 유발하여, 행동의 진정한 가치를 학습하는 것을 더 어렵게 만듭니다. 연구진은 이러한 노이즈에 대한 민감성이 컴퓨터가 자신의 추정치에 대해 더 확신을 가질 수 있는 방법을 필요로 하며, 이를 통해 데이터의 작은 변동이 전략 사이를 급격하게 오가게 만들지 않도록 해야 한다는 점을 깨달았습니다.

세 번째 문제는 더 미묘하며, 수학적 연결층인 파라미터(parameter)로 구성된 컴퓨터의 뇌 깊은 곳에서 발생합니다. 컴퓨터가 훈련할 때, 특히 효율적인 학습을 위해 기존의 오래된 데이터를 여러 번 재사용하도록 강제될 때, 이러한 연결들은 불균형하게 변하기 시작합니다. 소수의 연결은 매우 크고 지배적으로 성장하는 반면, 나머지 네트워크는 상대적으로 작고 비활성 상태로 남게 됩니다. 연구진은 이 불균형을 측정하는 방법인 '스파이크 비율(spike ratio)'을 도입했으며, 컴퓨터가 데이터를 더 공격적으로 재사용할수록 이러한 스파이크가 더 뚜렷해진다는 것을 발견했습니다. 이러한 불균형은 위험합니다. 왜냐하면 네트워크를 경직되게 만들어, 내부 구조가 너무 오래된 데이터에 지나치게 특화됨으로써 새로운 상황에 적응하는 능력을 상실하게 만들기 때문입니다.

이러한 문제들을 해결하기 위해, 연구팀은 AI를 위한 브레이크와 안정 장치 역할을 하는 새로운 학습 프레임워크를 설계했습니다. 첫째, 자기 강화적 함정을 깨기 위해 그들은 컴퓨터가 다음 움직임을 선택하는 방식을 변경했습니다. 네트워크의 동일한 부분이 움직임을 결정하고 그 가치를 평가하게 두는 대신, 이 작업들을 서로 다른 버전의 네트워크로 분리했습니다. 또한, 컴퓨터가 방금 보상을 준 것과 동일한 행동을 즉시 선택하는 것을 방지하는 규칙을 추가하여, 다른 가능성을 탐색하도록 강제하고 증폭의 순환을 끊었습니다.

둘째, 의사결정의 노이즈를 처리하기 위해 연구팀은 앙상블 학습(ensemble learning) 기술을 사용했습니다. 단일한 컴퓨터 뇌에 의존하여 추측을 내리는 대신, 약간씩 다른 네트워크 그룹을 훈련시키고 각 행동의 가치에 대해 투표하도록 했습니다. 여러 네트워크의 의견을 평균함으로써 단일 네트워크의 무작ful한 노이즈를 상쇄하고, 훨씬 더 안정적이고 신뢰할 수 있는 결정을 내리게 합니다. 이 접근 방식은 또한 분위수 회귀(quantile regression) 기법을 사용하여, 컴퓨터가 단 하나의 평균값만이 아니라 가능한 결과의 전체 범위를 이해할 수 있도록 함으로써 아웃라이어(outlier)에 의해 잘못 유도될 위험을 더욱 줄여줍니다.

마지막으로, 네트워크가 경직되는 것을 방지하기 위해 연구진은 연결의 '스파이크 비율'을 감시하는 모니터링 시스템을 추가했습니다. 만약 소수의 연결이 너무 커져서 네트워크를 지배하고 있다는 것이 감지되면, 그 특정 연결들을 중립적인 상태로 부드럽게 재설정합니다. 이는 주기적인 새로고침처럼 작동하여, 네트워크의 과도하게 자란 가지들을 정리함으로써 네트워크가 새로운 패턴을 배울 수 있는 유연성을 유지하도록 합니다. 이를 통해 데이터가 집중적으로 재사용되는 상황에서도 컴퓨터가 적응 능력을 잃지 않도록 보장합니다.

연구팀은 이 새로운 접근 방식을 두 가지 도전적인 환경에서 테스트했습니다. 첫 번째는 컴퓨터가 단 100,000단계만 플레이할 수 있는 고전 비디오 게임 세트였는데, 이는 다른 방법들이 보통 요구하는 양에 비해 매우 제한된 데이터 양입니다. 이 테스트에서 그들의 방법은 기존의 많은 기술을 능가하여 더 높은 점수를 기록했으며, 테스트된 다른 어떤 방법보다 더 많은 게임에서 인간 수준의 성능에 도달했습니다. 두 번째 테스트는 레벨이 무작위로 생성되어 매번 바뀌는 절차적 생성 게임 세트였습니다. 여기서 목표는 컴퓨터가 학습한 내용을 한 번도 본 적 없는 새로운 레벨에 일반화할 수 있는지 확인하는 것이었습니다. 새로운 방법은 보이지 않는 도전 과제들에 적응하는 데 탁월한 능력을 보여주었으며, 이는 제공된 안정성이 컴퓨터가 세계에 대한 더 견고한 이해를 구축하도록 돕는다는 것을 시사합니다.

연구진은 또한 자신들의 아이디어가 실제로 작동하고 있음을 증명하기 위해 구체적인 실험을 수행했습니다. 그들은 보상을 받은 행동을 다시 선택하는 것을 방지하는 규칙을 제거했을 때, 보상이 빈번한 게임에서 학습이 불안정해진다는 것을 보여주었습니다. 또한 더 큰 규모의 네트워크 그룹을 사용하는 것이 성능을 일관되게 향 향상시킨다는 것을 입증하여, 투표를 통해 노이즈를 줄이는 것이 중요하다는 점을 확인했습니다. 또한 훈련 중에 '스파이크 비율'을 추적하여, 재설정 메커니즘이 없다면 특히 데이터를 집중적으로 재사용할 때 네트워크의 내부 균형이 악화된다는 것을 보여주었습니다. 이러한 결과들은 딥 러닝의 불안정성이 단순히 하나의 트릭으로 고칠 수 있는 단일 문제가 아니라, 예측이 이루어지는 방식, 결정이 가중되는 방식, 그리고 네트워크 구조가 유지되는 방식에 대한 조율된 접근이 필요한 체계적인 문제임을 확인시켜 줍니다.

이 연구는 딥 러닝 에이전트가 왜 때때로 실패하는지에 대한 더 명확한 그림을 제시하며, 그들을 올바른 궤도에 머물게 할 실질적인 도구 상자를 제공합니다. 연구진은 불안정성이 예측 편향, 결정 노이즈, 구조적 경직성의 상호작용에서 기인한다는 점을 인식함으로써, 단순한 수정을 넘어 보다 총체적인 솔루션으로 나아갔습니다. 그들의 방법은 단순히 AI를 더 똑똑하게 만드는 것이 아니라, 학습 과정 자체를 더 신뢰할 수 있게 만들어, 데이터가 부족하거나 환경이 혼란스러운 상황에서도 에이전트가 효과적으로 학습을 지속할 수 있도록 보장합니다. 인공지능이 게임을 넘어 로보틱스와 그 이상의 실제 세계 문제를 해결하는 방향으로 계속 발전함에 따라, 이러한 학습 역학을 안정화하는 능력은 강력할 뿐만 아니라 신뢰할 수 있고 일관된 시스템을 구축하는 데 필수적일 것입니다.