당신이 로봇에게 미로를 탐험하며 최고의 보물을 찾는 법을 가르치고 있다고 상상해 보세요. 공상 과학 영화 속 완벽한 세상이라면, 로봇은 모든 회전 구간을 명확하게 보고, 모든 지시를 완벽하게 들으며, 모든 실수로부터 즉각적으로 배울 것입니다. 하지만 현실 세계는 무질서합니다. 센서에 오류가 발생하고, 신호가 방해받으며, 때로는 짓궂은 해커가 가짜 벽을 보여주거나 보물의 위치에 대해 거짓말을 하며 로봇을 속이려 할 수도 있습니다. 이것이 바로 **강화 학습(Reinforcement Learning, RL)**의 세계입니다. 강화 학습은 에이전트(로봇이나 소프트웨어 프로그램 같은 존재)가 시행착오를 거치며 피드백을 통해 의사결정 방법을 배우는 방법입니다. 목표는 게임에서 이기거나 자동차를 안전하게 운전하는 것과 같이 보상을 극대화하는 최적의 경로를 찾아내는 것입니다. 그러나 만약 에이전트가 받는 피드백이 오염되어 있다면—즉, 노이즈, 오류, 혹은 의도적인 거짓말로 가득 차 있다면—에이전트는 혼란에 빠지고 잘못된 교훈을 얻어 결국 끔찍한 결정을 내릴 수 있습니다. 과학자들이 던지는 핵심 질문은 이것입니다: 데이터가 엉망인 상황에서도 거짓을 무시하고 진실을 찾아낼 수 있을 만큼 강인한 학습 시스템을 구축할 수 있을까?

"Robust Asynchronous Q-Learning under Reward and State Corruption via Batching"이라는 제목의 이 논문은 정확히 그 문제를 다룹니다. 저자인 스리지트 마이티(Sreejeet Maity)와 아리트라 미트라(Aritra Mitra)는 적대자(나쁜 의도를 가진 행위자)가 '보상'(로봇이 얻는 점수)과 '상태'(로봇이 보는 세상의 모습)를 동시에 망가뜨리는 시나리오를 우려하고 있습니다. 그들은 BR-Async-Q라는 새로운 알고리즘을 제안합니다. 이것은 마치 거짓을 보더라도 당황하지 않는 로봇의 새로운 학습 방식과 같습니다. 매 단계마다 뇌를 업데이트하여 단 하나의 나쁜 데이터에도 취약해지는 대신, 이들은 먼저 한 묶음의 경험을 모으는 '배치(batch)' 방식을 사용합니다. 그런 다음, 정교한 통계적 기법을 사용하여 거짓을 걸러내고, 단 한 번의 강력한 업데이트를 하기 전에 평균적인 진실을 찾아냅니다. 그들은 이 방법이 수학적으로 작동함을 증명하며, 일정 비율의 오염된 데이터가 있더라도 로봇이 거의 완벽한 전략을 배울 수 있음을 보여줍니다. 시뮬레이션 결과, 기존의 학습 방식은 이러한 공격에 무너졌지만, 그들의 새로운 방식은 로봇이 올바른 답으로 수렴하며 남은 거짓말로 인한 아주 작고 예측 가능한 오차만을 남긴 채 궤도를 유지함을 확인했습니다.

문제: 거울의 방에 갇힌 로봇

저자들이 무엇을 했는지 이해하기 위해, 우리의 로봇 학습 에이전트를 시험을 치르는 학생이라고 상상해 봅시다. 일반적인 강화 학습 설정에서 학생은 한 단계를 밟고, 성적(보상)을 받고, 다음 문제(상태)를 봅니다. 그리고 이를 이용해 즉시 자신의 학습 가이드("Q-테이블")를 업데이트합니다.

하지만 교활한 감독관(적대자)이 지켜보고 있다고 상상해 보세요. 가끔 감독관은 학생의 실제 성적을 가짜 성적으로 바꾸거나, 페이지의 다음 문제를 완전히 다른 것으로 바꿔버립니다. 이것이 논문에서 말하는 **휴버 오염(Huber contamination)**입니다. 감독관이 항상 거짓말을 할 필요는 없습니다. 아주 적은 비율의 거짓말(예: 1% 또는 5%)만으로도 학생을 혼란에 빠뜨리기에 충분합니다. 만약 학생이 매 문제마다 학습 가이드를 업데이트한다면, 단 하나의 가짜 성적만으로도 잘못된 답이 맞다고 믿게 될 수 있습니다. 시간이 흐르면서 이러한 작은 오류들은 쌓여가고, 결국 학생은 완전히 잘못된 가이드를 갖게 됩니다.

상황은 더욱 까다로워집니다. 학생은 "비동기적(asynchronously)"으로 학습하기 때문입니다. 이는 모든 가능한 문제와 답을 한꺼번에 볼 수 없음을 의미합니다. 학생은 미로를 돌아다니며, 어떤 경로는 자주 방문되는 반면 어떤 경로는 드물게 방문됩니다. 만약 감독관이 그 드문 경로들을 표적으로 삼는다면, 학생은 데이터가 부족하여 패턴을 파악하지 못하므로 자신이 속고 있다는 사실조차 깨닫지 못할 수 있습니다.

해결책: "배치 및 트리밍(Batch and Trim)" 전략

저자들의 해결책인 BR-Async-Q는 학습의 리듬을 바꿉니다. 매 순간의 피드백에 반응하는 대신, 로봇은 멈춰 서서 경험을 에포크(epoch) 또는 **배치(batch)**라고 불리는 덩어리로 그룹화합니다.

로봇이 해변에서 조개껍데기를 모으고 있다고 상상해 보세요. 일반적인 로봇은 조개를 하나 집어 들고, 그것을 본 뒤, 즉시 보물인지 돌인지 결정합니다. 만약 금처럼 보이게 칠해진 플라스틱 조개가 주어진다면, 로봇은 속아 넘어갈 수 있습니다.

하지만 BR-Async-Q 로봇은 먼저 양동이에 1,000개의 조개를 채웁니다. 양동이가 가득 차면, 로봇은 그것들을 쏟아내고 전체 더미를 살펴봅니다. 로봇은 감독관이 플라스틱 조개를 몇 개 섞어 놓았을 수도 있다는 것을 알지만, 동시에 그 플라스틱 조개들이 너무 반짝거리거나 지나치게 이상한 형태를 띤 '이상치(outlier)'일 가능성이 높다는 것도 알고 있습니다. 그래서 로봇은 **트리밍된 평균(trimmed mean)**이라는 특별한 도구를 사용합니다. 로봇은 가장 극단적인 조개들(수상하게 가짜 같거나 불가능할 정도로 완벽해 보이는 것들)을 무시하고, 남은 정상적인 조개들의 평균값을 계산합니다.

이 "트리밍(다듬기)" 과정이 비법입니다. 큰 배치의 데이터를 모을 때까지 기다림으로써, 로봇은 통계적으로 신호(진실)와 노이즈(거짓)를 분리할 수 있습니다. 논문은 이 과정을 통해 로 even 행동의 참값을 높은 정밀도로 추정할 수 있으며, 데이터가 오염되었더라도 가능하다는 것을 증명합니다.

배칭이 중요한 이유: 분산의 함정

저자들은 기존 방식들의 결정적인 결함을 지적합니다. 기존의 강인한 알고리즘들은 매 단계마다 업데이트하면서 복잡한 수학을 사용해 진실을 추측함으로써 강인해지려 했습니다. 문제는 이러한 업데이트들이 높은 **분산(variance)**을 가졌다는 점입니다. 간단히 말해, "분산"은 로봇의 추측값이 얼마나 요동치는지를 의미합니다. 만약 로봇이 노이즈가 섞인 데이터로 너무 자주 업데이트하면, 로봇의 뇌는 끊임없이 떨리게 되고, 이는 감독관이 로봇을 경로에서 벗어나게 만들기 매우 쉬운 환경을 만듭니다.

데이터를 배치 단위로 처리함으로써, BR-Async-Q는 이 떨림을 줄입니다. 이것은 마치 장노출 사진을 찍는 것과 같습니다. 빠른 셔터 스피드로 움직이는 자동차를 찍으면 이미지가 흔들리고 흐릿해지지만, 기다렸다가 장노출로 찍으면 움직임이 부드럽게 뭉개지면서 선명하고 안정적인 사진을 얻을 수 있습니다. 저자들은 이러한 "분산 감소"를 통해, 자신들의 알고리즘이 (거짓이 없을 때의) 표준 학습 성능과 대등하면서도 거짓에는 면역력을 가질 수 있음을 보여줍니다.

결과: 거짓을 이기다

이 논문은 수학적 보증을 제공하는데, 이는 논리적으로 로봇이 성공할 것임을 증명했다는 뜻입니다. 저자들은 오차(로봇이 배운 것과 완벽한 전략 사이의 차이)가 두 부분으로 구성됨을 보여주었습니다:

1. 자연적 오차(Natural Error): 로봇이 아직 충분한 데이터를 보지 못했기 때문에 발생하는 일반적인 실수입니다. 이 부분은 로봇이 더 많이 학습할수록 작아집니다.
2. 오염 편향(Corruption Bias): 감독관의 거짓말로 인해 발생하는 추가적인 오차입니다.

놀라운 점은, 새로운 방식에서의 "오염 편향"이 매우 작다는 것입니다. 이 편향은 오염 확률에 따라 직접적으로 규모가 결정되지만, 로봇의 혼란으로 인해 증폭되지 않습니다. 실제로 보상만 오염되고 상태는 깨끗한 경우, 이 방법은 **미니맥스 최적(minimax optimal)**입니다. 이는 기술적으로 "이보다 더 잘할 수는 없다"는 뜻입니다. 그들은 이러한 조건 하에서 어떤 알고리즘도 도달할 수 있는 이론적 한계치에 도달했습니다.

저자들은 또한 이 방식이 실제로 어떻게 작동하는지 보기 위해 시뮬레이션을 수행했습니다. 그들은 100개의 상태와 40개의 행동이 있는 그리드 월드(간단한 미로) 환경을 만들었습니다. 그들은 다양한 수준의 오염을 도입하며 자신들의 알고리즘을 표준 알고리즘과 비교 테스트했습니다.

• 표준 로봇: 감독관이 거짓말을 시작하자, 표준 로봇의 성능은 폭락했습니다. 오차가 엄청나게 커졌고, 최적의 경로를 찾는 데 실패했습니다.
• BR-Async-Q 로봇: 데이터의 20%(엄청난 양의 거짓말)가 오염되었음에도 불구하고, 이 로봇은 침착함을 유지했습니다. 로봇은 완벽한 솔루션에 매우 근접한 답으로 수렴했으며, 오직 아주 작고 안정적인 오차만을 남겼습니다.

또한 저자들은 로봇이 어떤 경로를 매우 드물게 방문할 때 어떤 일이 벌어지는지도 테스트했습니다. 기존 방식들은 드문 경로가 거짓에 더 취약하다고 생각하여 어려움을 겪었습니다. 하지만 BR-Async-Q는 전체 배치의 데이터를 기다리기 때문에, 심지어 드문 경로조차 거짓을 걸러낼 수 있을 만큼 충분한 주의를 기울이게 하여, 기존 방식들을 괴롭혔던 오류의 "증폭" 현상을 피할 수 있었습니다.

요점

결국, 이 논문은 무질서하고 신뢰할 수 없는 세상에서 기계를 가르치기 위한 새로운 지침을 제공합니다. 이는 인내심이 미덕임을 시사합니다. 속도를 늦추고, 더 많은 데이터를 모으며, 스마트한 통계 기법을 사용하여 노이즈를 걸러냄으로써, 우리는 단순히 오염 속에서 살아남는 것을 넘어 오염에도 불구하고 번영하는 AI 시스템을 구축할 수 있습니다. 저자들은 단순히 이것이 작동할 것이라고 추측한 것이 아니라, 수학적으로 증명하고 시뮬레이션을 통해 입증했습니다. 현재 방식은 많은 데이터를 메모리에 저장해야 한다는 요구 사항(마치 큰 양동이를 채우는 것과 같은)이 있지만, 배칭과 강인한 추정이 적대적인 거짓을 물리칠 수 있다는 핵심 아이디어는 자율주행 자동차부터 의료 진단에 이르기까지, 거짓말의 대가가 너무 커서 무시할 수 없는 분야에서 더 안전하고 신뢰할 수 있는 AI로 가는 문을 열어줍니다.