On The Statistical Limits of Self-Improving Agents

당신이 로봇에게 새로운 비디오 게임을 가르치고 있다고 상상해 보세요. 옛날 방식이라면, 당신은 로봇을 위해 고정된 규칙 세트를 작성하고 로봇이 연습하게 했을 것입니다. 하지만 오늘날의 로봇들은 점점 더 똑똑해지고 있습니다. 그들은 단순히 규칙을 따르는 것이 아니라, 게임을 플레이하는 동안 스스로의 규칙집을 다시 써 내려가기 시작합니다. 그들은 화면을 보는 방식, 손을 움직이는 방식, 혹은 다음에 무엇을 시도할지 결정하는 방식까지 바꿀 수 있습니다. 이것을 "자기 개선(self-improvement)"이라고 부릅니다. 이는 마치 슈퍼히어로가 실시간으로 레벨업하는 것처럼 놀랍게 들립니다. 하지만 여기에는 함정이 있습니다. 만약 로봇이 단 몇 초간의 게임 플레이에 기반하여 자신의 뇌를 너무 많이 바꾼다면, 일반적인 게임 플레이 방법을 배우는 대신 그 특정 순간만을 암기하기 시작할 수 있습니다. 이는 마치 학생이 실제 과목을 배우는 대신 방금 본 연습 퀴즈의 정답만을 공부하는 것과 같습니다. 만약 이 과정을 너무 많이 반복한다면, 그들은 근본적인 규칙을 배우지 못했기 때문에 실제 시험에서 낙제할 수도 있습니다. 이것이 바로 연구자들이 해결하려고 노력 중인 문제입니다. 어떻게 하면 로봇이 학습 능력 자체를 망가뜨리지 않으면서 스스로를 업그레이드하게 할 것인가 하는 점입니다.

"자기 개선 에이전트의 통계적 한계에 대하여(On the Statistical Limits of Self-Improving Agents)"라는 제목의 이 논문은 바로 그 질문을 파고듭니다. 저자인 컬럼비아 대학교의 찰스 L. 왕(Charles L. Wang), 키어 도천(Keir Dorchen), 피터 진(Peter Jin)은 자기 개선 에이전트를 다섯 가지 서로 다른 부분을 미세하게 조정할 수 있는 복잡한 기계로 취급합니다: 계산 방식(알고리즘적), 세상을 보는 방식(표상적), 구성 요소 간의 연결 방식(구조적), 사용하는 뇌의 종류(기질적), 그리고 어떤 변화를 만들지 결정하는 방식(메타인지적). 그들은 날카로운 수학적 경계를 증명해 냅니다: 자기 개선 에이전트가 안전하게 학습을 지속하려면, 자신이 될 수 있는 모든 가능한 버전의 총 "크기"가 고정된 제한 범위 내에 머물러야만 합니다. 만약 에이전트가 제한 없이 더 복잡해질 수 있는 잠재력을 계속 확장하도록 허용된다면, 에이전트는 아무리 많은 데이터를 가지고 있더라도 결국 데이터로부터 더 이상 학습할 수 없는 지점에 도달하게 됩니다. 이것은 단순한 추측이 아니라, 머신러닝에서 사용되는 표준 수학에 기반한 입증된 사실입니다.

이를 방지하기 위해 저자들은 간단한 "이중 게이트(Two-Gate)" 안전 시스템을 제안합니다. 로봇의 업그레이드를 검사하는 클럽의 문지기라고 생각하면 됩니다. 첫 번째 게이트는 새로운 버전이 실제로 테스트에서 더 나은 성능을 보이는지 확인합니다(검증). 두 번째 게이트는 새로운 버전이 너무 복ellig 복잡하지 않은지 확인합니다(용량 제한). 만약 업그레이드가 두 게이트를 모두 통과하면 승인됩니다. 만약 업그레이드가 로봇을 너무 복잡하게 만든다면, 설령 테스트 결과가 좋아 보이더라도 거절됩니다. 이는 로봇이 학습의 경계선 안쪽의 안전한 쪽에 머물도록 보장하며, 자신의 실수로부터 여전히 배울 수 있는 능력을 유지하게 해줍니다. 논문은 이러한 구조적 제한이 없다면, 심지어 스스로를 개선하려는 "합리적인" 로봇이라 할지라도 의도치 않게 자신의 학습 능력을 불가능하게 만들 수 있음을 보여줍니다.

로봇이 자신을 변화시키는 다섯 가지 방법

이 논문을 이해하기 위해서는 먼저 자기 개선 에이전트가 변화할 수 있는 다섯 가지 "축" 또는 방향을 살펴봐야 합니다. 저자들은 "스스로를 다시 쓰는 것"이라는 모호한 개념을 다섯 가지 깔끔한 범주로 나눕니다:

1. 알고리즘적(Algorithmic): 이것은 로봇이 학습하는 방법을 바꾸는 것입니다. 학생이 글을 읽으며 공부하는 방식에서 도표를 그리며 공부하는 방식으로 바꾸기로 결정하는 것을 상상해 보세요. 로봇은 수학 공식이나 메모를 업데이트하는 방식을 바꿀 수 있습니다.
2. 표상적(Representational): 이것은 로봇이 무엇을 이해할 수 있는지를 바꾸는 것입니다. 이는 학생에게 새로운 언어나 새로운 도구 세트를 주는 것과 같습니다. 만약 로봇이 데이터를 보는 방식을 바꾼다면, 더 복잡한 아이디어를 표현할 수 있게 되겠지만, 동시에 너무 많은 것을 한꺼번에 이해하게 되는 문을 열게 됩니다.
3. 구조적(Architectural): 이것은 로봇 뇌의 구조를 바꾸는 것입니다. 집의 방을 재배치하거나 새로운 복도를 추가하는 것을 생각해보세요. 이는 정보가 뇌의 한 부분에서 다른 부분으로 흐르는 방식을 바꿉니다.
4. 기질적(Substrate): 이것은 로봇의 하드웨어나 존재의 근본적인 규칙을 바꾸는 것입니다. 인간의 뇌를 슈퍼컴퓨터나 단순한 계산기로 교체하는 것과 같습니다.
5. 메타인지적(Metacognitive): 이것은 로봇의 "관리자"입니다. 나머지 네 가지 변화 중 실제로 어떤 변화를 적용할지 결정하는 부분입니다. 즉, "좋아, 오늘은 글쓰기 대신 도표 그리기를 시도해 보자"라고 결정하는 학생과 같습니다.

"합리적" 자기 개선의 함정

논문이 식별한 핵심 문제는 "효용-학습 긴장(utility-learning tension)"이라 불리는 함정입니다. 게임을 더 잘하고 싶어 하는 로봇을 상상해 보세요. 로봇은 최근의 성과(유한한 증거)를 보고 이렇게 말합니다. "헤이, 내 뇌에 새로운 기능을 하나 추가하면, 이 특정 테스트에서 더 높은 점수를 받을 수 있겠는데!" 그래서 로봇은 그 기능을 추가합니다. 이것은 점수를 높였기 때문에 "합리적"입니다.

하지만 여기에 위험이 있습니다. 로봇이 기능을 추가할 때마다, 로봇의 "뇌"는 더 복잡해집니다. 만약 이 과정을 계속 반복한다면, 로봇의 뇌가 될 수 있는 모든 가능성의 총합은 무한해집니다. 논문은 만약 "도달 가능한 가족(reachable family, 로봇이 스스로 만들어낼 수 있는 모든 가능한 뇌의 집합)"이 제한 없이 커진다면, 로봇이 일반적인 방식으로 데이터로부터 학습하는 능력을 상실하게 된다는 것을 증명합니다. 로봇은 방금 치른 특정 테스트를 암기하는 데는 달인이 되겠지만, 새로운 상황은 다룰 수 없게 됩니다.

저자들은 다음과 같은 "날카로운 경계"를 증명합니다: 정책 도달 가능 가족(policy-reachable family)이 균등하게 용량이 제한(uniformly capacity-bounded)되는 경우에만 분포-독립적 PAC 학습 가능성(Distribution-free PAC learnability)이 보존된다.

이를 쉬운 영어(한국어)로 번-역하자면 다음과 같습니다:

• Distribution-free PAC learnability: 데이터가 어떤 형태이든 상관없이, 아주 많은 양의 데이터 없이도 데이터로부터 잘 학습할 수 있는 능력.
• Policy-reachable family: 로봇이 스스로 만들어낼 수 있는 모든 서로 다른 "버전"들의 전체 집합.
• Uniformly capacity-bounded: 그 모든 가능한 버전들의 총 복잡성이 엄격한 제한 아래 유지됨을 의미함.

논문은 말합니다: 만약 로봇이 무한히 복잡해지는 것이 허용된다면, 로봇은 학습을 멈춥니다. 만약 복잡성을 통제한다면, 로봇은 학습을 지속합니다. 이것은 단순한 시뮬레이션이 아니라 수학적 증명입니다.

이중 게이트 가드레일

그렇다면 어떻게 로봇이 스스로를 망가뜨리는 것을 막을 수 있을까요? 저자들은 **이중 게이트 가드레일(Two-Gate Guardrail)**이라는 간단한 규칙을 제안합니다.

로봇이 자신을 업그레이드하고 싶어 한다고 가정해 봅시다. 로봇은 변화를 허용받기 전에 두 가지 검사를 통과해야 합니다:

1. 검증 게이트(The Validation Gate): 로봇은 새로운 버전이 테스트 세트(보지 못한 데이터 세트)에서 실제로 더 나은 성능을 보인다는 것을 증명해야 합니다. 단순히 조금 더 나은 것만으로는 부족하며, 특정 마진($\tau$)만큼 더 나아야 합니다. 이는 그 변화가 운 좋은 추측이 아니라 실제적인 것임을 보장합니다.
2. 용량 게이트(The Capacity Gate): 로봇은 새로운 버전이 너무 복잡하지 않다는 것을 증명해야 합니다. 가용한 데이터의 양에 기반한 사전 설정된 제한($K(m)$) 내에 머물러야 합니다.

만약 로봇이 두 게이트를 모두 통과하면 업그레이드할 수 있습니다. 만약 둘 중 하나라도 통과하지 못하면 업그레이드는 거부됩니다.

논문은 이 이중 게이트 시스템을 사용하면 다음과 같은 보장을 얻을 수 있음을 보여줍니다: 로봇은 계속해서 발전할 것이며, 최종 성능은 제한 범위 내에서 도달할 수 있는 최선의 버전에 근접할 것입니다. 이는 로봇이 더 높이 올라갈 수 있게 해주면서도 "학습 가능성"의 낭떠러지로 떨어지지 않게 하는 안전망과 같습니다.

이것이 왜 중요한가

이 논문은 로봇의 목표(goals)에만 의존해서는 안전을 보장할 수 없다고 주장합니다. 로봇이 최선을 다해 도움이 되려고 노력하더라도, 제한 없이 스스로를 계속 복잡하게 만든다면, 결국 학습을 가능하게 하는 통계적 규칙을 깨뜨리게 될 것입니다.

저자들은 "복잡한 모델이 나쁘다"고 말하는 것이 아님을 강조합니다. 우리는 거대 모델이 잘 작동할 수 있다는 것을 알고 있습니다. 핵심은 로봇이 스스로를 변화시킬 때, 구조적인 제약이 필요하다는 것입니다. 즉, "더 똑똑해질 수는 있지만, 더 많은 증거 없이 무한히 똑똑해질 수는 없다"라는 규칙이 필요하다는 것입니다.

논문은 자기 개선이 단순히 로봇이 달성하고자 하는 목표뿐만 아니라, 학습을 가능하게 하는 구조적 조건에 의해 제약되어야 한다고 결론짓습니다. AI 시스템이 점점 더 자율적으로 변함에 따라, 이 경계를 이해하는 것은 매우 중요합니다. 만약 우리가 이러한 가드레일을 설치하지 않는다면, 우리는 스스로를 수정하는 데 너무 능숙한 나머지 실제 세상으로부터 배우는 법을 잊어버리는 로봇을 의도치 않게 만들 수도 있습니다.

요약하자면, 이 논문은 자기 개선의 "위험 구역"에 대한 수학적 지도를 제공합니다. AI가 안전하게 학습하도록 유지하려면, 그 미래의 자아들이 얼마나 복잡해질 수 있는지에 대해 엄격한 끈을 쥐고 있어야 한다고 말합니다. 이중 게이트 시스템은 그 끈이며, 로봇이 정신을 잃지 않고 계속해서 발전할 수 있게 만드는 유일한 방법입니다.