Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light

기술적 요약: 진화론적 관점에서 조명하는 강화학습의 세 가지 도그마

문제 제기
본 논문은 강화학습(RL)의 형식주의와 생물학적 행위성(agency)의 본질 사이에서 커지는 괴리를 다룬다. 인공 시스템이 수동적 학습자에서 자율적 에이전트로 전환됨에 따라, 저자들은 표준적인 RL 프레임워크가 완전한 행위성 이론을 구축하기에는 불충분하다고 주장하는 세 가지 핵심 "정설"(또는 도그마)을 지적한다:

1. T1 (환경): 환경은 마르코프 결정 과정(MDP)으로 정형화되며, 이는 에이전트에 대한 공식적 이론보다 환경의 구조를 우선시한다.
2. T2 (학습): 학습은 종단적 솔루션을 향한 정책 최적화(탐색)로 정의되며, 개방형 과정으로서의 적응이라는 개념을 간과한다.
3. T3 (목표): 에이전트는 스칼라 보상 극대화자로 정의되는데, 저자들은 이것이 생물학적 목표의 다중 목적적이고 맥락 의존적인 성격을 포착하지 못한다고 주장한다.

저자들은 최근의 비판들(예: Abel et al., 22024)이 이러한 문제들을 식별했음에도 불구하고, 구체적이고 생물학적 근거를 갖춘 대안을 제시하지 못했다고 주장한다. 본 논문은 보다 충실한 적응적 행위성을 설명하기 위해 진화 이론과 열역학을 사용하여 이 정설들을 재구성하고자 한다.

방법론 및 이론적 프레임워크
본 논문은 경험적 실험보다는 개념적 재구성을 채택하며, 세 가지 별개의 이론적 영역을 활용한다:

• 개방형 진화 알고리즘: 적응을 최적점으로의 수렴이 아니라, 다양하고 상호 비교 불가능한 솔루션의 생성으로 모델링하기 위해 니칭(niching), 공진화(coevolution), 최소 기준(minimal criteria)과 같은 개념을 활용한다.
• 다윈적 신경역학(Darwinian Neurodynamics): 진화적 선택 메커니즘(변이를 동반한 복제, 경쟁, 선택)이 단일 유기체의 생애 내에서도(예: 신경 역학 또는 면역 체계) 작동할 수 있다는 이론(예: Szathmáry et al.)을 활용하여, 세대 간 진화와 생애 내 학습 사이의 간극을 메운다.
• 열역학과 자기발생(Autogenesis): 진화의 전제 조건을 설명하기 위해 비평형 열역학과 자기발생 이론(Deacon et al.)을 적용한다. 이는 "네겐트로피"(자기 유지)와 "비주기적 결정"(유전)을 분석하여, 사전에 존재하는 템플릿이나 외부 설계자를 가정하지 않고 어떻게 자기 지속적 단위가 발생하는지를 설명하는 과정을 포함한다.

주요 기여 및 논거

1. 적응의 재구성 (T2): 탐색에서 새로움으로
저자들은 적응을 단순히 탐색의 반대로 보는 것이 아니라, 다른 종류의 탐색으로 보아야 한다고 주장한다: 즉, **개방형 새로움 탐색(open-ended novelty search)**이다.

• 이중 엔진: 생물학적 적응은 두 가지 보완적인 엔진에 의존한다: (a) 적합도 기반 최적화(알려진 미지수 해결)와 (b) 개방형 다양성 생성(알려지지 않은 미지수 대응).
• 메커니즘: 논문은 세 가지 메커니즘을 통해 두 번째 엔진을 구체화한다:
  • 니칭(Niching): 직접적인 경쟁을 피하기 위한 새로운 생태적 지위 창출.
  • 공진화(Coevolution): 에이전트와 환경이 서로를 상호 수정함.
  • 최소 기준(Minimal Criteria): 경사 기반 최적화가 아닌 이진 생존 가능성 임계값에 기반한 생존.
• 시사점: 표준 MDP 형식은 "나이트적 불확-확실성(Knightian uncertainty, 알려지지 않은 미지수)"을 배제한다. 완전한 적응 이론은 첫 번째 엔진이 활용할 수 있는 새로운 목적과 표현을 생성하는 두 번째 엔진을 필요로 한다.

2. 보상 가설의 해체 (T3)
논문은 "보상 가설"(스칼라 보상 극대화의 충분성)이 Bowling et al. (2023)이 확립한 공리적 기초에 위배됨을 입증함으로써 이에 도전한다:

• 완전성의 실패: 진화 과정은 상호 비교 불가능한 솔루션들(예: 서로 다른 니치에 있는 서로 다른 종들)을 생성하며, 이는 단일 선호 순위로 서열화될 수 없다. 생물학적 에이전트의 종단적 목표는 고정된 스칼라 목적의 극대화가 아니라 자기 지속과 니치 창출이다.
• 독립성의 실패: 생물학적 에이전트는 여러 동시다발적인 도구적 목표(온도, pH, 삼투압 등에 대한 항상성 설정값 등)를 가지고 작동한다. 이러한 동기들의 상대적 긴급도는 맥락에 따라 달라지며(예: 포식자의 존재는 갈증과 안전 중 무엇을 우선할지의 우선순위를 변화시킴), 이는 선호가 다른 옵션들과 관계없이 안정적이어야 한다는 독립성 공리를 위반한다.
• 보상의 기원: 논문은 보상 함수의 출처를 항상성 설정값으로 추적하며, 이 설정값 자체가 진화의 산물임을 밝힌다. 이는 목표의 문제(T3)를 행위성의 문제(T1)와 연결한다.

3. 진화의 한계와 열역학적 근거 (T1)
저자들은 행위성의 원천으로 "진화"를 호출하는 것이 설명적 퇴행을 초래할 수 있다고 주장한다. 왜냐하면 진화는 자기 복제 및 자기 유지 단위를 전제로 하지만, 그 단위의 전제 조건을 설명하지는 않기 때문이다.

• 열역학적 전제 조건: 저자들은 (보상 $\to$ 항상성 $\to$ 진화)로 이어지는 지연의 사슬이 반드시 열역학에서 멈춰야 한다고 제안한다.
• 자기발생(Autogenesis): 두 개의 자기 제거적 소산 과정(dissipative processes) 사이의 상호 제약 메커니즘으로서의 자기발생 개념을 도입하여, 어떻게 자기 지속적이고 자기 복제적인 단위가 생성되는지를 설명한다.
• 행위성 정의: 진정한 행위성은 외부 설계자나 사전 존재 템플릿에 의해 정의되는 것이 아니라, 열역학 제2법칙에 맞서 자신을 유지하기 위해 스스로 제약을 만들어내는 시스템에 의해 정의된다. 이 "자기 생산적" 단위는 유전과 T2, T3에서 논의된 진화 역학의 필수적인 토대이다.

결과 및 주장
본 논문은 실험적 결과를 제시하는 대신 다음과 같은 주장을 담은 이론적 합성을 제공한다:

• 개념적 해결: "지시적(instructional)" 학습(경사 기반)과 "선택적(selectional)" 학습(문제 이전에 존재하는 후보를 생성)을 구분하는 어휘를 제공하며, 생물학적 에이전트는 두 가지 모두가 필요하다고 주장한다.
• 공리적 반박: 스칼라 보상 함수에 필요한 공리들(완전성과 독립성)이 생물학적 생존의 다중 목적적, 맥락 의존적 성격과 구조적으로 양립할 수 없음을 입증한다.
• 기초적 전환: RL의 에이전트에 대한 형식적 이론은 정보 이론이나 진화 알고리즘만으로 구축될 수 없으며, 반드시 자기 유지적 소산 시스템이라는 열역학적 실재에 근거해야 한다고 상정한다.
• 정보의 역전: 생물학의 "중심 원리(Central Dogma)"의 역전을 제안한다. 즉, 템플릿(DNA)이 시스템을 규정하는 것이 아니라, 템플릿에 의미를 부여하기 위해 자기 유지 시스템(해석자)이 먼저 존재해야 한다는 것이다.

의의
본 논문은 적응적 에이전트가 된다는 것이 무엇인지에 대해 "더 생물학적으로 충실하고 형식적 근거를 갖춘 설명"을 제공함으로써 그 의의를 찾는다.

• 강화학습(RL)을 위해: 진정한 자율성을 목표로 하는 미래의 AI 시스템은 스칼라 보상 최적화를 넘어 개방형 새로움 탐색과 다중 목적 항상성 메커니즘을 통합해야 함을 시사한다.
• AI 안전/정렬을 위해: 행위성을 수학적 최적화 문제가 아닌 자기 지속을 위한 열역학적 투쟁으로 재정의함으로써, 목표가 정적인 입력값이 아니라 시스템의 조직을 유지하려는 투쟁의 창발적 속성임을 시사하며 "정렬 문제"에 대한 새로운 관점을 제공한다.
• 개방형 AI를 위해: 개방형 진화 원리가 단순한 엔지니어링 도구가 아니라 과학을 포함한 복잡한 적응 시스템이 진화하는 근본적인 본질을 반영한다는 점을 강조하며, 이를 최첨단 AI의 흐름과 일치시킨다.

저자들은 자신들의 열역학적 설명이 인간 수준의 행위성에 대한 완전한 이론이라기보다는 "필수적인 전제 조건"이지만, 목표와 보상이 제1원리로부터 어떻게 발생하는지를 설명하고자 하는 모든 행위성 이론의 필수적인 토대를 제공한다고 결론짓는다.