🤖 machine learning

Task-Induced Representational Invariances Depend on Learning Objective in Deep RL

이 논문은 심층 강화 학습 알고리즘, 구체적으로 가치 기반(DQN) 및 정책 경사(PPO) 방법론이 유사한 성능에도 불구하고 각각 MDP 준동형성과 행동 대칭성에 부합하는 서로 다른 과업 유도적 표현 불변성을 학습한다는 점을 입증하며, 모델을 비교하고 신경 코딩에 대한 통찰을 얻기 위한 원칙적인 프레임워크를 제공한다.

원저자: Manu Srinath Halvagal, Sebastian Lee, SueYeon Chung

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Manu Srinath Halvagal, Sebastian Lee, SueYeon Chung

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 두 명의 서로 다른 학생에게 복잡한 미로를 통과하여 숨겨진 보물을 찾는 법을 가르치고 있다고 상상해 보십시오. 두 학생 모두 매우 똑똑하며, 정확히 같은 지도를 사용하고, 결국 매번 완벽하게 보물을 찾아냅니다. 하지만 논문은 그들이 미로를 생각하는 방식이 완전히 다르다는 점을 밝혀냅니다.

이 연구의 제목은 "학습 목표에 따른 심층 강화 학습의 과업 유도적 표현 불변성(Task-Induced Representational Invariances Depend on Learning Objective in Deep RL)"입니다. 저자들은 인공지용(AI) 에이전트가 문제를 해결하는 방법을 배울 때 세상을 어떻게 "보는지"를 조사했습니다. 연구 결과, AI가 배우는 방식(학습 목표)이 내부 지식을 어떻게 조직하는지를 결정한다는 사실을 발견했습니다. 결과는 동일하더라도 말입니다.

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 것입니다.

1. 두 명의 학생: "가치" 학생 vs "행동" 학생

연구진은 두 가지 유명한 AI 학습 방법을 비교했습니다: DQN과 PPO.

"가치" 학생 (DQN): 이 학생은 점수에 집착합니다. 이 학생은 "이 특정 지점의 가치는 얼마인가?"라고 묻습니다. 이 학생은 가치 측면에서 비슷하게 느껴지는 지점들을 하나로 묶는 법을 배웁니다.
- 비유: 도시 지도를 상상해 보십시오. 이 학생은 무엇을 할 수 있는지가 아니라, 부동산의 "가격"이나 "가치"에 따라 동네를 그룹화합니다. 만약 두 개의 서로 다른 거리가 동일한 부동산 가치를 가지고 있다면, 이 학생은 건물이 어떻게 생겼든 상관없이 이들을 동일하게 취급합니다.
- 논문의 발견: 이 학생은 **MDP 호모모피즘 대칭성(MDP Homomorphism Symmetries)**을 학습합니다. 쉬운 말로 하면, 이 학생은 미로의 근저에 깔린 수학적 구조를 학습합니다. 이 학생은 "왼쪽 구석이 오른쪽 구석과 수학적으로 동일하다. 왜냐하면 미로의 규칙이 대칭적이기 때문이다"라는 것을 깨닫습니다. 즉, 세상을 더 작고 단순한 버전으로 압축합니다.
"행동" 학생 (PPO): 이 학생은 다음에 무엇을 할 것인가에 집착합니다. 이 학생은 "여기서 어떤 움직임을 취해야 하는가?"라고 묻습니다. 이 학생은 최선의 움직임이 같은 지점들을 하나로 묶습니다.
- 비유: 이 학생은 도시를 보고 교통 신호등에 따라 동네를 그룹화합니다. "신호가 초록색이면 가고, 빨간색이면 멈춘다." 건물이 어떻게 생겼는지는 중요하지 않습니다. 오직 필요한 행동이 무엇인지에만 집중합니다.
- 논문의 발견: 이 학생은 **행동 대칭성(Action Symmetries)**을 학습합니다. 이 학생은 최적의 움직임을 기준으로 상태를 그룹화합니다. 만약 상태 A에서의 최선의 움직임이 "왼쪽으로 돌기"이고 상태 B에서의 최선의 움직임도 "왼쪽으로 돌기"라면, 이 학생은 두 상태의 깊은 수학적 구조가 다르더라도 A와 B를 동일하게 취급합니다.

2. 증명: 목표는 같지만, 뇌는 다르다

연구진은 항해 작업(디지털 미로)에서 이를 테스트했습니다.

결과: 두 학생 모두 미로를 완벽하게 해결했습니다. 하지만 연구진이 그들의 "뇌"(내부 데이터 표현)를 들여 들여다보았을 때, 명확한 차이를 발견했습니다.
- **가치 학생 (DQN)**은 수학적으로 대칭인 상태들(예: 미로의 거울 이미지) 사이에서 높은 유사성을 보였습니다.
- **행동 학생 (PPO)**는 수학적 배경이 다르더라도 동일한 움직임을 요구하는 상태들 사이에서 높은 유사성을 보였습니다.

이는 두 명의 요리사가 정확히 똑같은 케이크를 만드는 것과 같습니다. 한 요리사는 주방을 재료(밀가 flour, 설탕, 달걀)별로 정리하고, 다른 요리사는 단계(섞기, 굽기, 프로스팅)별로 정리합니다. 두 케이크의 맛은 같지만, 그들의 내부적인 조직 방식은 완전히 다릅니다.

3. 이것이 왜 중요한가? (전이 테스트)

논문은 다음과 같은 질문을 던집니다: 이 "사고 방식"의 차이가 학생이 새로운 문제에 직면했을 때 영향을 미칠까요?

실험: 연구진은 한 게임(예: Breakout)에서 훈련된 학생들에게 유사한 다른 게임(예: Pong)을 플레이하도록 했습니다.
결과: **가치 학생 (DQN)**이 새로운 게임으로 기술을 전이하는 데 훨씬 더 뛰어났습니다. 환경의 깊은 구조적 규칙(대칭성)을 배웠기 때문에, 새로운 상황에 빠르게 적응할 수 있었습니다.
**행동 학생 (PPO)**는 더 어려움을 겪었습니다. 특정 움직임에 너무 집중했기 때문에, 새로운 게임이 기존 게임의 회전되거나 뒤집힌 버전이라는 것을 깨닫는 데 어려움을 겪었습니다.

메타포: 만약 누군가에게 특정 회전 구간을 암기시키는 방식으로 운전을 가르친다면("빨간 창고에서 좌회전해"), 창고가 사라졌을 때 길을 잃을 수 있습니다. 하지만 도로의 기하학적 원리와 운전의 원칙을 가르친다면, 랜드마크가 다른 새로운 도시에서도 잘 대처할 수 있습니다. 가치 학생은 원칙을 배웠고, 행동 학생은 회전 구간을 암기했습니다.

4. "챗봇"의 놀라운 발견 (대규모 언어 모델)

연구진은 또한 동일한 미로 작업에 대해 대규모 언어 모델(LLM, 챗봇의 기반 기술)을 테스트했습니다. 연구진은 챗봇을 훈련시킨 것이 아니라, 채팅창에 미로에 대한 설명을 제공했습니다.

발견: 챗봇의 "사고 방식"은 미로가 어떻게 설명되느냐에 따라 달라졌습니다.
- 미로가 단순한 연결 목록으로 설명되었을 때, 챗봇은 행동 학생처럼 행동했습니다(움직임에 집중).
- 미로가 시각적인 ASCII 아트 트리 형태로 구조가 명확히 보여지게 설명되었을 때, 챗봇은 갑자기 가치 학생처럼 행동하며 깊은 대칭성을 인식하기 시작했습니다.
시사점: 고정된 AI 학생들과 달리, 챗봇은 유연합니다. 챗봇은 프롬프트(지침)를 바꾸는 것만으로도 "사고 방식"을 전환할 수 있습니다.

요약

이 논문은 AI가 어떻게 배우느냐가 세상을 어떻게 보느냐를 결정한다고 결론짓습니다.

만약 당신이 환경의 깊은 구조적 규칙을 이해하는 AI(새로운 상황에 적응하는 데 탁월함)를 원한다면, 가치 기반 방법(예: DQN)을 사용해야 합니다.
만약 당신이 즉각적인 최선의 움직임에 극도로 집중하는 AI를 원한다면, 정책 기반 방법(예: PPO)을 사용할 수 있습니다.

이것은 단순히 수학에 관한 것이 아닙니다. 두 시스템이 동일하고 완벽한 결과를 달성하면서도, 현실에 대한 완전히 다른 내부 지도를 구축할 수 있다는 점을 이해하는 것에 관한 것입니다. 이는 과학자들이 AI가 어떻게 작동하는지뿐만 아니라, 동물의 뇌가 달성하고자 하는 목표에 따라 학습을 어떻게 다르게 조직할 수 있는지를 이해하는 데 도움을 줍니다.

기술 요약: 심층 강화 학습에서 작업 유도적 표현 불변성은 학습 목적에 따라 달라진다

문제 정의

심층 강화 학습(Deep RL)은 게임 플레이에서 대규모 언어 모델(LLM) 정렬에 이르기까지 다양한 영역에서 놀라운 성공을 거두었으나, 이러한 모델 내의 **학습된 표현(learned representations)**에 대한 이론적 이해는 여전히 제한적이다. 이러한 격차는 계산 모델과 동물의 학습을 직접 비교하는 것을 방해하며, 작업 구조가 어떻게 인코딩되는지에 대한 체계적인 분석을 어렵게 만든다. 특히, 서로 다른 RL 알고리즘(예: 가치 기반 vs. 정책 경사 방식)이 작업 대칭성을 어떻게 인코딩하는지, 그리고 이러한 표현의 차이가 전이 학습(transfer learning)에 기능적 결과(functional consequences)를 초래하는지는 명확하지 않다.

방법론

저자들은 MDP 축소 이론(MDP reduction theory), 특히 대칭성에 대한 불변성에 초점을 맞추어 심층 RL 표현을 분석한다. 방법론은 다음과 같다:

이론적 프레임워크:
- MDP 동형성(MDP Homomorphism): 군론(group theory)을 활용하여 전이 함수와 보상 함수가 특정 변환(예: 반사) 하에서도 불변을 유지하는 상태-행동 공간의 대칭성을 식별한다. 이는 "MDP 대칭성"을 정의한다.
- 정책 대칭성(Policy Symmetry): 주어진 정책이 서로 다른 상태에 대해 동일한 행동을 선택하는지 여부에 따라 대칭성을 정의한다(최적 정책 대칭성, $\pi^*$ ).
- 표현 유사성 분석(Representational Similarity Analysis, RSA): 서로 다른 알고리즘의 내부 표현을 비교하기 위해 RSA를 사용한다. 저자들은 가공되지 않은 활성화 값을 비교하는 대신, 상태 표현 간의 쌍별 코사인 유사도를 기반으로 표현 유사성 행렬(RSM)을 계산한다. 구체적으로, MDP 동형성에 의해 동등한 상태 쌍과 정책 대칭성에 의해 동등한 상태 쌍에 대한 유사성을 각각 측정한다.
실험 도메인:
- 내비게이션 태스크: 알려진 MDP 동형성(반사 대칭성)을 가진 미로 그리드월드(Rosenberg 등의 연구 기반)를 사용한다. 탭룰러(tabular) 버전과 시각적(CNN 기반) 버전을 모두 사용하였다.
- 비교 대상 알고리즘:
  - DQN: 가치 함수를 학습하여 정책을 도출하는 가치 기반 방법론.
  - PPO: 정책을 직접 최적화하는 정책 경사 방법론.
  - Deep SARSA(n): 데이터 수집 전략으로부터 학습 목적을 분리하기 위해, PPO처럼 온-폴리시(on-policy) 방식으로 훈련되었으나 DQN처럼 가치 기반인 제어 실험용 알고리즘.
- 복잡한 환경: 정확하게 축소 가능한 MDP를 넘어 일반화 가능성을 테스트하기 위해 CartPole(연속형) 및 Pong(고차원 픽셀)을 사용한다.
- 전이 학습: 새로운 작업으로의 일반화를 테스트하기 위해 아타리(Atari) 게임(Breakout, SpaceInvaders, Pong)에 대한 실험을 수행한다.
- LLM 분석: Qwen2.5-72B-Instruct에게 서로 다른 입력 형식(ASCII 트리 vs. 에지 리스트)을 사용하여 내비게이션 태스크를 해결하도록 프롬프팅하여, 인컨텍스트 학습(in-context learning)에서 나타나는 창발적 대칭성을 관찰한다.

주요 기여

목적 의존적 표현 불변성: 학습 목적이 동일한 성능을 내더라도 인코딩되는 대칭성의 유형을 체계적으로 결정한다는 것을 입증한다.
- **가치 기반 방법(DQN)**은 MDP 동형성 대칭(구조적 환경 대칭)에 불변인 표현을 학습한다.
- **정책 경사 방법(PPO)**은 행동 대칭(동일한 최적 행동을 공유하는 상태)에 불변인 표현을 학습한다.
학습 목적의 인과적 격리: Deep SARSA(n) 실험을 통해, 표현의 대칭성 인코딩 차이가 데이터 수집 전략(off-policy vs. on-policy)이 아니라 학습 목적(가치 기반 vs. 정책 경사)에 의해 발생함을 보여준다.
전이 학습의 결과: MDP 동형성을 인코딩하는 표현(DQN)이 행동 대칭성을 인코딩하는 표현(PPO)보다 공유된 환경적 대칭성을 가진 아타리 작업 간의 전이 학습을 더 잘 촉진한다는 경험적 증거를 제공한다.
LLM 프롬프트 의존성: LLM이 두 가지 유형의 대칭성을 모두 나타낼 수 있지만, MDP 동형성 대칭의 창발은 프롬프트에 의존적임을 밝힌다. 이는 작업 구조가 명시적으로 설명될 때(ASCII 트리) 나타나며, 두 형식 모두에서 관찰되는 견고한 정책 대칭성과 달리, 덜 구조화된 에지 리스트 형식에서는 나타나지 않는다.

주요 결과

내비게이션 태스크: 미로 태스크에서 DQN은 MDP 대칭 상태 쌍에 대해서는 높은 표현 유사성을 보였으나, 동일한 최적 행동을 공유하는 상태들에 대해서는 낮은 유사성을 보였다. 반대로, PPO는 행동 동등 상태에 대해서는 높은 유사성을 보였으나, MDP 대칭 상태 쌍에 대해서는 낮은 유사성을 보였다.
일반화: 이러한 해리(dissociation) 현상은 연속형(CartPole) 및 고차원(Pong) 환경에서도 유효했으나, Pong에서는 CNN의 국소 수용장(local receptive fields)으로 인해 MDP 대칭 신호가 더 약하게 나타났다.
전이 학습: 아타리 전이 실험(예: Breakout $\to$ Pong)에서, MDP 대칭을 인코딩하는 DQN 에이전트는 관측 회전 하에서도 상당한 성능 향상과 안정성을 보였다. PPO 에이전트는 전이 이득이 거의 없었으며 관측 변환에 더 민감했다.
LLM 연구 결과: LLM은 프롬프트 형식에 관계없이 정책 대칭성을 견고하게 인코딩했다. 그러나 MDP 동형성 대칭은 프로프트가 계층적 구조를 명시적으로 강조할 때만(ASCII 표현) 나타났으며, 이는 LLM이 훈련된 RL 알고리즘이 갖지 못한 표현의 유연성을 보유하고 있음을 시사한다.

의의 및 주장

저자들은 본 연구가 MDP 축소 이론을 사용하여 RL 알고즘 간의 학습된 표현을 비교하는 원칙적인 접근 방식을 제공한다고 주장한다. 본 연구의 의의는 다음과 같다:

알고리즘 선택: 다운스트림 목표에 따라 RL 알고리즘을 선택하기 위한 이론적 근거를 제공한다. 전이나 일반화를 위해 환경 구조를 포착하는 표현을 원하는 실무자는 가치 기반 방법을 선호할 수 있고, 행동 수준의 조직화를 우선시하는 경우에는 정책 경사 방법을 선호할 수 있다.
신경과학: 생물학적 신경 회로를 조사하기 위한 프레임워크를 제공한다. 저자들은 이 파이프라인을 신경 기록(neural recordings)에 확장하여, 동물의 뇌가 MDP와 유사한 태스크 대칭성을 선호하는지 아니면 정책과 유사한 행동 매핑을 선호하는지 결정할 수 있다고 제안한다.
LLM 사후 학습(Post-Training): RLHF 및 기타 사후 학습 방법이 LLM의 표현을 변화시켜 인컨텍스트 학습 능력에 영향을 미칠 수 있으며, 이는 PPO의 전이 실패에서 관찰된 것과 유사한 편향을 도입할 수 있음을 강조한다.

본 논문은 POMDP에서의 일대일 상태-관측 매핑 가정, 특정 유사성 지표(코사인 유사도)의 사용, 특정 알고리즘 특성으로부터 어떤 대칭성이 나타나는지에 대한 공식 이론의 부재와 같은 한계를 인정하며 겸허하게 결론을 맺는다. 저자들은 자신들의 발견을 완전한 이론이라기보다는 초기 경험적 특성화로 간주한다.