🤖 machine learning

Emergent Sparsity in Frozen Random CNN Feature Extractors for Deep Reinforcement Learning

이 논문은 동결된 무작위 초기화 CNN 특징 추출기로 학습된 심층 강화 학습 에이전트가 명시적인 희소성 유도 목적 함수 없이도 작업 복잡도에 따라 확장되며 달성 가능한 성능을 효과적으로 제한하는 극도로 희소한 완전 연결 표현을 자발적으로 발달시킨다는 것을 입증하며, 이를 통해 기저 문제의 내재적 차원을 드러낸다.

원저자: Scott M. Norton

게시일 2026-07-30

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Scott M. Norton

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 매뉴얼을 읽는 대신, 화면을 뚫어지게 쳐ras보며 다음에 무엇을 할지 추측하며 게임을 배우는 세상을 상상해 보세요. 이것이 바로 **심층 강화 학습(Deep Reinforcement Learning, DRL)**의 영역입니다. 이것은 마치 강아지를 훈련시키는 것과 같습니다. 당신은 강아지에게 프리스비(원반)를 어떻게 잡아야 하는지 알려주지 않습니다. 그저 프리스비를 잡았을 때 간식을 주고, 못 잡았을 때 "안 돼"라고 말할 뿐이죠. 시간이 흐르면 강아지는 스스로 그 기술을 터득합니다. 컴퓨터 세계에서 이 "강아지"는 신경망, 즉 인간의 뇌를 모방한 거대한 수학적 연결의 그물망입니다. 보통 이러한 컴퓨터를 똑똑하게 만들기 위해, 우리는 이 그물망의 모든 연결을 미세하게 조정하여 세상의 최선의 방식을 찾아내도록 합니다. 하지만 여기에는 함정이 있습니다. 이 컴퓨터 뇌들은 종종 엄청나게 비대해진다는 것입니다. 수백만 개의 연결을 가지고 있어, 마치 나무가 너무 많은 숲처럼 어떤 것이 실제로 일을 하고 있고 어떤 것이 방해가 되는지 파악하기 어렵게 만듭니다. 과학자들은 오랫동안 궁금해해 왔습니다. 이 거대한 뇌들이 반드시 그렇게 커야만 하는지, 아니면 이 문제를 해결할 더 단순하고 효율적인 방법이 있는지 말입니다.

여기서 스콧 M. 노튼(Scott M. Norton)이라는 호기심 많은 연구자가 매우 기묘한 실험을 들고 나타났습니다. 그는 컴퓨터의 "눈"(화면을 보는 부분)이 학습하고 변하는 대신, 그것을 얼려버렸습니다. 그는 무작위로 생성된, 훈련되지 않은 카메라 렌즈를 가져와서 고정시킨 뒤, 그 렌즈가 아무것도 새로 배우지 못하도록 잠가버렸습니다. 그러고 나서 그는 컴퓨터에게 이 얼려진 무작 most의 무작위 렌즈만을 사용하여 아타리(Atari) 게임을 배우라고 명령했습니다. 예상대로라면 컴퓨터는 처참하게 실패하거나, 적어도 이 흐릿하고 무작위적인 이미지들을 이해하는 데 큰 어려움을 겪어야 했습니다. 하지만 마법 같고도 예상치 못한 일이 일어났습니다. 컴퓨터는 단순히 학습한 것을 넘어, 믿을 수 없을 정도로 효율적으로 학습했습니다. 아무도 그것에게 단순해지라고 말하지 않았음에도, 컴퓨터는 스스로 전체 뇌 용량의 95%를 무시하기로 결정했습니다. 거의 모든 뉴런을 꺼버리고 단 몇 줌의 뉴런만을 사용하여 게임을 풀어낸 것입니다. 이는 마치 무작위 페이지들이 서로 붙어 있는 교과서를 건네받은 학생이, 단 세 문장만을 암기하여 시험에서 만점을 받은 것과 같았습니다.

얼려진 렌즈 실험

이 연구에서 연구자는 퐁(Pong)(공을 주고받는 디지털 테니스 게임)이라는 고전 비디오 게임 시나리오를 설정했습니다. 그는 표준적인 AI 에이전트를 구축했지만, 한 가지 반전이 있었습니다. 비디오 이미지를 처리하는 부분(합성곱 신경망, CNN)을 무작위 숫자로 초기화한 뒤 얼려버린(frozen) 것입니다. 이 부분은 결코 새로운 것을 배울 수 없도록 고정되었습니다. 오직 AI의 마지막 의사결정 층, 즉 이미지 데이터를 받아 패들을 위, 아래로 움직일지 아니면 가만히 있을지를 결정하는 "완전 연결(fully connected)" 부분만이 학습할 수 있었습니다.

보통 이러한 AI 에이전트를 훈련할 때는 시스템 전체가 함께 학습하도록 둡니다. "눈"은 공을 포착하는 법을 배우고, "뇌"는 패들을 움직이는 법을 배웁니다. 하지만 이 실험에서 "눈"은 무작위적이고 훈련되지 않은 세상을 보고 있었습니다. 연구자들은 AI가 서툴 것이라고 예상했습니다. 그러나 결과는 달랐습니다. AI의 뇌는 자발적으로 **희소 표현(sparse representation)**을 발달시켰습니다.

"희소성(Sparsity)"은 "매우 적게 사용한다"는 뜻의 멋진 단어입니다. 상상해 보세요. 방 안에 64개의 전등 스위치가 있습니다. 일반적인, 완전히 훈련된 AI라면 게임을 플레이하는 동안 64개 스위치 거의 대부분이 깜빡거리며 복잡하고 노이즈 섞인 패턴을 만들어낼 것입니다. 하지만 이 얼려진 실험에서 AI는 사용 가능한 64개의 스위치 중 단 1~3개의 스위치만을 켰습니다. 나머지 61개의 스위치는 완전히 무시했습니다. 그것들은 필요하지 않았기 때문입니다. AI는 무작위로 얼려진 렌즈가 게임을 풀기에 딱 적절한 몇 개의 "채널" 정보를 가지고 있다는 것을 알아차렸고, 에너지 소비를 줄이고 집중하기 위해 나머지 모든 것을 꺼버렸습니다.

"딱 필요한 만큼"의 규칙

이 발견에서 가장 매혹적인 부분은 AI가 사용한 스위치의 개수가 무작위가 아니었다는 점입니다. 그 수는 게임의 난이도와 일치했습니다.

퐁(Pong): 공 하나와 두 개의 패들만 있는 단순한 게임입니다. AI는 이를 마스터하는 데 단 1~3개의 뉴런(뇌 속의 작은 처리 단위)만을 필요로 했습니다.
브레이크아웃(Breakout): 공, 패들, 그리고 벽돌 벽이 포함된 더 복적인 게임입니다. AI는 19~26개의 뉴런이 필요했습니다.
스페이스 인베이더(Space Invaders): 외계인, 총알, 방패가 등장하는 혼란스러운 게임입니다. AI는 약 42개의 뉴런을 필요로 했습니다.

연구자들은 AI의 뇌를 더 넓게 만들어(선택할 수 있는 스위치를 더 많이 제공하여) 이를 테스트했습니다. AI에게 64개 대신 128개의 스위치를 주었음에도 불구하고, AI는 여전히 게임을 풀기 위해 동일한 작은 숫자(3~14개)만을 사용했습니다. 더 많은 스위치가 있다고 해서 더 많이 사용하지 않았습니다. AI는 게임의 "진정한 복잡성"을 감지하고, 엄격하게 필요한 만큼의 뇌 용량만을 사용하는 듯 보였습니다.

이것이 중요한 이유 (그리고 그렇지 않은 이유)

여러분은 "AI가 운이 좋았던 것 아닌가요?"라고 물을 수도 있습니다. 연구자들은 이를 철저히 확인했습니다. 그들은 AI가 사용하던 특정 뉴런 몇 개를 추출하여 꺼버리는 과정(절제, ablation)을 거쳤을 때, AI가 즉시 게임을 플레이하는 법을 잊어버리고 완전히 무작위로 행동한다는 것을 발견했습니다. 이는 그 몇 개의 뉴런이 모든 핵심적인 역할을 수행했음을 증명합니다. 나머지 뇌는 해당 작업에 정말로 쓸모가 없었습니다.

하지만 논문은 이것이 모든 상황에 적용되는 마법의 해결책이라고 주장하지 않도록 주의를 기울였습니다. 연구자들은 이 "얼려진 렌즈" 기법이 퐁이나 브레이크아웃처럼 명확하고 반응적인 구조를 가진 게임에서 가장 잘 작동한다는 것을 발견했습니다. 프리웨이(Freeway) 같은 게임에서는 AI가 매번 위로 움직이는 방식으로 "꼼수"를 써서 실제 학습 없이도 문제를 풀 수 있었습니다. 그런 경우, "희소성"은 지능의 징표가 아니라 지름길을 찾은 것에 불 old였습니다. 하지만 실제 기술이 필요한 게임에서, 얼려진 무작위 렌즈는 AI가 가능한 가장 효율적인 경로를 찾도록 강제했습니다.

거시적 관점: 노이즈 속에서 신호 찾기

이 이야기는 효율성에 관한 것입니다. 우리는 흔se 어려운 문제를 해결하려면 거대하고 복잡한 기계가 필요하다고 생각합니다. 하지만 이 논문은 만약 기계에게 고정된 무작위 도구들을 준다면, 기계는 자연스럽게 그것들을 사용하는 가장 단순한 방법을 찾아낼 것이라고 제안합니다. 이는 누군가에게 백만 개의 무작위 도구가 들어있는 거대한 도구 상자를 주는 것과 같습니다. 똑똑한 사람은 그 모든 것을 사용하려고 애쓰는 대신, "아, 이 의자를 고치려면 이 드라이버 하나와 이 망치 하나만 있으면 되겠구나"라고 빠르게 깨달을 것입니다.

연구자들은 또한 이 현상이 언제 발생하는지에 대해서도 주목했습니다. AI는 훈련 초기, 때로는 첫 1500만 단계 이내에 어떤 뉴런을 사용할지 결정했습니다. AI는 실제로 게임을 잘하기 시작하기 훨씬 전부터 그 선택을 확정 지었습니다. 마치 AI가 첫날에 팀원을 선발하고, 이후 1억 단계를 그 특정 팀원들과 함께 연습하는 데 보낸 것과 같았습니다.

유쾌한 비유: 라디오 튜너

얼려진 CNN은 특정 무작위 주파수에 고정된 라디오와 같습니다. 들어오는 신호는 정적(static)과 음악이 섞여 있습니다. 대부분의 사람들은 "이 라디오는 고장 났어. 안테나를 고쳐야 해"라고 생각할 것입니다. 하지만 이 AI는 다릅로습니다. AI는 안테나를 고치려 하지 않습니다. 대신, 정적 속에서 귀를 기울이며 "아, 이 정적의 아주 작은 조각에 채널을 맞추면 음악을 완벽하게 들을 수 있구나"라고 깨닫습니다. 그리고 나머지는 무시합니다.

AI의 세계에서 우리는 보통 더 나은 안테나를 만들려고 노력합니다(전체 네트워크를 훈련시킵니다). 이 논문은 때때로 무작위 안테나를 그대로 두더라도, AI가 자연스럽게 신호의 아주 작은 조각을 찾아내고 나머지는 무시할 수 있음을 보여줍니다. 이는 때때로 '적은 것이 더 많다(less is more)'는 것을, 그리고 자연(또는 이 경우의 고정된 무작위 네트워크)은 우리가 방해하지 않는다면 가장 단순한 해결책을 찾는 방법이 있다는 것을 상기시켜 줍니다.

연구자들은 이 현상이 미래에 더 똑똑하고 작은 AI 시스템을 구축하는 데 도움이 될 수 있다고 제안합니다. 거대하고 낭비적인 네트워크를 만드는 대신, 고정된 무작위 특징들을 사용하여 AI가 문제의 "고유 차원(intrinsic dimension)", 즉 실제로 중요한 아주 작은 변수들을 찾도록 도울 수 있습니다. 이는 단순히 강력한 AI가 아니라, 우아하고 효율적인 AI를 향한 한 걸음입니다.

기술 요약: 심층 강화 학습을 위한 동결된 무작위 CNN 특징 추출기에서의 창발적 희소성(Emergent Sparsity)

문제 정의

심층 강화 학습(DRL) 에이전트는 일반적으로 소수의 고유한 상태 변수(예: 퐁(Pong)은 약 5개의 연속적인 변수로 정의됨)에 의해 제어되는 환경을 해결하기 위해 과잉 매개변수화된(overparameterized) 신경망을 채택한다. 이러한 과잉 매개변수화는 용량(capacity)과 구조(structure) 사이의 긴장을 유발하며, 이는 표현 랭크 붕괴(representation rank collapse), 휴면 뉴런(dormant neurons), 가소성 상실(plasticity loss)과 같은 병리 현상으로 이어지는 경우가 많다. 희소성은 프루닝(pruning)이나 정규화를 통해 설계되어야 하는 바람직한 속성으로 간view되곤 하지만, 기존 문헌은 표준적인 엔드 투 엔드(end-to-end) 훈련에서는 희소성이 자연스럽게 창발되지 않는다고 시사한다. 즉, 밀집된 네트워크는 가용 용량 전체에 정보를 균등하게 분산시켜, 과업의 근본적인 단순성을 가려버린다.

본 연구는 이와 보완적인 질문을 조사한다: 특징 추출기가 고정되었을 때, 경사 하강법(gradient descent)은 얼마나 적은 양만을 선택하여 사용하는가? 구체적으로, 저자들은 명시적인 희소성 유도 목적 함수 없이, 고정된 무작위 초기화 CNN을 특징 추출기로 사용하여 에이전트가 정책을 학습해야 할 때 희소성이 자발적으로 발생하는지 조사한다.

방법론

아키텍처 및 훈련 프로토콜

본 연구는 표준 Nature-DQN CNN 아키텍처(3,136차원의 특징을 생성하는 3개의 합성곱 계층)와 그 뒤를 잇는 두 개의 완전 연결(FC) 계층(FC1: 3,136 $\to$ 64; FC2: 64 $\to$ 64) 및 정책/가치 헤드를 활용한다.

동결된 CNN 조건 (Frozen-CNN Condition): CNN 가중치는 Kaiming normal 방식으로 무작위 초기화된 후 즉시 동결된다. 오직 FC 계층과 정책/가치 헤드만이 훈련 가능하다. CNN은 픽셀 공간에서 3,136차원의 특징 공간으로의 고정된 무작위 투영(random projection) 역할을 수행한다.
훈련 가능한 CNN 조건 (Trainable-CNN Condition, 대조군): 모든 계층이 동일한 하이퍼파라미터로 엔드 투 엔드 훈련된다.
알고리즘: 두 가지 독립적인 구현체인 Stable-Baselines3 (SB3, 동기식)와 Sample Factory (SF, 비동기식)를 통해 PPO를 사용하여 실험을 진행한다.
환경: 다양한 내재적 복잡도를 가진 4개의 Atari 2600 게임을 사용한다: Pong ( $\sim$ 5개의 상태 변수), Freeway ( $\sim$ 10–15), Breakout ( $\sim$ 15–25), Space Invaders ( $\sim$ 40+).
확률적 요소: 고정된 행동 시퀀스를 암기하는 것을 방지하고 반응적 제어를 보장하기 위해 적절한 경우 "스티키 액션(Sticky actions)"( $p_{sticky}=0.25$ 의 확률로 이전 행동을 반복)을 적용한다.

분석 지표

활성 뉴런 수 (Active Neuron Count): 평균 post-ReLU 활성화 값이 0.01을 초과하는 뉴런을 "활성" 상태로 분류한다.
참여 비율 (Participation Ratio, PR): 활성화-공분산 고윳값 $\lambda_i$ 를 사용하여 정의되는 유효 차원의 척도이다: $PR = (\sum \lambda_i)^2 / \sum \lambda_i^2$ . 이는 독립적인 뉴런 집합과 매우 상관관계가 높은 뉴런 집합을 구분한다.
절제 검증 (Ablation Verification): 핵심적인 경험적 테스트는 활성 뉴런을 마스킹(FC1-Remove)하거나 비활성 뉴런을 유지(FC1-Keep)하는 것이다. 활성 뉴런을 제거했을 때 성능이 무작위 플레이 수준으로 추락하는 것은 진정한 정보 병목(information bottleneck)이 존재함을 확인해 준다.

주요 기여 및 결과

1. 창발적 희소성은 과업 복잡도에 따라 스케일링된다

주요 발견은 동결된 무작위 CNN이 첫 번째 완전 연결 계층(FC1)에서 극도로 희소한 표현을 자발적으로 개발하며, 활성 뉴런의 수는 과업 복잡도와 상관관계를 갖는다는 것이다:

Pong (결정론적): 64개 중 1–3개의 활성 뉴런 (1.6–4.7% 활용률).
Breakout: 19–26개의 활성 뉴런.
Space Invaders: $\sim$ 42개의 활성 뉴런.
훈련 가능한 대조군: 이와 대조적으로, 훈련 가능한 CNN은 과업 복잡도와 관계없이 55–64개의 뉴런(91–100% 활용률)을 사용한다.
너비 스케일링 (Width Scaling): FC1 너비(32, 64, 128)를 변화시킨 실험은 절대적인 활성 뉴런 수가 고정된 비율이 아니라 과업 구조를 반영하는 안정적인 값임을 확인해 준다.

2. 게임 내 용량 제한적 스케일링 (Capacity-Limited Scaling)

동일한 게임(Pong)과 일치된 하이퍼파터미터 하에서, 세 가지 독립적인 무작위 투영(시드)은 서로 다른 활성 뉴런 수와 그에 따른 성능 천장을 생성했다:

5개 뉴런 시드는 +14.1 보상에서 정체되었다.
7개 및 11개 뉴런 시드는 전문가 수준의 성능(+18.4 및 +18.7)에 도달했다.
이는 특정 무작위 투영의 "사용 가능한 차원성(usable dimensionality)"이 고정된 과업 및 용량에 대해 달성 가능한 성능의 천장을 설정함을 시사한다.

3. 활성 집합의 필요성과 충분성

절제 연구는 희소한 활성 집합이 모든 과업 관련 정보를 보유하고 있음을 확인한다:

FC1-Remove: 모든 시드와 프레임워크에서 활성 뉴런을 제거하면 성능이 무작위 플레이(보상 $\approx$ -21.0)로 추락한다.
FC1-Keep: 활성 뉴런만 유지(나머지는 0으로 설정)하더라도 에이전트의 전체 역량이 보존된다.
이는 정책이 분포 외(out-of-distribution) 데이터(예: 스티키 액션이 적용된 결정론적 훈련 에이전트)로 평가될 때도 마찬가지이다. 정책은 실패할 수 있지만 표현 자체는 필수적이다.

4. 병목 형성의 조기 확정 (Early Commitment)

47개의 체크포인트(5M ~ $\sim$ 1.6B steps)를 통한 종단적 탐색은 병목 형성의 시간적 역학을 보여준다:

조기 잠금 (Early Lock): 활성 집합은 15–30M steps 이내에 확정된다. 활성 뉴런의 필요성(FC1-Remove $\to$ 무작위 플레이)은 보상 개선 전인 5M steps 단계에서도 감지 가능하다.
지연 (Lag): 보상이 양수로 전환되는 시점은 활성 집합이 확정된 후 35–105M steps 이후이다. 병목 용량이 타이트해질수록(예: 5개 뉴런 시드는 압축된 표현을 사용하는 법을 배우는 데 $\sim$ 105M steps가 걸린 반면, 11개 뉴런 시드는 $\sim$ 35M steps가 걸림) 이 지연 시간은 길어진다.
훈련 가능한 에이전트: 훈련 가능한 에이전트 역시 조기 확정을 보이지만, 그 내용은 질적으로 다르다: 이들은 좁고 희소한 선택 대신 광범위한 뉴런 집합(64개 중 43–64개)에 확정된다.

5. 병목 시그니처의 구조적 차이 (Breakout)

Breakout에서, 동결된 에이전트와 훈련 가능한 에이전트는 구조적으로 다른 병목을 통해 경쟁력 있는 보상에 도달한다:

동결된 에이전트: 17–25개의 활성 뉴런과 높은 참여 비율( $\sim$ 10–14)을 사용하며, 이는 중간 정도의 다양성을 가진 독립적인 특징들의 좁은 집합을 나타낸다.
훈련 가능한 에이전트: 51개의 활성 뉴런과 낮은 참여 비율( $\sim$ 3.6)을 사용하며, 이는 매우 상관관계가 높고 중복된 특징들의 광범한 집합을 나타낸다.
이는 활성 뉴런 수와 참여 비율이 표현 압축의 상호 보완적인 지표임을 강조한다.

의의 및 주장

본 논문은 희소성이 단순히 설계된 속성이 아니라, 특징 추출기가 고정되었을 때 표준적인 경사 하강법으로부터 자발적으로 발생할 수 있음을 입증한다고 주장한다. 동결된 무작위 CNN은 명시적인 희소성 메커니즘 없이도 근본적인 문제의 내재적 차원을 드러내는 "압축 측정 장치(compressive measurement device)" 역할을 한다.

저자들이 도출한 주요 시사점은 다음과 같다:

과업 복잡도 탐색: 동결된 CNN 훈련 과정은 에이전트의 정책이 활용하는 독립적인 상태 변수의 대략적인 수를 명시적 탐색 없이도 드러낼 수 있으며, 이는 커리큘럼 설계 및 프루닝 목표 설정에 정보를 제공한다.
효율성: 동결된 CNN은 극도로 효율적인 배포를 가능하게 한다. (예: 퐁의 경우 약 9,400개의 파라미터만 저장하면 되며, 무작위 시드만 있으면 투영을 재현할 수 있음).
이론적 연결: 본 연구는 로터리 티켓 희소성(lottery ticket sparsity), 레저보어 컴퓨팅(reservoir computing), 압축 센싱(compressed sensing)을 연결한다. 이는 경사 하강법이 명시적인 $\ell_1$ 정규화가 아닌 RL 역학에 의해 구동되는 희소한 판독(sparse readout)을 수행하는 방식이 압축 센싱이 신호를 복구하는 방식과 유사함을 시사한다.
광범한 적용 가능성: 저자들은 (증명 없이) 이 메커니즘이 입력 차원이 내재적 과업 차원보다 훨씬 큰 도메인(예: 생물학적 측정치)에서 최소 기능 집합 발견 도구로, 그리고 미세 조정(fine-tuning) 시 적응 랭크 선택(adaptation-rank selection)을 위한 경량 진단 도구(LoRA와 유사한 역할)로 사용될 수 있다고 추측한다.

저자들은 이러한 결과의 일반성에 대해 겸허한 태도를 유지하며, 현재 결과가 discrete-action Atari 게임과 Nature-DQN 아키텍처로 제한되어 있음을 언급하였다. 또한, 왜 동결된 무작위 투영이 희소한 해를 보장하는지에 대한 수학적 증명은 여전히 미해결 과제로 남아 있다.