🤖 machine learning

Local Redundancy: An Information-Theoretic Measure of Plasticity from Synthetic Memorization

이 논문은 보편적 압축 이론으로부터 유도된 신경망 가소성의 정보 이론적 척도인 '로컬 중복성(local redundancy)'을 소개하며, 이는 합성 암기 작업(synthetic memorization task)에서의 기대 그래디언트 제곱 노름(expected squared gradient norm)에 의해 효율적으로 근사되고, 기존 지표들보다 다운스트림 성능을 예측하고 체크포인트 선택을 안내하는 데 있어 더 뛰어난 성능을 보임을 입증하였다.

원저자: Jiaxuan Cheng

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaxuan Cheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 레벨이 계속해서 변하는 끝없는 비디오 게임을 가르치고 있다고 상상해 보세요. 처음에는 로봇이 빠르게 학습하며, 새로운 레벨들을 아주 쉽게 마스터합니다. 하지만 오랫동안 게임을 하다 보면 이상한 일이 발생합니다. 로봇이 정체되는 것입니다. 로봇은 예전 레벨들은 완벽하게 기억할 수 있지만, 새로운 것을 배우는 데는 서툴고 느려집니다. 인공지능의 세계에서 이것은 '가소성 상실(loss of plasticity)'이라고 불립니다. 이는 마치 특정 동작에 너무 강해진 근육이 더 이상 새로운 춤을 배우기 위해 몸을 굽힐 수 없게 된 것과 같습니다. 과학자들은 이 현상이 일어나기 전에 고칠 수 있도록, 로봇의 뇌가 가진 이 '뻣뻣함'을 어떻게 측정할지 알아내기 위해 노력해 왔습니다. 그들은 얼마나 많은 뉴런이 '잠들어' 있는지, 혹은 로봇의 내부 가중치가 얼마나 무거운지를 살펴보려 했지만, 이러한 방법들은 로봇이 실제로 새로운 과제에서 어려움을 겪을 때를 예측하는 데 자주 실패했습니다. 그것은 마치 고무줄의 색깔만 보고 그 고무줄이 얼마나 유연한지 추측하려는 것과 같습니다. 색깔은 전체 이야기를 알려주지 않습니다.

이 논문은 그 유연성을 측정하는 더 똑똑하고 새로운 방법인 '국소적 중복성(local redundancy)'을 소개합니다. 신경망(로봇의 뇌)을 거대하고 복잡한 지도라고 생각해 보세요. 보통 우리는 지도가 얼마나 큰지 보기 위해 지도 전체를 봅니다. 하지만 이 논문은 정말 중요한 것은 로봇이 현재 서 있는 바로 그 지점에서 지금 당장 움직일 수 있는 공간이 얼마나 되느냐 하는 것이라고 주장합니다. 저자들은 정보 이론, 즉 메시지를 전달하기 위해 얼마나 많은 데이터가 필요한지에 관한 과학을 사용하여 이를 측정합니다. 그들은 로봇의 주변에 아주 작은 동네를 설정하고 다음과 같이 묻습니다. "우리가 로봇을 아주 조금만 밀어낸다면, 로봇은 갑자기 얼마나 많은 새로운 세상을 이해할 수 있을까?" 만약 대답이 "많다"라면, 로봇은 유연합니다(가소성이 높습니다). 만약 대답이 "매우 적다"라면, 로봇은 경직되어 있습니다.

이것을 로봇의 뇌를 직접 바꾸지 않고 측정하기 위해, 연구진은 영리한 속임수를 고안해 냈습니다. 그들은 로봇에게 '가짜' 데이터, 예를 들어 완전히 무작위적인 레이블이 붙은 무작위 도형들의 덩어리나 아무 의미 없는 숫자들의 시계열 데이터를 입력합니다. 그러고 나서 로봇에게 이 무의미한 것들을 암기하도록 시킵니다. 핵심적인 발견은, 이 가짜 데이터를 암기하려고 할 때 로봇이 흘리는 '땀'(얼마나 힘들게 작업하는지를 나타내는 '그래디언트 노름(gradient norm)')이 로봇의 유연성을 정확히 알려준다는 것입니다. 만약 로봇이 이 무의미한 데이터를 쉽게 배울 수 있다면 유연성이 높은 것이고, 만약 고전한다면 뻣뻣해지고 있는 것입니다.

이 논문은 이 '암기 노력'이 로봇의 유연성을 나타내는 신뢰할 수 있는 하한선임을 수학적으로 증명합니다. 실험에서 그들은 두 가지 서로 다른 도전 과제를 통해 이를 테스트했습니다. 하나는 로봇에게 수천 개의 서로 다른 이미지 쌍을 차례대로 인식하도록 가르치는 것이었고, 다른 하나는 전력 사용 패턴을 예측하도록 가르치는 것이었습니다. 그들은 자신들의 새로운 '국소적 중복성' 측정치가 기존의 방법들보다 미래의 과제를 수행하는 능력을 훨씬 더 잘 예측한다는 것을 발견했습니다. 예를 들어, 이미지 과제에서 그들의 측정치는 단순히 얼마나 많은 뉴런이 잠들어 있는지를 세는 것보다 미래의 성공도와 훨씬 더 강한 상관관계를 보였습니다. 더욱 놀랍게도, 전력 예측 과제에서 그들은 로봇의 일반적인 '점수(검증 손실)'가 개선을 멈추고 학습이 끝난 것처럼 보이는 순간을 발견했습니다. 하지만 그들의 새로운 측정치는 계속해서 나아가며, 로봇에게 여전히 숨겨진 유연성이 있음을 보여주었습니다. 이 유연성이 가장 높았던 체크포인트를 선택함으로써, 그들은 단순히 예전 점수가 가장 좋았던 체크포인트를 선택했을 때보다 로봇이 새로운 과제를 더 잘 학습하도록 만들었습니다.

저자들은 이 방법이 예측기로서는 훌륭하게 작동하지만, 더 많은 유연성을 유발하는 것이 자동으로 문제를 해결할 수 있다는 것을 증명하는 것은 아니라는 점을 주의 깊게 언급합니다. 그것은 다른 종류의 실험이 필요하기 때문입니다. 또한, 그들은 자신들의 '가짜 데이터'가 완벽하지 않다는 점도 인정합니다. 이 데이터는 매개변수당 약 1~2 '비트'의 정보만을 채울 뿐이며, 이는 이론적 최대치보다 훨씬 적습니다. 그럼에도 불구하고, 이 논문은 무의미한 것을 암기하는 이 간단한 일단계 테스트를 사용함으로써, 우리가 AI가 학습 능력을 상실하기 직전을 포착하고 진행 상황을 저장할 최적의 순간을 선택하여, 다음에 올 어떤 상황에도 대비할 수 있도록 보장할 수 있음을 시사합니다.

기술 요약: 정보 이론적 척도로서의 국소적 중복성(Local Redundancy)

문제 정의
장기적인 호라이즌(long horizons) 또는 다중 태스크에 걸쳐 학습된 신경망은 종종 "가소성 상실(loss of plasticity)" 문제를 겪는데, 이는 네트워크가 새로운 태스크를 효과적으로 학습하는 능력을 점진적으로 상실하는 현상이다. 이 문제는 특히 파인튜닝(fine-tuning) 및 정렬(alignment) 단계가 포함된 지속적 학습(continual learning)과 전이 학습(transfer learning) 파이프라인을 저해한다. 이러한 퇴보를 진단하기 위해 사용되는 기존의 지표들—유효 랭크(effective rank), 휴면 뉴런의 비율, 가중치 노름(weight norms), 초기화로부터의 거리 등—은 통일된 이론적 토대가 부족하다. 경험적으로 이러한 대리 지표들은 미래의 태스크 성능과 상관관계가 낮으며, 네트워크의 현재 적응 능력을 원칙적으로 측정하는 데 실패한다.

방법론: 국소적 중복성(Local Redundancy)
저자들은 보편 압축 이론(universal compression theory)에서 유도된 정보 이론적 척도인 국소적 중복성을 도입한다.

이론적 정의: 이 프레임워크는 가소성을 아키텍처의 글로벌 용량이 아니라, 현재의 파라미터 상태( $\theta_0$ )로부터 학습할 수 있는 네트워크의 용량으로 정의한다. 저자들은 **국소 모델 패밀리(local model family)**를 $\theta_0$ 로부터 그래디언트 방향을 따라 무한소 근방(infinitesimal neighborhood) 내에서 도달 가능한 분포들의 집합으로 정의한다.
중복성과 가소성: 미니맥스 중복성(minimax redundancy, Shtarkov, 1987; Rissanen, 1984) 이론을 인용하여, 국소적 중복성은 이 국소 패밀리의 최악의 경우 중복성(worst-case redundancy)으로 정의된다. 기하학적으로 이는 모델이 단 한 번의 그래디언트 스텝을 통해 표현할 수 있는 분포 집합의 **정보 반경(information radius)**에 해당한다. 높은 정보 반경은 네트워크가 다양한 타겟을 향해 출력 분포를 조절할 수 있음(높은 가소성)을 의미하며, 낮은 정보 반경은 네트워크가 그래디언트에 의해 변화가 최소화되는 경직된 영역으로 붕괴되었음을 의미한다.
계산 가능한 하한선: 최악의 경우 중복성을 정확히 계산하는 것은 난해하므로, 저자들은 **합성 암기 태스크(synthetic memorization task)**에서의 **기대 제곱 그래디언트 노름(expected squared gradient norm)**이 국소적 중복성의 계산 가능한 하한선을 제공함을 증명한다(정리 3.4).
- 합성 데이터 구축: 이 방법은 합성 입력(예: 비전의 경우 무작위 도형, 시계열의 경우 가우시안 노이즈)과 모델 자신의 예측 분포에서 샘플링된 레이블( $y \sim P_{\theta_0}(y|x)$ )을 결합하여 활용한다.
- 메커니즘: 모델은 이 데이터로 학습되지 않는다. 대신, 단 한 번의 역전파(backward pass)를 통해 그래디언트 노름을 계산한다. 저자들의 이론적 증명은 무작위 레이블을 맞추는 능력(암기 이득, memorization gain)이 국로적 패밀리의 최악의 경우 중복성과 직접적으로 연관되어 있음을 보여준다.

주요 기여

국소적 중복성의 정의: 이 논문은 국소적 파라미터 근방의 최악의 경우 중복성으로서 가소성을 공식화하고, 이를 보편 압축 이론 및 정보 반경에 근거하여 정립하였다.
효율적인 추정: 저자들은 합성 암기 데이터에 대한 기대 제곱 그래디언트 노름이 국소적 중복성의 하한 역할을 한다는 것을 증명하였다. 이 추정치는 단 한 번의 역전파만을 필요로 하며, 다운스트림 태스크 데이터에 접근할 필요가 없다.
경험적 검증: 이 프레임워크는 지속적 이미지 분류 및 시계열 전이 학습이라는 두 가지 구별된 환경에서 검증되었다.

결과

지속적 학습 (Continual ImageNet): 3,000개의 연속적인 이진 분류 태스크를 포함하는 벤치마크에서, 국소적 중복성은 학습이 진행됨에 따라 가소성 상실을 추적하며 꾸준히 감소하는 것으로 나타났다. 결정적으로, 태스크 번호를 회귀 제거한 후 미래의 태스크 정확도(태스크 $t+1$ 부터 $t+10$ 까지)를 예측할 때, 국소적 중복성은 기존 지표들(가중치 노름, 휴면 뉴런 비율, 훈련 그래디언트 노름)에 비해 가장 높은 상관관계(Pearson $r \approx 0.089$ )를 보였다.
전이 학습 (ETT 시계열): 시계열 예측을 위한 사전 학습 체크포인트 선택 시, 저자들은 검증 손실(validation loss) 기반 전략과 국소적 중복성 기반 전략을 비교하였다. 검증 손실은 종종 정체(plateau)되는 반면, 국소적 중복성은 계속해서 진화했다. 최대 국소적 중복성을 가진 체크포인트를 선택하는 것이 검증 손실이 가장 낮은 체크포인트를 선택하는 것보다 더 나은 다운스트림 파인튜닝 성능(더 낮은 MSE)을 보였다. 주목할 점은, 국소적 중복성이 검증 손실이 포화된 이후에도 우수한 체크포인트를 식별해 낸 유일한 지표였다는 것이다(휴면 뉴런 비율 및 가중치 노름 포함).
안정성-가소성 트레이드오프(Stability-Plasticity Tradeoff): 국소적 중복성은 이전 태스크의 정확도 하락(forgetting)과 양의 상관관계를 보였으며, 이는 높은 적응력이 이전 지식을 덮어쓸 가능성을 높인다는 이론적 트레이드오프와 일치한다.

의의 및 주장
이 논문은 국소적 중복성이 다운스트림 성능을 예측하는 데 있어 기존의 휴리스틱보다 뛰어난 원칙적이고 계산 가능한 가소성 척도를 제공한다고 주장한다. 이 연구의 주요 의의는 검증 손실이 차별화된 정보를 제공하지 못하는 상황(즉, 검증 손실은 정체되었으나 모델의 적응 능력은 계속 진화하는 상황)에서 체크포인트 선택을 가이드할 수 있다는 점에 있다.

저자들은 국소적 중복성이 성능을 예측하기는 하지만, 이 연구가 그것을 입증(cause)했다는 것은 아니라는 점을 명시하며 신중한 입장을 유지한다. 즉, 인과관계를 확립하기 위해서는 통제된 개입이 필요하다. 또한, 현재의 합성 암기 데이터셋이 이론적 정보 용량의 극히 일부(파라미터당 약 1~2비트)만을 채우고 있다는 점을 인정하며, 그래디언트 노름이 절대적인 값을 교정(calibrate)한 값이 아닌 하나의 대리물(proxy)임을 시사한다. 그럼에도 불구하고, 이 프레임워크는 현재 상태의 신경망의 "학습 가능성(learnability)"을 이해하고 측정하기 위한 새로운 이론적 관점을 제공한다.

유사한 논문