💻 computer science

Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures

이 논문은 근본적으로 다른 미시적 메커니즘에도 불구하고, 트랜스포머(Transformer)와 맘바(Mamba) 아키텍처 모두가 느린 모드 연속체(slow-mode continuum)로 특징지어지는 공유된 근사-한계 적외선 집단 역학(near-marginal infrared collective dynamics)을 발달시킨다는 점을 입증함으로써, 이러한 조직화의 보편성을 트랜스포머 너머로 확장하고 인지장 이론(Cognitive Field Theory)의 예측을 뒷받침한다.

원저자: Byung Gyu Chae

게시일 2026-08-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Byung Gyu Chae

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이라는 광활한 풍경 속에서, 연구자들은 기계가 어떻게 기억하는 법을 배우는지 이해하기 위해 오랫동안 노력해 왔습니다. 문장 속의 단어나 비디오의 프레임과 같은 정보의 시퀀스를 처리하기 위해 두 가지 지배적인 모델 가문이 등장했습니다. 첫 번째 가문인 트랜스포머(Transformers)는 셀프 어텐션(self-attention)이라 불리는 메커니즘에 의존하는데, 이는 모델이 모든 정보 조각을 다른 모든 정보 조각과 동시에 비교하여 그 중요도를 가늠할 수 있게 해줍니다. 두 번째 가문인 맘바(Mamba)와 같은 최신 모델들은 상태 공간 역학(state-space dynamics)에 기반한 다른 접근 방식을 사용하며, 여기서 모델은 시간이 흐름에 따라 진화하는 내부 상태를 유지하고 새로운 데이터를 처리할 때마다 자신의 기억을 업데이트합니다. 수년 동안 과학자들은 이 근본적으로 다른 두 가지 시간과 기억에 대한 사고방식이 실제로 기계 깊은 곳에서 동일한 기저 동작으로 이어질 수 있는지 궁금해해 왔습니다. 이 질문이 중요한 이유는, 서로 다른 아키텍처가 동일한 패턴으로 수렴한다면, 이는 학습하고 기억하는 능력이 설계자의 특정 공학적 선택이 아니라 보편적인 원리에 의해 지배된다는 것을 시사하기 때문입니다.

한 연구자는 훈련된 맘바 모델의 내부를 들여다보며 그들의 기억이 실제로 어떻게 작동하는지 확인함으로써 이 아이디어를 테스트하기로 했습니다. 그들은 '상태 밀도 시간 척도(time-scale density of states)'라고 불리는 특정 특성에 집중했는데, 이는 본질적으로 모델이 보유한 다양한 기억의 속도가 얼마나 되는지를 보여주는 지도와 같습니다. 책들이 주제별이 아니라 독자의 마음에서 얼마나 빨리 사라지는지에 따라 분류되는 도서관을 상상해 보십시오. 어떤 책은 몇 초 만에 잊히고, 어떤 책은 몇 분 후에, 또 어떤 책은 몇 년 동안 머릿러 남습니다. 연구자는 맘바 모델에서 이러한 '사라지는 속도'의 분포를 확인하고자 했습니다. 그들은 맘바가 레이어별로 조사할 수 있는 내장된 기억 메커니즘을 가지고 있다는 점을 알고 있었습니다. 즉, 첫째로 설계에 인코딩된 가공되지 않은 내부 기억 속도, 둘째로 특정 입력을 받을 때 그 속도가 어떻게 변하는지, 마지막으로 모든 복잡한 계산이 끝난 후 전체 블록의 집합적인 기억 속도입니다.

연구자는 이 세 가지 레이어가 서로 같지 않다는 것을 발견했습니다. 맘바 모델의 가공되지 않은 내부 기억은 넓은 범위의 속도로 시작하지만, 모델이 정보를 처리함에 따라 읽고 있는 내용에 따라 이러한 속도를 선택적으로 재조정합니다. 이러한 입력 의존적 조정은 맘바의 고유한 특징으로, 맥락에 따라 내부 시계를 늦추거나 빠르게 조절할 수 있게 해줍니다. 그러나 가장 놀라운 발견은 연구자가 모델 블록 전체의 최종적인 집합적 출력을 살펴보았을 때 나타났습니다. 내부에서 일어나는 복잡한 속도 재구성과도 불구하고, 최종 결과는 매우 구체적이고 안정적인 패턴으로 정착되었습니다. 연구자가 다양한 시퀀스 길이에 걸쳐 기억 속도를 측정했을 때, 모델은 일관되게 매우 느린 기억들의 넓고 연속적인 범위를 발달시킨다는 것을 발견했습니다. 이러한 느린 기억들은 사라지지 않았습니다. 대신, 모델이 더 긴 시퀀스의 데이터를 처리할수록 더 명확하고 뚜렷해지는 매끄럽고 예측 가능한 연속체를 형성했습니다.

이것이 맘바 설계의 특이한 현상인지 아니면 지능형 시스템의 일반적인 규칙인지를 이해하기 위해, 연구자는 자신의 발견을 트랜스포머 모델의 행동과 비교했습니다. 트랜스포머는 맘바와 같은 동일한 내부 상태 공간 메커니즘을 가지고 있지 않으며, 대신 어텐션 메커니즘에 의존합니다. 그러나 연구자가 트랜스포머의 집합적 기억 속도를 측정했을 때, 놀라울 정도로 유사한 패턴을 발견했습니다. 두 아키텍처는 정보를 처리하는 미시적 방법은 완전히 다름에도 불구하고, 가장 느리고 오래 지속되는 기억 쪽으로 약간 치우친 거의 평탄한 분포를 발달시켰습니다. 물리학의 언어로 말하자면, 이는 '근임계(near-marginal)' 상태이며, 이는 모델이 무한한 기억을 가질 수 있는 경계선에 바로 서 있어, 정보에 갇히지 않으면서도 오랜 기간 정보를 유지할 수 있음을 의미합니다.

이 연구는 이러한 느린 기억 조직화가 특정 유형의 신경망만의 특징이 아님을 확인해 줍니다. 연구자는 맘바가 트랜스포머와는 다른 수학적 구조를 사용하여 명시적으로 기억을 구축함에도 불구하고, 두 시스템 모두 집합적인 역학을 동일한 방식으로 조직한다는 것을 보여주었습니다. 그들은 맘바 모델의 기억 행동이 특정 값 주변에서 안정화된다는 것을 발견했으며, 이는 시퀀스가 전체 그림을 드러낼 만큼 충분히 길기만 하면 시퀀스 길이에 관계없이 나타나는 견고하고 재현 가능한 패턴임을 나타냅니다. 이는 장기 기억을 유지하는 능력이 학습된 시퀀스 처리의 근본적인 속성이며, 서로 다른 아키텍처 형태에서 자연스럽게 발생하는 것임을 시사합니다. 이 연구 결과는 인공지능이 어떻게 작동하는지에 대한 우리의 이해를 확장하며, 표면적인 설계의 차이 아래에, 이 강력한 모델들이 시간과 기억을 다루는 공통된 깊은 구조를 공유하고 있음을 보여줍니다.

제목: 트랜스포머와 상태 공간 아키텍처 전반에 걸친 집단 역학의 적외선 보편성

문제 정의
딥러닝의 근본적인 미해결 과제는 서로 다른 미시적 계산 메커니즘을 사용하는 별개의 신경망 아키텍처가 어떻게 공통된 집단적 역학적 행동을 발달시키는가 하는 점이다. 최근 트랜스포머 언어 모델에 대한 분석은 그들의 완화 스펙트럼에서 거의 평탄하고 약하게 적외선이 강화된 시간 척도 밀도 상태(TDOS)를 밝혀냈으며, 이는 근-임계(near-marginal) 장기 기억 역학( $K(t) \sim 1/t$ )과 연관되어 있다. 그러나 이러한 적외선 조직화가 셀프 어텐션 메커니즘의 특수한 산물인지, 아니면 학습된 시퀀스 처리의 더 일반적인 원리인지는 여전히 불분명하다. 이를 테스트하기 위해, 시간적 계산을 위해 질적으로 다른 메커니즘을 사용하는 아키텍처와의 비교가 필요하다. 상태 공간 모델, 특히 Mamba는 셀프 어텐션 대신 입력 의존적인 선택적 상태 공간 역학을 활용함으로써 이러한 대조를 제공한다.

방법론
본 연구는 사전 학습된 Mamba-370M 모델에 대해 다층적 스펙트럼 분석을 적용하여 미시적 상태 공간 메모리와 거시적 집단 조직화를 구분한다. 방법론은 세 가지 뚜렷한 역학적 수준을 통해 진행된다:

고유 상태 공간 스펙트럼: 저자는 학습된 상태 공간 생성기( $A$ )의 고유값 스펙트럼을 분석하여, 고유 완화율을 $\lambda^{int}_i = -\text{Re}(a_i)$ 로 정의한다. 이는 입력 조건화가 이루어지기 전, 모델 파라미터에 직접 인코딩된 시간 척도의 계층 구조를 나타낸다.
입력 조건부 유효 스펙트럼: 본 연구는 유효 완화율 $\lambda^{eff}_{i,t} = \Delta_t(x) \lambda^{int}_i$ 를 조사한다. 여기서 입력 의존적인 선택적 타임 스텝 $\Delta_t(x)$ 는 추론 과정에서 고유 완화율을 재조정한다. 이는 선택적 메커니즘이 입력 시퀀스에 따라 완화 척도를 어떻게 동적으로 재구성하는지를 포착한다.
전체 블록 집단 스펙트럼: 저자는 전체 Mamba 블록 변환의 야코비안( $J_\ell = \partial \text{vec}(H_{\ell+1}) / \partial \text{vec}(H_\ell)$ )을 계산한다. 집단 완화율은 $\lambda^{block}_\alpha = -\ln |\zeta_\alpha|$ 로 정의되며, 여기서 $\zeta_\alpha$ 는 전체 블록 야코비안의 고유값이다. 이는 투영, 게이팅, 비선형성 및 잔차 전파를 포함한 전체 블록의 집단적 반응을 측정한다.

집단 시간 척도 밀도 상태(TDOS), $\rho(\lambda)$ 는 이러한 비율들로부터 구성된다. 분석은 적외선 섹터의 수렴성과 안정성을 테스트하기 위해 유지되는 시퀀스 길이( $L$ )를 8에서 512 토큰까지 체계적으로 변화시킨다. 적외선 스케일링 지수 $\beta$ 는 빈닝(binning) 아티팩트를 피하기 위해 고정된, 잘 해상된 구간에 대해 누적 모드 통계( $N(<\lambda) \propto \lambda^{1+\beta}$ )를 통해 결정된다. 이 결과들은 동일한 전체 블록 야코비안 구성을 사용하여 이전의 트랜스포머 모델(구체적으로 Pythia-410M) 측정값과 직접 비교된다.

주요 결과

계층적 재구성: 고유, 유효, 그리고 전체 블록 스펙트럼은 동일하지 않다. 학습된 SSM 생성기는 광범위한 고유 완화율 계층을 포함하고 있지만, 선택적 메커니즘과 후속 블록 변환은 이 계층 구조를 실질적으로 재구성한다. 전체 블록 집단 스펙트럼은 미시적 SSM 스펙트럼의 직접적인 복사본이 아닌, 뚜렷한 창발적 속성이다.
집단 적외선 연속체의 창발: 전체 블록 Mamba 역학은 재현 가능한 느린 모드 연속체를 발달시킨다. 시퀀스 길이가 증가함에 따라, 적외선 섹터는 점진적으로 더 잘 해상되고 매끄러워지며, 더 작은 완화율을 향해 확장된다.
적외선 스케일링 지수: 누적 스펙트럼 분석은 $\rho(\lambda) \sim \lambda^\beta$ 형태의 약한 음의 거듭제곱 법칙 스케일링을 드러낸다. 긴 시퀀스( $L \ge 64$ )의 경우, 지수는 $\beta_M \simeq -0.17$ 근처에서 안정화된다. 이는 메모리 커널 $K(t) \sim t^{-(1+\beta)} \approx t^{-0.83}$ 에 해당하며, 이는 임계치에 가까운 $1/t$ 영역에 가깝다.
아키텍처 독립성: 근본적으로 다른 미시적 메커니즘(셀프 어텐션 대 선택적 상태 공간)에도 불구하고, 트랜스포머와 Mamba는 밀접하게 관련된 집단적 적외선 조직을 보인다. 트랜스포머는 $\beta_{Tr} \sim -0.1$ 의 대표적인 지수를 보이는 반면, Mamba는 $\beta_M \sim -0.17$ 근처에서 안정화된다. 두 아키텍처 모두 넓고 거의 평탄하지만 약하게 적외선이 강화된 TDOS를 특징으로 하는 "근-임계" 영역을 점유한다.

의의 및 주장
본 논문은 명시적인 미시적 상태 공간 메모리와 집단적 적외선 조직화를 분리할 수 있음을 입증하며, 서로 다른 시퀀스 아키텍처가 밀접하게 관련된 근-임계 느린 모드 역학을 발달시킬 수 있음을 보여준다. 주요 의의는 이러한 적외선 조직화가 트랜스포머의 셀프 어텐션 메커니즘에 고유한 것이 아니라, 상태 공간 모델에서도 창발한다는 것을 보여주는 데 있다.

저자는 이것이 근-임계 느린 모드 역학이 학습된 시퀀스 처리의 일반적인 역학적 원리를 나타낼 수 있음을 시사하며, 적외선 집단 완화 모드의 적외선 조직에 대한 관찰을 트랜스포머 너머로 확장한다고 주장한다. 이 결과는 장기적인 거시적 메모리를 집단 완화 모드의 적외선 조직과 연관 짓는 인지 필드 이론(Cognitive Field Theory)의 역학적 구조에 대한 독립적인 테스트를 제공한다. 결과는 미시적 구현 방식은 다르더라도, 학습된 시퀀스 모델의 거시적 집단 역학은 유사하고 물리적으로 의미 있는 영역으로 수렴할 수 있음을 나타낸다.

유사한 논문