🤖 machine learning

The Reservoir Attention Network: Cross-Pass State in Pretrained Transformers via Content-Addressable Reservoir Injection

이 논문은 사전 학습된 트랜스포머에 고정된 비학습 무작위 레저보어를 주입하여 교차 패스 상태를 전달하는 구조인 레저보어 어텐션 네트워크(Reservoir Attention Network, RAN)의 타당성을 조사하며, GPT-2부터 Qwen2.5에 이르는 모델들에 대한 최소한의 프로브를 통해 비학습 순환 역학만으로도 순방향 패스 전반에 걸쳐 사용 가능한 상태를 유지하기에 충분할 수 있음을 입증한다.

원저자: Emma Leonhart

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Emma Leonhart

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 Reservoir Attention Network (RAN) 논문의 내용을, 비유를 최소화하고 실제 기술적 메커니즘에 초점을 맞춰 명확하게 설명한 요약입니다.

핵심 문제: 상태(State)가 없는 AI

표준적인 트랜스포머 모델(예: GPT-2)은 본질적으로 상태가 없는(stateless) 구조입니다.

현재 방식: AI가 요청을 처리할 때, 현재 입력된 텍스트 컨텍스트 창(context window) 안에 있는 정보만 사용합니다. 한 번의 호출(forward pass)이 끝나면, 모델 내부의 활성화 값(activations)은 초기화됩니다. 따라서 다음 호출이 시작될 때, 직전 대화에서 어떤 일이 있었는지 모델은 알 수 없습니다.
목표: 사전 학습된 모델의 가중치를 다시 학습시키지 않고도, 호출 간에 정보를 유지할 수 있는 **지속적인 상태(persistent state)**를 모델에 추가하는 것입니다.

해결책: 고정된 신경망 풀인 '저수지(Reservoir)'

저자들은 사전 학습된 트랜스포머 모델에 **저수지(Reservoir)**라는 구성 요소를 추가했습니다.

저수지란 무엇인가? 이는 **무작위로 연결된 인공 신경망의 풀(pool)**입니다. 에코 상태 네트워크(Echo State Network) 개념을 차용한 것으로, 신경원들 간의 연결 가중치는 무작위로 설정되며 **학습되지 않고 고정(fixed)**되어 있습니다.
작동 원리: 이 신경망 풀은 내부 **상태 벡터(state vector)**를 유지합니다. 입력이 들어올 때마다 이 상태 벡터가 업데이트되며, 최근 입력들의 흔적이 점차 사라지는 '에코(echo)' 형태로 저장됩니다. 이 상태 벡터가 호출 간에 정보를 전달하는 매개체가 됩니다.

모델 내 주입 위치 및 구조

이 저수지는 사전 학습되어 **고정(frozen)**된 트랜스포머 모델의 **중간 층(mid-depth layer)**에 삽입됩니다.

읽기(Read): 트랜스포머의 어텐션 출력이 고정된 무작위 프로젝션을 통해 저수지로 전달됩니다.
업데이트: 저수지의 신경망들이 이 입력을 받아 내부 상태 벡터를 업데이트합니다.
쓰기(Write): 업데이트된 저수지 상태가 모델로 다시 쓰여집니다.
학습 범위: 트랜스포머 백본(backbone)은 고정된 채로 유지되며, 저수지 상태를 최종 출력으로 변환하는 작은 리드아웃(readout) 네트워크와 경량 LoRA 어댑터만 학습됩니다.

핵심 발견: 상태를 어떻게 모델에 전달하느냐가 관건

논문의 가장 중요한 발견은 저수지의 상태를 트랜스포머 모델에 **어떻게 주입(inject)**하느냐에 따라 결과가 완전히 달라진다는 점입니다.

방법 A: 가산적 주입 (Additive Injection) - 실패
- 메커니즘: 저수지의 상태 벡터를 모델의 내부 활성화 값(activations)에 단순히 더합니다.
- 결과: 모델은 이 추가된 신호를 무시합니다. 모델은 이 신호를 의미 없는 '노이즈'로 인식하고 학습 과정에서 이를 필터링해 버리기 때문에, 상태 정보가 전달되지 않습니다.
방법 B: 콘텐츠 주소 지정 주입 (Content-Addressable Injection) - 성공
- 메커니즘: 저수지의 상태를 텍스트 토큰처럼 동작하는 **키(Key) 및 값(Value)의 가상 토큰(pseudo-tokens)**으로 변환하여, 어텐션 메커니즘이 반드시 참조해야 하는 '접두사(prefix)' 형태로 모델에 삽입합니다.
- 결과: 모델의 어텐션 메커니즘이 이 가상 토큰들을 읽어야 하므로, 저수지에 저장된 정보를 효과적으로 활용하게 됩니다. 이를 통해 현재 입력에 포함되지 않은 이전 호출의 정보를 성공적으로 회상할 수 있습니다.

동역학(Dynamics) 및 튜닝

저수지가 제대로 작동하려면 내부 신경망의 동역학을 적절히 조절해야 합니다.

혼돈의 가장자리 (Edge of Chaos): 저수지의 내부 연결 강도는 너무 안정적이지도, 너무 혼란스럽지도 않게 설정되어야 합니다. 이는 신경망이 입력에 민감하게 반응하면서도 상태가 폭발하지 않도록 하는 균형 지점입니다.
입력 신호 스케일링: 트랜스포머에서 저수지로 들어오는 신호의 크기가 너무 크면 저수지의 신경원들이 포화(saturation) 상태에 빠집니다. 이를 방지하기 위해 입력 신호의 강도를 약 **10~25%**로 낮추어야 저수지가 정상적으로 작동했습니다.

모델 크기에 따른 성능 차이

이 기술을 다양한 크기의 모델에 적용한 결과는 다음과 같습니다.

GPT-2 Small: 성공. 저수지를 통해 호출 간 정보를 유지했습니다.
GPT-2 Medium: 실패. 모델이 저수지 상태를 효과적으로 읽지 못했습니다.
Qwen-1.5B: 성공. 하지만 저수지의 크기를 기존(512 노드)보다 크게(2048 노드) 늘리고 입력 신호를 줄였을 때만 작동했습니다.
교훈: 모델이 커질수록 저수지의 용량(노드 수)도 비례하여 증가시켜야 모델의 복잡한 신호를 처리할 수 있습니다.

능력과 한계

이 기술이 현재 수행할 수 있는 것과 할 수 없는 것은 다음과 같습니다.

가능한 것: 호출 간에 소량의 상태를 유지할 수 있습니다. 예를 들어, 특정 트리거 단어(trigger word)를 기억하거나, 모델이 호출된 횟수를 세는 카운터 역할을 할 수 있습니다.
불가능한 것: 복잡한 다중 사실(context)이나 호출 간 추론 문제를 기억할 수는 없습니다. 저수지가 담을 수 있는 정보의 양에는 한계가 있으며, 연구 결과 약 20~48개의 항목 정도가 기억의 한계로 나타났습니다.
성격: 이는 완전한 장기 기억 시스템을 갖춘 에이전트가 아니라, 호출 간 상태 전달이 가능한지 확인하는 **타당성 검토(feasibility study)**입니다.

안전성 및 제어 측면

저수지가 지속적인 상태를 유지한다는 점은 안전성 측면에서 부수적인 이점을 제공합니다.

상태 모니터링: 운영자는 저수지의 상태 벡터를 직접 검사하여 모델이 현재 어떤 정보를 '기억'하고 있는지 확인할 수 있습니다.
즉각적인 중단: 모델이 저수지 상태를 지속적으로 어텐션으로 읽기 때문에, 저수지를 통해 '중단' 신호를 주입하면 모델이 현재 생성 중인 문장을 끝내지 않고도 즉시 반응할 수 있습니다.

기술 요약: 레저보어 어텐션 네트워크 (Reservoir Attention Network, RAN)

문제 정의

표준 트랜스포머 아키텍처는 순전파(forward pass) 과정에서 상태를 유지하지 못하는 무상태(stateless) 특성을 가집니다. 즉, 모델은 시간적 인식을 위해 컨텍스트 창 내의 위치에만 의존할 뿐, 호출 사이에 진화하는 내생적 변수를 보유하지 않습니다. 본 연구는 사전 학습된 트랜스포머의 중간 레이어 어텐션에 고정된 무작위 초기화 레저보어(Echo State Network의 의미에서의 레저보어)를 주입했을 때, 백본을 재학습시키지 않고도 독립적인 순전파 사이에서 사용 가능한 지속적 상태를 부여할 수 있는지 조사합니다. 핵심 연구 질문은 이러한 메커니즘이 모델이 구조적으로 불가능한 작업(stateless 모델에게는 불가능한 작업)을 수행할 수 있도록 패스 간에 상태를 운반할 수 있는지, 그리고 어떤 주입 및 동역학 체계 하에서 해당 상태가 노이즈가 아닌 사용 가능한 신호가 되는지 여부입니다.

방법론

레저보어 어텐션 네트워크(RAN) 아키텍처는 고정된 무작위 재귀 기질(recurrent substrate)을 사전 학습된 트랜스포머에 이식합니다.

아키텍처: 크기 $N$ 의 레저보어(고정된 무작위 가중치 $W_r, W_{in}$ 및 누설률 $a$ 를 가짐)가 중간 깊이의 레이어 $L_k$ 에 주입됩니다.
메커니즘: 레저보어는 고정된 무작위 투영 $W_{in}$ 을 통해 레이어의 어텐션 출력을 읽고, 상태 $r(t)$ 를 업데이트하며, 훈련된 리드아웃(readout) $W_{out}$ 을 통해 해당 상태를 콘텐츠 주소 지정이 가능한(content-addressable) KV-prefix 의사 토큰(pseudo-tokens)으로 다시 씁니다.
훈련: 백본 트랜스포머는 동결됩니다. 오직 $W_{out}$ 과 상위 레이어에 대한 경량 LoRA 어댑터만이 훈련됩니다. 레저보어 자체는 훈련되지 않은 상태로 고정된 무작위 값을 유지합니다.
실험 범위: 실험은 단일 소비자용 GPU를 사용하여 GPT-2 (124M, 355M) 및 Qwen2.5 (0.5B, 1.5B)를 대상으로 수행되었습니다. 실험은 복잡한 에이전트 추론을 입증하기보다는 특정 메커니즘(예: 비밀 단어 회상, 침묵 정책)을 격리하기 위해 설계된 최소한의 프로브(probe)였습니다.

주요 기여 및 결과

1. 주입 설계의 결정적 역할

본 연구는 레저보어 상태를 주입하는 방식이 주입된 상태의 사용 가능 여부를 결정한다는 점을 확립했습니다.

가산적 주입의 실패 (Additive Injection Failure): 레저보어 상태를 잔차 연결(residual stream)에 가산적으로 기록하면 모델이 재귀 상태를 무시하도록 학습됩니다. 이 경우 교차 컨텍스트 회상(cross-context recall)은 상태 리셋 베이스라인(0.17)과 구별할 수 없는 수준인 우연 수준(chance levels)에 머뭅니다.
콘텐츠 주소 지정 성공 (KV-Prefix Success): 상태를 KV-prefix 의사 토큰으로 재주입하여 상위 레이어가 이를 어텐션하게 만들면, GPT-2-small에서 100%의 교차 컨텍스트 회상(1.00 vs 0.17 대조군)을 달성했습니다. 이는 모델이 상태에 주목할 수 있는 메커니즘을 제공받을 때 레저보어 상태가 사용 가능한 정보를 운반할 수 있음을 증명합니다.

2. 레저보어 동역학 및 스케일링

혼돈의 가장자리(Edge-of-Chaos) 체계: 레저보어는 혼돈의 가장자리 체계(스펙트럼 반경 $\rho \approx 1$ )에서 효과적으로 작동합니다. 그러나 실제 트랜스포머 활성화 함수는 단위 스케일의 레저보어를 과도하게 구동하여 포화를 일으킵니다.
입력 스케일링: 포화를 방지하기 위해 트랜스포머에서 레저보어로 들어오는 입력 스케일링을 단위 스케일의 약 4분의 1에서 10분의 1 정도로 낮추어 조정해야 합니다.
1.5B로의 확장: 기존에 관찰되었던 "GPT-2-small 전용" 경계는 레저보어 크기가 작고 입력 스케일링이 맞지 않았기 때문에 발생한 인위적 결과였습니다. 레저보어를 2048 노드로 확장하고 입력 스케일링을 일치시킴으로써(Qwen-1.5B의 경우 0.1), Qwen 제품군 전반에서 교차 패스 회상 성능이 0.83~1.00으로 회복되었습니다.
모델 특이성: 성공 여부는 단순히 파라미터 수에 따른 함수가 아닙니다. GPT-2-medium (355M)은 7단계 스케일링 탐색 전반에서 실패한 반면, Qwen-0.5B는 Qwen-1.5B(0.1)와 다른 스케일링(0.5)을 사용하여 성공했습니다. 모델에 맞춰진 입력 스케일링은 필수적이지만 충분조건은 아니며, 프리픽스를 읽도록 학습하는 백본의 능력은 모델마다 다릅니다.

3. 용량 및 한계

용량 천장: 레저보어는 수십 개의 항목이라는 용량 천장을 보입니다. 약 6개의 비밀 단어에 대해서는 완벽한 회상을 보이지만, 24개 단어에서는 약 0.42로 떨어지며, 48개 단어에서는 우연 수준으로 추락합니다.
N-Seed 선택: 현재의 훈련 예산 내에서는 훈련되지 않은 지표(예: 참여 비율)를 통해 "더 나은" 고정 레저보어 시드를 선택하는 것이 효과적이지 않음을 발견했습니다. 결과는 내재적인 레저보어 품질보다는 훈련 노이즈와 초기화 분산에 의해 좌우됩니다.

4. 유상태(Stateful) vs 무상태(Stateless) 행동 (배터리 테스트)

시간적/에이전트 지표와 심볼릭 콘텐츠 회상을 구분하는 8가지 태스크 "배터리"는 다음과 같은 중요한 분리를 보여주었습니다:

시간적/에이전트 지표: "침묵(silence)", "타이밍(timed)", "자기 개시(self-initiation)"와 같은 지표는 무상태 절제 모델(현재 패스의 특징에만 LoRA 어댑터를 적용)과 동일한 수준을 보였습니다. 이러한 행동들은 운반된 레저보어 상태에 의존하지 않았습니다.
콘텐츠 회상: 심볼릭 콘텐츠 회상(특정 토큰 회상)은 진정한 상태성을 테스트하는 척도입니다. 규모가 커짐에 따라 초기에는 실패했으나, 특정 조건 하에서는 배터리 내에서 이를 유지할 수 있었습니다: 즉, 무상태 지름길(stateless shortcut)에 대한 어댑터 용량을 제한(작은 LoRA rank)하고 학습률을 감쇠시키는 것입니다. 그렇지 않으면 옵티마이저가 무상태 지름길을 찾아내어 레저보어 기반 솔루션을 붕괴시킵니다.

5. 안전 및 모니터링 시사점

본 논문은 고정된 레저보어가 저비용의 안정적인 모니터링 표면을 제공한다고 제안합니다:

중단 가능성(Interruptibility): 레저보어를 가진 틱(tick) 단위 에이전트는 "STOP" 신호를 지연 없이 즉각적으로 등록하며, 턴 기반 에이전트와 달리 페이딩 메모리(fading memory)를 통해 여러 패스 동안 이를 유지합니다.
모니터링 가능성(Monitorability): 선형 리드아웃을 통해 내부 프로세스 변수(예: 경과 시간)를 희소 오토인코더(SAE) 없이도 높은 충실도( $R^2 \approx 0.995$ )로 레저보어 상태로부터 복구할 수 있습니다. 이 매핑은 레저보어 가중치가 고정되어 있기 때문에 미세 조정 드리프트에도 탄력적입니다.

의의 및 주장

본 논문은 소규모 규모에서의 타당성 및 동역학 연구임을 명시하며, 일반 지능이나 복잡한 에이전트 추론에 대한 주장은 피합니다.

핵심 발견: 주요 기여는 주입 설계의 발견입니다. 즉, 고정된 훈련되지 않은 레저보어가 적절한 크기와 스케일링을 갖추고 콘텐츠 주소 지정 가능한 KV-prefix 토큰으로 주입될 때, 사전 학습된 트랜스포머에서 사용 가능한 교차 패스 상태를 운반할 수 있다는 점입니다.
부정적 결과로서의 경계 설정: 본 논문은 GPT-2-medium의 실패와 배터리 테스트에서의 무상태적 특성을 명시함으로써 기여의 범위를 제한하고 경계를 설정하는 데 중점을 둡니다.
이론적 입장: 저자들은 TC0/FO(M) 경계를 높이는 동기로부터 유래된 이론적 근거를 언급하지만, 이를 입증했다고 주장하지는 않습니다. 본 연구는 유한 정밀도 레저보어를 열린 이론적 문제로 취급합니다.
향후 과제: "항상 살아있는 에이전트(always-alive agent)"에 대한 비전은 컴퓨팅 자원의 한계가 있는 향후 과제로 남겨두었습니다. 현재의 연구는 훈련되지 않은 재귀적 동역학이 상태를 운반하기에 충분한지를 격리하여 보여주는 데 집중하며, 훈련된 재귀는 보완적이고 더 비용이 많이 드는 방향으로 남겨둡니다.

요약하자면, 본 논문은 레저보어가 어떻게 주입되는지가 사용 가능성을 결정하는 핵심 요소임을 입증하고, 더 큰 모델을 위한 동역학(스케일링, 입력 스케일링)을 규명하며, 멀티태스크 환경에서 상태적 콘텐츠 회상을 유지하기 위한 레시피를 제공하는 동시에, 용량의 한계와 모델별 전이 가능성의 제약을 인정하고 있습니다.