Understanding Transformers through the Lens of Pavlovian Conditioning

Each language version is independently generated for its own context, not a direct translation.

개에게 종소리를 들으면 침을 흘리게 가르치려 한다고 상상해 보세요. 종을 울리고 (신호) 즉시 먹이를 줍니다 (보상). 이를 몇 번 반복하면 개는 종소리와 먹이를 연결하는 법을 배웁니다. 이것이 바로 파블로프 조건화로, 자연에서 발견되는 학습의 기본 형태입니다.

이 논문은 현대 AI 의 "두뇌"라 불리는 **트랜스포머 (Transformer)**가 놀랍도록 유사한 원리로 작동한다고 주장합니다. 복잡하고 신비로운 수학 기계가 아니라, 저자는 이를 개와 종의 관계처럼 거대하고 초고속인 연상 학습 (associative learning) 시스템으로 이해할 수 있다고 제안합니다.

다음은 간단한 비유를 통해 그들의 아이디어를 정리한 것입니다:

1. 세 가지 역할: 종, 먹이, 그리고 테스트

표준 트랜스포머에는 쿼리 (Queries), 키 (Keys), **밸류 (Values)**라는 세 가지 주요 부분이 있습니다. 이 논문은 이를 동물 조건화의 세 부분과 직접적으로 매핑합니다:

키 (The Bell): 텍스트 내의 "신호"나 패턴입니다. 개 비유로 말하면 종소리가 울리는 것입니다. 이는 시스템에 "이곳에 익숙한 무언가가 발생하고 있다"고 알립니다.
밸류 (The Food): 실제 "답"이나 정보입니다. 개 비유로 말하면 먹이입니다. 시스템이 생성하려는 반응입니다.
쿼리 (The Test): AI 가 현재 답하려는 질문이나 프롬프트입니다. 이는 연구자가 개가 침을 흘리는지 확인하기 위해 종을 울리는 것과 같습니다. 쿼리는 키를 살펴보며 "이 신호가 내가 찾는 것과 일치하는가?"라고 묻습니다.

2. 학습 방식: "헤비안 (Hebbian)" 접착제

이 논문은 AI 가 문장을 읽을 때 데이터를 하드 드라이브에 단순히 "저장"하는 것이 아니라, 신호와 답 사이에 임시 다리를 구축한다고 제안합니다.

과정: 사람들이 가득 찬 방을 상상해 보세요. 특정 사람 (Key) 이 들어와 특정 단어 (Value) 를 말할 때마다, 벽에 그들을 연결하는 스티커 메모가 붙습니다.
규칙: 논문은 이를 헤비안 규칙이라고 부르는데, 이는 "함께 활성화되는 뉴런은 함께 연결된다"는 것을 fancy 하게 표현한 것입니다. 키와 밸류가 자주 함께 나타나면, 그들 사이의 연결이 강화됩니다.
결과: 새로운 쿼리가 들어오면 (새로운 사람이 질문을 던지면), 스티커 메모를 살펴봅니다. 쿼리가 스티커 메모가 붙어 있는 키와 유사하다면, AI 는 연관된 밸류 (답) 를 가져와 사용합니다.

3. "선형 (Linear)" 단축키

실제 트랜스포머는 매우 복잡합니다. 저자들은 자신의 주장을 입증하기 위해 수학을 **선형 어텐션 (Linear Attention)**이라는 버전으로 단순화했습니다. 그들은 이 단순화된 버전이 그들의 "파블로프식" 모델과 수학적으로 동일함을 보였습니다.

이렇게 생각해보세요: 자동차 엔진의 화려한 장식을 모두 제거하면 기본적인 피스톤과 기어를 발견하게 됩니다. 저자들은 AI 의 "피스톤"이 실제로는 개가 종을 배우는 것과 정확히 같은 임시 연상을 구축하는 것임을 발견했습니다.

4. 한계: 기억은 도서관이 아니라 양동이다

가장 중요한 발견 중 하나는 **용량 (capacity)**에 관한 것입니다. 논문은 이 "스티커 메모" 시스템에는 한계가 있다고 주장합니다.

비유: 당신의 기억을 양동이라고 상상해 보세요. 몇 개의 연상을 넣으면 선명하게 남아 있습니다. 하지만 계속 더 많은 연상을 넣으면 서로 부딪히기 시작합니다. 양동이가 가득 차면 오래된 메모들은 흐려지거나 사라집니다.
수학: 논문은 AI 가 완벽하게 기억할 수 있는 사물의 수가 "양동이의 크기"(내부 공간의 차원) 에 의존함을 증명합니다. 너무 많은 것을 한 번에 기억하려 하면 AI 는 실수를 하기 시작합니다.

5. 깊음 vs 넓음: 카드 탑

이 논문은 이러한 시스템을 여러 층으로 쌓았을 때 (깊은 AI 를 만들 때) 어떤 일이 일어나는지도 살펴봅니다.

문제: 카드 탑이 있고 바닥 카드가 약간 흔들린다면, 위로 올라갈수록 흔들림은 더 심해집니다. AI 에서도 첫 번째 층이 연산에서 아주 작은 실수를 하면, 다음 층이 그 실수를 증폭시킵니다.
해결: 저자들은 탑이 서 있도록 하려면 높이뿐만 아니라 넓이가 필요함을 발견했습니다.
- 깊고 좁은: 높고 가느다란 카드 탑입니다. 매우 약합니다. 바닥의 작은 실수 하나가 전체를 무너뜨립니다.
- 넓고 얕은: 짧고 넓은 탑입니다. 훨씬 더 안정적입니다. 저자들은 많은 "헤드 (parallel pathways)"를 갖는 것이 탑을 잡는 여러 사람이 되어 흔들림을 상쇄한다고 제안합니다.

6. 더 나은 학습 규칙: 실수 수정하기

이 논문은 기본적인 "스티커 메모" 방법 (표준 헤비안 학습) 이 완벽하지 않다고 제안합니다. 왜냐하면 이를 쉽게 잊어버리게 (unlearn) 할 수 없기 때문입니다. 개가 종소리가 먹이를 의미한다고 배우지만, 먹이가 오지 않으면 개는 잠시 동안 여전히 침을 흘립니다.

저자들은 "교정 메커니즘"처럼 작용하는 더 지능적인 규칙 (예: 델타 규칙 또는 오자 규칙) 을 사용할 것을 제안합니다.

델타 규칙: AI 가 잘못된 답을 예측하면, 기존 스티커 메모를 적극적으로 지우고 새로운 것을 씁니다.
오자 규칙: 이는 시스템이 너무 흥분하거나 "포화 (saturated)"되는 것을 방지하여 시간이 지남에 따라 기억이 안정적으로 유지되도록 합니다.

핵심 결론

이 논문은 현대 AI 가 성공한 이유가 단순히 교묘한 공학이나 새로운 컴퓨터 칩 때문이 아니라고 결론 내립니다. 오히려 이러한 모델들은 우연히 자연의 근본 원리를 재발견했기 때문입니다: 연상을 통한 학습.

진화가 수백만 년 동안 동물이 신호와 보상을 연결하는 방식을 최적화하는 데 시간을 보낸 것처럼, AI 는 정확히 같은 일을 수행하는 수학적 방법을 찾아냈습니다. 트랜스포머의 "마법"은 단순히 개 뇌에서 일어나는 조건화와 동일한 것을 매우 빠르고 대규모로 수행하는 것에 불과합니다.

Each language version is independently generated for its own context, not a direct translation.

기술적 요약: 파블로프 조건형성 관점을 통한 트랜스포머 이해

문제 제기
트랜스포머 아키텍처가 인공지능을 혁신했지만, 그 성공을 설명하는 근본적인 계산 원리는 여전히 불투명합니다. 어텐션 메커니즘에 대한 표준 수학적 설명 (쿼리 - 키 유사성에 기반한 가중 평균) 은 운영상 명확하지만 지적 만족감을 주지 못하며, 왜 이러한 특정 계산이 지능의 필수적 측면을 포착하는지 설명하지 못합니다. 기존 해석 가능성 연구는 기능적 회로를 식별하지만, 근본적인 연합 과정을 설명하는 기계론적 설명보다는 기술적 서술에 그칩니다.

방법론
저자들은 트랜스포머 어텐션의 핵심 계산을 파블로프 (고전적) 조건형성으로 재해석하는 새로운 이론적 프레임워크를 제안합니다. 이 접근법은 어텐션의 구성 요소와 생물학적 조건형성의 요소 사이에 직접적인 수학적 매핑을 확립합니다:

**값 (Values, V)**은 **무조건 자극 (Unconditional Stimuli, US)**에 해당합니다: 반응을 직접 인코딩하는 정보.
**키 (Keys, K)**는 **조건 자극 (Conditional Stimuli, CS)**에 해당합니다: US 와 연관되게 되는 문맥적 패턴.
**쿼리 (Queries, Q)**는 **시험 자극 (Test Stimuli)**에 해당합니다: 학습된 연합을 검색하기 위해 탐지하는 패턴.

이 프레임워크는 CS-US 쌍이 순전파 (forward pass) 동안 헤비안 규칙 ("함께 활성화되는 세포는 함께 연결된다") 을 통해 연합을 형성하는 동적 연합 기억 시스템으로 어텐션 메커니즘을 모델링합니다. 저자들은 이 조건형성 프레임워크가 소프트맥스의 이차적 비용을 피하는 단순화된 변형인 **선형 어텐션 (linear attention)**과 수학적으로 동등함을 입증합니다. 선형 어텐션을 다루기 쉬운 기반으로 활용함으로써, 이 논문은 기억 용량, 오차 전파, 학습 규칙에 대한 이론적 통찰을 도출합니다.

주요 기여 및 이론적 통찰

선형 어텐션과의 수학적 동등성:
이 논문은 특정 조건 하에서 (값에 대한 항등 활성화, 키에 대한 선형 활성화, 그리고 자기-어텐션 구성) 제안된 조건형성 회로가 정확히 선형 어텐션 공식으로 축소됨을 증명합니다. 이는 선형 어텐션을 생물학적 조건형성 회로의 구체적인 구현으로 확립합니다.
기억 용량 정리:
저자들은 연합 기억 행렬 $S$ 에 대한 용량 정리를 유도합니다. 신뢰할 수 있게 저장할 수 있는 연합의 수 $n$ 은 키 표현의 차원 ( $d_k$ ) 에 의해 제한됨을 보여줍니다:
- 평균 경우 검색: $O(d_k)$ 로 강력하게 확장됩니다.
- 최악의 경우 (오차 없는) 검색: $O(\sqrt{d_k})$ 로 확장됩니다.
  이는 컨텍스트 길이가 증가함에 따라 새로운 연합으로부터의 간섭이 이전 연합의 검색을 저하시킨다는 것을 의미하며, 선택적 망각 메커니즘 없이는 컨텍스트 윈도우의 유용성에 근본적인 한계가 있음을 시사합니다.
오차 전파 및 아키텍처 트레이드오프:
쌓인 조건형성 회로 (심층 트랜스포머) 에 대한 분석은 오차가 깊이 ( $L$ ) 에 따라 선형적으로 누적되지만, 헤드 중복성 ( $H$ ) 과 헤드 차원 ( $d_k$ ) 에 의해 기하급수적으로 억제됨을 보여줍니다. 오차율 상한은 $r^* \propto L \cdot (n/d_k)^H$ 로 확장됩니다.
- 이는 중요한 깊이 - 너비 트레이드오프를 드러냅니다: 심층 네트워크에서 신뢰성을 유지하기 위해 모델은 깊이와 충분한 너비 및 헤드 중복성 사이에서 균형을 맞춰야 합니다. 이는 성공적인 아키텍처가 극도로 깊고 좁은 구성보다 적당히 깊고 많은 넓은 헤드를 선호하는 이유에 대한 이론적 근거를 제공합니다.
생물학적으로 타당한 학습 규칙:
이 프레임워크는 심층 네트워크의 신뢰성 문제를 해결하기 위해 헤비안 규칙의 변형들을 평가합니다:
- 델타 규칙 (Delta Rule): 모델이 노후화된 연합을 "망각"할 수 있도록 하는 오차 수정 업데이트를 도입하여 누적 오차 문제를 해결합니다.
- 오자 규칙 (Oja's Rule): 출력 뉴런 활동에 기반하여 입력 가중치를 축소하는 항상성 메커니즘을 도입하여 활성화 포화를 방지하고 심층 네트워크의 안정성을 보장합니다.

실증 결과
저자들은 합성 실험을 통해 이론적 주장을 검증합니다:

용량 확장: 실험은 연합의 수가 증가함에 따라 검색 충실도가 점진적으로 저하됨을 확인하며, 임계 용량이 키 차원 ( $d_k$ ) 에 비례하여 선형적으로 확장됨을 보여 평균 경우 용량 상한을 뒷받침합니다.
오차 전파: 쌓인 회로는 오차 누적이 깊이에 따라 선형적이지만 헤드 중복성에 의해 기하급수적으로 억제됨을 보여줍니다. 아키텍처 비교는 "넓고 얕은 (Wide & Shallow)" 모델이 연합 추론 작업에서 "좁고 깊은 (Narrow & Deep)" 모델보다 현저히 우수함을 보여주어 깊이 - 너비 균형 원칙을 검증합니다.
헤비안 변형: 개념 드리프트가 포함된 연속 추적 작업에서 표준 가산 헤비안 규칙은 무제한 가중치 성장과 낮은 적응력을 보입니다. 반면, 델타 규칙은 노후화된 연합을 성공적으로 망각하고, 오자 규칙은 기억 행렬 노름을 제한하여 안정성을 입증합니다.

의의 및 주장
이 논문은 현대 AI 의 성공이 단순히 아키텍처의 새로움에서 비롯된 것이 아니라, 수백만 년의 진화를 통해 생물학이 최적화한 계산 원리들의 구현에서 비롯될 수 있다고 주장합니다. 어텐션을 파블로프 조건형성으로 프레임함으로써, 저자들은 다음과 같은 통합된 이론적 기반을 제공합니다:

**문맥 내 학습 (in-context learning)**을 일시적 연합의 동적 형성과 검색으로 설명하는 기계론적 설명을 제시합니다.
오차 억제 및 잡음 관리의 관점에서 특정 아키텍처 선택 (예: 헤드 중복성, 너비) 의 필요성을 설명합니다.
AI 와 신경과학을 연결하는 것이 우연이 아님을 시사합니다. 시간적 감쇠 (예: RetNet 의 경우) 와 특정 학습 규칙 (델타/오자) 과 같은 메커니즘은 딥러닝의 공학적 과제에 대한 원칙적인 생물학적 해결책을 나타냅니다.
**AI 정렬 (AI alignment)**을 위한 어휘를 제공하며, 원치 않는 행동을 오차 수정 규칙을 통해 "망각"을 목표로 삼을 수 있는 특정 CS-US 연합으로 볼 수 있음을 시사합니다.

저자들은 분석이 공식적인 연합 기본 사례를 공식화하기 위해 선형 어텐션을 분리했지만, 유도된 원칙들이 트랜스포머 스타일 모델을 이해, 분석, 설계하기 위한 견고한 프레임워크를 제공하며, 인공 지능과 생물학적 지능이 동적 연합의 공유된 근본 원리에 의존함을 시사한다고 결론지었습니다.