🤖 machine learning

One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer

본 논문은 비대칭 입력 주입이나 별도의 레벨 토큰과 같은 업데이트 유형을 구분하는 명확한 신호가 제공될 때, 공유 가중치 순환 트랜스포머가 제안 상태와 불확실한 중간 상태와 같은 명확한 기능적 역할을 자발적으로 발달시킬 수 있음을 보여준다.

원저자: Jucheng Shen, Barbara Su, Anastasios Kyrillidis

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jucheng Shen, Barbara Su, Anastasios Kyrillidis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 하나의 매우 똑똑한 조수 (AI 모델) 가 스도쿠나 미로와 같은 복잡한 퍼즐을 풀려고 노력하고 있다고 말입니다. 보통 이런 것들을 해결하려면 두 명의 다른 사람이 필요하다고 생각할지도 모릅니다. 하나는 야릇한 아이디어를 brainstorming 하고, 다른 하나는 사실을 다시 확인하는 역할이죠.

이 논문은 다음과 같은 매혹적인 질문을 던집니다: 단 한 명의 사람이 그 순간 자신이 어떤 일을 하고 있는지만 안다면, 두 가지 일을 모두 효과적으로 수행할 수 있을까요?

연구자들은 이를 테스트하기 위해 AIR(Asymmetric Input Recurrence, 비대칭 입력 재귀) 라는 시스템을 구축했습니다. 간단한 비유를 들어 작동 원리를 설명해 보겠습니다:

설정: 하나의 뇌, 두 가지 모자

AI 는 두 가지 '정신 상태'를 반복적으로 오가며 작동합니다:

'스크래치패드'(상태 $z_L$ ): 이는 messy 한 지역적 사고를 위한 공간입니다. AI 가 여기서 작은 변화를 시도하고 혼란을 겪으며, 무엇이 작동할지 알아내려 합니다.
'제안'(상태 $z_H$ ): 이는 확고한 결정을 내리는 공간입니다. AI 가 아직 완벽하지 않더라도 전체 해결책을 확정 짓는 곳입니다.

대부분의 AI 모델에서는 이 두 가지 역할이 완전히 다른 뇌 세포 (매개변수) 집합에 의해 처리됩니다. 하지만 이 실험에서는 연구자들이 정확히 같은 뇌 세포로 두 가지 일을 하도록 강요했습니다.

비밀 소스: '신호'

뇌가 어느 모자를 써야 할지 어떻게 알까요? 연구자들은 아주 작은 신호를 주었습니다:

뇌가 스크래치패드 작업을 할 때는 퍼즐 입력이라는 '힌트'가 뇌에 주입됩니다.
제안 작업을 할 때는 힌트가 없습니다. 이전 단계에 대한 자신의 기억에만 의존해야 합니다.

이는 요리사가 레시피를 계획할 때는 신선한 재료 목록을 받지만, 최종 요리를 할 때는 목록을 다시 보지 않고 요리해야 하는 것과 같습니다. 그 목록의 유무가 요리사에게 어떤 모드에 있어야 하는지 알려줍니다.

무슨 일이 일어났을까요? (결과)

연구자들은 단 하나의 뇌가 동일한 하드웨어임에도 불구하고 두 가지 뚜렷한 역할로 성공적으로 분할되었다는 사실을 발견했습니다.

'결정' 분할:
- **제안 상태 ( $z_H$ )**는 매우 자신감 있게 변했습니다. 전체 퍼즐을 보고 "이것이 정답입니다!"라고 말하며, 정답이 틀리더라도 완전히 '결정'된 상태가 되었습니다.
- **스크래치패드 상태 ( $z_L$ )**는 여전히 불확실했습니다. 일부 셀을 비워두고 ('결정 보류' 메모처럼) 초점을 계속 이동시켰습니다. 이는 '지역적으로 불확실'한 상태였습니다.
'주의' 분할:
- 뇌가 스크래치패드 모드일 때는 즉각적인 이웃 (스도쿠의 3x3 박스 확인과 같은) 을 매우 자세히 살펴보았습니다. 이는 지역적이었습니다.
- 뇌가 제안 모드일 때는 한 번에 전체 보드를 바라보았습니다. 이는 전역적이었습니다.

'동결' 테스트

이 두 상태가 실제로 서로 소통하고 의존하고 있음을 증명하기 위해 연구자들은 '동결' 실험을 수행했습니다. 한쪽 뇌의 움직임을 멈추게 하고 다른 쪽은 계속 작동시켰습니다.

스도쿠에서: '제안' 뇌를 동결시키면 '스크래치패드' 뇌는 생각을 바꾸지 않게 되었습니다 (차분해짐). 하지만 '스크래치패드'를 동결시키면 '제안' 뇌는 미쳐서 끊임없이 생각을 바꾸었습니다.
미로에서: 관계는 달랐습니다. 한쪽을 동결시키면 다른 쪽이 보충하기 위해 더 열심히 일했습니다.

이는 두 가지 역할이 단순히 무작위가 아니라 조율된 팀임을 증명했습니다.

큰 교훈

이 논문은 복잡한 추론을 위해 반드시 두 개의 다른 AI 모델이 필요하지 않다고 결론 내립니다. 단지 하나의 모델과 "지금 너는 꿈꾸는 사람이다" 또는 "지금 너는 결정하는 사람이다"라고 알려주는 명확한 신호만 있으면 됩니다.

모델이 두 가지 작업 사이를 구분할 수 있는 방법 (예: '힌트'나 특수 토큰) 을 제공하면, 그것은 자연스럽게 전문화되어 단일 공유 뇌 내부에 '노동 분업'을 창출합니다.

요약하자면: 단 하나의 뇌도 어떤 순간에 어떤 모자를 쓰고 있는지만 안다면, 두 가지 모자를 모두 쓸 수 있습니다.

기술 요약: 하나의 모델, 두 가지 역할: 공유된 순환 트랜스포머에서의 등장적 전문화

문제 제기
본 논문은 단일 공유 가중치 순환 트랜스포머가 별도의 파라미터 모듈로 분할되지 않은 채 두 개의 잠재 상태에 대해 서로 다른 내부 계산 역할을 발전시킬 수 있는지 조사한다. HRM(Hierarchical Reasoning Model)과 같은 이전 연구는 서로 다른 잠재 상태를 위해 별도의 네트워크를 사용하는 반면, TRM(Transformer Reasoning Model)은 단일 공유 네트워크를 사용한다. 그러나 업데이트 유형을 구분하는 안정적인 신호가 제공될 때, 공유 모델이 자발적으로 '제안' 상태 대 '정제' 상태와 같은 명확한 기능적 역할로 전문화될 수 있는지는 여전히 불분명하다. 핵심 질문은 전문화가 구조적 모듈성 (별도의 파라미터) 을 요구하는지, 아니면 단일 통합 공유 아키텍처 내에서 명확한 상태-정체성 신호에 의해 주도되는 기능적 분화로부터 등장할 수 있는지이다.

방법론: 비대칭 입력 재귀 (AIR)
이를 해결하기 위해 저자들은 HRM 과 TRM 에서 파생된 최소 테스트베드인 **비대칭 입력 재귀 (Asymmetric Input Recurrence, AIR)**를 도입한다.

아키텍처: AIR 는 단일 공유 트랜스포머 모델 $f(\cdot; \theta)$ 에 의해 업데이트되는 두 개의 잠재 상태 $z_H$ (고수준) 와 $z_L$ (저수준) 을 유지한다.
업데이트 메커니즘: 재귀는 교차된 하위 단계 (예: $L, L, H, L, L, H$ $L, L, H, L, L, H$ ) 패턴을 따른다. 결정적인 비대칭성은 입력 주입에 있다:
- L-업데이트: 인코딩된 입력 $\tilde{x}$ 가 업데이트 규칙에 주입된다 ( $z_L \leftarrow f(z_L + z_H + \alpha_L \tilde{x})$ ).
- H-업데이트: 인코딩된 입력은 주입되지 않는다 ( $z_H \leftarrow f(z_H + z_L + \alpha_H \tilde{x})$ , 여기서 $\alpha_H=0$ ).
학습: 모델은 두 가지 합성 추론 작업인 Sudoku-Extreme(9x9 퍼즐) 과 Maze(30x30 그리드) 에서 사이클의 최종 L 및 H 업데이트를 통해서만 역전파하는 일단계 절단 그라디언트를 사용하여 학습된다.
분석: 저자들은 모델을 탐구하기 위해 여러 기법을 활용한다:
- 디코딩 롤아웃: 중간 상태를 시각화하여 확정 수준을 관찰한다.
- 동결 실험: 한 상태를 동결하여 다른 상태의 내용 변화를 측정한다.
- 애블레이션: 대칭적 입력 주입 (비대칭성 제거) 과 대체 상태-정체성 신호 (레벨 토큰) 를 테스트한다.
- 메커니즘 분석: 어텐션 패턴 (국소성 대 전역성) 과 위반 민감도를 분석한다.

주요 기여 및 결과

기능적 전문화의 존재:
디코딩 롤아웃은 공유 모델의 행동에서 안정적이고 등장적인 분할을 보여준다:
- $z_H$ (고수준): "완전히 확정된 제안 상태"로 행동한다. 비록 틀리더라도 모든 하위 단계에서 완전한 후보 솔루션으로 디코딩된다.
- $z_L$ (저수준): "변동하는 확정 스케치패드"로 행동한다. 미결정 위치 (스도쿠의 BLANK, 미로의 PAD) 가 하위 단계 간에 이동하며 국소적 불확실성을 유지한다.
- 제어: 대칭 변형 (두 상태가 동일한 입력 주입을 받음) 에서 이러한 명확한 역할 분할은 거의 사라지는데, 이는 전문화가 두 상태를 갖는 것 자체에 내재된 것이 아니라 업데이트 유형을 구분할 수 있는 능력에 의존함을 확인시켜 준다.
상태-정체성 신호가 전문화를 유도함:
본 논문은 공유 모델이 전문화를 유도하기 위해 업데이트 유형을 구분할 수 있는 신뢰할 수 있는 신호가 필요함을 입증한다.
- 입력 비대칭성: 비대칭적 입력 주입 ( $\Delta > 0$ ) 은 정확도를 유의미하게 향상시킨다 (예: 대칭 변형의 약 51% 대비 스도쿠에서 약 59%).
- 레벨 토큰: 저자들은 학습된 레벨 토큰을 사용한 대체 신호를 테스트했다. 오직 '첨가 및 제거 (prepend-and-strip)' 전략 (토큰을 추가하고, 어텐션 받고, 제거함) 만 성능 격차를 성공적으로 회복시켰다. 단순한 요소별 덧셈이나 영구 토큰은 실패했는데, 이는 신호가 내용 토큰과 혼합되지 않고 구조적으로 분리 가능해야 함을 시사한다.
- 단일 상태 애블레이션: 주기적 입력 주입을 가진 단일 상태 모델은 두 상태 비대칭 모델의 성능을 따라가지 못했는데, 이는 안정된 전문화를 위해 별도의 메모리 버퍼가 필요함을 나타낸다.
상호의존적 상태 역학:
동결 실험은 두 상태 간의 특정 관계를 드러낸다:
- 스도쿠: $z_H$ 를 동결하면 $z_L$ 의 활동이 억제되어 (내용 변화 감소) $z_L$ 을 동결하면 $z_H$ 의 활동이 증가한다.
- 미로: 어느 상태를 동결하든 다른 상태의 내용 변화가 증가한다.
- 대칭 제어: 대칭 모델은 이러한 조직화되고 역할 일관적인 상호작용 패턴이 부족하여, 교란에 민감하지만 비구조적인 반응을 보인다.
메커니즘적 증거 (어텐션 분석):
어텐션 분석은 기능적 분할을 확인한다:
- 국소성: $L$ -업데이트는 $H$ -업데이트보다 일관되게 더 국소적으로 (즉각적인 이웃에) 어텐션하는 반면, $H$ -업데이트는 더 전역적인 어텐션을 보인다.
- 위반 민감도: 스도쿠에서 $L$ -업데이트의 더 깊은 층들은 위반된 제약 조건을 향한 특정 어텐션 라우팅을 보여주는데, 이는 $H$ -업데이트나 미로 작업에서는 관찰되지 않는 신호이다.

의의 및 주장
본 논문은 명시적 파라미터 모듈성 (별도의 네트워크) 이 순환 추론에서의 기능적 전문화에 필수적이지 않다고 주장한다. 대신, 비대칭적 입력 주입이나 구조적으로 분리 가능한 레벨 토큰을 통해 제공되는 명확한 상태-정체성 신호가 공유 파라미터 순환 트랜스포머 내에서 안정적이고 관련 있는 기능적 역할을 유도하기에 충분하다.

저자들은 이 작업을 작은 순환 추론 시스템의 귀납적 편향에 대한 기초 연구로 위치시킨다. 그들은 결론이 스도쿠와 미로와 같은 통제된 합성 환경에서 도출되었으며 자연어나 부분 관측 가능성 전반에 걸쳐 보편성을 주장하지 않는다고 강조한다. 주요 기여는 모델이 업데이트의 계산적 맥락을 구분할 수 있다면 "하나의 모델, 두 가지 역할"이 효율적인 추론 아키텍처를 위한 실현 가능한 패러다임임을 입증하는 데 있다.