When Does Persistent Shared State Matter? Functional Boundaries, Solution Accessibility, and Causal Mechanisms in Modular Recurrent Systems

기술 요약: 지속적 공유 상태(Persistent Shared State)는 언제 중요한가?

문제 정의
모듈형 순환 시스템(Modular recurrent systems)은 근본적인 정보 접근 과제에 직면해 있다: 한 구성 요소에서 관찰된 작업 관련 정보가 나중에 다른 구성 요소에 의해 필요할 수 있다는 점이다. 현재의 연구들은 통신(지금 정보를 공유하는 것)과 지속적 공유 메모리(정보를 나중에 사용 가능하게 유지하는 것)를 일반적으로 하나의 구조적 선택(주로 "전역 작업 공간(global workspace)" 프레임워크 내에서)으로 취급한다. 이러한 혼동은 어떤 특정 자원—로컬 유지(local retention), 비지속적 통신(nonpersistent communication), 또는 지속적 공유 상태(persistent shared state)—가 관찰된 성능 향상의 원인인지 결정하는 것을 어렵게 만든다. 본 논문은 조건부 질문을 던진다: 소비자 범위(로컬 대 교차 범위)와 시간적 외부 가용성(현재 대 과거 전용)의 구체적인 조합 중 어떤 경우에 지속적 공유 상태가 다른 메커니즘에 비해 독별한 계산적 이점을 제공하는가?

방법론
저자는 "선택자-증거(selector-evidence)" 계산 작업을 사용하여 통제된 실험 프레임워크를 활용한다.

• 작업 구조: 초기 2비트 선택자($s$)가 이후의 두 가지 2비트 증거 벡터($u$ 또는 $v$) 중 무엇이 최종 출력을 생성하는 데 사용될지를 결정한다.
• 요인 설계(Factorial Design): 연구는 다음 두 가지 요인을 독립적으로 변화시킨다:
  1. 범위(Scope): 선택자가 최종 소비자에게 로컬하게 가용한가(Consumer-Local), 아니면 별개의 소스에서 기원하는가(Cross-Scope)?
  2. 시간적 가용성(Temporal Availability): 증거가 도착했을 때 선택자가 외부에 여전히 가용한가(Current), 아니면 증거가 처리되기 전에 사라지는가(Past-Only)?
• 구조적 비교: 네 가지 매칭된 모듈형 아키텍처가 네 가지 조건에 대해 테스트된다:
  • Persistent (지속적): 교차 사이클 공유 캐리(cross-cycle shared carry)를 포함한 공유 통신(지속성).
  • Reset (리셋): 공유 캐리가 없는 공유 통신(비지속성).
  • Local (로컬): 지속적 공유 작업 공간이 없는 순환적 로컬/직접 통신.
  • NoComm (통신 없음): 모듈 간 통신 없음.
• 검증 전략: 견고성을 보장하기 위해 연구는 세 가지 별도의 분석을 분리하여 수행한다:
  1. 종단 역량(Endpoint Competence): 2x2 요인 설계에 대한 주요 행동 정확도.
  2. 솔루션 접근성(Solution Accessibility): 새로운 시드(seed)를 가진 별도의 동결된 호스트(frozen host)를 사용한 보완 연구를 통해, 유능한 솔루션이 훈련 중에 신뢰할 수 있게 도달되는지 결정함(능력과 최적화 접근성을 구분함).
  3. 인과적 메커니즘(Causal Mechanisms): 특정 경로(지속적 캐리 또는 브로드캐스트)가 인과적으로 부하를 담당하는지 테스트하기 위해 동결된 체크포인트에 대한 순방향 전용 개입을 수행함.
• 검증 엔벨로프(Validation Envelope): 핵심적인 행동적 시그니처는 점진적으로 강화되는 변화를 통해 도전받는다: 소비자 역할 재바인딩, 호스트 메모리 기하학 단순화, 작업 규칙 변경, 그리고 두 번째로 독립 구현된 작업 공간 패밀리로의 전송.

주요 결과

1. 지속성의 선택적 이점: 지속적 공유 상태는 균일한 이점을 제공하지 않는다.

   • Consumer-Local + Current, Consumer-Local + Past-Only, Cross-Scope + Current 조건에서는 Persistent, Reset, Local 아키텍처 모두 천장 성능(1.0000 정확도)을 달이트했다. NoComm은 우연 수준(0.2500)에 머물렀다.
   • Cross-Scope + Past-Only 조건에서는 오직 Persistent 아키텍처만이 천장 성능(1.0000)을 유지했다. Reset과 Local 아키텍처는 약 0.57로 크게 하락했다.
   • 이는 지속적 공유 상태가 정보가 둘 다 모듈 경계를 넘나들어야 하고 외부 가용성의 상실로부터 살아남아야 할 때만 유독 필요하다는 것을 나타낸다.

2. 역량과 접근성의 괴리: 모든 통신 아키텍처에 대해 유능한 솔루션이 존재하지만, 최적화 접근성은 다양하다.

   • 훈련 궤적을 보면, "분지(basin)" 결과(모델이 유능한 솔루션에 도달하지 못하는 경우)가 모든 아키텍처에서 낮지만 0이 아닌 비율로 발생했다.
   • 확장된 훈련은 일부 분지 궤적을 회복시켰으나, 대안적인 훈련 레시피는 이러한 분지를 제거하기 위해 완전한 실패를 초래함으로써 제거되었다. 이는 접근성이 고정된 속성이 아니라 궤적 의존적임을 시사한다.

3. 인과적 부하 담당(Causal Load-Bearing): 개입을 통해 학습된 솔루션 내에서 메커니즘이 기능적으로 필요함을 확인했다.

   • 결정적 조건에서 지속적 캐리를 제거하면 상당한 정확도 저하가 발생했다.
   • 그러나 모델 내의 인과적 의존성이 반드시 아키텍처 간 비교 우위와 엄격하게 매핑되는 것은 아니다. 즉, Persistent 모델은 비지속적 모델도 과제를 해결할 수 있는 조건에서도 캐리에 의존할 수 있다.

4. 검증 및 이론적 경계:

   • 핵심적인 "Cross-Scope + Past-Only" 시그니처는 소비자 재바인딩, 메모리 기하학 변화, 규칙 변형, 그리고 두 번째 작업 공간 패밀리로의 전송에서도 생존했다.
   • 대칭적인 "Local-우세" 크로스오버(Local이 특정 체제에서 Persistent보다 우세한 경우)에 대한 예비 테스트는 실패했으며, 이는 이론을 대칭적 위상도(phase diagram)가 아닌 비대칭적 전이로 좁혔다.

의의 및 주장
본 논문은 지속적 공유 상태에 대한 기능적 경계를 격리했다고 주장하며, 전역 작업 공간이나 지속적 메모리가 보편적으로 우월하다는 생각에 반론을 제기한다. 대신, 저자는 선택적 필요성 설명을 지지한다:

• 지속적 공유 상태는 작업 관련 상태가 소비자 범위를 넘나들어야 하고 동시에 외부 가용성보다 오래 생존해야 할 때 구체적으로 중요한 계산 자원이 된다.
• 본 연구는 능력(모델이 그것을 해결할 수 있는가?), 접근성(훈련이 솔루션을 찾을 수 있는가?), 그리고 인과적 사용(솔루션이 메커니즘에 의존하는가?)을 구분한다.
• 결과는 "작업 공간" 아키텍처가 단일한 솔루션이 아니라 (통신, 선택, 지속성과 같이) 분리 가능한 자원들의 묶음으로 간주되어야 하며, 지속성의 효용은 정보 흐름 요구 사항에 따라 조건적이라는 것을 시사한다.

저자는 결과가 테스트된 체제에 대한 기술적 내용이며, 보편적 불변성, 생물학적 동등성, 또는 현상적 의식을 주장하는 것이 아님을 명시적으로 밝힌다. 식별된 경계는 (테스트된 네 가지 종단점에 기반하여) 범주적이며, 연속적인 변형 연구를 위한 연속적 형태의 온셋 경계는 남겨두고 있다.