기술 요약: 신경망에서의 모호하지 않은 표현 (Unambiguous Representations)

문제 제기

전통적인 표현 방식(예: 비트 문자열, 글자)은 본질적으로 모호합니다. 그 의미는 전적으로 외부 디코더나 관습에 의존합니다. 단일 비트 문자열은 디코딩 체계에 따라 JPEG가 될 수도, MP3가 될 수도 있습니다. 반면, 의식적 경험은 근본적으로 다르다고 가정됩니다. 빨간 사각형을 지각하는 데 대응하는 신경 상태가 동시에 초록색 삼각형의 지각을 인코딩할 수는 없다는 것입니다. 이러한 의식의 본질적 특성은 의식적 표현이 모호하지 않아야(unambiguous) 함을 시사합니다. 즉, 콘텐츠가 외부 해석이 아닌 신경 상태 자체에 의해 결정되어야 한다는 것입니다.

본 논문은 신경망이 내부의 **관계적 구조(relational structure)**를 통해 표현 콘텐츠를 모호하지 않게 인코딩할 수 있는지에 대한 질문을 다룹니다. 구체적으로, 뉴런의 콘텐츠(예: 해당 뉴런이 나타내는 숫자 클래스 또는 입력의 공간적 위치)가 훈련 절차나 외부 레이블링에 대한 지식 없이도 다른 뉴런들과의 연결 패턴에 의해 유일하게 결정될 수 있는지를 조사합니다.

방법론

이론적 프레임워크

저자들은 정보 이론을 사용하여 표현의 모호성을 공식화합니다. 모호성은 조건부 엔트로피 $H(I|R)$로 정의되며, 여기서 $I$는 가능한 해석들을, $R$은 표현을 나타냅니다.

• 높은 모호성: 해석들에 대한 균등 분포 (콘텐츠에 대한 정보가 최소임).
• 낮은 모호성: 집중된 확률 (콘텐츠에 대한 확신이 높음).
  가설은 네트워크 내부의 관계적 구조(내부 관계의 망)가 가능한 해석을 제한함으로써 $H(I|R)$을 줄일 수 있다는 것입니다.

실험 설정

두 가지 주요 실험이 MNIST 숫자 분류 작업(784-50-50-10 아키텍처)을 위해 훈련된 완전 연결 신경망을 사용하여 수행되었습니다. 세 가지 훈련 패러다임이 비교되었습니다:

1. 미훈련(Untrained): 무작위 초기화 (대조군).
2. 표준 역전파(Standard Backpropagation): 표준 훈련.
3. 드롭아웃 훈련(Dropout Training): 은닉층에 20% 드롭아웃을 적용한 역전파.

실험 1: 출력 뉴런의 클래스 정체성 디코딩

• 태스크: 오직 연결성만을 기반으로 어떤 숫자 클래스(0–9)를 출력 뉴런이 나타내는지 결정합니다.
• 절차: 위치 정보를 제거하기 위해 출력층의 뉴런들을 무작위로 치환했습니다. 관계적 구조는 뉴런 가중치 벡터 간의 코사인 유사도를 이용한 **그람 행렬(Gram matrix)**을 통해 추출되었습니다.
• 디코딩 방법:
  1. 기하학적 매칭(Geometric Matching): 알려진 순서가 있는 네트워크들로부터 평균을 낸 참조 그람 행렬을 테스트 네트워크와 비교했습니다. 프로베니우스 거리(Frobenius distance)를 최소화하는 치환(permutation)이 선택되었습니다.
  2. 학습된 디코더(Learned Decoder): 치환 불변성을 보장하기 위해 위치 인코딩이 없는 트랜스포머 기반 디코더를 사용하여 관계적 구조로부터 클래스 정체성을 예측하도록 학습되었습니다.
• 어블레이션(Ablation): 로컬 이웃(대상 뉴런과 다른 모든 뉴로 사이의 유사성)만으로 충분한지, 아니면 전체 글로벌 기하 구조가 필요한지 테스트했습니다.
• 스케일링(Scaling): 관계적 복잡성이 모호성을 줄이는지 테스트하기 위해 출력 뉴런의 수를 변화시켰습니다 (2개에서 10개까지).
• 교차 아키텍처(Cross-Architecture): 서로 다른 은닉층 아키텍처(50-50, 25-25, 100) 간의 전이 가능성을 테스트했습니다.

실험 2: 입력 뉴런의 공간적 위치 디코딩

• 태스크: 입력 뉴런에 대응하는 픽셀의 이미지 중심으로부터의 유클리드 거리를 디코딩합니다.
• 절차: 실험 1과 유사하지만 입력층 가중치($784 \times 50$)에 적용되었습니다. 방대한 치환 수($784!$) 때문에 학습된 디코더(회귀 태스크)만 사용되었습니다.
• 지표: 공간적 거리를 예측하기 위한 $R^2$ 점수.

모호성 정량화

저자들은 최대 엔트로피 대비 조건부 엔트로피의 감소량을 정량화하기 위해 **모호성 감소 점수(Ambiguity Reduction Scores, ARS)**를 계산했습니다.

• 분류의 경우: 파노의 부등식(Fano's inequality)을 사용하여 정확도로부터 도출했습니다.
• 회귀의 경우: 가우시안 잔차를 가정하여 $R^2$로부터 도출했습니다.
  ARS가 1.0이라는 것은 완전한 디스앰비규에이션(disambiguation, 모호성 해소)을 의미합니다 ($H(I|R, C) = 0$).

주요 결과

1. 출력 뉴런의 클래스 정체성 디코딩

• 미훈련 네트워크: 디코딩 정확도가 우연 수준(10%)에 머물렀으며, 이는 무작위 가중치에는 회복 가능한 구조가 없음을 입증합니다.
• 표준 역전파: 학습된 디코더로는 25%, 기하학적 매칭으로는 38%의 정확도를 달いました. 우연 수준보다는 높지만, 관계적 기하 구조는 상당한 모호성을 보였습니다 (여러 치환이 참조 모델과 유사한 거리를 나타냄).
• 드롭아웃 훈련: 기하학적 매칭에서 100% 정확도(분산 0)를 달성했으며, 학습된 디코더로는 75%를 달성했습니다. 실제 치환이 기하학적 공간에서 잘못된 대안들로부터 명확하게 분리되었습니다.
• 성능과의 직교성: 이러한 극적인 표현 모호성의 차이에도 불구하고, 기저의 MNIST 분류 정확도는 모든 훈련 패러다임에서 거의 동일했습니다.

2. 구조적 필연성 및 복잡성

• 글로벌 vs 로컬: 글로벌 기하학적 맥락을 제거했을 때(로컬 유사성 벡터만 제공) 디코딩 정확도가 크게 하락했습니다. 이는 뉴런의 콘텐츠가 단순히 로컬 이웃뿐만 아니라 전체 관계적 기하 구조 내에서의 위치에 의해 결정됨을 나타냅니다.
• 관계적 복잡성: 관계적 구조를 계산하는 데 사용되는 뉴런의 수가 증가함에 따라 정확도가 단조 증가했습니다. 2개의 뉴런을 사용할 때는 우연 수준(50%)이었으나, 10개의 뉴런을 사용할 때는 100%에 도달했습니다. 이는 더 풍부한 관계적 기하 구조가 해석에 대한 더 많은 제약을 제공함을 보여줍니다.

3. 불변성 및 일반화

• 아키텍처 불변성: 기하학적 매칭은 서로 다른 은닉층 아키텍처(예: 50-50 참조를 사용하여 25-25 네트워크를 디코딩)에서도 높은 디코딩 정확도를 보였으며, 이는 콘텐츠의 관계적 인코딩이 아키텍처에 관계없이 독립적임을 시사합니다.
• 데이터셋 판별: 이진 분류기는 관계적 구조만을 바탕으로 MNIST와 Fashion-MNIST로 훈련된 네트워크를 거의 완벽하게 구분할 수 있었습니다 (드롭아웃의 경우 99.8%).

4. 입력 뉴록의 공간적 위치

• 출력층 결과와 달리, 표준 역전파가 드롭아웃 훈련($R^2 = 0.695$)보다 더 높은 공간 디코딩 정확도($R^2 = 0.844$)를 보였습니다.
• 그러나 두 경우 모두 전체 관계적 구조가 로컬 이웃 정보보다 훨씬 뛰어난 성능을 보였습니다.
• 입력 위치에 대한 모호성 감소 점수(ARS)는 0.419에서 0.654 사이로 나타났으며, 이는 상당하지만 완벽하지는 않은 디스앰비규에이션을 의미합니다.

의의 및 주장

본 논문은 신경 시스템의 표현 모호성을 측정하는 정량적 방법을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 모호하지 않음의 조작적 정의: 신경망이 관계적 구조에 대해 모호하지 않은 방식으로 정보를 인코딩할 수 있음을 입증했습니다. 드롭아웃 훈련된 네트워크의 경우, 관계적 기하 구조만으로 클래스 정체성을 완전히 지정할 수 있어 ARS 1.0을 달성했습니다.
2. 모호성과 성능의 직교성: 표현의 모호성이 행동 과제 성능과 독립적으로 변할 수 있는 신경 표현의 차원임을 보여줍니다. 네트워크는 과제를 완벽하게 수행하면서도, 정보를 모호하게(표준 역전파) 또는 모호하지 않게(드롭아웃) 인코딩할 수 있습니다.
3. 이론적 정렬: 이 결과는 의식이 모호해서는 안 된다고 상정하는 협의의 표현주의(Narrow Representationalism) 및 **통합 정보 이론(Integrated Information Theory)**과 같은 의식에 관한 이론적 설명들을 뒷받침합니다. 논문은 의식이 뇌 상태에 부수(supervene)한다면, 그 상태는 반드시 그 콘텐츠를 모호하지 않게 결정해야 한다고 주장합니다. 관계적 구조가 외부 디코딩 없이 콘텐츠를 고정할 수 있다는 실험적 발견은 현상적 경험의 "내재적" 성격과 일치합니다.
4. 구조적 결정성: 콘텐츠는 단순히 관습적으로 할당되는 것이 아니라, 시스템의 내부 관계에 의해 구조적으로 결정될 수 있음을 시사합니다. 실험에 사용된 디코더는 의미를 강요하는 것이 아니라, 네트워크 인스턴스에 내재된 일관된 관계 패턴을 발견하는 것입니다.

저자들은 MNIST 네트워크가 의식을 가지고 있다고 주장하는 것이 아니라, 자신들의 프레임워크가 현상적 경험의 필요조건(충분조건은 아님)을 제공한다고 명시하며 신중한 입장을 유지하고 있습니다. 즉, 신경 기질이 내부 구조를 통해 콘텐츠를 모호하지 않게 인코딩할 수 있는 능력에 대한 것입니다.