기술 요약: 위상 일관성 트랜스포머 (PCT)

1. 문제 제기

복소수 신경망 (CvNNs) 은 역사적으로 위상 정보가 내재된 신호 처리 영역 (예: MRI, 무선 통신) 으로 제한되어 왔습니다. 텍스트, 비전, 추론을 위한 범용 아키텍처로서의 채택은 제한적이었습니다. 해당 논문은 특정 아키텍처 병목 현상을 식별합니다: 기존 복소수 트랜스포머는 대부분 실수 아키텍처에서 유래한 소프트맥스 어텐션 메커니즘을 계승하고 있습니다.

저자들은 소프트맥스 어텐션이 행 내 어텐션 가중치의 합이 1 이 되도록 하는 행 정규화된 토큰 경쟁에 의존한다고 주장합니다. 이러한 구조는 층 간 위상 정보의 보존이 필요한 복소수 계산과 근본적으로 정렬되지 않습니다. 소프트맥스가 강제하는 "토큰 경쟁"은 위상 중첩을 방해하는 결합을 도입하여, 특히 장거리 의존성 작업에서 일반 복소수 트랜스포머가 실수 대응 모델보다 성능이 떨어지는 "복소수 페널티"를 초래합니다.

2. 방법론: 위상 일관성 트랜스포머 (PCT)

이를 해결하기 위해 논문은 층 간 위상 일관성을 보존하도록 설계된 새로운 어텐션 원시인 **위상 일관성 트랜스포머 (PCT)**를 제안합니다.

핵심 메커니즘

PCT 는 행 정규화된 소프트맥스를 토큰 비경쟁 어텐션 메커니즘으로 대체합니다:

1. 기반 (Substrate): 쿼리 ($Q$), 키 ($K$), 밸류 ($V$) 에 네이티브 복소수 선형 프로젝션을 사용합니다.
2. 정규화: 쿼리와 키는 L2 정규화 ($\bar{q}, \bar{k}$) 됩니다.
3. 점수 산정: 어텐션 점수는 정규화된 벡터의 내적 실수부에서 유도됩니다: $s_{ij} = \text{Re}\langle \bar{q}_i, \bar{k}_j \rangle \cdot \sqrt{d}$.
4. 게이팅: 소프트맥스 대신 PCT 는 점수에 실수 값, 요소 독립적, 부드러운 게이트를 적용합니다. 주요 사례는 $-\log N$으로 초기화된 학습 가능한 편향을 가진 시그모이드 함수를 사용합니다:
   $$\alpha_{ij} = \sigma(s_{ij} + b)$$
5. 집계: 출력은 복소수 값의 가중 합으로 계산됩니다: $\text{out}_i = W_o \sum_{j} \alpha_{ij} v_j$.

중요하게도 행 정규화는 없습니다. 이로 인해 토큰들이 독립적으로 주의를 기울일 수 있게 되어, 소프트맥스의 경쟁적 정규화로 인한 파괴적 간섭 없이 복소수 값의 위상 중첩이 보존됩니다.

이론적 프레임워크: 2 단계 위상 일관성

논문은 게이트 함수 $f$에 대한 네 가지 조건으로 정의된 "2 단계 위상 일관성" 프레임워크를 통해 PCT 의 성공을 형식화합니다:

• C1: 게이트 출력은 실수 값입니다.
• C2: 게이트는 작동 범위 내에서 유계 (bounded) 입니다.
• C3: 게이트는 0 이 아닌 기울기를 가지며 매끄럽습니다 (반위상 성분을 보존).
• C4: 게이트는 요소 독립적입니다 (행 결합 없음).

1 단계 (L1) 일관성: C1 과 C4 에 의해 충족되며, 층별 위상 관계가 보존됨을 보장합니다 (토큰 결합 없음).
2 단계 (L2) 일관성: L1, C2, C3 에 의해 충족되며, 위상 잡음이 깊은 스택을 통해 기하급수적으로 누적되지 않음을 보장합니다. 논문은 C3 위반 (예: ReLU 사용) 이 치명적인 연쇄 실패를 초래하는 반면, C2 위반 (예: 무계 게이트) 은 부분적 저하를 초래한다고 증명합니다.

3. 실험 설정

저자들은 매개변수 공정성 ($\text{real\_dim} = \text{complex\_dim} \times 1.41$) 을 보장하면서 9 개의 중간 규모 벤치마크에 걸쳐 체계적인 6 셀 비교를 수행했습니다.

6 셀:

1. real_softmax: 표준 트랜스포머 베이스라인.
2. real_sigmoid: 실수 값 시그모이드 어텐션.
3. real_screen: 실수 값 스크리닝 어텐션 (Nakanishi 2026).
4. complex_softmax: 일반 복소수 트랜스포머 (크기의 소프트맥스).
5. complex_screen: 하드 임계값 게이트를 가진 복소수 변형 (C3 부분 위반).
6. PCT (complex_sigmoid): 제안된 아키텍처.

벤치마크:

• 합성/알고리즘: Copy Memory (단거리/장거리), Needle In A Haystack (NIAH), LRA-ListOps, FFT-MNIST, Phase-Memory, Multi-Pitch.
• 실제 세계: RadioML (변조 분류), MusicNet.
• 깊이 확장: 깊이 2 에서 20 까지의 테스트.

4. 주요 결과

일반화 및 성능

• 일반 복소수 모델 대비 우위: PCT 는 모든 작업에서 complex_softmax 를 일관되게 능가합니다. 장거리 Copy 작업에서 complex_softmax 는 우연 수준으로 무너지는 반면, PCT 는 1.000 정확도를 달성합니다.
• 실수 베이스라인 대비 우위: 매개변수 공정 조건 하에서 PCT 는 장거리 검색 및 알고리즘적 추론을 포함한 모든 테스트된 작업에서 real_softmax 를 능가합니다.
• 최강 실수 베이스라인과의 경쟁력: PCT 는 합성 및 알고리즘 작업에서 real_screen(가장 강력한 비소프트맥스 실수 베이스라인) 과 맞먹거나 능가합니다. 물리적 복소수 도메인 작업 (RadioML) 에서는 real_screen 이 PCT 를 약간 앞서지만, PCT 는 여전히 complex_softmax 를 크게 능가합니다.

특정 작업 발견

• NIAH (Needle In A Haystack): PCT 는 NIAH (L=2048) 에서 1.000 정확도를 달성합니다. 이 작업은 복소수 Q/K 가 귀납적 이점을 제공하지 않는 (순수 위치 기반) 작업입니다. 이는 복소수 네트워크가 본질적으로 이러한 작업에서 약하다는 관념과 모순됩니다. 실패는 기저 (substrate) 가 아닌 어텐션 메커니즘 때문이었습니다.
• 장거리 견고성: PCT 는 장거리 Copy 작업에서 하이퍼파라미터 변화 (학습률 및 배치 크기) 에 대해 독보적으로 견고하여, 다른 셀들이 실패하는 넓은 범위에서도 1.000 정확도를 유지합니다.
• 깊이 확장: PCT 는 깊이 2 에서 20 까지의 깊이 관련 정확도 붕괴를 보이지 않습니다. 정확도는 안정적으로 유지되어 깊은 복소수 네트워크에서의 위상 잡음 누적에 대한 오랜 우려를 해소합니다.

제거 및 격리

• 게이트 위반: PCT 조건을 고의적으로 위반하는 게이트를 사용한 실험은 이론적 프레임워크를 확인합니다:
  • C3 위반 (반위상 삭제): ReLU 또는 클램프된 ReLU 와 같은 게이트는 깊이와 관계없이 장거리 작업에서 즉시 우연 수준으로 붕괴를 초래합니다.
  • C2 위반 (무계성): Cubic 과 같은 게이트 (작동 범위 내에서 무계) 는 성능을 크게 저하시킵니다 (예: Copy 작업에서 1.000 에서 0.200 으로 하락) 하지만 C3 가 intact 한 경우 전체 붕괴는 초래하지 않습니다.
• 기반 견고성: 복소수 기반은 필요하지만 단일 구성 요소 (Q, K, V 또는 출력) 가 불가분하게 책임지는 것은 아닙니다. 복소수 특성이 보존되는 한 아키텍처는 매개변수화 선택에 대해 견고합니다.

5. 중요성 및 주장

논문은 토큰 비경쟁 어텐션과 다층 위상 보존의 도입이 복소수 신경망이 전통적인 신호 처리 영역을 넘어 일반화할 수 있게 한다고 주장합니다.

• 아키텍처 원칙: 주요 기여는 소프트맥스가 위상 보존 복소수 계산과 구조적으로 양립할 수 없음을 규명한 것입니다. 소프트맥스에 내재된 "토큰 경쟁"은 위상 일관성을 깨는 불필요한 제약입니다.
• 설계 가이드라인: 논문은 "PCT 에 대한 근접성" 분류 체계를 확립합니다. C1–C4 조건을 충족하거나 (부분/우회 위반이 있는) 아키텍처는 잘 일반화되는 반면, ReLU 나 Softmax 와 같은 엄격한 위반을 가진 아키텍처는 실패합니다.
• 겸손한 범위: 저자들은 PCT 가 테스트된 벤치마크에서 강력한 일반화를 보이지만, 깊이에 대한 정량적 확장 법칙 (예: Chinchilla 스타일) 을 주장하지 않는다고 명시합니다. 주장은 질적입니다: PCT 는 기존 복소수 네트워크에서 관찰되었던 깊이 붕괴 실패 모드를 제거합니다.
• 미해결 질문: 논문은 RadioML 작업에서 real_screen 이 PCT 를 능가하는 이상 현상을 지적하며, 이는 물리적 복소수 도메인 데이터의 특정 메커니즘에 관한 미해결 질문으로 표시하지만, 핵심적인 반소프트맥스 주장을 무효화하지는 않습니다.

요약하자면, 해당 논문은 복소수 트랜스포머의 경우 일반화의 열쇠가 단순히 실수 구성 요소를 복소수 공간으로 이식하는 것이 아니라, 위상 일관성의 구조적 요구 사항을 존중하도록 어텐션 원시를 재설계하는 것이라고 주장합니다.