기술적 요약: 로그 깊이 순환 단위를 통한 길이 일반화

문제 정의

분포 외 (OOD) 시퀀스 길이에 대한 일반화는 신경 모델링에서 여전히 핵심적인 과제로 남아 있습니다. 기존 아키텍처는 이 분야에서 뚜렷한 한계를 보입니다:

• 순환 신경망 (RNN): 길이 적응형 계산을 제공하지만, 이전 토큰이 후속 토큰보다 더 많은 순환 단계를 거치는 위치 편향으로 인해 장기 기억 문제가 발생하고 확장된 시퀀스에서의 의존성 모델링이 어렵습니다.
• 트랜스포머: 이러한 모델은 시퀀스 길이와 무관하게 고정된 레이어 스택을 적용합니다. 병렬 계산을 가능하게 하지만, OOD 길이에 대한 일반화가 덜 신뢰할 수 있으며 고정된 계산 깊이에 제약받습니다.

본 논문은 정규 언어가 정확한 수학적 형식화와 임의의 시퀀스 길이에서 정확성을 검증할 수 있게 하며, 오토마타 이론과 직접적으로 연결되므로 길이 일반화를 평가하기 위한 엄격한 테스트베드를 제공한다고 주장합니다.

방법론: MLP-LDRU

저자들은 병렬 축적을 통해 순환을 근사하도록 설계된 이진 연산자 유형인 MLP-LDRU(로그 깊이 순환 단위) 를 제안합니다. 핵심 가설은 결합성과 항등 행동에 대한 명시적 편향을 가진 연산자를 학습하는 것이 길이 외삽을 개선할 수 있다는 것입니다.

아키텍처 및 메커니즘

• 로그 깊이 축적: 시퀀스를 순차적으로 처리하는 표준 RNN($O(n)$ 깊이) 과 달리, MLP-LDRU 는 균형 잡힌 이진 트리 구조를 사용하여 시퀀스를 처리합니다. 길이 $n$의 시퀀스가 주어지면, 모델은 $\lceil \log_2 n \rceil$단계에 걸쳐 인접한 쌍에 이진 연산자 $\odot_\theta$를 병렬로 적용합니다. 이로 인해 모든 토큰에 걸쳐 균일한 $O(\log n)$의 계산 깊이가 달성되어 위치 편향을 완화하면서도 병렬 계산을 가능하게 합니다.
• 연산자 ($\odot_\theta$): 핵심 연산자는 대략적인 결합 행동을 유도하도록 설계된 MLP 기반 함수입니다.
  • 두 입력 임베딩 $h_i, h_j$를 받아 연결합니다.
  • MLP 는 게이트 벡터 $g_i, g_j$를 생성합니다.
  • 이러한 게이트는 요소별 곱셈을 통해 입력을 변조한 후, 학습된 선형 투영과 편향을 따릅니다.
  • 최종 출력은 투영된 입력의 가중 합입니다.
  • 초기화 편향: 연산자는 투영 행렬이 항등 행렬이고 편향이 0 이 되도록 초기화됩니다. 요소별 합 구조와 결합하여, 이는 연산자가 초기에 단순한 합으로 행동하도록 편향시켜 결합 연산을 근사합니다.
• 패딩 처리: 축적 중 시퀀스 길이가 홀수인 경우, 0 임베딩으로 패딩합니다. 연산자는 두 입력 중 하나가 0 이면 출력이 다른 입력이 되도록 설계되어, 0 을 항등 요소로 취급함으로써 처음부터 항등 맵을 학습할 필요가 없도록 합니다.
• 복잡도: MLP-LDRU 는 시퀀스 길이에 선형인 $O(nd^2)$의 작업 복잡도와 $O(\log n)$의 계산 깊이를 달성하며, 이는 RNN 의 $O(n)$ 깊이와 표준 트랜스포머의 $O(n^2)$ 작업 복잡도와 대조됩니다.

실험 설정

저자들은 MLP-LDRU 를 다음과 같이 평가했습니다:

1. 21 개 정규 언어 작업: 표준 벤치마크 (예: 패리티 체크, 모듈러 산술, Tomita 언어, Dyck 언어 $D_n$) 및 길이 외삽 하에서 장기 의존성 처리를 테스트하도록 설계된 새로운 접두사 언어($P_{p,q}$) 클래스 포함.
2. ListOps: 정규 언어를 넘어선 구성적 외삽을 위한 계층적 작업.
3. NLP 분류: 비정규 데이터에서의 행동을 탐구하기 위한 GLUE, AG's News, DBPedia 를 포함한 벤치마크.

주요 기여

1. MLP-LDRU 제안: 대략적인 결합성과 항등 처리에 편향된 이진 연산자를 사용하여 병렬 축적을 통해 순차적 순환을 유도하는 특정 로그 깊이 순환 단위.
2. 접두사 언어 도입: 길이 외삽 하에서 장기 의존성 처리를 격리하고 테스트하도록 특별히 설계된 새로운 클래스의 정규 작업 ($P_{p,q}$).
3. 경험적 평가: 21 개 정규 작업, ListOps, NLP 벤치마크에 대한 포괄적인 테스트로 RNN, 트랜스포머 및 기타 재귀 신경망 대비 우수하거나 경쟁력 있는 성능 입증.
4. 학습 요구 사항 분석: 일반화 실패를 훈련 데이터에서 동치 클래스 (EC) 구성의 불충분한 커버리지와 연결하는 분석으로, 제한된 훈련 길이가 완벽한 일반화에 필요한 희귀 모노이드 구성을 관찰하지 못하게 함을 시사.

결과

정규 언어 작업

• 성능: 길이 140 의 시퀀스로 훈련되었을 때, MLP-LDRU 는 길이 41500 에서 평가된 21 개 작업 중 18 개에서 100% OOD 정확도를 달성했으며, 최대 훈련 길이를 증가시켰을 때 나머지 3 개에서도 최소 99.9% 의 정확도를 보였습니다.
• 비교: MLP-LDRU 는 대부분의 작업에서 ALiBi, NoPE, 무작위 RoPE 를 포함한 모든 트랜스포머 변형, Gated DeltaNet 및 기타 베이스라인을 능가했습니다. 장기 의존성에 종종 어려움을 겪는 RNN 과 LSTM 의 능력과 일치하거나 초과했습니다.
• 연산자 민감도: 제거 연구는 축적 연산자의 선택이 중요함을 보여주었습니다. 단순한 요소별 합이나 선형 투영은 모듈러 산술과 같은 복잡한 작업에서 실패한 반면, 게이팅이 포함된 MLP 기반 연산자는 완벽한 일반화를 달성했습니다. 이는 결합성이 필요하지만 복잡한 구성을 학습할 수 있는 특정 능력도 필요함을 시사합니다.

ListOps 및 NLP

• ListOps: 계층적 작업에서 트리 기반 베이스라인 (BBT-GRC, RIR-GRC) 이 일반적으로 가장 높은 정확도를 달성했습니다. 그러나 MLP-LDRU 는 경쟁력을 유지하며 더 큰 데이터셋 크기 (500k 및 1M 샘플) 에서 LSTM 과 트랜스포머 베이스라인을 능가했습니다. 명시적인 결합성 정규화 항을 추가하면 성능이 더욱 향상되어, 정규 언어 밖에서도 대략적인 결합성을 장려하는 것이 유익함을 나타냈습니다.
• NLP 분류: MLP-LDRU 는 GLUE, AG's News, DBPedia 에서 유사하게 훈련된 트랜스포머 베이스라인과 경쟁력 있는 성능을 보였으며, DBPedia 에서 98.6% 의 최고 정확도를 달성했습니다.

해석 가능성 및 모노이드 분석

• 동치 클래스: D6 작업에 대한 분석은 MLP-LDRU 가 구문 모노이드의 해당 동치 클래스 (EC) 에 따라 시퀀스 임베딩을 클러스터링하도록 학습함을 보여주었습니다.
• 커버리지 격차: EC 구성의 히트맵은 길이 1040 의 짧은 시퀀스로 훈련하면 모노이드 공간의 희소 커버리지를 초래하여 길이 480500 의 긴 시퀀스에서 발견되는 희귀 구성을 놓친다는 것을 보여주었습니다. 이 희소성 격차는 짧은 시퀀스로 훈련된 모델이 더 긴 시퀀스로 완벽하게 일반화하지 못하는 이유를 설명합니다. 즉, 필요한 모든 구성 규칙에 노출되지 않았기 때문입니다.

중요성 및 주장

본 논문은 MLP-LDRU 가 모노이드의 수학적 속성을 활용하여 정규 작업에서 길이 일반화에 대한 강력한 솔루션을 제공한다고 주장합니다. 대략적인 결합 연산자를 유도함으로써, 모델은 병렬 축적을 통해 순차적 순환을 근사하여 RNN 의 길이 적응적 특성과 트리 기반 구조의 병렬 효율성을 효과적으로 결합합니다.

저자들은 최대 훈련 길이가 OOD 성능의 주요 동인이라고 강조합니다. 그들의 분석은 복잡한 언어의 경우 100% 일반화를 달성하려면 모든 가능한 동치 클래스 구성에 충분한 노출이 필요하며, 이는 목표 테스트 길이보다 더 긴 시퀀스로 훈련할 필요성이 있음을 시사합니다.

모델이 정규 언어에서 강력한 성능을 보이고 NLP 작업에서 경쟁력 있는 결과를 보여주지만, 저자들은 그 범위에 대해 겸손하게 접근합니다. 정규 언어는 정확한 검증을 제공하지만, 이러한 아이디어가 자연어의 분포 이동 하에서 더 풍부한 구성 문제까지 얼마나 확장되는지에 대해서는 추가 조사가 필요하다고 지적합니다. 또한, 모노이드 구성의 완전한 커버리지를 달성하기 위해 필요한 최소 훈련 길이 또는 샘플 복잡도에 대한 이론적 경계가 필요하다고 규정합니다.