Avey-B: Bidirectional Encoder를 위한 비-Attention 아키텍처에 대한 기술 요약

이 논문은 ICLR 2026 에 발표된 **"Avey-B"**에 대한 연구로, 기존 Transformer 기반의 Bidirectional Encoder(예: BERT, RoBERTa 등) 의 한계를 극복하고, 긴 문맥 (Long Context) 에서 효율성과 성능을 동시에 달성하기 위해 제안된 새로운 아키텍처를 소개합니다.

1. 문제 정의 (Problem)

• Transformer 의 병목 현상: 현재 산업계에서 널리 사용되는 BERT 스타일의 Bidirectional Encoder 는 Self-Attention 메커니즘을 기반으로 합니다. 이는 높은 병렬 처리와 양방향 문맥화를 제공하지만, **전체 Self-Attention 의 시간 및 메모리 복잡도가 입력 시퀀스 길이의 제곱 ($O(N^2)$)**에 비례한다는 치명적인 단점이 있습니다. 이로 인해 긴 문맥을 처리할 때 계산 비용과 메모리 사용량이 급증하여 실용적인 배포에 제약이 생깁니다.
• 기존 대안의 부재: 선형 Attention 이나 RNN 기반 아키텍처가 제안되었으나, 대부분 양방향 인코더 (Encoder-only) 패러다임에 적합하도록 조정되지 않았거나, BERT 의 성능을 따라가지 못했습니다.
• Avey 의 한계: 최근 소개된 Avey는 Attention 이 없는 autoregressive(자기회귀) 모델로, 긴 문맥 처리에 탁월한 성능을 보였습니다. 하지만 Avey 는 원래 causal language modeling(단방향) 을 위해 설계되어, Bidirectional Encoder 로 직접 적용하기에는 구조적 제약이 있었습니다.

2. 방법론 (Methodology)

저자들은 Avey 를 Bidirectional Encoder 로 재해석하고, 효율성과 안정성을 극대화하기 위해 다음과 같은 핵심 혁신을 도입하여 Avey-B를 제안했습니다.

2.1. 아키텍처 개요

Avey-B 는 시퀀스를 작은 '스플릿 (Split)'으로 나누고, Ranker와 Neural Processor로 구성됩니다.

• Ranker: 현재 타겟 스플릿과 가장 관련성이 높은 상위 $k$개의 이전/후속 스플릿을 선택합니다.
• Neural Processor: 선택된 스플릿들을 결합하여 문맥화합니다.

2.2. 주요 기술적 혁신

1. 분리된 정적 (Static) 및 동적 (Dynamic) 파라미터화 (Decoupled Parametrization):

   • 기존 Avey 는 학습된 가중치 (Static) 와 입력 의존적 코사인 유사도 점수 (Dynamic) 를 요소별 곱셈으로 결합했습니다. 이는 높은 유사도를 가진 토큰이 오히려 낮은 가중치를 받는 등 단조성 (Monotonicity) 위반을 일으킬 수 있었습니다.
   • Avey-B 는 이를 분리하여, 동적 레이어에서는 코사인 유사도만으로 가중치를 부여하고, 정적 레이어에서는 학습된 선형 변환을 적용합니다. 이를 통해 유사도 기반 업데이트의 단조성을 보장하면서도 표현력을 유지합니다.

2. 행 정규화 (Row-wise Normalization):

   • 동적 레이어에서 계산된 코사인 유사도 점수를 행 (Position) 단위로 합산하여 정규화합니다. 이는 Softmax 와 달리 지수 함수를 사용하지 않아 이상치 (Outliers) 를 과도하게 증폭시키지 않으며, 학습 안정성을 높이고 기울기 폭주 (Gradient Explosion) 를 방지합니다.

3. 신경 압축 (Neural Compression):

   • 양방향 처리 시 모든 스플릿이 $k$개의 관련 스플릿과 결합되면 입력 크기가 $(k+1)$배로 팽창하여 계산 비용이 급증합니다.
   • Avey-B 는 Ranker 내에 **신경 압축기 (Neural Compressor)**를 도입하여, $(k+1)$개의 스플릿을 다시 원본 스플릿 크기 ($S$) 로 압축합니다. 이를 통해 Neural Processor 가 처리하는 토큰 수를 원본 시퀀스 길이로 유지하면서도, 긴 문맥의 관련 정보를 효과적으로 추출합니다.

4. Bidirectional Contextualization:

   • Autoregressive 마스크를 제거하여 각 토큰이 좌우 양쪽 문맥을 모두 참조할 수 있도록 하여, BERT 스타일의 완전한 양방향 인코더로 동작하도록 변경했습니다.

3. 주요 기여 (Key Contributions)

• Avey-B 아키텍처 제안: Attention 이 없는 Bidirectional Encoder 의 새로운 표준을 제시하며, 정적/동적 파라미터 분리 및 신경 압축을 통해 효율성을 극대화했습니다.
• 성능 및 효율성 증명: BERT, RoBERTa, ModernBERT, NeoBERT 등 최신 Transformer 기반 모델들을 능가하는 성능을 입증했습니다. 특히 **토큰 분류 (Token Classification)**와 정보 검색 (Information Retrieval) 작업에서 압도적인 우위를 보였습니다.
• 긴 문맥 확장성 (Scalability): 시퀀스 길이가 증가함에 따라 Avey-B 는 $O(N)$에 가까운 선형 스케일링을 보이며, Transformer 기반 모델들 ($O(N^2)$ 또는 $O(N^{1.5})$ 이상) 보다 훨씬 낮은 지연 시간 (Latency) 과 높은 처리량 (Throughput) 을 달성했습니다.
• 재현성 제공: 전체 코드와 사전 학습된 체크포인트를 공개하여 연구의 재현성을 보장합니다.

4. 실험 결과 (Results)

4.1. 효과성 (Effectiveness)

• 벤치마크 성능: MNLI, QQP, SST-2(Sequence Classification), CoNLL-2003, OntoNotes(Token Classification), ReCoRD, SQuAD(Question Answering), MLDR, MS MARCO(Information Retrieval) 등 다양한 벤치마크에서 평가되었습니다.
• 결과:
  • Avey-B(Base/Large) 는 BERT 와 NeoBERT 를 모든 태스크에서 능가했습니다.
  • Token Classification 과 Information Retrieval에서는 RoBERTa 와 ModernBERT 보다 일관되게 높은 성능을 기록했습니다.
  • 특히 Avey-B(Base) 는 ModernBERT(Large) 보다 **약 11 배 적은 토큰 (180B vs 2T)**으로 사전 학습되었음에도 불구하고, TC 와 IR 태스크에서 더 나은 성능을 보였습니다.

4.2. 효율성 (Efficiency)

• 긴 문맥 처리: 시퀀스 길이가 128 에서 96,000 토큰까지 증가할 때, Avey-B 는 모든 Transformer 기반 베이스라인보다 빠른 속도를 유지했습니다.
  • 96k 토큰 기준: Avey-B 는 ModernBERT 보다 3.38 배, NeoBERT 보다 11.63 배 더 빨랐습니다.
• 스케일링 법칙: Avey-B 의 처리량 감소율은 $T(N) \propto N^{-\alpha}$에서 $\alpha \approx 0.44$로, ModernBERT($\alpha \approx 0.77$) 나 NeoBERT($\alpha \approx 0.81$) 보다 훨씬 완만하여 긴 문맥에서 효율성이 유지됨을 증명했습니다.
• Needle-in-a-Haystack (NIAH): 96k 토큰 길이의 긴 문맥에서 특정 정보를 찾는 NIAH 벤치마크에서 Avey-B 는 2,048 토큰으로 학습되었음에도 불구하고 높은 정확도를 유지한 반면, 다른 Transformer 모델들은 메모리 부족 (OOM) 이나 성능 급감으로 실패했습니다.

5. 의의 및 결론 (Significance)

이 논문은 Attention 메커니즘이 강력한 양방향 인코더를 구축하는 유일한 길이 아님을 입증했습니다. Avey-B 는 다음과 같은 의미를 가집니다:

1. 산업적 적용 가능성: 제한된 컴퓨팅 자원과 메모리 예산 하에서도 긴 문맥을 처리해야 하는 산업용 NLP 애플리케이션 (검색, 문서 요약, 법률/의료 문서 분석 등) 에 매우 적합한 솔루션을 제공합니다.
2. 아키텍처적 통찰: 정적/동적 파라미터의 분리 및 신경 압축과 같은 기법은 Attention-free 모델의 안정성과 확장성을 높이는 새로운 설계 원칙을 제시합니다.
3. 미래 연구 방향: Retrieval-conditioned(검색 기반) 비-Attention 아키텍처가 Transformer 의 대안으로 부상할 수 있음을 보여주며, 향후 더 많은 연구가 이루어질 것을 기대하게 합니다.

요약하자면, Avey-B 는 높은 정확도와 긴 문맥 처리 효율성을 동시에 달성한 차세대 Bidirectional Encoder 로, 기존 Transformer 의 한계를 극복하는 중요한 진전을 의미합니다.