Avey-B: 論文の技術的サマリー

本論文は、ICLR 2026 に向けて提出されたもので、従来の Transformer ベースのエンコーダ（BERT 系など）の限界を克服し、計算リソースとメモリ制約が厳しい環境下でも高性能な双方向文脈化を実現する新しいアーキテクチャ「Avey-B」を提案しています。

1. 背景と課題 (Problem)

• 現状の課題: 産業応用において、BERT などの事前学習済み双方向 Transformer エンコーダは標準ですが、自己注意機構（Self-Attention）の計算コストとメモリ使用量がシーケンス長の二次関数（$O(N^2)$）に比例して増加します。これにより、長いコンテキスト（Long Context）への拡張や、低遅延・低メモリ環境での展開が困難になっています。
• 既存の解決策の限界: 線形注意機構や RNN 型のアーキテクチャ（Mamba など）は長文処理に有効ですが、これらは主に双方向エンコーダのパラダイムに適応されておらず、または BERT 系の性能を完全に代替できていません。
• Avey の可能性: 以前提案された「Avey」は、自己注意を使わず、シーケンスをスプリット（分割）し、関連性の高いスプリットをランキングして選択的に処理するアーキテクチャです。しかし、Avey は本来自己回帰（Autoregressive）モデルとして設計されており、双方向エンコーダとして直接使用するには適応が必要でした。

2. 提案手法：Avey-B (Methodology)

Avey-B は、Avey のアーキテクチャを双方向エンコーダ向けに再構成し、以下の 3 つの主要な技術的革新を導入しています。

2.1 双方向文脈化 (Bidirectional Contextualization)

• Avey の自己回帰マスクを除去し、各トークンが左側と右側の両方のコンテキストに条件付けられるようにしました。
• ランカー（Ranker）は依然として左側のスプリットのみから関連スプリットを選択しますが、ニューラルプロセッサ（Neural Processor）内部では、選択されたスプリット間のすべてのトークン相互作用を許可し、因果的マスクなしで処理を行います。

2.2 分離されたパラメータ化 (Decoupled Parameterization)

• 問題点: 元の Avey では、学習済みの静的重み行列と入力依存の類似度スコア（コサイン類似度）が要素ごとの積（Element-wise product）で結合されていました。これにより、類似度が高いトークンが、重みの影響で逆に低い寄与しかしないという「逆転現象（Inversion Effect）」が発生し、単調性（Monotonicity）が損なわれるリスクがありました。
• 解決策: 静的層（Static Layer）と動的層（Dynamic Layer）を交互に配置し、パラメータ化を分離しました。
  • 動的層: コサイン類似度のみに基づいて重み付けを行い、類似度が高いトークンほど大きな寄与をするという単調性を保証します。
  • 静的層: 学習済みの線形変換を適用しますが、類似度スコア自体は変更しません。これにより、動的層で確立された順序関係を保ちつつ、表現の形状を調整できます。

2.3 行正規化とニューラル圧縮 (Row-normalization & Neural Compression)

• 行正規化: 動的層における類似度スコアを、その行の総和で正規化（Row-wise normalization）します。これにより、訓練の安定性を高め、大きな特異値の成長を防ぎ、数値的な条件付けを改善します。
• ニューラル圧縮: 双方向推論では、すべてのスプリットが $k$ 個の関連スプリットと連結されると、入力サイズが $(k+1)$ 倍に膨れ上がり、計算コストが爆発します。これを防ぐため、ランカー内で「ニューラル圧縮モジュール」を導入しました。
  • 現在のスプリットと $k$ 個の関連スプリットを連結したブロックを、学習された線形投影によって元のスプリットサイズ（$S$ トークン）に圧縮します。
  • これにより、ニューラルプロセッサの計算量が $k$ に依存せず、元のシーケンス長に比例する $O(N)$ のスケーリングを維持しつつ、関連情報の恩恵を享受できます。

3. 主要な貢献 (Key Contributions)

1. Avey-B の提案: 静的・動的パラメータの分離と、軽量な正規化スキームを採用した、Avey ベースの双方向エンコーダアーキテクチャの提案。
2. 効率的な長文処理: ランカー内の圧縮機構により、コンテキスト幅を増やしても計算コストが増加しない設計。これにより、Transformer 系エンコーダよりもはるかに効率的に長文を処理可能。
3. 包括的な設計検討: 静的・動的層の配置、正規化手法、シーケンス長・スプリットサイズ・$k$ 値などの設計選択に関する詳細なアブレーション研究。
4. オープンソース化: 実装と事前学習済みチェックポイントの公開。

4. 実験結果 (Results)

4.1 効果性 (Effectiveness)

• ベンチマーク: BERT, RoBERTa, ModernBERT, NeoBERT と比較。タスク分類（SC）、トークン分類（TC）、質問応答（QA）、情報検索（IR）の 4 分野で評価。
• 結果:
  • Avey-B（Base/Large）は、すべてのベンチマークで BERT と NeoBERT を上回りました。
  • **トークン分類（TC）と情報検索（IR）**において、すべての Transformer ベースモデル（RoBERTa, ModernBERT 含む）を一貫して上回る性能を示しました。
  • ModernBERT は数兆トークンで事前学習されていますが、Avey-B はその約 11 倍少ないトークン（180B）で事前学習されながら、同等以上の性能を達成しました。

4.2 効率性とスケーリング (Efficiency & Scaling)

• スケーリング: シーケンス長 $N$ に対するスループット（Tokens/sec）の減衰をべき乗則 $T(N) \propto N^{-\alpha}$ でモデル化。
  • ModernBERT: $\alpha \approx 0.77$
  • NeoBERT: $\alpha \approx 0.81$
  • Avey-B: $\alpha \approx 0.44$
  • Avey-B は長文になるほど性能低下が緩やかであり、96k トークンでは ModernBERT より 3.38 倍、NeoBERT より 11.63 倍高速でした。
• 遅延: 96k トークンにおいて、Transformer 系モデルはメモリ不足（OOM）や遅延の急増に見舞われますが、Avey-B は安定して高速な推論を維持しました。

4.3 長文推論能力 (Long-Context Capabilities)

• Needle-in-a-Haystack (NIAH) テスト: 1k〜96k トークンの長文において、埋め込まれた「針（情報）」を検出するタスク。
• 結果: Avey-B は 2,048 トークンの訓練コンテキスト幅を超えても、96k トークンまで高い精度を維持しました。一方、ModernBERT や NeoBERT は訓練コンテキスト（8k/4k）を超えると性能が急激に低下するか、メモリ不足で実行不可能となりました。

5. 意義と結論 (Significance)

• Attention-Free の可能性: 高性能な双方向エンコーダにおいて、自己注意機構（Self-Attention）が唯一の道ではないことを実証しました。
• 産業応用への適合: 計算リソースとメモリが限られる環境（特に長いドキュメントの処理が必要な検索や分類タスク）において、Avey-B は既存の Transformer モデルよりもはるかに効率的でスケーラブルな代替案となります。
• アーキテクチャの一般化: 「検索に基づく条件付け（Retrieval-conditioned）」と「非注意（Non-attention）」の組み合わせが、長文処理と双方向文脈化の両立において有効であることを示し、今後の基礎モデル設計に新たな指針を提供しています。

総じて、Avey-B は、Transformer の quadratic なボトルネックを回避しつつ、同等以上の精度と圧倒的な長文処理効率を実現した画期的なアーキテクチャです。