🤖 machine learning

RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings

本論文は、任意の積分可能な相対的位置符号化を $O(L \log L)$ の計算量で統合するために非一様フーリエ変換（NU-FFT）を活用する効率的な 3 次元トランスフォーマーモデルのクラスである RelFlexformer を紹介し、これにより構造化グリッドおよび点雲などの非構造化不均質 3 次元データの両方に対して効果的なアテンション機構を可能にする。

原著者： Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で混沌としたパーティーを想像してください。ゲストたちは3次元の部屋に立っており、互いに近い者もいれば遠くにいる者もおり、整然とした格子や列はありません。あなたの目標は、互いの距離に基づいて、誰が誰と話すかを決定することです。

コンピュータビジョンの世界において、この「パーティー」は3次元点群（空間内の物体を表す点の集合）であり、「ゲスト」はデータポイントです。コンピュータは、誰が誰と話すかを決定するためにトランスフォーマーと呼ばれるツールを使用します。

以下は、この論文が解決する問題を簡潔に説明したものです。

問題：「二次的」なボトルネック

標準的なトランスフォーマーは、誰かが話す前にすべてのゲストと他のすべてのゲストとの距離を逐一確認することに固執するパーティーのホストのようなものです。

ゲストが100人いれば、ホストは10,000回の確認を行います。
ゲストが1,000人いれば、ホストは1,000,000回の確認を行います。
ゲストが10,000人（3次元スキャンでは一般的）いれば、ホストは圧倒され、メモリが不足し、パーティーは停止します。これが二次的なコスト（ $O(L^2)$ ）です。

これを解決するために、研究者たちは「効率的なトランスフォーマー」（Performersなど）を発明しました。これらのホストは、誰が誰と話すかを推測する巧妙な数学的トリックを用いるというショートカットを使用し、パーティーを高速化（ $O(L)$ ）します。

しかし、欠点があります：これらのショートカットは速度においては優れていますが、幾何学を理解する能力は極めて劣っています。彼らは3次元の部屋では距離が重要であることを忘れ、あなたの隣に立っているゲストと、部屋の向こう側に立っているゲストを同様に扱います。これは3次元タスクの精度を損ないます。

解決策：RelFlexformer

著者たちは、高速でありながら幾何学的な知覚性も兼ね備えた新しいタイプの効率的なホスト、RelFlexformerを提案します。

以下のように考えてください：

ショートカット：すべてのペアを確認する代わりに、「魔法のレンズ」（NU-FFT、すなわち非一様高速フーリエ変換）を使用して、距離が会話に与える影響を瞬時に計算します。
柔軟な変調：ホストがすべてのゲストのペアに対して特別な「音量ノブ」を持っていると想像してください。2人のゲストが近い場合、音量は高く（多く話します）、遠い場合は音量は低くなります。
- 従来の効率的な手法では、このノブを回すと速度のショートカットが壊れてしまいました。
- RelFlexformerは、距離の問題を周波数の問題に変換し（複雑な曲を単純なメロディに変えるようなもの）、それを素早く解決することで、部屋がどんな形状（乱雑で不規則な3次元空間であっても）であっても、速度を落とさずにこのノブを回すことができます。

「魔法」の比喩：オーケストラ

3次元の点を、ホールに無作為に散らばったオーケストラの音楽家たちと想像してください。

標準的なトランスフォーマーは、和音を見つけるために、すべての音楽家に他のすべての音楽家に耳を傾けるよう求めます。大編成のオーケストラの場合、これには永遠の時間がかかります。
従来の効率的なトランスフォーマーは、音楽家たちに単純なルールに基づいて和音を推測するよう求めます。これは高速ですが、誰が誰の隣に座っているかを無視するため、音楽は平板に聞こえます。
RelFlexformerは、特別な音響鏡を使う指揮者のようなものです。全員が全員に耳を傾ける代わりに、この鏡は音波を瞬時に反射させ、音楽家たちが他の人々からの具体的な距離に基づいて、正確にどの程度の音量で演奏すべきかを知ることができます。これにより、部屋の「空間的な感覚」を維持しつつ、リハーサルの時間を短く保ちます。

彼らが達成すると主張すること

この論文は、この「音響鏡」（NU-FFTの数学）を使用することで以下を達成できると主張しています：

速度：膨大なデータ量であっても、ほぼ線形（ $O(L \log L)$ ）にスケーリングし、高速なままです。「パーティー」が大きくなりすぎてもクラッシュしません。
精度：欠落していた「距離感覚」を取り戻します。3次元物体認識（点の雲から椅子を識別するなど）や3次元セグメンテーション（部屋の各部をラベル付けするなど）のテストにおいて、RelFlexformerは：
- 従来の「速いが愚か」な手法（Performers）を凌駕しました。
- 多くの場合、はるかに高速でありながら、「遅いが賢い」標準的なトランスフォーマーをも凌駕しました。
汎用性：点が整然とした格子に並んでいない、点群（LiDARスキャナから取得）やRGB-D画像（深度を認識するカメラ）などの、乱雑な実世界データでも機能します。

まとめ

RelFlexformerは、コンピュータが3次元形状を見るための新しい方法です。これは、ショートカットの速度と物理的距離を理解する精度を組み合わせます。これにより、コンピュータは（部屋を移動するロボットなど）複雑な3次元シーンを、物事の距離感を失うことなく、迅速に処理することが可能になります。

技術的概要：RelFlexformer

問題定義

アテンションベースのトランスフォーマーは、特に点群データに対する 3 次元学習において支配的なアーキテクチャとなっています。しかし、標準的なトランスフォーマーはこの分野において 2 つの決定的な限界に直面しています：

計算上のボトルネック：標準的な自己アテンション機構は、系列長 $L$ に対して二次的に ( $O(L^2)$ ) スケールします。これは大規模な点集合や高密度な幾何学モデルに対しては非現実的です。
幾何学的な不一致：標準的なアテンションは、順序不定で不規則に配置された点群の性質に自然に整合しません。幾何学的バイアスを注入するための相対的位置符号化（RPE）手法は存在しますが、それらを効率的な線形時間アテンション機構（Performers など）に統合することは容易ではありません。既存の効率的な RPE 手法は、しばしば構造化されたトークン配置（例：規則的なグリッド）に依存するか、 $L \times L$ マスクの明示的な構築を必要とし、これにより線形アテンションの計算上の利点が無効化されます。具体的には、完全なアテンション行列を具体化することなくカーネル化されたアテンションに幾何学的マスクを挿入するには、マスクが高速な行列 - ベクトル積を許容する必要がありますが、これは任意の 3 次元分布に対して既存の手法のほとんどが満たしていない制約です。

手法

著者は、任意の積分可能な変調関数 $f$ を通じて広範な RPE のファミリーを統合する、効率的な 3 次元トランスフォーマーのクラスであるRelFlexformerを提案します。中核的な革新は、部分二次のマスク付きアテンションを可能にするための**非一様高速フーリエ変換（NU-FFT）**理論の応用です。

主要な技術的構成要素：

畳み込みによる変調：RPE 機構は空間畳み込みとして定式化されます。入力トークンの座標 $\{r_i\}$ と変調関数 $f$ が与えられたとき、トークンに対するマスク付きアテンション値 $w$ は、入力特徴量で重み付けされたディラックのデルタの和である信号 $P$ と $f$ の畳み込みとして計算されます。
NU-FFT 定式化：畳み込み定理により、空間領域での畳み込みはフーリエ領域での乗算に対応します。著者は、 $S$ $S$ 個のサンプルを用いた数値積分則を用いて連続的なフーリエ積分を近似します。
- 前方ステップ：NU-FFT を用いて、サンプリングされた周波数 $\xi_s$ における点群信号のフーリエ変換を計算します。これは $O(L \log L)$ の時間を要します。
- 変調：変換された信号に、変調関数のフーリエ変換 $Ff(\xi_s)$ を乗算します。
- 逆ステップ：逆 NU-FFT を計算して、元のトークン座標における変調された値を評価します。これも $O(L \log L)$ の時間を要します。
線形アテンションとの統合：この「FastMultM」アルゴリズムは、線形アテンションフレームワーク（Performers など）における明示的な $L \times L$ マスク行列乗算を置き換えます。全体の計算複雑性は $O(L \log L)$ となり、任意の幾何学的バイアスを組み込みつつ、線形アテンションの効率性を維持します。
一般化：このフレームワークは既存の手法を一般化します。例えば、変調関数が離散調和関数としてパラメータ化される場合、この手法は解析的に回転位置符号化（RoPE）を回復します。また、周波数が特定のスペクトル密度から抽出される場合、 $\otimes$ -STRING 符号化を特殊な場合として包含します。

主要な貢献

一般的な定式化：著者は、任意の $L_1$ 積分可能関数に基づいた、3 次元 RPE 変調型効率的アテンション機構の一般的なクラスを定式化しました。
効率的な実装：NU-FFT を用いた $O(L \log L)$ 実装を導出し、アテンション行列を具体化することなく高速なマスク付きアテンションを可能にしました。これにより、幾何学的情報を Performer 型アテンションに直接組み込むことが可能になりました。
汎用性と性能：本論文は、多様なバックボーン（PCT、PTv3、DFormer）全体にわたるドロップイン代替として RelFlexformer を検証しました。RelFlexformer は、効率的な線形アテンションと高密度な二次アテンションの間の性能ギャップを埋めるだけでなく、いくつかのケースでは標準的な $O(L^2)$ トランスフォーマーを上回ることを示しています。
相補性：著者は、距離ベースの RPE 変調が PointRoPE などのトークンレベル符号化と直交しており、さらなる性能向上のために効果的に組み合わせられることを示しました。

実験結果

著者は、分類とセグメンテーションのための大規模な 3 次元データセットのポートフォリオにおいて RelFlexformer を評価しました：

物体分類（ModelNet40、ScanObjectNN）：
- ModelNet40 において、RelFlexformer は**92.94%**の精度を達成し、バニラ Performer（92.34%）と比較して高密度トランスフォーマーのベースライン（93.2%）とのギャップを大幅に縮小しました。
- ScanObjectNN において、RelFlexformer（84.45%）は高密度トランスフォーマーのベースライン（84.0%）を上回りました。
意味セグメンテーション（ScanNet、ScanNet200、ScanNet++、nuScenes、S3DIS）：
- RelFlexformer はバニラ Performer ベースラインを一貫して改善しました。例えば、ScanNet において、mIoU は Performer の 74.8% から76.8%（RelFlexformer）に向上し、トランスフォーマーベースライン（77.6%）に近づきました。
- nuScenes において、RelFlexformer は**80.3%**の mIoU を達成しました（トランスフォーマーのスコアは 80.4% ですが、本文では RelFlexformer がしばしばそれを上回ると指摘されています。具体的には、nuScenes において RelFlexformer + PointRoPE は 81.2% に達し、トランスフォーマーの 80.4% を上回りました）。
- S3DIS の 6 フォールド交差検証において、RelFlexformer は mIoU のギャップを Performer の 73.18% から**76.25%**に縮小し、トランスフォーマー（77.70%）にほぼ匹敵しました。
RGB-D セグメンテーション（NYU Depth v2、SUN RGB-D）：
- DFormer バックボーンを使用し、RelFlexformer は NYU Depth v2 で55.32%、SUN RGB-D で**51.04%**の mIoU を達成しました。これは Performer ベースラインと最近提案された STRING 手法の両方を上回り、かつ STRING のパラメータオーバヘッドを回避しています。

意義と主張

本論文は、RelFlexformer が最近の多次元符号化（STRING など）を特殊な場合として包含する統合された幾何学演算子を提供し、座標リフティングを通じて高密度な RGB-D データに対して部分二次の効率性を拡張すると主張しています。

主な意義は、効率的な線形アテンションと標準的な高密度アテンションの間の精度ギャップを埋める点にあります。著者は、NU-FFT を通じた幾何学的変調を定式化することで、カーネル化されたアテンションの計算上の利点を犠牲にすることなく、広範な積分可能な RPE 関数のファミリーを組み込むことが可能であると論じています。これにより、RelFlexformer は、従来の標準的な高密度アテンションの二次コストによってボトルネックとなっていた大規模で不規則な点群を処理するための、非常にスケーラブルなアーキテクチャとして確立されます。結果は、適切な幾何学的変調を備えた効率的なアテンション機構が、高密度トランスフォーマーの性能を達成し、場合によっては上回ることを示唆しており、遅延とメモリが重要な制約となる実世界の 3 次元認識タスクにおいて実用的であることを示しています。