🤖 machine learning

REViT: Roto-reflection Equivariant Convolutional Vision Transformer

本論文は、回転、反転、および位置の対称性を効果的に保持するために畳み込みアテンションを組み込んだ、新しい離散的な回折反射等変ビジョン・トランスフォーマーであるREViTを紹介し、既存の等変ニューラルネットワークの手法と比較して画像分類における優れた性能を実証する。

原著者： Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

公開日 2026-06-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

猫の写真を見ているところを想像してください。その写真を90度回転させたり、上下を逆にしたり、横向きにしたりしても、あなたはそれが同じ猫であることを理解できます。しかし、ほとんどの標準的なコンピュータビジョンモデル（画像認識の背後にある「脳」）は、横向きの猫を見たことがない人のようなもので、画像の向きが変わると混乱してしまいます。彼らは、横向きの猫を全く別の動物だと勘違いしてしまうこともあるのです。

これを解決するために、科学者たちは「等変性（equivariant）」を持つモデルを構築しています。これらは、対称性を組み込みとして理解しているモデルだと考えてください。入力が回転すると、モデルの内部的な「思考プロセス」も一緒に回転し、最終的な答えが一貫した状態を保つようにします。

この論文では、REViT（Roto-reflection Equivariant Convolutional Vision Transformer）と呼ばれる新しいモデルを紹介しています。その仕組みを、シンプルな概念に分解して説明します。

1. 旧来の手法の問題点

以前は、モデルに回転を理解させるために、研究者は主に2つのツールを使用していました。

畳み込みニューラルネットワーク (CNN): これらは、画像をスキャンする小さな懐中電灯のグリッドのようなものです。パターンを見つけるのは得意ですが、硬直的（融通が利かない）です。
Vision Transformer (ViT): これらは、画像全体を一度に見渡し、異なる部分同士のつながりを見つけ出す探偵チームのようなものです。非常に強力ですが、通常、位置を教えるための複雑な「位置タグ」（すべてのピクセルに対するGPS座標のようなもの）を追加しない限り、回転には苦戦します。

回転を考慮したTransformerを作るための従来の方法は、探偵に対して、回転するたびに膨大な数の複雑な地図を与えることで回転を教えようとするようなものでした。それは機能しましたが、計算コストが高く、時間がかかりました。

2. REViTの解決策：新しい種類の「リフト（持ち上げ）」

著者らは、回転を考慮できるTransformerを構築するための、よりシンプルでエレガントな方法を考案しました。彼らは、それらの複雑な「位置タグ」を必要とするプロセスを完全に排除しました。

代わりに、彼らは**「リフティング層（Lifting Layer）」**を使用します。

比喩: 平面的な都市の2Dマップを想像してください。次に、そのマップを3Dのタワーへと「持ち上げる（リフトする）」ことを想像してください。最下層はそのままのマップです。その上の階は、同じマップですが、45度、90度、135度……と回転したものです。
仕組み: REViTモデルは、画像を取り込み、即座にこの回転した画像の3D「タワー」を作成します。モデルは単に画像を見るだけでなく、画像とその考えられるすべての回転状態を同時に見ているのです。

3. 「グループ畳み込み自己注意機構 (Group Convolutional Self-Attention)」

画像がこの3Dタワーへと「リフト」されたら、モデルはグループ畳み込み自己注意機構 (G-CSA) と呼ばれる特殊なタイプの注意機構を使用します。

比喩: 通常のTransformerでは、「探偵」は画像の異なる部分を見て、それらがどのように関連しているかを見ます。REViTでは、探偵たちは3Dタワーを見ているのです。彼らは、元の画像にある「猫の耳」が、90度回転した画像にある「猫の耳」とどのように関連しているかを、すべて一度に把握することができます。
すべての回転をまとめて見ているため、モデルは自然に「これが猫であることは、どのように回転していても変わらない」ということを学習します。どこが「上」でどこが「下」かを教えられる必要はありません。なぜなら、3D構造がその役割を担ってくれるからです。

4. 研究結果

研究者たちは、この新しいモデルを3つの異なる「ゲーム（データセット）」でテストしました。

Rotated MNIST: 回転させられた手書き数字の認識。
PatchCamelyon: 医療用組織サンプル（あらゆる向きで現れる可能性がある）における腫瘍細胞の特定。
CIFAR-10 & ImageNet: 車、犬、飛行機などの日常的な物体の認識。

結果:

より高い精度: REViTは、回転を考慮したモデルの従来の最高手法を打ち破りました。テストにおいて、より多くの正解を出しました。
よりシンプルで高速: より正確であるにもかかわらず、従来のより複雑な手法よりも少ないコンピュータの「ステップ（パラメータ）」とメモリを使用しました。
スケーラビリティ: 彼らは、このモデルが大規模で複雑なデータセット（ImageNetなど）を扱えることを示し、これが単なる小さな実験用の玩具ではなく、実世界の利用に適した堅牢なツールであることを証明しました。

5. 注意点（限界）

論文は、一つの欠点についても正直に述べています。モデルは画像を複数の回転状態で同時に処理する必要があるため（あの3Dタワー）、回転を気にしない標準的なモデルよりも多くの計算能力とメモリを必要とします。それは、一人の探偵ではなく、協力して働く探偵チームがいるようなものです。彼らはより優れた仕事をしますが、チーム全員のために、より広いオフィススペースとコーヒーが必要になります。

まとめ

要約すると、REViTは、物の位置に関する複雑な指示を必要とせずに、あらゆる角度から画像を理解できる新しいタイプのAIです。画像を回転の3D空間へと「リフト」し、特殊な注意機構を使用することで、従来のメソッドよりも正確かつ効率的に物体を認識します。これにより、医療画像やロボティクスのように、向きが重要となるタスクにおいて強力な候補となります。

技術要約：REViT – 回転・反射等変畳み込みビジョン・トランスフォーマー

問題提起
等変ニューラルネットワークは、回転や反射の対称性を必要とするタスク（分子解析、医療病理学、ロボティクスなど）において有効であることが証明されているが、ビジョン・トランスフォーマー（ViT）への適用は依然として困難である。従来のViTは、空間構造を維持するために絶対的または相対的な位置エンコーディングに大きく依存しているが、これが群等変性の実装を複雑にしている。具体的には、標準的な位置エンコーディングは、固定された座標に固有のベクトルを割り当てるため、回転や反射といった変換に対して等変性を損なう。相対位置エンコーディング（RPE）を用いたGroup Self-Attention（G-SA）のような、これまでの等変性を実現しようとする試みは、アテンション機構に複雑な修正を必要とし、大幅な計算オーバーヘッドを導入する。さらに、既存の研究における回転・反射等変性は、主に畳み込みニューラルネットワーク（G-CNN）に焦点を当てており、これらのタスクにおいてトランスフォーマーのグローバルなコンテキスト・モデリング能力を活用する手法には空白が存在する。

手法
著者らは、明示的な位置エンコーディングを不要とする離散回転・反射群等変アーキテクチャであるREViT（Roto-reflection Equivariant Convolutional Vision Transformer）を提案する。コアとなる手法には、主に2つの革新が含まれる。

畳み込みパッチ埋め込みとリフティング（Lifting）:
線形パッチ埋め込みの代わりに、REViTは、2D入力画像 $f: \mathbb{Z}^2 \to \mathbb{R}^C$ を離散群空間上の特徴マップ $F: \mathbb{Z}^2 \times C_N \to \mathbb{R}^{C'}$ に変換するリフティング層を採用している。これは、入力が離散回転群 $C_N$ （例： $p4, p8$ ）の要素に対応する回転フィルタと畳み込まれることで実現される。これにより、データはユークリッド空間から位置・方位空間（ $\mathbb{R}^2 \times S^1$ ）へとリフトされ、学習可能な位置パラメータなしに、空間および方位情報を本質的にエンコードする。
群畳み込み自己アテンション（G-CSA）:
標準的な自己アテンション機構は、Group Convolutional Self-Attention (G-CSA) に置き換えられる。このモジュールでは、Query、Key、Valueの投影は、線形投影ではなく、群等変畳み込みを用いて計算される。アテンション機構は、空間次元と群次元（方位）の両方に対して動作する。アテンションの重みは、リフトされた特徴空間におけるクエリとキーのドット積に基づいて計算され、その操作が群作用（回転および反射）に対して等変であることを保証する。畳み込み投影と畳み込みに内在する相対的な空間関係を利用することで、REViTは、各アテンションヘッドごとに相対位置エンコーディングを計算するという層ごとの複雑さを回避しつつ、シフトおよび回転等変性を達成する。

主な貢献

離散群畳み込み自己アテンション (G-CSA): 本論文は、位置エンコーディングに依存せずに、トランスフォーマーにおいて回転・反射（ $E(2,N)$ ）等変性を実現するメカニズムとしてG-CSAを導入する。
REViTの実装: 著者らは、G-CSAを用いてREViTブロックを実装し、複数の離散回転・並進（$pN $）および回転・反射（$ pNm$）群構成にわたって評価を行った。
スケーラビリティ: 本研究は、REViTがImageNet-1kのような大規模データセットにスケール可能であることを示しており、ダウンストリームの等変タスクのための潜在的なバックボーンとなることを示唆している。

実験結果
著者らは、Rotated MNIST、PatchCamelyon、CIFAR-10の3つのデータセットでREViTを評価し、ImageNet-1kへとスケールアップさせた。

G-SA + RPE との性能比較: Rotated MNISTおよびPatchCamelyonにおいて、REViTモデル（特に $p4$ -CSAおよび $p8$ -CSA）は、相対位置エンコーディングを強化したGroup Self-Attentionモデル（G-SA+RPE）と同等またはそれを上回る性能を示した。極めて重要なことに、REViTは大幅に少ないパラメータ数と低い計算複雑性（乗算・加算回数の減少およびメモリフットプリントの削減）でこれを達成した。
G-CNN との性能比較: REViTは、すべてのデータセットおよび対称群において、対応する群等変CNN（G-CNN）のベースラインを一貫して上回った。特にPatchCamelyonにおいて、REViTはより高次の対称性を持つG-CNNバリアントよりも少ないパラメータを使用しながら、より高い精度を達成した。
ImageNetのスケーリング: ImageNet-1kにおいて、 $p4m$ 等変REViTはTop-1精度79.27%を達成し、データ拡張を用いたバニラViT（72.08%）および等変ResNetベースライン（77.37%）の両方を上回った。
等変誤差: モデルは、リフティング層およびG-CSA層の後で、ほぼゼロの等変誤差を示したが、高次の群（例： $p8$ ）における軽微な誤差は、回転中の補間アーティファクトに起因するものである。

意義と主張
本論文は、REViTが、既存の手法と比較して、ビジョン・トランスフォーマーにおける離散回転・反射等変性を達成するための、より単純かつ効率的な経路を提供すると主張している。明示的な位置エンコーディングへの依存を排除し、畳み込み自己アテンションを活用することで、厳格な対称性制約を遵守しながら、トランスフォーマーのグローバルなコンテキスト・モデリングの強みを維持できることを著者らは実証している。結果は、G-CSAがモデルのサイズや複雑さを大幅に増大させることなく、群等変分類の性能を向上させることを示唆している。著者らは、REViTを、向きが重要となるタスク（医療画像や方向検知など）のための実行可能な、スケーラブルなバックボーンとして位置づけているが、同時に、計算コストが対称群の濃度（cardinality）に応じてスケールするため、レイテンシが重視されるアプリケーションにおいては課題が残ることも認めている。