💻 computer science

GRAMformer: Any-Order Modality Interactions via Volumetric Multimodal Cross-Attention

Dieses Paper führt GRAMformer ein, eine neuartige multimodale Transformer-Architektur, die Volumetric Multimodal cross-Attention (VMA) verwendet, um Interaktionen beliebiger Modallitäten effizient zu modellieren, indem Aufmerksamkeitswerte basierend auf dem gemeinsamen geometrischen Volumen von Query- und Key-Vektoren berechnet werden, wodurch die Einschränkungen bestehender paarweiser oder konkatänierter Ansätze überwunden werden.

Ursprüngliche Autoren: Giordano Cicchetti, Eleonora Grassucci, Danilo Comminiello

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Giordano Cicchetti, Eleonora Grassucci, Danilo Comminiello

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine komplexe Geschichte zu verstehen, die drei Freunde gleichzeitig erzählen: Einer spricht, einer zeigt ein Video und einer spielt Musik.

Der alte Weg: Das „Eins-zu-eins“-Interview
Aktuelle KI-Modelle (wie die in den meisten Smartphones von heute) versuchen, diese Geschichte zu verstehen, indem sie jeden Freund einzeln interviewen.

Zuerst fragt die KI den Sprecher: „Was hältst du von der Musik?“
Dann fragt die KI den Sprecher: „Was hältst du vom Video?“
Schließlich fragt die KI den Sprecher: „Was hältst du vom Video und der Musik zusammen?“

Das Problem ist, dass die KI die Musik und das Video so behandelt, als wären sie Fremde. Sie fragt nie: „Wie verändern die Musik und das Video zusammen die Bedeutung dessen, was der Sprecher sagt?“ Sie verpasst die Magie, die entsteht, wenn alle drei Elemente im exakt selben Moment ineinandergreifen. Außerdem, wenn man einen vierten Freund hinzufügt (wie einen Temperatursensor), muss die KI noch mehr separate Interviews führen, was sie langsamer macht und mehr Speicher benötigt – wie ein Manager, der versucht, Meetings für ein wachsendes Team im Eins-zu-eins-Verfahren zu planen.

Der neue Weg: Die „Gruppenbesprechung“ (GRAMformer)
Die Autoren dieser Arbeit, Giordano Cicchetti und sein Team, haben ein neues System namens GRAMformer entwickelt. Anstatt separate Interviews zu führen, haben sie einen „Gruppenbesprechungs“-Mechanismus namens Volumetric Multimodal Cross-Attention (VMA) erschaffen.

So funktioniert es unter Verwendung einer einfachen Analogie:

1. Die „Form“ des Gesprächs

Stellen Sie sich vor, der Sprecher, das Video und das Audio sind drei Stäbe, die im Raum schweben.

Alte KI: Misst nur, wie nah der Sprecher am Video ist und wie nah der Sprecher am Audio ist. Sie ignoriert die Form, die durch alle drei entsteht.
GRAMformer: Es betrachtet die 3D-Form (ein Volumen), die entsteht, wenn man alle drei Stäbe miteinander verbindet.
- Wenn die Stäbe alle in die gleiche Richtung zeigen (ausgerichtet), ist die Form flach und hat fast kein Volumen.
- Wenn die Stäbe in verschiedene Richtungen zeigen, aber dennoch eine kohärente Struktur bilden, hat die Form ein spezifisches Volumen.
- Die KI nutzt dieses „Volumen“ als Score. Sie fragt: „Passen diese drei Informationsteile zusammen, um eine solide, bedeutungsvolle Form zu bilden?“

Dies ermöglicht es der KI, die gemeinsame Beziehung zwischen allen drei (oder mehr) Freunden sofort zu verstehen, anstatt nur basierend auf Paaren zu raten.

2. Warum ist es klüger und leichter?

Kein „quadratisches“ Chaos mehr: Im alten Weg, wenn man einen neuen Freund hinzufügt, muss die KI doppelt so viel Arbeit leisten. Es ist, als würde man eine Person zu einer Party hinzufügen und plötzlich müsste man für jedes einzelne Paar von Personen ein Treffen planen.
Die GRAMformer-Lösung: Da es das „Gruppenvolumen“ alles auf einmal betrachtet, explodiert die Mathematik bei der Hinzunahme weiterer Freunde nicht. Es bleibt effizient, wie ein Gruppenchat, in dem alle gleichzeitig sprechen, anstatt wie ein Telefonbaum, bei dem man jeden einzeln anruft.

3. Was haben sie getestet?

Das Team hat dieses neue „Gruppenbesprechungs“-System bei Aufgaben getestet, bei denen Computer menschliche Emotionen und Handlungen verstehen müssen. Sie verwendeten Datensätze, die Folgendes beinhalten:

Sentiment-Analyse: Bestimmung, ob ein Videoclip glücklich, traurig oder wütend ist, indem Text, Stimme und Gesichtsausdrücke gemeinsam betrachtet werden.
Humor und Sarkasmus: Herauszufinden, ob ein Witz tatsächlich lustig oder sarkastisch ist.
Robotik: Den Robotern dabei zu helfen, Kraft- und Berührungssensoren neben visuellen Daten zu verstehen.

Das Ergebnis:
In diesen Tests war GRAMformer in der Lage, den „Gruppen-Vibe“ besser zu verstehen als die alten Systeme. Es erzielte höhere Werte beim Erraten von Emotionen und Sarkasmus und tat dies mit weniger Computerspeicher und weniger Parametern (weniger benötigter „Gehirnleistung“) als die schweren, komplexen Modelle, mit denen es verglichen wurde.

Zusammenfassung

Betrachten Sie die alte KI als einen Detektiv, der Verdächtige einzeln interviewt und versucht, die Wahrheit zu erraten. GRAMformer ist ein Detektiv, der alle Verdächtigen gleichzeitig in einen Raum stellt und beobachtet, wie sie miteinander interagieren, um sofort das gesamte Bild zu sehen. Es ist schneller, leichter und viel besser darin zu verstehen, wie verschiedene Informationsteile als Team zusammenarbeiten.

Technisches Resümee: GRAMformer – Any-Order Modality Interactions via Volumetric Multimodal Cross-Attention

Problemstellung

Aktuelle multimodale Transformer-Architekturen verlassen sich stark auf Attention-Mechanismen, um heterogene Informationen zu integrieren. Bestehende Ansätze leiden jedoch unter fundamentalen Einschränkungen bei der Modellierung von Interaktionen zwischen mehr als zwei Modalitäten:

Paarweise Einschränkungen: Standardmäßige Cross-Attention berechnet die Relevanz unabhängig zwischen einem Query und jedem modalitätsspezifischen Key. Diese paarweise Skalarprodukt-Formulierung versäumt es, Interaktionen explizit zu modellieren, die von der gemeinsamen Konfiguration mehrerer Repräsentationen abhängen (z. B. ob ein Satz von Vektoren in einem gemeinsamen niedrigdimensionalen Unterraum liegt).
Skalierbarkeit und Effizienz:
- Konkatenationsstrategien: Early-Fusion-Methoden konkatenieren alle Modalitäts-Token zu einer einzigen Sequenz für gemeinsame Self-Attention. Dies führt zu einer quadratischen Komplexität in Bezug auf Speicher und Rechenaufwand, wenn die Anzahl der Modalitäten steigt, und es versäumt es, Interaktionen zwischen den konkatenierten Modalitäten selbst zu berechnen.
- Paarweise Architekturen: Methoden, die separate Cross-Attention-Module für jedes Modalitätspaar verwenden, skalieren quadratisch mit der Anzahl der Modalitäten hinsichtlich Parametern und Speicher, während sie dennoch Schwierigkeiten haben, höherwertige Abhängigkeiten zu erfassen, die drei oder mehr Modalitäten gleichzeitig involvieren.
- Tensorisierte Ansätze: Jüngste Versuche, Attention auf drei Modalitäten mittels Tensorprodukten oder Faktorisierung zu erweitieren, erfordern oft schwere Approximationen oder Rang-Selektionen, was feingranulare oder modalitätsspezifische Abhängigkeiten unterdrücken kann.

Infolgedessen mangelt es an Mechanismen, die in der Lage sind, Attention explizit als Funktion über einen Satz von Modalitätsrepräsentationen zu definieren, um eine echte höherwertige multimodale Ausrichtung (Alignment) ohne prohibitive Rechenkosten zu erfassen.

Methodik

Volumetric Multimodal Cross-Attention (VMA)

Die Autoren schlagen Volumetric Multimodal Cross-Attention (VMA) vor, einen neuartigen Mechanismus, der die paarweise Ähnlichkeit durch ein vereinheitlichtes geometrisches Maß ersetzt. Anstatt Ähnlichkeit Token für Token zu bewerten, berechnet VMA die Attention-Scores basierend auf der gemeinsamen Geometrie eines Queries und mehrerer modalitätsspezifischer Keys.

Geometrische Formulierung: Für ein Query-Token $q$ und einen Satz ausgerichteter Key-Token $\{k_1, \dots, k_M\}$ aus $M$ Modalitäten konstruiert die Methode eine Matrix $Z = [q, k_1, \dots, k_M]$ . Die gemeinsame multimodale Ähnlichkeit wird durch das Volumen des Parallelotops definiert, das von diesen Vektoren aufgespannt wird, berechnet als die Quadratwurzel der Determinante der zugehörigen Gram-Matrix $G = Z^\top Z$ :
$\text{Vol}(q, k_1, \dots, k_M) = \sqrt{\det(G) + \epsilon}$
Dieses Volumen dient als Skalarmaß für die gemeinsame lineare Abhängigkeit: Es ist niedrig, wenn die Vektoren gegenseitig ausgerichtet sind (nah an einem niedrigdimensionalen Unterraum liegen), und steigt an, wenn sie einen höherdimensionalen Bereich aufspannen.
Attention Logits: Der finale Attention-Logit kombiniert diesen höherwertigen geometrischen Term mit einer Standard-Skalarprodukt-Regularisierung, um starke bimodale Interaktionen zu bewahren:
$s(q, k_1, \dots, k_M) = -\beta \cdot \text{Vol}(q, k_1, \dots, k_M) + \sum_{m=1}^M \frac{\langle q, k_m \rangle}{\sqrt{d}}$
Hierbei steuert $\beta$ die Injektion von höherwertigen Informationen. Das Volumen ist invariant unter orthogonalen Transformationen und Permutationen der konditionierenden Modalitäten.
Wert-Aggregation: Ein Query-abhängiger Gating-Mechanismus moduliert die extrahierte Information jeder Modalität dynamisch, bevor diese zu einem Mittelwert aggregiert wird, um das finale Ergebnis zu bilden.
Multi-Head Erweiterung (M-VMA): Der Mechanismus wird auf eine Multi-Head-Formulierung erweitert, bei der die volumetrische Attention unabhängig in $H$ Subräumen berechnet wird, was mathematisch gültig bleibt, solange die Anzahl der Modalitäten plus eins die Head-Dimension nicht überschreitet.

GRAMformer Architektur

Die Autoren integrieren VMA in eine neuartige Transformer-Architektur namens GRAMformer.

Design: GRAMformer folgt der Standard-Transformer-Encoder-Struktur (Residual-Verbindungen, Layer Normalization, Feed-Forward-Netzwerke), ersetzt jedoch konventionelle Cross-Attention-Layer durch VMA oder M-VMA.
Fusionsstrategie: In dem Szenario der multimodalen Klassifikation fungiert eine Modalität (typischerweise Text) als Query-Stream, während die verbleibenden Modalitäten als konditionierende Streams dienen. Der VMA-Block greift in jeder Schicht gemeinsam auf alle konditionierenden Modalitäten zu und modelliert deren Interaktionen explizit, anstatt sich auf eine paarweise Fusion zu verlassen.
Effizienz: Die Architektur ist darauf ausgelegt, leichtgewichtig zu sein. Im Gegensatz zu Konkatenations- oder Paarweisen Strategien skaliert VMA effizient mit der Anzahl der Modalitäten, ohne dass eine dramatische Zunahme der Parameter oder des Speichers erforderlich ist.

Kernbeiträge

Identifizierung von Limitationen: Die Arbeit hebt die fundamentale Unfähigkeit von paarweisen Attention-Mechanismen hervor, höherwertige multimodale Abhängigkeiten zu modellieren, sowie die Ineffizienz aktueller Fusionsstrategien.
Volumetric Multimodal Cross-Attention (VMA): Einführung eines neuartigen Attention-Mechanismus, der Attention-Scores als Funktion der gemeinsamen Geometrie (Volumen) von Query und mehreren Keys definiert, was eine native Modellierung von Any-Order-Modalitätsinteraktionen ermöglicht.
GRAMformer: Die Integration von VMA in eine leichtgewichtige Transformer-Architektur, die über verschiedene multimodale Aufgaben hinweg eine verbesserte Effektivität und Effizienz zeigt, ohne sich ausschließlich auf paarweise Berechnungen oder schwere Konkatenationsoperationen zu verlassen.

Experimentelle Ergebnisse

Das vorgeschlagene Modell wurde mit der MultiBench-Suite evaluiert, einschließlich Sentiment-Analyse (MOSI, MOSEI), Humor-/Sarkasmus-Detektion (UR-FUNNY, MUsTARD) und Robotik-Datensätzen (MuJoCo Push, Vision & Touch).

Performance: GRAMformer erreichte State-of-the-Art oder konkurrierende Ergebnisse über mehrere Datensätze hinweg.
- Auf MOSI erreichte es eine Acc-2 von 87,90 % (mit vorextrahierten Features) und 89,94 % (mit BERT-Finetuning) und übertraf damit starke Baselines wie MMML, MulT und Self-MM.
- Auf MOSEI erreichte es eine Acc-2 von 84,07 % (vorextrahiert) und 87,39 % (finetuned).
- Auf UR-FUNNY und MUsTARD erreichte es eine Genauigkeit von 62,46 % bzw. 63,96 % und übertraf damit Baselines wie MulT und TF.
Effizienz:
- Parameteranzahl: GRAMformer ist signifikant leichter. Beispielsweise nutzte es auf dem MOSI-Datensatz mit finetunedem BERT 110,1 Mio. Parameter im Vergleich zu 110,7 Mio. bei TeTFN und 889,6 Mio. bei MMML. Im Setting mit vorextrahierten Features nutzte es nur 0,66 Mio. Parameter.
- Skalierbarkeit: Wenn die Anzahl der Modalitäten steigt (von 2 auf 6), behält GRAMformer ein lineares oder nahezu lineares Wachstum der Parameter und des Speichers bei, während paarweise und Konkatenations-Methoden ein quadratisches Wachstum aufweisen.

Bedeutung und Ansprüche

Das Paper behauptet, dass GRAMformer eine kritische Lücke im multimodalen Lernen schließt, indem es einen Mechanismus bereitstellt, der gemeinsame multimodale Ausrichtung explizit modelliert, anstatt sich auf implizite oder paarweise Approximationen zu verlassen. Durch die Nutzung des geometrischen Volumens der Repräsentationsräume erfasst das Modell höherwertige Abhängigkeiten, die in der Standard-Skalarprodukt-Attention verloren gehen.

Die Autoren betonen, dass dieser Ansatz folgende Vorteile bietet:

Native Modellierung von Any-Order-Interaktionen: Der Mechanismus funktioniert für jede Anzahl von Modalitäten, ohne restriktive Low-Rank-Annahmen oder Tensor-Faktorisierungen zu erfordern.
Recheneffizienz: Es erzielt überlegene Performance mit einer signifikant reduzierten Parameteranzahl und einem geringeren Speicherbedarf im Vergleich zu bestehenden leistungsstarken multimodalen Transformern.
Architektonische Kompatibilität: Das Design bewahrt die induktiven Biases und Trainingsverfahren von Standard-Transformern und ist somit ein direkt austauschbarer Ersatz für Cross-Attention-Layer in bestehenden Systemen.

Die Arbeit legt nahe, dass der Schritt weg von der paarweisen Ähnlichkeit hin zur volumenbasierten geometrischen Attention ein vielversprechender und effektiver Weg ist, um multimodale Systeme auf komplexe, multimodale Szenarien zu skalieren.