💻 computer science

GRAMformer: Any-Order Modality Interactions via Volumetric Multimodal Cross-Attention

이 논문은 쿼리(query)와 키(key) 벡터의 결합된 기하학적 부피를 기반으로 어텐션 점수를 계산함으로써 기존의 쌍별(pairwise) 또는 연결(concatenated) 방식의 한계를 극복하고, 임의 차수의 모달리티 상호작용을 효율적으로 모델링하기 위해 볼륨트릭 멀티모달 교차 어텐션(Volumetric Multimodal cross-Attention, VMA)을 채택한 새로운 멀티모달 트랜스포머 아키텍처인 GRAMformer를 소개한다.

원저자: Giordano Cicchetti, Eleonora Grassucci, Danilo Comminiello

게시일 2026-06-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Giordano Cicchetti, Eleonora Grassucci, Danilo Comminiello

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

세 명의 친구가 동시에 이야기를 들려주는 복잡한 상황을 이해하려고 한다고 상상해 보세요. 한 명은 말하고 있고, 한 명은 영상을 보여주고 있으며, 다른 한 명은 음악을 연주하고 있습니다.

과거의 방식: "일대일" 인터뷰
현재 대부분의 스마트폰에 탑재된 것과 같은 기존 AI 모델들은 이 이야기를 이해하기 위해 각 친구를 따로 인터뷰합니다.

먼저, AI는 화자에게 "음악에 대해 어떻게 생각하니?"라고 묻습니다.
그다음, AI는 화자에게 "영상에 대해 어떻게 생각하니?"라고 묻습니다.
마지막으로, AI는 화자에게 "영상과 음악을 함께 고려했을 때 어떻게 생각하니?"라고 묻습니다.

문제는 AI가 음악과 영상을 서로 모르는 사이처럼 취급한다는 점입니다. AI는 "음악과 영상이 결합되었을 때 화자가 하는 말의 의미를 어떻게 변화시키는가?"라는 질문은 던지지 않습니다. 즉, 세 가지 요소가 정확히 같은 순간에 하나로 맞물릴 때 발생하는 마법 같은 효과를 놓치게 됩니다. 또한, 만약 네 번째 친구(예: 온도 센서)가 추가된다면, AI는 더 많은 개별 인터뷰를 수행해야 하므로, 마치 성장하는 팀을 위해 일일이 미팅 일정을 잡으려는 매니저처럼 점점 느려지고 더 많은 메모리를 필요로 하게 됩니다.

새로운 방식: "그룹 허들" (GRAMformer)
이 논문의 저자인 지오르다노 치케티(Giordano Cicchetti)와 그의 팀은 GRAMformer라는 새로운 시스템을 구축했습니다. 이들은 개별적인 인터뷰를 하는 대신, **체적 다중 모달 교차 주의(Volumetric Multimodal Cross-Attention, VMA)**라는 "그룹 허들" 메커니즘을 만들었습니다.

작동 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다.

1. 대화의 "형태"

화자, 영상, 오디오가 공간에 떠 있는 세 개의 막대기라고 상상해 보세요.

기존 AI: 단순히 화자가 영상과 얼마나 가까운지, 그리고 화자가 오디오와 얼마나 가까운지만 측정합니다. 이 세 막대기가 만드는 전체적인 형상은 무시합니다.
GRAMformer: 세 막대기를 모두 연결했을 때 만들어지는 3D 형태(부피)를 살펴봅니다.
- 만약 막대기들이 모두 같은 방향을 가리키고 있다면(정렬되어 있다면), 그 형태는 평평하며 부피가 거의 없습니다.
- 만약 막대기들이 서로 다른 방향을 가리키고 있지만 여로 일관된 구조를 형성하고 있다면, 그 형태는 특정한 부피를 가집니다.
- AI는 이 "부피"를 점수로 사용합니다. AI는 이렇게 묻습니다: "이 세 가지 정보 조각들이 결합되어 견고하고 의미 있는 형태를 이루는가?"

이를 통해 AI는 세 가지(또는 그 이상) 요소의 관계를 쌍별로 추측하는 것이 아니라, 세 요소 간의 결합된 관계를 즉각적으로 이해할 수 있습니다.

2. 왜 더 똑똑하고 가벼운가요?

더 이상의 "이차 함수적" 혼란은 없습니다: 기존 방식에서는 새로운 친구가 추가될 때마다 AI가 두 배의 일을 해야 합니다. 이는 파티에 사람 한 명을 초대했을 뿐인데, 갑자기 모든 사람 사이의 짝을 지어 미팅을 잡아야 하는 것과 같습니다.
GRAMformer의 해결책: 이 모델은 "그룹 부피"를 한꺼번에 살펴보기 때문에, 친구를 더 추가하더라도 수학적 계산량이 폭발적으로 늘어나지 않습니다. 이는 모든 사람에게 일일이 전화를 거는 전화 통보 방식이 아니라, 모두가 동시에 말하는 단체 채팅방처럼 효율적입니다.

3. 무엇을 테스트했나요?

연구팀은 컴퓨터가 인간의 감정과 행동을 이해해야 하는 작업들을 대상으로 이 새로운 "그룹 허들" 시스템을 테스트했습니다. 이들은 다음을 포함하는 데이터셋을 사용했습니다:

감성 분석 (Sentiment Analysis): 텍스트, 목소리, 얼굴 표정을 종합적으로 살펴봄으로써 특정 영상 클립이 행복한지, 슬픈지, 혹은 화가 났는지 판단합니다.
유머와 풍자 (Humor and Sarcasm): 농담이 정말 재미있는 것인지 아니면 비꼬는 것인지 파악합니다.
로보틱스 (Robotics): 로봇이 시각적 데이터와 함께 힘 및 촉각 센서를 이해하도록 돕습니다.

결과:
이 테스트에서 GRAMformer는 기존의 시스템보다 "그룹의 분위기(group vibe)"를 더 잘 이해할 수 있었습니다. 감정과 풍자를 맞히는 데 있어 더 높은 점수를 기록했으며, 비교 대상이 된 무겁고 복잡한 모델들보다 더 적은 컴퓨터 메모리와 더 적은 파라미터(필요한 "두뇌 능력")를 사용하여 이를 수행해 냈습니다.

요약

기존의 AI를 용의자들을 한 명씩 인터뷰하여 진실을 추측하려는 형사라고 생각해보세요. GRAMformer는 모든 용의자를 한 방에 모아 놓고 그들이 서로 어떻게 상호작作用하는지를 관찰함으로써 전체 그림을 즉각적으로 파악하는 형사입니다. 이 모델은 더 빠르고, 더 가벼우며, 서로 다른 정보 조각들이 어떻게 하나의 팀으로서 작동하는지를 훨씬 더 잘 이해합니다.

기술 요약: GRAMformer – 부피 기반 다중 모달 교차 주의 집중을 통한 임의 순서 모달리티 상호작용

문제 정의

현재의 다중 모달 트랜스포머 아키텍처는 이질적인 정보를 통합하기 위해 어텐션 메커니즘에 크게 의존합니다. 그러나 기존의 접근 방식들은 세 개 이상의 모달리티 간의 상호작용을 모델링할 때 다음과 같은 근본적인 한계점을 가집니다:

쌍별(Pairwise) 제한 사항: 표준 교차 주의 집중(cross-attention)은 쿼리와 각 모달리티별 키 사이의 관련성을 독립적으로 계산합니다. 이러한 쌍별 내적(dot-product) 공식은 여러 표현(representation)의 결합된 구성(예: 일련의 벡터들이 공통된 저차원 부분 공간에 존재하는지 여부)에 의존하는 상호작용을 명시적으로 모델링하지 못합니다.
확장성 및 효율성:
- 결합 전략(Concatenation Strategies): 초기 융합(early-fusion) 방식은 모든 모달리티 토큰을 단일 시퀀스로 결합하여 공동 자기 주의 집중(joint self-attention)을 수행합니다. 이는 모달리티의 수가 증가함에 따라 메모리와 연산량 측면에서 이차적(quadratic) 복잡성을 초래하며, 결합된 모달리티들 자체 간의 상호작용을 계산하는 데 실패합니다.
- 쌍별 아키텍처(Pairwise Architectures): 각 모달리티 쌍에 대해 별도의 교차 주의 집중 모듈을 사용하는 방식은 파라미터와 메모리 측면에서 모달리티 수에 따라 이차적으로 증가하며, 여전히 세 개 이상의 모달리티가 동시에 관여하는 고차 의존성을 포착하는 데 실패합니다.
- 텐서화 접근 방식(Tensorized Approaches): 텐서 곱이나 인수분해를 통해 3개 모달리티로 주의 집중을 확장하려는 최근의 시도들은 종종 심각한 근사치를 요구하거나 랭크(rank) 선택을 강요하며, 이는 미세하거나 모달리티 특유의 의존성을 억제할 수 있습니다.

결과적으로, 과도한 계산 비용을 지불하지 않으면서 진정한 고차 다중 모달 정렬을 포착하기 위해, 모달리티 표현 집합에 대한 함수로서 주의 집중을 명시적으로 정의할 수 있는 메커니즘이 부족한 실정입니다.

방법론

부피 기반 다중 모달 교차 주의 집중 (Volumetric Multimodal Cross-Attention, VMA)

저자들은 쌍별 유사도를 대체하는 새로운 기하학적 척도인 **부피 기반 다중 모달 교차 주의 집중(VMA)**을 제안합니다. VMA는 토큰 단위로 유사도를 평가하는 대신, 쿼리와 여러 모달리티별 키의 **결합된 기하학적 구조(joint geometry)**를 기반으로 어텐션 점수를 계산합니다.

기하학적 공식화: 쿼리 토큰 $q$ 와 $M$ 개의 모달리티로부터 정렬된 키 토큰 집합 $\{k_1, \dots, k_M\}$ 에 대해, 이 방법은 행렬 $Z = [q, k_1, \dots, k_M]$ 를 구성합니다. 결합된 다중 모달 유사도는 연관된 그람 행렬(Gram matrix) $G = Z^\top Z$ 의 행렬식의 제곱근으로 계산되는 이들이 생성하는 평행육면체의 부피로 정의됩니다:
$\text{Vol}(q, k_1, \dots, k_M) = \sqrt{\det(G) + \epsilon}$
이 부피는 결합된 선형 의존성의 스칼라 척도로 기능합니다. 즉, 벡터들이 서로 정렬되어(낮은 차원의 부분 공간에 가까울 때) 있으면 낮아지며, 더 높은 차원의 영역을 생성할수록 증가합니다.
어텐션 로짓(Attention Logits): 최종 어텐션 로짓은 강력한 이중 모달 상호작용을 보존하기 위해 표준 내적 정규화와 이 고차 기하학적 항을 결합합니다:
$s(q, k_1, \dots, k_M) = -\beta \cdot \text{Vol}(q, k_1, \dots, k_M) + \sum_{m=1}^M \frac{\langle q, k_m \rangle}{\sqrt{d}}$
여기서 $\beta$ 는 고차 정보의 주입 정도를 조절합니다. 부피 항은 직교 변환(orthogonal transformations)과 조건부 모달리티의 순열(permutations)에 대해 불변합니다.
값 집계(Value Aggregation): 각 모달리티로부터 추출된 정보의 기여도를 동적으로 제어하기 위해, 쿼리에 의존적인 게이팅 메커니즘이 최종 출력을 형성하기 전 각 모달리티의 정보를 조절합니다.
멀티 헤드 확장 (M-VMA): 이 메커니즘은 $H$ 개의 부분 공간에서 독립적으로 부피 주의 집중을 계산하도록 멀티 헤드 형식으로 확장되며, 모달리티의 수가 헤드 차원을 초과하지 않는 한 수학적으로 유효합니다.

GRAMformer 아키텍처

저자들은 VMA를 새로운 트랜스포머 아키텍처인 GRAMformer에 통합했습니다.

설계: GRAMformer는 표준 트랜스포머 인코더 구조(잔차 연결, 레이어 정규화, 피드포워드 네트워크)를 따르지만, 기존의 교차 주의 집중 레이어를 VMA 또는 M-VMA로 대체합니다.
융합 전략: 다중 모달 분류 설정에서, 하나의 모달리티(주로 텍스트)가 쿼리 스트림 역할을 하며 나머지 모달리티들은 조건부 스트림 역할을 합니다. VMA 블록은 각 레이어에서 모든 조건부 모달리티에 공동으로 주의를 기울이며, 쌍별 융합에 의존하는 대신 이들의 상호작용을 명시적으로 모델링합니다.
효율성: GRAMformer는 경량화되도록 설계되었습니다. 결합이나 쌍별 전략과 달리, VMA는 파라미터나 메모리의 급격한 증가 없이 모달리티의 수에 따라 효율적으로 확장됩니다.

주요 기여

한계점 식별: 본 논문은 쌍별 주의 집중 메커니즘이 고차 다중 모달 의존성을 모델링하는 데 있어 근본적인 능력이 부족하며, 기존 융합 전략들이 비효적인 점을 강조합니다.
부피 기반 다중 모달 교차 주의 집중 (VMA): 쿼리와 여러 키의 결합된 기하학적 구조(부피)를 함수로 정의하여, 임의 차수의 모달리티 상호작용을 네이티브하게 모델링할 수 있게 하는 새로운 어텐션 메커니즘을 도입했습니다.
GRAMformer: VMA를 경량 트랜스포머 아키텍처에 통합하여, 쌍별 계산이나 무거운 결합 연산에만 의존하지 않고도 다양한 다중 모달 작업에서 향상된 효과성과 효율성을 입증했습니다.

실험 결과

제안된 모델은 감성 분석(MOSI, MOSEI), 유머/풍자 탐지(UR-FUNNY, MUsTARD), 로보틱스 데이터셋(MuJoCo Push, Vision & Touch)을 포함한 MultiBench 제품군에서 평가되었습니다.

성능: GRAMformer는 여러 데이터셋에서 최첨단(SOTA) 또는 경쟁력 있는 결과를 달왔습니다.
- MOSI에서, (특징 추출 후) 87.90%, (BERT 파인튜닝 시) **89.94%**의 Acc-2를 달성하여 MMML, MulT, Self-MM와 같은 강력한 베이스라인을 능가했습니다.
- MOSEI에서, (특징 추출 후) 84.07%, (파인튜닝 시) **87.39%**의 Acc-2를 달성했습니다.
- UR-FUNNY 및 MUsTARD에서, 각각 62.46% 및 **63.96%**의 정확도를 기록하며 MulT 및 TF와 같은 베이스라인을 넘어섰습니다.
효율성:
- 파라미터 수: GRAMformer는 현저히 가볍습니다. 예를 들어, BERT 파인튜닝을 사용하는 MOSI 데이터셋에서 TeTFN(110.7M) 및 MMML(889.6M)과 비교하여 110.1M의 파라미터를 사용했습니다. 특징 추출 설정에서는 단 0.66M의 파라미터만을 사용했습니다.
- 확장성: 모달리티의 수가 증가함에 따라(2개에서 6개까지), 쌍별 및 결합 방식이 이차적 성장을 보이는 것과 달리, GRAMformer는 파라미터와 메모리 사용량 측면에서 선형 또는 이에 근접한 성장을 유지합니다.

의의 및 주장

본 논문은 기하학적 부피를 활용함으로써, 단순한 쌍별 근사가 아닌 결합된 다중 모달 정렬을 명시적으로 모델링하는 메커니즘을 제공하여 다중 모달 학습의 핵심적인 격차를 해결한다고 주장합니다. 이를 통해 모델은 표준 내적 주의 집중에서 손실되는 고차 의존성을 포착할 수 있습니다.

저자들은 이 접근 방식이 다음을 가능하게 한다고 강조합니다:

임의 차수의 상호작용에 대한 네이티브 모델링: 이 메커니즘은 제한적인 저차원(low-rank) 가정이나 텐서 인수분해 없이도 임의의 수의 모달리티에 대해 작동합니다.
계산 효율성: 기존의 고성능 다중 모달 트랜스포머와 비교하여 훨씬 적은 파라미터 수와 메모리 풋프린트로 우수한 성능을 달성합니다.
아키텍처 호환성: 이 설계는 표준 트랜스포머의 귀납적 편향(inductive biases)과 훈련 절차를 보존하며, 기존 시스템의 교차 주의 집중 레이어를 대체할 수 있는 드롭인(drop-in) 방식의 교체 모델입니다.

본 연구는 쌍별 유사성을 넘어 부피 기반의 기하학적 주의 집중으로 이동하는 것이 복잡한 다중 모달 시나리오로 확장 가능한 다중 모달 시스템을 구축하는 데 있어 유효하고 효과적인 경로임을 시사합니다.