🤖 machine learning

RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings

본 논문은 $O(L \log L)$ 복잡도로 임의의 적분 가능한 상대적 위치 인코딩을 통합하는 비균일 푸리에 변환 (NU-FFT) 을 활용하는 효율적인 3D-Transformer 모델 클래스인 RelFlexformer 를 소개하며, 이를 통해 구조화된 그리드와 포인트 클라우드와 같은 비구조화된 이질적인 3D 데이터 모두에 효과적인 어텐션 메커니즘을 가능하게 합니다.

원저자: Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 혼란스러운 파티를 조직하려 한다고 상상해 보세요. 손님들이 3 차원 방 안에 서 있습니다. 어떤 이들은 서로 가까이 있고, 어떤 이들은 멀리 떨어져 있으며, 깔끔한 격자나 줄무늬는 없습니다. 당신의 목표는 서로의 거리가 얼마나 가까운지에 기반하여 누가 누구와 대화해야 하는지 파악하는 것입니다.

컴퓨터 비전 세계에서 이 "파티"는 3D 포인트 클라우드(공간 내 객체를 나타내는 점들의 집합) 이며, "손님들"은 데이터 포인트입니다. 컴퓨터는 트랜스포머라는 도구를 사용하여 누가 누구와 대화해야 할지 결정합니다.

다음은 이 논문이 해결하는 문제를 간단히 설명한 것입니다:

문제: "이차함수적" 병목 현상

표준 트랜스포머는 모든 손님이 대화하기 전에 모든 손님과 다른 모든 손님 사이의 거리를 확인해야 한다고 고집하는 파티 호스트와 같습니다.

손님이 100 명이면, 호스트는 10,000 회 확인을 수행합니다.
손님이 1,000 명이면, 호스트는 1,000,000 회 확인을 수행합니다.
손님이 10,000 명이면 (3D 스캔에서 흔한 경우), 호스트는 압도당하고 메모리가 부족해지며 파티는 중단됩니다. 이것이 이차 비용( $O(L^2)$ ) 입니다.

이를 해결하기 위해 연구자들은 "효율적인 트랜스포머"(예: Performers) 를 발명했습니다. 이러한 호스트는 영리한 수학 트릭을 사용하여 누가 누구와 대화해야 할지 추측하는 단축키를 사용합니다. 이를 통해 파티를 빠르게 운영합니다 ( $O(L)$ ).

하지만: 이러한 단축키들은 속도는 훌륭하지만 기하학을 이해하는 데는 끔찍합니다. 3D 방에서는 거리가 중요하다는 사실을 잊어버립니다. 그들은 당신 옆에 서 있는 손님과 방 건너편에 서 있는 손님을 동일하게 취급하여 3D 작업의 정확도를 떨어뜨립니다.

해결책: RelFlexformer

저자들은 빠르고 기하학적 인식을 갖춘 새로운 유형의 효율적인 호스트인 RelFlexformer를 소개합니다.

이렇게 생각해보세요:

단축키: 모든 쌍을 확인하는 대신, "마법의 렌즈"(NU-FFT, 즉 비균일 고속 푸리에 변환) 를 사용하여 거리가 대화에 미치는 영향을 즉시 계산합니다.
유연한 변조: 호스트가 모든 손님의 쌍을 위한 특별한 "볼륨 조절기"를 가지고 있다고 상상해 보세요. 두 손님이 가까우면 볼륨이 높습니다 (많이 대화함). 멀면 볼륨이 낮습니다.
- 기존 효율적인 방법들은 이 볼륨 조절기를 돌리면 속도를 높이는 단축키가 깨져버렸습니다.
- RelFlexformer는 어떤 모양의 방 (심지어 지저분하고 불규칙한 3D 공간) 에서든 속도를 늦추지 않고 이 볼륨 조절기를 돌릴 수 있습니다. 이는 거리 문제를 주파수 문제로 변환하여 (복잡한 노래를 단순한 멜로디로 바꾸는 것처럼) 빠르게 해결함으로써 가능합니다.

"마법" 비유: 오케스트라

3D 점들이 홀에 무작위로 흩어진 오케스트라의 악기들이라고 상상해 보세요.

표준 트랜스포머는 모든 악기들이 하모니를 찾기 위해 다른 모든 악기를 듣도록 요구합니다. 큰 오케스트라에게는 시간이 영원히 걸립니다.
기존 효율적인 트랜스포머는 악기들이 간단한 규칙에 기반하여 하모니를 추측하도록 요구합니다. 빠르지만, 누가 누구 옆에 앉아 있는지 무시하기 때문에 음악이 평평하게 들립니다.
RelFlexformer는 특별한 음향 거울을 사용하는 지휘자와 같습니다. 모든 사람이 모두를 듣도록 요구하는 대신, 이 거울은 소리 파장을 즉시 반사하여 악기들이 서로와의 특정 거리에 기반하여 얼마나 크게 연주해야 하는지 정확히 알 수 있게 합니다. 이는 방의 "공간적 느낌"을 유지하면서 리허설 시간을 짧게 유지합니다.

그들이 달성한다고 주장하는 것

이 논문은 이 "음향 거울"(NU-FFT 수학) 을 사용함으로써 다음을 달성한다고 주장합니다:

속도: 거대한 양의 데이터에서도 거의 선형적으로 확장되는( $O(L \log L)$ ) 빠른 속도를 유지합니다. "파티"가 너무 커져도 충돌하지 않습니다.
정확도: 잃어버린 "거리 감각"을 되찾아줍니다. 3D 객체 인식 (점 구름에서 의자를 식별하는 것 등) 과 3D 분할 (방의 부분을 라벨링하는 것) 에 대한 테스트에서 RelFlexformer 는:
- 기존 "빠르지만 멍청한" 방법 (Performers) 을 능가했습니다.
- 훨씬 빠르면서도 종종 느리지만 똑똑한 표준 트랜스포머를 능가했습니다.
다용도성: 점들이 깔끔한 격자에 있지 않은 포인트 클라우드(LiDAR 스캐너에서) 나 RGB-D 이미지(깊이를 인식하는 카메라) 와 같은 지저분한 실제 데이터에서도 작동합니다.

요약

RelFlexformer는 컴퓨터가 3D 형태를 바라보는 새로운 방법입니다. 이는 단축키의 속도와 물리적 거리를 이해하는 정밀함을 결합합니다. 이를 통해 컴퓨터는 (로봇이 방을 항해하는 것과 같은) 복잡한 3D 장면을 빠르게 처리하면서도 사물들이 얼마나 떨어져 있는지를 구별하는 능력을 잃지 않게 됩니다.

기술 요약: RelFlexformer

문제 정의

어텐션 기반 트랜스포머는 3D 학습, 특히 점구름 데이터에 있어 지배적인 아키텍처가 되었습니다. 그러나 표준 트랜스포머는 이 분야에서 두 가지 치명적인 한계에 직면해 있습니다:

계산 병목 현상: 표준 자기 어텐션 메커니즘은 시퀀스 길이 $L$ 에 대해 이차적으로 ( $O(L^2)$ ) 확장됩니다. 이는 대규모 점 집합과 조밀한 기하학적 모델에 있어 금지적일 정도로 비용이 큽니다.
기하학적 불일치: 표준 어텐션은 순서가 없고 불규칙하게 간격을 둔 점구름의 특성과 자연스럽게 정렬되지 않습니다. 기하학적 편향을 주입하기 위한 상대적 위치 인코딩 (RPE) 방법이 존재하지만, 이를 퍼포먼스 (Performers) 와 같은 효율적인 선형 시간 어텐션 메커니즘에 통합하는 것은 간단하지 않습니다. 기존 효율적 RPE 방법들은 종종 구조화된 토큰 배치 (예: 정규 격자) 에 의존하거나 명시적으로 $L \times L$ 마스크를 구성해야 하므로, 선형 어텐션의 계산적 이점을 무효화합니다. 구체적으로, 전체 어텐션 행렬을 물리화하지 않고 커널화된 어텐션에 기하학적 마스크를 삽입하려면 마스크가 빠른 행렬 - 벡터 곱을 허용해야 하며, 이는 임의의 3D 분포에 대해 기존 방법 중 소수만이 충족하는 제약 조건입니다.

방법론

저자들은 임의의 적분 가능한 변조 함수 $f$ 를 통해 광범위한 RPE 계열을 통합하는 효율적인 3D 트랜스포머 클래스인 RelFlexformer를 제안합니다. 핵심 혁신은 부분 이차 수의 마스크 어텐션을 가능하게 하는 비균일 고속 푸리에 변환 (NU-FFT) 이론의 적용입니다.

주요 기술 구성 요소:

컨볼루션을 통한 변조: RPE 메커니즘은 공간 컨볼루션으로 공식화됩니다. 입력 토큰 좌표 $\{r_i\}$ 와 변조 함수 $f$ 가 주어졌을 때, 토큰에 대한 마스크 어텐션 값 $w$ 는 입력 특징으로 가중된 디랙 델타의 합인 신호 $P$ 와 $f$ 의 컨볼루션으로 계산됩니다.
NU-FFT 공식화: 컨볼루션 정리에 따라 공간 영역의 컨볼루션은 푸리에 영역의 곱셈에 해당합니다. 저자들은 $S$ $S$ 개의 샘플을 가진 구적법 (quadrature rule) 을 사용하여 연속 푸리에 적분을 근사합니다.
- 전진 단계: NU-FFT 를 사용하여 샘플링된 주파수 $\xi_s$ 에서 점구름 신호의 푸리에 변환을 계산합니다. 이는 $O(L \log L)$ 시간이 소요됩니다.
- 변조: 변환된 신호에 변조 함수의 푸리에 변환 $Ff(\xi_s)$ 를 곱합니다.
- 역단계: 원래 토큰 좌표에서 변조된 값을 평가하기 위해 역 NU-FFT 를 계산합니다. 이 또한 $O(L \log L)$ 시간이 소요됩니다.
선형 어텐션과의 통합: 이 "FastMultM" 알고리즘은 퍼포먼스와 같은 선형 어텐션 프레임워크에서의 명시적 $L \times L$ 마스크 행렬 곱셈을 대체합니다. 전체 복잡도는 $O(L \log L)$ 이 되어, 임의의 기하학적 편향을 포함하면서도 선형 어텐션의 효율성을 유지합니다.
일반화: 이 프레임워크는 기존 방법들을 일반화합니다. 예를 들어, 변조 함수가 이산 조화 함수로 매개변수화되면, 이 방법은 분석적으로 회전 위치 임베딩 (RoPE) 을 복원합니다. 또한 주파수가 특정 스펙트럼 밀도에서 추출되는 경우 $\otimes$ -STRING 인코딩을 특수한 경우로 포함합니다.

주요 기여

일반적 공식화: 저자들은 임의의 $L_1$ -적분 가능 함수에 기반한 3D RPE 변조 효율적 어텐션 메커니즘의 일반 클래스를 공식화했습니다.
효율적 구현: NU-FFT 를 사용하여 $O(L \log L)$ 구현을 유도하여, 어텐션 행렬을 물리화하지 않고 빠른 마스크 어텐션을 가능하게 했습니다. 이를 통해 기하학적 정보를 퍼포먼스 스타일 어텐션에 직접 통합할 수 있게 되었습니다.
다용도성과 성능: 논문은 RelFlexformer 를 PCT, PTv3, DFormer 등 다양한 백본에 대한 플러그인 대체제로 검증했습니다. RelFlexformer 가 효율적인 선형 어텐션과 조밀한 이차 어텐션 간의 성능 격차를 해소할 뿐만 아니라, 여러 경우에 표준 $O(L^2)$ 트랜스포머를 능가함을 입증했습니다.
상호 보완성: 저자들은 거리 기반 RPE 변조가 PointRoPE 와 같은 토큰 수준 인코딩과 직교하며 추가적인 향상을 위해 효과적으로 결합될 수 있음을 보였습니다.

실험 결과

저자들은 분류 및 분할을 위한 대규모 3D 데이터셋 포트폴리오에서 RelFlexformer 를 평가했습니다:

객체 분류 (ModelNet40, ScanObjectNN):
- ModelNet40 에서 RelFlexformer 는 **92.94%**의 정확도를 달성하여, 바닐라 퍼포먼스 (92.34%) 에 비해 조밀한 트랜스포머 기준 (93.2%) 과의 격차를 크게 줄였습니다.
- ScanObjectNN 에서 RelFlexformer (84.45%) 는 조밀한 트랜스포머 기준 (84.0%) 을 능가했습니다.
시맨틱 분할 (ScanNet, ScanNet200, ScanNet++, nuScenes, S3DIS):
- RelFlexformer 는 일관되게 바닐라 퍼포먼스 기준을 개선했습니다. 예를 들어, ScanNet 에서 mIoU 는 퍼포먼스의 74.8% 에서 RelFlexformer 의 **76.8%**로 향상되어 트랜스포머 기준 (77.6%) 에 근접했습니다.
- nuScenes 에서 RelFlexformer 는 **80.3%**의 mIoU 를 달성하여 트랜스포머 기준 (80.4%) 을 능가했습니다. (트랜스포머 점수는 80.4% 이지만, 텍스트는 RelFlexformer 가 종종 이를 능가한다고 언급합니다. 구체적으로 nuScenes 에서 RelFlexformer + PointRoPE 는 81.2% 에 도달하여 트랜스포머의 80.4% 를 초과했습니다.)
- S3DIS 6-폴드 교차 검증에서 RelFlexformer 는 mIoU 격차를 퍼포먼스의 73.18% 에서 **76.25%**로 줄여 트랜스포머 (77.70%) 에 거의 근접했습니다.
RGB-D 분할 (NYU Depth v2, SUN RGB-D):
- DFormer 백본을 사용하여 RelFlexformer 는 NYU Depth v2 에서 **55.32%**의 mIoU 를, SUN RGB-D 에서 **51.04%**의 mIoU 를 달성하여 퍼포먼스 기준과 최근 제안된 STRING 방법을 모두 능가하면서도 STRING 의 파라미터 오버헤드를 피했습니다.

중요성 및 주장

이 논문은 RelFlexformer 가 최근의 다차원 인코딩 (STRING 등) 을 특수한 경우로 포함하는 통합 기하학적 연산자를 제공하며, 좌표 리프팅을 통해 조밀한 RGB-D 데이터로 부분 이차 효율성을 확장한다고 주장합니다.

주요 중요성은 효율적인 선형 어텐션과 표준 조밀한 어텐션 간의 정확도 격차를 해소하는 데 있습니다. 저자들은 NU-FFT 를 통한 기하학적 변조 프레임워크를 구축함으로써, 커널화된 어텐션의 계산적 이점을 희생하지 않고 광범위한 적분 가능 RPE 함수 계열을 통합할 수 있다고 주장합니다. 이는 이전에 표준 조밀한 어텐션의 이차 비용으로 병목되었던 대규모 불규칙 점구름을 처리하기 위한 매우 확장 가능한 아키텍처로 RelFlexformer 를 확립합니다. 결과는 적절한 기하학적 변조가 장착된 경우 효율적인 어텐션 메커니즘이 조밀한 트랜스포머의 성능을 달성하고 때로는 능가할 수 있음을 시사하며, 지연 시간과 메모리가 중요한 제약 조건인 실제 3D 인식 작업에서 실행 가능하게 만듭니다.