🤖 machine learning

Rotary Masked Autoencoders are Versatile Learners

본 논문은 불규칙한 시계열을 포함한 다양한 모달리티에 걸쳐 효과적인 표현 학습을 가능하게 하되, 특수한 아키텍처 수정 없이 회전 위치 임베딩을 활용하는 다목적 아키텍처인 로터리 마스크 자동인코더(RoMAE)를 소개합니다.

원저자: Uros Zivanovic, Serafina Di Gioia, Andre Scaffidi, Martín de los Rios, Gabriella Contardo, Roberto Trotta

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Uros Zivanovic, Serafina Di Gioia, Andre Scaffidi, Martín de los Rios, Gabriella Contardo, Roberto Trotta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 책을 읽도록 설계된 초지능 로봇이 있다고 가정해 봅시다. 이 로봇은 단어가 특정 순서를 가진다는 것을 알고 있기 때문에 문장을 이해하는 데 놀라울 정도로 뛰어납니다. 예를 들어, "The cat sat(고양이가 앉았다)"와 "Sat the cat(앉았다 고양이)"는 서로 다릅니다. 이 로봇은 문장 속 각 단어가 어디에 위치하는지 추적하기 위한 특별한 시스템을 사용합니다.

이제 이 로봇에게 불규칙한 시계열 데이터를 이해하도록 가르치고 싶다고 상상해 보세요. 이는 비가 올 때만 보고서를 보내는 기상 관측소나, 심장 박동이 불규칙할 때만 심박수를 기록하는 심장 모니터와 같습니다. 데이터 포인트는 매 초와 같은 규칙적인 간격으로 들어오는 것이 아니라 무작위 시간에 들어옵니다.

기존의 표준 로봇은 여기서 혼란을 겪습니다. 이 로봇은 메트로놈과 같은 일정한 리듬을 기대하기 때문입니다. 불규칙한 데이터를 입력하면 로봇은 고장 나거나, 혼란을 처리하기 위해 복잡하고 맞춤형인 부품으로 대대적으로 수정되어야 합니다.

이제 **RoMAE(Rotary Masked Autoencoder)**가 등장합니다. 이 논문의 저자들은 어떤 맞춤형 "기어"나 특별한 수정 없이도 이러한 불규칙성을 처리할 수 있는 로봇의 새로운 버전을 구축했습니다. 그들이 어떻게 했는지 간단한 비유를 통해 설명해 보겠습니다.

1. "회전식" 나침반 (RoPE)

비결은 **회전식 위치 임베딩(Rotary Positional Embedding, RoPE)**이라는 방법입니다.

과거의 방식: 로봇이 자를 사용하여 거리를 측정한다고 상상해 보세요. 만약 자에 1, 2, 3, 4 표시만 있다면 "1.5"나 "3.7"을 쉽게 측정할 수 없습니다. 연속적이고 정수가 아닌 숫자에 어려움을 겪습니다.
RoMAE 의 방식: 자 대신 로봇은 나침반을 사용합니다. 단순히 걸음을 세는 것이 아니라, 무언가의 "위치"에 대한 이해를 회전시킵니다.
- 데이터 포인트가 시간 10 에 발생하면 로봇은 내부 시야를 특정 각도로 회전시킵니다.
- 데이터 포인트가 시간 10.5 에 발생하면 약간 다른 각도로 회전시킵니다.
- 나침반이 정수뿐만 아니라 어떤 각도라도 가리킬 수 있기 때문에, 로봇은 연속적이고 불규칙한 시간을 완벽하게 이해할 수 있습니다. 로봇에게 "이것은 시계열 데이터다"라고 알려줄 필요도 없습니다. 그저 데이터의 기하학적 구조를 이해할 뿐입니다.

2. "눈가리개" 게임 (Masked Autoencoder)

로봇은 "눈가리개"라는 게임을 통해 학습합니다.

준비: 로봇에게 사진(또는 데이터 스트림) 을 보여주지만, 그중 75% 를 눈가리개(마스크) 로 가립니다.
과제: 로봇은 보이는 부분을 바탕으로 눈가리개 아래에 무엇이 있는지 추측해야 합니다.
결과: 불규칙한 데이터의 누락된 부분을 채우려고 시도함으로써, 로봇은 데이터가 어떻게 행동하는지에 대한 근본적인 패턴을 학습합니다. 이 게임에 능숙해지면 눈가리개를 제거하고 분류나 예측과 같은 실제 작업에 사용할 수 있습니다.

3. "범용 어댑터"

일반적으로 로봇이 이미지를 처리하도록 하려면 하나의 뇌를 구축합니다. 오디오를 처리하도록 하려면 다른 뇌를 구축합니다. 불규칙한 시간을 처리하도록 하려면 세 번째로 매우 복잡한 뇌를 구축합니다.

RoMAE 는 범용 어댑터입니다.

저자들은 이를 이미지(사진 등), 오디오(사운드 클립 등), 불규칙한 시계열(기상 관측소나 심장 모니터 등) 에서 테스트했습니다.
주장: 그들은 RoMAE 가 이러한 작업 중 어느 것에 대해서도 뇌 구조를 변경할 필요가 없다는 사실을 발견했습니다. RoMAE 는 이미지와 오디오에서 기존 최우수 모델만큼 잘 수행했을 뿐만 아니라, 다른 모델들이 어려움을 겪던 불규칙한 시계열 작업에서도 압도적인 성과를 거두었습니다. 이는 전용 셰프 칼만큼이나 날카롭지만, 나사 드라이버와 병따개도 갖춘 스위스 아미 나이프와 같습니다.

4. "앵커" 트릭 ([CLS] 토큰)

이 논문의 흥미로운 발견 중 하나는 로봇이 "절대적" 시간과 "상대적" 시간을 어떻게 구분하는지에 관한 것입니다.

상대적 시간: "이 사건은 저 사건보다 5 분 뒤에 발생했다."
절대적 시간: "이 사건은 정확히 오후 2 시에 발생했다."

저자들은 데이터 시작 부분에 특별한 "앵커" 토큰( [CLS] 토큰이라고 함) 을 추가하면 로봇이 절대적 시간을 파악할 수 있다는 사실을 발견했습니다. 이 앵커가 없으면 로봇은 사건 간의 거리만 알지, 시계에서 어디에 위치하는지는 알지 못합니다.

비유: 어두운 방에 있다고 상상해 보세요. "10 걸음 앞으로 걸어갔다"는 사실만 안다면 집 안의 위치를 알 수 없습니다. 하지만 "문에서 10 걸음 떨어져 있다"고 알려주는 손전등(앵커) 이 있다면 정확한 위치를 알 수 있습니다.

그들이 증명한 것은 무엇인가?

이 논문은 이것이 질병을 치료하거나 내일 주가를 예측할 것이라고 주장하지 않습니다. 대신 그들은 실험을 통해 세 가지 구체적인 사실을 증명했습니다.

다재다능함: RoMAE 는 특별한 구조 변경 없이 이미지, 오디오, 그리고 불규칙하고 messy 한 시계열 데이터에서 탁월하게 작동합니다.
성능: 어려운 천문학 과제 (우주에서 온 불규칙한 광곡선을 다루는 ELAsTiCC 데이터셋) 에서 RoMAE 는 해당 작업을 위해 특별히 설계된 전문 모델들을 능가했습니다.
앵커 효과: 그들은 수학적으로 증명하고 실험적으로 보여주었습니다. 특별한 "앵커" 토큰이 없으면 로봇은 절대적 위치를 알 수 있는 능력을 상실하여 특정 작업이 더 어려워진다는 사실입니다.

함정 (한계점)

이 논문은 단점에 대해 솔직합니다.

속도: 로봇이 데이터를 볼 때마다 모든 단일 데이터 조각에 대해 이러한 "나침반 회전"을 계산해야 하기 때문에, 미리 계산된 자를 사용하는 단순한 모델보다 약간 느립니다 (약 13% 느림).
길이: 이 유형의 모든 표준 로봇과 마찬가지로, 한 번에 방대한 양의 데이터 (전체 소설이나 1 년 분량의 연속 비디오 등) 를 입력하려고 하면 매우 느려집니다.

요약하자면: 저자들은 회전하는 나침반을 사용하여 시간을 이해하는 "범용 학습자"를 구축했습니다. 이를 통해 로봇은 깨끗한 사진과 소리뿐만 아니라 불규칙하고 messy 한 데이터에서도 "눈가리개" 게임을 똑같이 잘 수행할 수 있게 되었으며, 이는 모두 맞춤형 뇌 없이 이루어졌습니다.

기술 요약: 회전식 마스킹 오토인코더 (RoMAE) 는 다재다능한 학습자입니다

문제 제기

불규칙한 시계열 데이터에 트랜스포머 아키텍처를 적용하는 것은 상당한 도전을 제기합니다. 자연어와 같은 이산 시퀀스를 위해 원래 설계된 표준 트랜스포머는 양자화된 위치 정보에 의존합니다. 이들은 건강, 금융, 천체물리학 등 분야에서 발견되는 불규칙하게 샘플링된 시계열을 모델링하는 데 필수적인 연속 위치 데이터를 네이티브로 지원하지 못합니다. 기존 솔루션들은 일반적으로 feedforward 레이어 변경과 같은 전문 아키텍처 수정이나 신경 ODE 와 같은 새로운 위치 임베딩을 필요로 하여, 계산 오버헤드와 방법론적 복잡성을 증가시킵니다. 또한, 트랜스포머를 불규칙 데이터로 확장하는 것은 종종 자연어 처리 (NLP) 와 컴퓨터 비전 (CV) 을 위해 개발된 표준 "생태계" 도구를 포기해야 함을 의미합니다.

방법론: 회전식 마스킹 오토인코더 (RoMAE)

저자들은 RoMAE를 제안합니다. 이는 작업별 아키텍처 전문화를 요구하지 않고 연속적인 다차원 위치 정보를 처리하기 위해 **회전식 위치 임베딩 (RoPE)**을 통합한 마스킹 오토인코더 (MAE) 프레임워크의 확장입니다.

핵심 구성 요소

N 차원 패치화 (Patchification): 입력 $x \in \mathbb{R}^{d_1 \times d_2 \times \dots \times d_D}$ 는 겹치지 않는 패치로 나뉩니다. 시간과 같은 불규칙한 차원의 경우, 패치당 균일한 데이터 포인트를 보장하기 위해 패치 크기는 1 이어야 합니다. 이러한 패치들은 시퀀스로 평탄화되어 임베딩 차원 $d_{model}$ 로 투영됩니다.
연속 축 방향 RoPE: 이산 정수를 위해 설계된 표준 RoPE 와 달리, RoMAE 는 연속 실수 값 위치 ( $m \in \mathbb{R}$ $m \in R$ ) 를 가진 RoPE 를 활용합니다. 이 모델은 입력 값과 함께 위치 벡터 시퀀스 $s = [s_1, \dots, s_k]$ $s = [s_{1}, \dots, s_{k}]$ 를 받아들입니다.
- 축 방향 적용: 시간과 채널 인덱스와 같은 다차원 위치를 인코딩하기 위해, 모델은 축 방향 RoPE를 사용하여 임베딩 공간을 하위 공간으로 분할하며, 각 하위 공간은 특정 차원을 인코딩합니다.
- 고차원 처리: 차원 수 $D$ 가 많을 때 $d_{model}$ 을 나누는 계산 비용을 피하기 위해, 저자들은 차원 인덱스를 저장하기 위해 하나의 차원을 선택적으로 예약하여 유효한 위치 차원을 줄입니다.
아키텍처: RoMAE 는 MAE 의 비대칭 인코더 - 디코더 구조를 따릅니다.
- 인코더: 표준 트랜스포머 인코더 (SiLU 활성화 함수와 RMSNorm 사용) 가 마스크되지 않은 패치를 처리합니다.
- 디코더: 더 작은 트랜스포머 디코더가 마스크된 패치를 재구성합니다.
- 사전 학습: 패치의 일정 비율이 마스크됩니다. 디코더는 원래 패치 값을 예측합니다.
- 하류 작업: 디코더는 폐기되고, 인코더의 중간 표현이 분류나 회귀에 사용됩니다.

위치에 대한 이론적 통찰

이 논문은 상대적 위치 임베딩 방법인 RoPE 와 [CLS] 토큰 간의 상호작용을 조사합니다:

상대적 vs 절대적: 학습된 [CLS] 토큰이 없으면 RoMAE 인코더는 오직 상대적 위치에 의존하므로 번역 불변성 (translation-invariant) 을 가집니다.
절대 위치의 재구성: 저자들은 (Proposition 4.2) 학습된 [CLS] 토큰을 포함하면 모델이 절대 위치를 재구성할 수 있음을 증명합니다. [CLS] 토큰은 "앵커" 역할을 하여, 모델이 전체 시퀀스의 맥락에서 RoPE 의 순수한 상대적 속성을 효과적으로 깨뜨리며 임의의 임베딩의 절대 위치를 앵커에 대해 추론할 수 있게 합니다.

주요 기여

RoPE 를 통한 연속 위치 임베딩: 이 연구는 RoPE 의 유용성을 연속적이고 불균일한 타임스탬프로 확장하며, 앵커 (예: [CLS]) 가 사용되지 않는 한 학습된 입력 임베딩이 RoPE 의 상대적 거리 보장을 무효화할 수 있음을 보여줍니다.
RoMAE 프레임워크: 이미지와 오디오에서의 표준 성능을 유지하면서 불규칙한 다변량 시계열을 네이티브로 처리하는 통합 아키텍처입니다. 이는 전문 시계열 아키텍처의 필요성을 제거합니다.
종합적인 실험 분석: 저자들은 네 가지 다른 모달리티와 작업에 걸쳐 RoMAE 를 검증합니다:
- 불규칙하게 샘플링된 다변량 시계열 분류.
- 이미지 분류.
- 불규칙하게 샘플링된 시계열 보간.
- 오디오 분류.

실험 결과

이 논문은 최첨단 (SOTA) 전문 모델들과 RoMAE 를 비교하여 여러 벤치마크에 대한 결과를 보고합니다:

불규칙 시계열 분류 (ELAsTiCC 챌린지): DESC ELAsTiCC 데이터셋 (천체 광도 곡선) 에서 RoMAE-tiny 는 전문 ATAT 아키텍처를 능가했습니다. RoMAE 는 (알림 마스크 없이) F-점수 0.8029를 기록하여 ATAT 의 0.6270보다 우수했으며, 이는 일반 모델이 어려운 데이터셋에서 전문 모델을 능가할 수 있음을 보여줍니다.
이미지 분류 (Tiny ImageNet): RoPE 를 사용한 RoMAE 는 절대 위치 임베딩을 사용한 MAE 와 비교할 수 있거나 약간 더 나은 성능을 보였으며, CV 분야에서의 다재다능함을 확인시켰습니다.
오디오 분류 (ESC-50): AudioSet-20k 와 Librispeech 에서 사전 학습된 RoMAE-small 은 **84.7%**의 정확도를 달성하여 동일한 데이터셋으로 학습된 SSAST 모델 (82.2%) 을 능가했습니다.
보간 작업:
- 나선형 (Spirals): RoMAE 는 이전 최선 (ContiFormer) 보다 MSE 에서 한 자릿수 (order of magnitude) 만큼 개선되었습니다.
- 합성 및 PhysioNet: RoMAE 는 단변량 및 다변량 임상 데이터에서 경쟁력 있는 MSE 결과를 달성했으며, 희소 관측을 처리하는 데 있어 HeTVAE 및 Latent ODE 와 같은 전문 모델을 종종 능가했습니다.
위치 재구성: 실험은 [CLS] 토큰이 있는 모델이 거의 0 에 가까운 평균 제곱 오차 (MSE) 로 절대 위치를 재구성할 수 있는 반면, 없는 모델은 실패함 (MSE > 200) 을 확인했습니다.

중요성과 주장

이 논문은 RoMAE 가 표준 트랜스포머 응용 (NLP, CV) 과 불규칙 시계열 분석 간의 격차를 해소할 수 있는 다재다능한 학습자라고 주장합니다.

통합 프레임워크: 강력한 성능을 위해 불규칙 시계열에 전문 아키텍처가 반드시 필요한 것은 아니며, 연속 RoPE 로 강화된 표준 트랜스포머 방법으로 충분함을 보여줍니다.
데이터 효율성: RoMAE 는 소규모 데이터셋 (수백 개의 샘플) 에서도 강력한 성능을 보이며, ELAsTiCC 와 같은 수백만 개의 데이터셋으로 확장 가능하여 사전 학습의 이점을 강조합니다.
이론적 통찰: 이 연구는 RoPE 의 "장기 감쇠" 속성이 기능에 필수적이지 않다는 경험적 증거를 제공하며, RoPE 가 절대 위치 재구성을 지원할 수 있는 조건을 명확히 합니다.
한계: 저자들은 연속 RoPE 가 순방향 통과 간 주파수를 캐시할 수 없기 때문에 계산 오버헤드 (양자화된 RoPE 보다 약 13% 느림) 를 수반한다고 인정합니다. 또한 BERT 스타일 모델과 마찬가지로 RoMAE 는 분포 외 (out-of-distribution) 시간 창을 포함하는 외삽 작업에는 적합하지 않습니다.

결론적으로, RoMAE 는 연속 시간 보간 및 표현 학습을 위한 작업 중립적 기준을 제공하며, "파운데이션 모델" 접근 방식이 맞춤형 아키텍처 변경 없이 불규칙하고 다차원적인 데이터를 다루는 과학 분야로 성공적으로 확장될 수 있음을 시사합니다.