🤖 machine learning

XCTFormer: Leveraging Cross-Channel and Cross-Time Dependencies for Enhanced Time-Series Analysis

XCTFormer 는 토큰 간 교차 관계 어텐션 메커니즘을 통해 교차 시간적 및 교차 채널 의존성을 명시적으로 포착하는 새로운 트랜스포머 기반 모델로, 특히 결측치 보충 작업에서 다변량 시계열 작업에 있어 최첨단 성능을 달성합니다.

원저자: Israel Zexer, Omri Azencot

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Israel Zexer, Omri Azencot

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

날씨를 예측하려 한다고 상상해 보세요. 하지만 온도계 하나만 보는 대신, 온도계로 가득 찬 방과 함께 기압계, 풍속 센서, 습도계까지 모두 가지고 있다고 가정해 봅시다. 데이터 과학의 세계에서는 이를 다변량 시계열 분석이라고 부릅니다. 목표는 이 모든 서로 다른 정보 '채널'을 함께 살펴봄으로써 현재 상황을 이해하고 미래를 예측하는 것입니다.

오랜 기간 동안 전문가들은 최상의 예측을 위해서는 모든 센서가 서로 어떻게 소통하는지 이해하는 모델이 필요하다고 믿었습니다. 바람이 세지면 온도가 떨어질 수 있고, 습도가 상승하면 비가 올 수 있습니다. 이러한 것들이 바로 의존성입니다.

그러나 이 분야에서 최근의 놀라운 발견은, 이러한 '대화'를 무시하는 (각 센서를 마치 방 하나에 혼자 있는 것처럼 취급하는) 모델이 전체 그룹을 들으려 노력하는 모델들보다 종종 더 좋은 성능을 보인다는 것이었습니다. 마치 합창단이 화음을 맞추려 노력하는 것보다 솔로 가수가 더 정확한 음을 잘 내는 것과 같은 발견이었습니다.

이 논문의 저자들인 XCTFormer는 이렇게 묻습니다: "왜 합창단은 실패하는 것일까? 그들이 잘못된 음을 노래하고 있기 때문일까, 아니면 서로를 혼란스럽고 복잡하게 들으려 하기 때문일까?"

그들은 이전의 '합창단' 모델들이 소음 많은 방에서 대화 내용을 듣기 위해 오직 음량만 듣는 것처럼 간접적으로 관계를 이해하려 했다고 주장합니다. 그들은 미묘하고 직접적인 연결고리를 놓쳤습니다.

해결책: '토큰 대 토큰' 수퍼 청자

저자들은 XCTFormer를 소개합니다. 이는 모든 데이터 조각을, 시간의 모든 순간에 걸쳐 듣고, 그것이 다른 모든 조각과 어떻게 관련되는지 정확히 이해하도록 설계된 새로운 모델입니다.

다음은 일상적인 비유를 사용하여 그들이 이를 구축한 방법입니다:

1. 데이터 처리: 이야기를 장면으로 나누기

센서의 전체 역사를 한 번에 보는 대신, 이 모델은 데이터를 **패치 (patches)**라고 불리는 작은 조각으로 잘라냅니다. 이는 긴 영화를 짧고 관리하기 쉬운 장면으로 자르는 것과 같습니다. 이를 통해 모델은 전체 영화에 압도되지 않고 국소적인 패턴 (예: 온도의 급격한 상승) 에 집중할 수 있습니다.

2. 핵심 엔진: CRAB (교차 관계 어텐션 블록)

이는 작전의 두뇌입니다. 표준 AI 모델에서 '어텐션 (attention)' 메커니즘은 데이터의 가장 중요한 부분에 비추는 스포트라이트와 같습니다. 하지만 보통 이 스포트라이트는 더 밝게 비추는 것 (양의 가중치) 만 가능합니다.

XCTFormer 의 CRAB은 다음과 같은 이유로 특별합니다:

무시할 대상을 학습합니다: 이는 '학습 가능한 마스크'를 사용합니다. 지휘자가 오케스트라에 더 크게 연주하라고만 지시하는 것이 아니라, 방해가 되는 특정 악기에 대해서는 더 작게 연주하거나 아예 멈추라고 지시하는 것처럼 상상해 보세요. 이는 모델이 가장 중요한 관계에 집중하도록 도와줍니다.
'부정적' 관계를 이해합니다: 표준 모델은 "이것이 중요하다!" (양수) 라고만 말할 수 있습니다. XCTFormer 는 또한 "이것이 올라가면, 저것은 반드시 내려가야 한다!" (음수) 라고도 말할 수 있습니다. 이는 다른 모델들이 놓치는 복잡한 '시소' 관계를 포착할 수 있도록 스포트라이트를 역방향으로 비추게 하는 새로운 수학 기법 ( AbsAct라고 함) 을 사용합니다.

3. 확장성 플러그인: DeCoP (압축 도우미)

하지만 함정이 하나 있습니다. 1,000 개의 센서와 1,000 개의 시간 단계를 가진 경우, 그들 사이의 모든 연결을 확인하면 거대한 연결망 (100 만 개의 연결!) 이 생성됩니다. 이는 컴퓨터가 처리하기에는 너무 무겁습니다.

이를 해결하기 위해 그들은 DeCoP를 추가했습니다. 이는 요약기와 같습니다. 1,000 페이지 분량의 책에서 연결점을 찾기 위해 모든 페이지를 읽는 대신, DeCoP 는 책을 읽고 중요한 줄거리만 유지하고 불필요한 내용은 버리는 50 페이지 분량의 요약본을 작성합니다. 이를 통해 모델은 가장 중요한 정보를 유지하면서도 거대한 데이터셋을 처리할 수 있게 되어 충돌 없이 작동할 수 있습니다.

그들이 발견한 것은 무엇인가?

저자들은 새로운 '수퍼 청자'를 세 가지 주요 작업에서 테스트했습니다:

예측 (미래 예측): 전력 사용량과 교통량과 같은 것들을 예측해 보았습니다. XCTFormer 는 매우 잘 수행되었으며, 특히 모델이 '가짜' 신호 (방해 요소) 를 무시할 수 있는지 확인하기 위해 설계된 까다로운 합성 테스트에서 기존 최우수 모델들을 종종 능가했습니다.
보간 (빈칸 채우기): 센서가 고장 나고 데이터 전송을 멈춘다고 상상해 보세요. 다른 센서들을 기반으로 해당 센서가 어떻게 말했어야 했는지 모델이 추측할 수 있을까요? XCTFormer 는 여기서 챔피언이었습니다. 두 번째로 좋은 모델보다 약 20% 적은 오류로 누락된 데이터를 채웠습니다.
이상 탐지 (이상한 것 발견): 모델이 기계가 이상하게 행동할 때 이를 발견할 수 있을까요? XCTFormer 는 이 부분에서 매우 뛰어났으며, 서버 데이터와 정수 시스템에서 비정상적인 패턴을 성공적으로 식별했습니다.

결론

이 논문은 이전 모델들이 데이터의 '그룹 대화'를 활용하지 못했던 이유는 너무 간접적으로 듣고 있었기 때문이라고 주장합니다. CRAB 엔진을 사용하여 모든 데이터 포인트의 관계를 다른 모든 포인트와 직접 듣는 모델을 구축하고, 이를 빠르게 유지하기 위해 청취 과정을 압축하는 DeCoP를 사용함으로써 그들은 최첨단 결과를 달성했습니다.

그들은 '합창단'을 올바르게 구축한다면—즉, 양수와 음수 관계를 모두 이해할 수 있는 올바른 도구를 제공한다면—결국 '솔로 가수'들을 능가할 수 있음을 증명했습니다.

기술 요약: XCTFormer

문제 제기

다변량 시계열 분석은 예측, 결측치 보간, 이상 탐지 등의 작업에 중요합니다. 실제 세계의 변수들은 종종 시간과 채널 간에 잠재적 의존성을 공유하지만, 최근 연구 결과 (예: Han et al., 2024) 는 이러한 채널 간 관계를 명시적으로 모델링하는 것이 성능을 향상시킨다는 가정에 도전했습니다. 대신, 변수들을 개별적으로 처리하는 채널 독립 (CI) 모델이 종종 채널 종속 (CD) 모델보다 우수한 성능을 보입니다. 저자들은 이를 모델 용량과 견고성 사이의 트레이드오프로 설명합니다. CD 모델은 의존성 포착 방식의 한계로 인해 잠재력을 완전히 발휘하지 못하며, 중요한 상호작용을 간과하거나 시간에 따라 변하는 의존성에 적응하지 못하는 간접 모델링 전략에 의존하는 경우가 많습니다.

방법론

이러한 한계를 해결하기 위해 저자들은 토큰 간 모든 쌍별 의존성을 시간과 채널에 걸쳐 명시적이고 직접적으로 모델링하도록 설계된 Transformer 기반의 채널 종속 프레임워크인 XCTFormer를 제안합니다. 아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

데이터 처리 단위:
- 입력 채널은 지역적 시간 패턴을 포착하기 위해 독립적으로 패치됩니다.
- 패치들은 토큰화 된 후 패치와 채널 차원을 따라 평탄화됩니다. 이는 Transformer 가 단일 단계에서 모든 쌍별 관계 (자기 지연, 채널 간 동기, 채널 간 지연, 시간 전방향) 에 주의를 기울일 수 있는 통합된 시퀀스를 생성합니다.
교차 관계 어텐션 블록 (CRAB):
- CRAB 는 표현력과 견고성을 향상시키기 위해 표준 Transformer 어텐션 메커니즘을 수정합니다.
- 학습 가능한 부울이 아닌 마스크: 이진 마스크 대신 CRAB 는 어텐션 점수에 요소별로 적용되는 학습 가능한 실수 마스크를 사용합니다. 이를 통해 모델은 학습된 중요도에 기반하여 의존성을 가중하고 어텐션 가중치의 부호를 제어할 수 있습니다.
- 부호화된 어텐션 활성화 (AbsAct): 표준 Softmax 를 대체하여 CRAB 는 값의 절대 합에 기반한 행 단위 정규화를 사용합니다. 이는 음수 어텐션 가중치를 허용하여 더 넓은 범위의 관계를 포착하는 모델의 능력을 높이는 동시에, 학습 안정성을 위해 필요한 유계 (bounded) 프로베니우스 노름을 유지합니다.
의존성 압축 플러그인 (DeCoP):
- 고차원 데이터셋에서 모든 쌍별 토큰을 모델링할 때 발생하는 2 차 메모리 및 계산 복잡도 ( $O(N^2)$ ) 를 해결하기 위해, DeCoP 를 선택적 모듈로 도입합니다.
- DeCoP 는 학습 가능한 변환을 사용하여 어텐션 행렬을 압축하여 시퀀스 길이에 대한 복잡도를 선형 ( $O(N)$ ) 으로 줄이면서 필수적인 의존성 구조를 유지합니다. DeCoP 가 활성화되면 직접적인 쌍별 구조가 더 이상 완전히 구체화되지 않으므로 CRAB 의 학습 가능한 마스크는 생략됩니다.

주요 기여

모델링 격차 식별: 이 논문은 현재 CD 방법들이 채널 간 및 시간 간 의존성을 간접적으로 모델링하여 다변량 데이터의 잠재력을 완전히 실현하지 못함을 강조합니다.
XCTFormer 프레임워크: 토큰 간 접근 방식을 통해 모든 쌍별 의존성을 직접 모델링하는 범용 아키텍처입니다. 다음을 통합합니다:
- CRAB: 학습 가능한 중요도 인식 마스크와 부호화된 어텐션 활성화를 통해 표현력을 향상시킵니다.
- DeCoP: 학습 가능한 압축을 통해 고차원 데이터에서의 확장성 병목 현상을 완화합니다.
종합 평가: 모델은 여러 벤치마크에 걸쳐 세 가지 핵심 작업 (예측, 이상 탐지, 결측치 보간) 에서 평가되었으며, 강력한 베이스라인에 비해 일관된 개선 또는 경쟁력 있는 성능을 입증했습니다.

실험 결과

저자들은 ETT 하위 집합, Weather, Electricity, Traffic 및 다양한 이상 탐지 데이터셋 (SMD, SWaT, PSM, MSL, SMAP) 을 포함한 표준 벤치마크에서 XCTFormer 를 평가했습니다.

결측치 보간: XCTFormer 는 최첨단 (SoTA) 성능을 달성하여 모든 데이터셋에서 두 번째로 좋은 방법보다 평균 MSE 기준 20.8% 및 MAE 기준 15.3% 더 우수한 성능을 보였습니다.
예측: 모델은 다양한 벤치마크의 10 개 평가 지표 중 8 개에서 두 번째로 좋은 성능을 달성했습니다. 허위 상관관계에 대한 견고성을 테스트하도록 설계된 합성 데이터셋 (목표가 지연된 교차 변수 신호에 의존하는 경우) 에서 XCTFormer 는 정확도 측면에서 두 번째로 높은 순위를 기록하면서도 상위 순위 베이스라인보다 훨씬 적은 파라미터와 FLOPs 를 사용했습니다.
이상 탐지: 모델은 경쟁력 있는 F1 점수를 달성하여 비정상 패턴을 식별하기 위한 효과적인 채널 간 의존성 포착을 시사합니다.
절대 연구: 구성 요소 (학습 가능한 마스크, 부호화된 활성화, 또는 통합된 시간/채널 모델링) 를 제거하면 성능이 일관되게 저하되어 제안된 아키텍처 선택의 필요성을 검증했습니다.

중요성 및 주장

이 논문은 XCTFormer 가 간접적 모델링에서 직접적이고 토큰 간 의존성 모델링으로 전환함으로써 다변량 시계열 데이터의 전체 모델링 잠재력을 실현하는 데 중요한 진전을 이루었다고 주장합니다.

잠재력 실현: 이 연구는 이전 CD 모델들의 저조한 성능이 채널 간 의존성 모델링의 본질적 어려움 때문이 아니라 기존 간접 전략의 비효율성 때문이라고 주장합니다.
견고성: 합성 실험을 통해 저자들은 그들의 접근 방식이 허위 상관관계에 대한 견고성을 보여주면서 유익한 교차 변수 신호를 방해 요소와 구별할 수 있음을 입증했습니다.
한계: 저자들은 통합된 토큰 간 어텐션이 토큰 수에 따라 2 차적으로 확장되어 대규모 데이터셋의 경우 DeCoP 가 필요함을 겸손하게 인정합니다. 또한 성능 향상이 모든 데이터셋에서 균일하지는 않으며, 방법의 효과성이 데이터의 근본적인 의존성 구조에 민감할 수 있음을 지적합니다.

결론적으로, 이 논문은 통합된 어텐션 메커니즘을 통해 채널 간 및 시간 간 상호작용의 전체 구조를 명시적으로 포착함으로써 XCTFormer 가 최근 채널 독립적 접근 방식을 선호하게 만든 용량 - 견고성 트레이드오프를 극복했다고 주장합니다.