Superposition Is Not Necessary: A Mechanistic Interpretability Analysis of Transformer Representations for Time Series Forecasting

이 논문은 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

핵심 질문: 시계열 트랜스포머는 '슈퍼히어로'가 되어야 할까요?

미래를 예측하도록 설계된 매우 강력하고 복잡한 기계 (트랜스포머) 가 있다고 상상해 보세요. 언어 (에세이 작성이나 AI 와 대화 등) 의 세계에서는 이러한 기계들이 **중첩 (Superposition)**이라는 초능력을 가진 것으로 유명합니다.

초능력 비유:
100 가지 다른 도구를 보관해야 하는 작은 방 (컴퓨터의 메모리) 을 상상해 보세요.

• 일반적인 방식: 도구 하나당 하나씩 진열할 수 있는 100 개의 선반이 있는 큰 방이 필요합니다.
• 중첩 방식: 도구들을 무질서하게 쌓아 올립니다. 방은 작지만, 기계가 매우 똑똑하기 때문에 도구들이 섞이지 않고도 그 더미에서 필요한 정밀한 나사못이나 망치를 '읽어' 정확히 꺼낼 수 있습니다. 이를 통해 기계는 매우 적은 공간으로도 복잡한 작업을 수행할 수 있습니다.

언어 모델에서 이러한 '쌓기' (중첩) 는 필수적입니다. 이것이 바로 복잡한 문장을 이해하는 방식입니다.

논쟁:
최근 과학자들은 시계열 예측 (주식 가격, 전력 사용량, 교통량 등 예측) 의 경우, 매우 단순하고 '바보 같은' 기계 (DLinear 라는 선형 모델) 가 이러한 복잡한 트랜스포머만큼 잘 작동한다는 것을 발견했습니다.

• 질문: 복잡한 트랜스포머는 과잉일 뿐일까요? 이 작업에 '초능력' (중첩) 을 실제로 사용하는지, 아니면 단순히 복잡해 보이는 척하는 것일까요?

저자들이 한 일: 'X 선' 검사

저자들은 인기 있는 트랜스포머 모델인 PatchTST의 뇌 내부에서 실제로 무슨 일이 일어나고 있는지 확인하기 위해 '기계론적 X 선' 검사를 실시했습니다. 이를 위해 **희소 오토인코더 (SAE)**라는 도구를 사용했습니다.

SAE 비유:
트랜스포머의 뇌를 재료를 다지는 바쁜 주방으로 상상해 보세요. SAE 는 저자들이 가져온 새로운 세트의 전문 칼과 카운터입니다.

1. 그들은 주방에 더 많은 카운터를 제공했습니다 (사전 크기 확장).
2. 만약 셰프들이 모든 재료를 넣는 데 (중첩) 정말로 애를 먹고 있었다면, 카운터를 더 많이 주면 재료를 더 잘 정리할 수 있게 되어 음식 (예측) 의 맛이 좋아져야 합니다.
3. 만약 셰프들이 이미 정리되어 있고 추가 공간이 필요하지 않다면, 카운터를 더 추가해도 아무런 변화가 없을 것입니다.

발견: 주방은 이미 정리되어 있었습니다

결과는 놀랍고 명확했습니다.

1. '작은 방'이 충분했습니다
먼저, 이 작업을 수행하려면 거대한 트랜스포머가 필요하지 않다는 것을 증명했습니다. 단일 레이어 트랜스포머 (매우 작고 단순한 버전) 가 거대하고 깊은 버전만큼 잘 작동했습니다.

• 비유: 거대한 산업용 오븐 대신 작은 1 구 스토브로 완벽한 케이크를 구울 수 있다는 것을 깨달은 것과 같습니다. 이 작업은 거대한 장비를 필요로 하지 않습니다.

2. 더 많은 공간을 추가해도 아무런 변화가 없었습니다
모델에 더 많은 '카운터'를 제공했을 때 (사전을 일반 크기의 0.5 배에서 4.0 배로 확장), 예측 성능은 개선되지 않았습니다.

• 결과: 평균 성능 변화는 미미한 0.214% (거의 0) 였습니다.
• 교훈: 모델은 공간을 절약하기 위해 도구를 '쌓지' 않았습니다. 중첩을 사용하지 않았습니다. 이미 데이터를 정리하는 단순하고 직접적인 방식을 사용하고 있었습니다.

3. '죽은' 카운터
주방을 확장했을 때, 새로운 카운터 대부분이 비어있었습니다 (비활성 상태).

• 비유: 주방의 거대한 새 동을 지었지만, 셰프들은 결코 그곳에 들어가지 않았습니다. 그들은 원래 작은 방에서 계속 일했습니다. 이는 해금될 준비가 된 숨겨진 압축된 복잡성이 존재하지 않았음을 증명합니다.

4. 끈을 당겨도 기계가 움직이지 않았습니다
마지막으로, 그들은 모델의 가장 활발한 부분 (주요 특징) 을 '찌르며' 이것이 결과를 통제하는지 확인해 보았습니다.

• 결과: 이러한 특징을 500% 증폭시켰음에도 예측은 거의 변하지 않았습니다.
• 교훈: 언어 모델에서는 특정 '뉴런'이 종종 특정 의미 (예: '은행'이라는 단어) 를 통제합니다. 하지만 여기서는 단일 특징이 예측의 '보스'인 것처럼 보이지 않았습니다. 작업은 복잡하게 조작하는 몇 개의 레버에 의해 통제되는 것이 아니라, 단순하게 분산되어 있었습니다.

결론: 왜 단순한 모델이 이기는가

이 논문은 시계열 예측에 중첩이 필요하지 않다고 결론 내립니다.

• 이유: 표준 시계열 (날씨나 전력 등) 에 사용하는 데이터는 실제로 매우 단순합니다. 언어가 가진 복잡하고 숨겨진 '쌓인' 패턴을 가지고 있지 않습니다.
• 비유: 시계열 예측에 복잡한 트랜스포머를 사용하는 것은 스위스 아미 나이프로 빵을 자르는 것과 같습니다. 할 수는 있지만, 단순한 버터 나이프 (DLinear) 가 똑같이 잘 해내며, 스위스 아미 나이프는 톱이나 나사 드라이버 기능을 전혀 사용하지 않습니다.

왜 이것이 중요한가:
이것은 왜 단순한 선형 모델이 시계열 경쟁에서 복잡한 AI 모델을 계속 이기는지 설명합니다. AI 가 '나쁜' 것이 아니라, 작업이 너무 단순하여 AI 의 화려한 '중첩' 트릭이 필요하지 않기 때문입니다. 데이터가 복잡함을 요구하지 않으므로 단순한 모델이 승리합니다.

이 논문이 말하지 않는 것

• 트랜스포머가 영원히 쓸모없다고 말하지 않습니다.
• 모든 유형의 시계열 (복잡한 의료 데이터나 혼란스러운 금융 시장 등) 에 적용된다고 말하지 않습니다. 저자들은 특히 이 발견이 논쟁에서 사용된 표준 벤치마크에 적용된다고 명시했습니다. 만약 진정으로 복잡한 데이터를 발견한다면, 트랜스포머는 여전히 초능력이 필요할 수 있다고 제안합니다.
• 어떤 시계열 모델도 중첩을 사용하지 않는다고 주장하지 않습니다. 표준 작업에서 경쟁력 있는 성능을 내기 위해서는 그것이 필요하지 않을 뿐입니다.

간단히 말해: 저자들은 복잡한 시계열 AI 의 엔진을 들여다보았으며, 그것이 단순하고 평탄한 트랙에서 작동하고 있음을 발견했습니다. 경주에서 승리하기 위해 '중첩'이라는 초능력이 필요하지 않기 때문에, 단순한 차 (선형 모델) 들이 똑같이 빠릅니다.