🤖 machine learning

PLS in the Mirror of Self-Attention

본 논문은 부분최소제곱법 (PLS) 을 선형화된 자기어텐션 메커니즘으로 재해석하여 신경망 패러다임 내에서 연구할 수 있도록 제안하며, PLS 의 차원 축소 기능이 향상된 학습을 위해 자기어텐션이 본질적으로 차원 정규화를 내포함을 시사합니다.

원저자: Jiangsheng (Jason), You

게시일 2026-05-28

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Jiangsheng (Jason), You

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 복잡한 이야기를 이해하도록 가르치려 한다고 상상해 보세요. 당신은 두 개의 큰 정보 더미를 가지고 있습니다: 단서 더미 (이를 X라고 부르겠습니다) 와 결과 또는 답변 더미 (이를 Y라고 부르겠습니다). 당신의 목표는 단서가 어떻게 답변으로 이어지는지 파악하는 것입니다.

Jiangsheng (Jason) You 가 쓴 이 논문은 **부분최소제곱법 (Partial Least Squares, PLS)**이라는 오래된 통계 도구를, AI 챗봇에서 사용되는 현대적이고 첨단적인 뇌 메커니즘인 **자기주의 (Self-Attention)**와 비교함으로써 바라보는 교묘한 방식을 제안합니다.

간단한 비유를 사용한 해설은 다음과 같습니다:

1. 구식 방식: "매칭 게임"으로서의 PLS

전통적인 방법 (PLS) 에서, 당신은 단서 (X) 로 가득 찬 어수선한 방과 별도의 답변 (Y) 더미를 가지고 있다고 상상해 보세요.

문제: 단서들은 종종 뒤섞여 있거나 동일한 정보를 반복합니다 (이를 "공선성"이라고 합니다).
해결책: PLS 는 P와 Q라는 행렬로 수학적으로 표현되는 특별한 "필터"나 "렌즈"를 찾아내려 합니다. 당신은 이 렌즈들을 통해 바라볼 수 있습니다.
목표: 이 렌즈들을 통해 바라볼 때, 필터링된 단서 (T) 와 필터링된 답변 (U) 이 가능한 한 완벽하게 일치해야 합니다. 수학은 이 두 개의 필터링된 더미 사이의 "포옹" (공분산) 을 최대화하려 합니다.
결과: 일단 렌즈가 찾아지면, 필터링된 단서만 바라보아도 답변을 예측할 수 있습니다. 이는 그림자를 만드는 물체의 그림자가 완벽하게 일치하는 특정 각도를 찾는 것과 같습니다.

2. 새로운 방식: "스마트 스포트라이트"로서의 자기주의

이제 현대 AI (트랜스포머) 가 작동하는 방식을 살펴보세요. 이는 **자기주의 (Self-Attention)**라는 메커니즘을 사용합니다.

과정: AI 는 입력된 단서를 세 가지 버전으로 변환합니다: 쿼리 (Query)(우리가 무엇을 찾고 있는가?), 키 (Key)(우리는 무엇을 가지고 있는가?), 그리고 값 (Value)(실제 데이터).
마법: AI 는 단서 위에 "스포트라이트"를 비춥니다. "이 단서가 저 단서와 얼마나 관련이 있는가?"라고 묻습니다. 이는 관계의 지도를 만들고, 그 지도를 사용하여 데이터를 섞습니다.
논문의 통찰: 저자는 이 "스포트라이트" (자기주의) 뒤에 있는 수학이 "렌즈" (PLS) 뒤에 있는 수학과 매우 유사하다는 점을 발견했습니다.
- PLS 에서는 최적의 매칭을 찾기 위해 데이터를 투영합니다.
- 자기주의에서는 최적의 관계를 찾기 위해 데이터를 투영합니다.
- 논문은 PLS 가 본질적으로 자기주의의 "선형화된" (단순화되고 직선적인) 버전이라고 제안합니다.

3. 대박 반전: 스크립트 뒤집기

보통 사람들은 PLS 를 숨겨진 패턴을 찾는 방법으로 생각합니다. 하지만 이 논문은 스크립트를 뒤집습니다.

새로운 관점: 저자는 단서와 답변 사이의 "최적의 매칭"을 찾는 것뿐만 아니라, PLS 를 처음부터 **회귀 문제 (예측 문제)**로 봐야 한다고 제안합니다.
비유: 라디오를 튜닝하는 것과 같습니다.
- 구식 관점: "정적과 음악이 가장 많이 겹치는 주파수를 찾아봅시다."
- 새로운 관점 (논문의 주장): "정적을 최소화하면서 음악이 듣고 싶은 노래와 정확히 들리도록 라디오를 튜닝해 봅시다."
이 방식으로 수학을 다시 작성함으로써, 저자는 PLS 가 신경망이 사용하는 동일한 "경사 하강법" (단계별 학습 과정) 을 사용하여 해결될 수 있음을 보여줍니다.

4. 이것이 왜 중요한가? (논문에 따르면)

논문의 이 연결이 우리에게 알려주는 바에 대해 두 가지 주요 지점을 제시합니다:

PLS 는 신경망이다: PLS 를 단순화된 자기주의로 봄으로써, 우리는 이미 AI 훈련을 위해 가지고 있는 강력한 도구들을 사용하여 PLS 를 연구할 수 있습니다.
자기주의는 필터이다: PLS 가 예측을 위해 데이터의 크기를 줄이는 (차원 축소) 데 탁월하다면, PLS 와 유사한 자기주의 또한 학습을 쉽게 만들기 위해 데이터를 정규화하거나 정리하는 숨겨진 작업을 수행하고 있어야 합니다. 이는 단순히 관계를 바라보는 것뿐만 아니라, 어수선함을 정리하는 것입니다.

요약

이 논문은 수학적인 "아하!" 순간입니다. **"옛날 방식의 결과 예측 방법 (PLS) 은 사실 현대 AI 에서 사용되는 세련된 '어텐션' 메커니즘의 더 간단하고 직선적인 버전일 뿐이다"**라고 말합니다.

이 사실을 깨달음으로써, 우리는 AI 가 "어텐션"을 사용할 때, 통계학자들이 수십 년간 PLS 로 해왔던 것과 동일한 데이터 정리 및 조직화를 비밀리에 수행하고 있음을 이해할 수 있습니다. 논문은 PLS 의 수학을 신경망의 세계에 완벽하게 들어맞도록 다시 쓰는 새로운 방식을 제안하며, 이를 단순한 패턴 찾기 도구가 아닌 직접적인 예측 도구로 취급합니다.

기술적 요약: 자기주의의 거울 속 PLS

문제 제기

이 논문은 다변량 데이터의 높은 공선성을 처리하기 위한 고전적 통계 방법인 부분최소제곱법 (PLS) 과 특히 트랜스포머 아키텍처를 포함한 현대 신경망 패러다임 사이의 이론적 단절을 다룹니다. PLS 는 전통적으로 예측변수 ( $X$ ) 와 반응변수 ( $Y$ ) 의 잠재 투영 간의 공분산을 최대화하는 제약된 최적화 문제로 공식화되지만, 저자는 PLS 를 자기주의 (self-attention) 메커니즘의 언어로 재해석하고자 합니다. 핵심 문제는 PLS 를 자기주의의 선형화된 형태로 볼 수 있음을 입증하여 PLS 를 딥러닝의 관점에서 연구할 수 있게 하는 동시에, PLS 에 내재된 차원 축소 기능이 자기주의가 학습 개선을 위해 차원을 어떻게 정규화하는지에 대한 통찰을 제공할 수 있음을 시사하는 것입니다.

방법론

이 논문은 PLS 와 트랜스포머 아키텍처 간의 간극을 메우기 위해 수학적 재공식화 접근법을 사용합니다:

회귀 분석으로서의 PLS 재공식화:
전통적으로 PLS 는 투영된 행렬 $T$ 와 $U$ 간의 공분산의 트레이스를 최대화하는 것으로 정의됩니다 (식 2). 저자는 변환된 예측변수와 변환된 반응변수 간의 제곱 오차를 최소화하는 회귀 문제로 PLS 를 재구성하는 대체 비용 함수 (식 13) 를 제안합니다:
$\text{argmin}_{P,D,Q} \sum_{(X,Y) \in S} |XPD - YQ|^2$
여기서 직교성 제약 ( $P^T P = I, Q^T Q = I$ ) 을 따릅니다. 여기서 $XP $는 예측변수의 투영을 나타내고,$ TDQ^T$는 반응변수를 예측하기 위한 변환을 나타냅니다.
재구성 오차의 통합:
잠재 변수 추출과 회귀 정확도 사이의 균형을 맞추기 위해 저자는 $X$ 와 $Y$ 에 대한 매개변수화된 재구성 오차를 포함하는 일반화된 손실 함수 (식 14) 를 도입합니다:
$L(P, Q, D; \alpha, \beta) = \frac{1}{2} \left[ |XPD - YQ|^2 + \alpha |XPP^T - X|^2 + \beta |YQQ^T - Y|^2 \right]$
이 공식화는 신경망 훈련과 유사하게 경사 하강법을 사용하여 PLS 매개변수를 최적화할 수 있게 합니다.
자기주의로의 매핑:
논문은 PLS 분해와 트랜스포머의 자기주의 메커니즘 간의 구조적 유사성을 제시합니다.
- PLS: 공분산을 최대화하기 위해 $X$ 와 $Y$ 를 투영 $T=XP $와$ U=YQ$로 분해합니다.
- 자기주의: 가중치 행렬 ( $W_Q, W_K, W_V$ ) 을 통해 입력 $X$ 를 쿼리 (Query), 키 (Key), 값 (Value) 공간으로 투영하고 $\text{softmax}(QK^T/\sqrt{l})V$ 를 통해 주의를 계산합니다.
- 연결점: 저자는 PLS 투영 행렬 ( $P, Q$ ) 이 주의 메커니즘의 가중치 행렬에 해당한다고 주장합니다. 구체적으로, 잠재 성분을 통해 $X$ 로부터 $Y$ 를 예측하는 PLS 의 회귀 단계는 소스 특징 ( $X_f$ ) 과 타겟 특징 ( $Y$ ) 이 주의를 통해 상호작용하는 트랜스포머의 디코더 블록과 구조적으로 동등함이 입증됩니다.

주요 기여

선형화된 자기주의 해석: 이 논문은 PLS 를 선형화된 자기주의 메커니즘으로 해석하는 관찰을 제공합니다. 이러한 재해석은 PLS 를 신경망 패러다임 내에서 분석할 수 있게 하며, PLS 의 '로딩 행렬'이 주의 계층의 가중치 행렬과 유사하게 기능함을 시사합니다.
회귀 기반 PLS 공식화: 공분산 최대화에서 명시적인 제곱 오차 최소화 (식 13) 로 목적을 전환함으로써, 이 논문은 더 유연한 공식을 제시합니다. 이는 비직교 변환과 비선형 활성화 함수를 수용할 수 있으며, 경사 하강법을 통해 직접 해결 가능합니다.
차원 정규화 가설: 저자는 PLS 에 내재된 차원 축소와 예측변수 선택이 자기주의 메커니즘이 학습 개선을 기여하는 차원 정규화의 일부를 포함하고 있음을 시사할 수 있다고 제안하며, 두 방법론 간의 유사점을 제시합니다.

결과 및 주장

이 논문은 경험적 실험 결과, 데이터셋, 또는 성능 벤치마크를 제시하지 않습니다. 대신, '결과'는 이론적 관찰과 수학적 동등성입니다:

수학적 동등성: 저자는 제곱 오차 $|WX - Y|^2$ 를 최소화하는 것이 내적 $(WX) \cdot Y$ 를 최대화하는 것과 수학적으로 동등함을 입증하여, 회귀 기반 PLS 공식 (식 13) 을 공분산 기반 공식 (식 2) 과 연결합니다.
구조적 정렬: 논문은 소스와 타겟 주의를 혼합하는 트랜스포머의 디코더 블록이 PLS 의 회귀 단계 (식 5) 와 기호적으로 동등하다고 주장합니다.
최적화 경로: 재공식화된 손실 함수 (식 14) 는 PLS 에 종종 사용되는 전통적인 반복 알고리즘 (NIPALS 등) 과 달리 경사 하강법을 통해 해결 가능하다고 주장하며, 이를 표준 딥러닝 최적화 기법과 정렬시킵니다.

중요성과 범위

이 논문은 새로운 경험적 발견을 가진 포괄적인 연구가 아닌, '흥미로운 관찰'을 제공하는 '노트'로 자신을 위치시킵니다. 그 중요성은 고전적 통계 기법 (PLS) 과 현대 딥러닝 아키텍처 (트랜스포머) 의 개념적 통합에 있습니다.

저자는 겸손하게 이 관점이 PLS 를 "신경망 패러다임 내에서 연구"할 수 있게 하며, PLS 의 특성 (차원 축소) 이 자기주의의 메커니즘에 대한 통찰을 제공할 수 있다고 주장합니다. 이 논문은 새로운 응용이나 미래 함의를 고안하는 것을 명시적으로 피하며, 두 프레임워크 간의 수학적 매핑에 엄격히 초점을 맞춥니다. 이는 PLS 에서 발견된 차원 정규화가 자기주의 메커니즘에 잠재적으로 존재하는 기능임을 제안하는 이론적 교량 역할을 하며, 트랜스포머가 다변량 데이터를 처리하는 방식을 이해하기 위한 새로운 렌즈를 제공합니다.