🤖 machine learning

Improving Improved Kernel PLS

본 논문은 현대적인 하드웨어 병렬성과 수학적 등가성을 활용하여 수치적 정확도를 그대로 유지하면서도 상당한 속도 향상을 달성하는 개선된 커널 부분 최소 제곱(IKPLS) 알고리즘 내 $\mathbf{X}$ 회전 및 $\mathbf{Y}$ 로딩 계산을 위한 최적화된 전략을 소개하며, 이는 모두 오픈 소스 파이썬 패키지인 `ikpls`로 구현되었습니다.

원저자: Ole-Christian Galbo Engstrøm

게시일 2026-07-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ole-Christian Galbo Engstrøm

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 미스터리를 풀려는 탐정이라고 상상해 보십시오. 하지만 지문 대신 수천 개의 단서가 모두 뒤섞여 있습니다. 데이터 과학의 세계, 특히 케모메트릭스(chemometrics)라고 불리는 분야에서 과학자들은 종종 정확히 이와 같은 문제에 직면합니다. 그들은 '예측 인자'라는 거대한 단서들의 스프레드시트(예: 어떤 물질의 화학적 구성)와 '반응'이라는 더 작은 세트의 정답(예: 약의 효능)을 가지고 있습니다. 이 둘 사이의 연결 고리를 찾기 위해 그들은 부분 최소 제곱법(Partial Least Squares, PLS)이라는 수학적 도구를 사용합니다. PLS를 엉킨 단서들을 정렬하여 숨겨진 패턴을 찾아내는 아주 똑똑한 분류 기계라고 생각하십시오.

하지만 수백만 개의 단서를 분류하는 것은 시간이 오래 걸립니다. 기존의 오래된 방식은 마치 책 한 권 한 권을 집어 들고 "이게 여기에 들어가나?"라고 물으며 도서관을 정리하는 것과 같습니다. 정확하긴 하지만, 너무나도 느립니다. 몇 년 전, 과학자들은 이보다 더 빠른 버전인 '개선된 커널 PLS(Improved Kernel PLS, IKPLS)'를 발명했습니다. 이는 책을 하나씩 나르는 대신 컨베이어 벨트를 사용하여 책을 옮기는 것과 같습니다. 하지만 컨베이어 벨트조차 병목 현상이 생길 수 있습니다. 이 논문은 다음과 같이 질문합니다. "책이나 최종 배열을 바꾸지 않고도 컨베이어 벨트를 훨씬 더 빠르게 만들 수 있을까?" 대답은 '예'입니다. 저자들은 현대의 초고속 컴퓨터 칩을 사용할 때 특히 효과적인 두 가지 영리한 기술을 찾아냈습니다.

이 논문은 IKPLS 과정에서 엔진 역할을 하는 두 가지 특정 단계에 집중합니다. 첫 번째 단계는 'X 회전'을 계산하는 것으로(이를 R-단계라고 부릅시다), 이는 기본적으로 단서들이 서로 잘 맞도록 데이터를 기울이는 최적의 각도를 찾는 것입니다. 두 번째 단계는 'Y 로딩'을 계산하는 것(이를 Q-단계라고 부릅시다)으로, 각 정답에 얼마나 많은 가중치를 부여할지를 결정합니다. 저자들은 기존의 방식이 마치 블록을 하나 쌓고 다음 블록을 놓기 전에 기다리는 방식으로 블록 탑을 쌓는 것과 같다는 점을 깨달았습니다. 그들은 최종 형태를 전혀 바꾸지 않고도 전체 탑을 한 번의 거대하고 동기화된 동작으로 쌓을 수 있다는 것을 증ell했습니다.

R-단계의 경우, 저자들은 숫자를 하나씩 더하는 대신(느린 순차적 과정), '직접 평가(direct evaluation)' 전략을 사용할 수 있음을 보여주었습니다. 이는 팀원들이 무거운 상자를 줄지어 전달하는 대신, 모두가 동시에 상자의 자기 부분을 잡고 들어 올리는 것과 같습니다. 논문은 이 새로운 방법이 기존의 방법과 수학적으로 동일한 양의 계산 작업을 수행하지만, 현대의 컴퓨터 프로세서(스마트폰이나 게이밍 PC에 들어있는 것과 같은)가 병렬로 작동할 수 있게 함으로써 훨씬 더 빨리 끝난다는 것을 수학적으로 증명합니다. 표준 컴퓨터 프로세서에서 이 단계는 약 2배 빨라졌으며, 강력한 그래픽 카드(GPU)에서는 일부 사례에서 최대 100배까지 빨라졌습니다!

Q-단계는 더욱 흥미로운 마법이 일어나는 곳입니다. 저자들은 특정 조건 하에서 컴퓨터가 엄청난 양의 작업을 건너뛸 수 있는 비밀 통로를 발견했습니다. 만약 정답(Y)의 수가 단서(X)에 비해 적거나, 찾아야 할 정답이 하나뿐이라면, 기존 방식은 불필요한 계산을 많이 하고 있었던 것입니다. 이는 마치 국물 요리에 당근이 두 개만 필요한데도 정원을 통째로 다 다듬고 있는 요리사와 같습니다. 저자들은 요리사가 이전에 이미 다 다듬어 놓은 두 개의 당근을 그냥 가져다 쓰면 된다는 것을 증명했습니다. 이는 계산량을 방대한 양에서 아주 적은 양으로 줄여주며, 이러한 특정 사례에서 계산을 최대 100배까지 빠르게 만듭니다. 그러나 정답의 수가 단서보다 훨씬 많을 경우에는 이 지름길이 적용되지 않으며, 컴퓨터가 결국 전체 작업을 수행해야 한다는 점 또한 보여주었습니다.

저자들은 단순히 추측한 것이 아니라 엄격한 수학으로 이를 증명하고 실제 컴퓨터로 테스트했습니다. 그들은 이 새로운 기술들이 포함된 무료 오픈 소스 소프트웨어 패키지인 ikpls를 구축했습니다. 벤치마크를 실행했을 때 결과는 명확했습니다. 새로운 알고리즘은 기존의 것과 정확히 동일한 결과를 만들어냈지만(오류나 정확도 손실 없이), 작업은 훨씬 더 빨리 끝났습니다. 전체 데이터 분석의 경우, 새로운 방법은 표준 컴퓨터에서 약 2배 빠르고, 그래픽 카드에서는 최대 6배 더 빨랐습니다. 논문은 R-단계의 개선이 모든 사람에게 유용한 실질적인 속도 향상인 반면, Q-단계의 개선은 특정 유형의 데이터 문제에 있어 엄청난 작업량 감소를 제공하는 게임 체인저라고 결론짓습니다.

요약하자면, 이 논문은 컴퓨터가 수학을 생각하는 방식을 재구성함으로써 기존의 빠른 알고리즘을 훨씬 더 빠르게 만드는 것에 관한 것입니다. 이는 때때로 더 빨리 가는 최선의 방법이 더 좋은 엔진을 만드는 것이 아니라, 자동차를 운전하는 방식을 바꾸는 것임을 상기시켜 줍니다. 이 새로운 방법들이 기존의 방법과 수학적으로 동일하면서도 계산적으로 우수하다는 것을 증명함으로써, 저자들은 과학자들에게 컴퓨터가 따라잡기를 기다리지 않고도 복잡한 데이터를 분석할 수 있는 강력한 새 도구를 선사했습니다.

문제점
개선된 IKPLS(Improved Kernel Partial Least Squares) 알고리즘 1과 2는 근적외선(NIR) 스펙트럼의 회귀 및 분류 분석에 널리 사용되는 가장 빠른 PLS 보정 방법 중 하나로 확립되어 있습니다. 원래의 NIPALS 알고리즘은 수치적으로는 안정적이지만 속도가 느린 반면, IKPLS는 속도 면에서 우수합니다. 그러나 본 논문은 두 IKPLS 알고리즘 내의 두 가지 특정 계산 단계—X 회전( $R$ ) 및 Y 로딩( $Q$ ) 계산—가 더욱 최적화될 수 있음을 식별했습니다. 목표는 수학적 출력은 변경하지 않으면서 이러한 단계들을 가속화하여, 현대적인 하드웨어 상에서의 PLS 피팅 전체 실행 시간을 개선하는 것입니다.

방법론
본 논문은 원래의 IKPLS 단계와 수학적으로 동일함이 증명된 두 가지 별도의 알고리즘 개선안을 제안합니다.

$R$ (X 회전)의 개선된 계산:
원래의 회전 벡터 $r_a$ 계산은 항들을 순차적으로 누적하는 재귀 관계(식 1)에 의존합니다. 저자는 이를 이전에 누적된 행렬 $R_{a-1}$ 및 $P_{a-1}$ 을 사용하는 행렬-벡터 곱(식 2)을 이용한 직접 평가 전략으로 대체합니다.

복잡도: 원래 방식과 새로운 방식 모두 동일한 횟수의 곱셈( $\Theta(K(a-1))$ )을 요구합니다.
최적화: 새로운 전략은 항별 누적의 순차적 의존성을 피함으로써, 현대적인 멀티 프로세서 하드웨어에서 더 잘 병렬화되도록 설계되었습니다.

$Q$ (Y 로딩)의 개선된 계산:
원래의 로딩 벡터 $q_a$ 계산(알고리즘 2, 8행)은 $\Theta(KM)$ 의 복잡도를 갖는 벡터-행렬 곱을 포함합니다. 저자는 $q_a$ 가 이미 이전 단계(구체적으로 IKPLS 알고리즘의 단계 2에서의 고유값 분해 또는 벡터 연산)에서 계산된 양들로부터 유도될 수 있다는 수학적 등가성을 식별했습니다.

적용 가능성: 이 개선안은 $M=1$ (PLS1)이거나 $2 \le M < K$ (예측 행렬보다 응답 행렬의 열이 적은 PLS2)인 경우에 적용됩니다. $2 \le M$ 이고 $K \le M$ 인 경우에는 적용되지 않습니다.
복잡도: 적용 가능한 경우, 복잡도는 $\Theta(KM)$ 에서 $\Theta(M)$ 으로 감소합니다. 이는 $\Theta(K)$ 만큼의 감소를 의미합니다.
증명: 정리 1은 새로운 계산(알고리즘 3)이 원래의 $q_a$ 값과 정확히 동일한 값을 생성함을 입증하며, 이를 통해 후속 결손(deflation) 단계와 최종 모델 파라미터( $W, P, Q, R, T$ )가 동일하게 유지됨을 보장합니다.

주요 기여

알고리즘 재구성: 본 논문은 연산 횟수는 점근적으로 동일하지만 병렬 실행에 더 적합한 $R$ 에 대한 직접 평가 전략을 제공합니다.
복잡도 감소: 본 논문은 특정 흔한 사례(PLS1 및 "넓은" PLS2)에서 계산 복잡도를 $\Theta(KM)$ 에서 $\Theta(M)$ 으로 줄이는 새로운 유도법을 제시합니다. 저자가 알기로는 이 등가성은 최초로 식별되었습니다.
정확성 증명: 엄격한 증명(명제 1~4 및 정리 1)은 개선된 단계들이 원래의 IKPLS 알고리즘과 정확히 동일한 결과를 생성함을 입증합니다.
구현: 두 개선 사항은 샘플 가중 PLS 및 빠른 교차 검증을 지원하는 무료 오픈 소스 Python 패키지인 ikpls에 구현되었습니다.

결과
다양한 데이터셋 크기( $N$ ), 예측 변수 개수( $K$ ), 응답 변수 개수( $M$ ), 성분 개수( $A$ )에 대해 NumPy(CPU) 및 JAX(GPU)를 사용하여 벤치마크를 수행했습니다.

개별 단계:
- 개선된 $R$ 계산은 항별 누적 방식에 비해 최대 두 자릿수(예: GPU에서 147배)의 속도 향상을 보였으며, $A$ 가 증가함에 따라 이득이 커졌습니다.
- 개선된 $Q$ 계산은 $M=1$ 또는 $M < K$ 일 때 $K$ 에 비례하는 속도 향상을 보였습니다. 예를 들어, CPU에서 $K=10^4, M=1$ 일 때 346배의 속도 향상에 도달했습니다. $M \ge K$ 인 경우 성능은 원래 알고리즘과 일치했습니다.
전체 피팅:
- 전체 모델 피팅의 경우, 개선 사항들은 CPU에서 약 2배, GPU에서 6배의 속도 향상을 가져왔습니다.
- $Q$ 개선 사항이 더 낮은 점근적 복잡도를 가짐에도 불구하고, $R$ 단계가 모든 성분에 대해 실행되고 병렬화의 혜택을 크게 받기 때문에 전체 피팅의 속도 향상에서 $R$ 개선 사항이 더 큰 비중을 차지했습니다.
- 상대적인 속도 향상은 $N$ 이 증가함에 따라(다른 부분의 피팅이 지배적이 되므로) 또는 $M \ge K$ 일 때( $Q$ 개선이 적용되지 않으므로) 감소합니다.

의의
본 논문은 이러한 개선 사항들이 정밀한 보정과 속도를 모두 필요로 하는 화학계측 전문가들에게 IKPLS를 더욱 강력한 선택지로 만든다고 주장합니다.

실질적 영향: 이 개선 사항들은 동일한 결과를 생성하는 "드롭인(drop-in)" 교체 방식이므로, 기존 구현에 즉시 도입할 수 있습니다.
역사적 맥락: $R$ 개선은 이미 R 패키지 pls에서 (증명 없이) 사용되고 있던 전략을 검증합니다. $Q$ 개선은 2006년부터 pls 소스 코드에 제기되었던 PLS2에서의 로딩 비례성에 관한 질문에 답하며, 이에 대한 공식적인 증명을 제공하고 솔루션을 PLS1 케이스로 확장합니다.
하드웨어 효율성: 결과는 병렬성을 지원하는 알고리즘 설계의 중요성을 강조하며, 멀티 코어 CPU와 GPU 모두에서 상당한 이득을 보여줌으로써 현대적 하드웨어 역량에 부합하는 알고리즘 설계의 중요성을 입증합니다.

유사한 논문