🤖 machine learning

Training Without Orthogonalization, Inference With SVD: A Gradient Analysis of Rotation Representations

이 논문은 SVD 투영이 학습 중에는 기울기 왜곡을 유발하지만 추론 시에는 유리하다는 점을 3x3 행렬에 대한 정밀한 기울기 분석을 통해 이론적으로 규명하고, 학습 시에는 직교화 없이 9 차원 회귀를 수행하고 추론 시에만 SVD 를 적용하는 방식이 최적임을 증명합니다.

원저자: Chris Choy

게시일 2026-04-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chris Choy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"3D 회전 (회전하는 물체) 을 인공지능 (딥러닝) 에 가르칠 때, 어떻게 하면 가장 효율적으로 배울 수 있을까?"**에 대한 아주 흥미로운 질문에서 시작합니다.

기존의 방법들은 마치 **"매번 등산할 때마다 정상에 도착하자마자 바로 다시 내려와서 다시 정상으로 올라가는 것"**처럼 비효율적이었습니다. 이 논문은 **"등산하는 동안은 그냥 산을 오르기만 하고, 정상에 도착했을 때만 정돈하면 된다"**는 새로운 방식을 제안하며, 그 이유를 수학적으로 증명했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: "회전"이라는 어려운 과제

인공지능은 3D 물체가 어떻게 회전했는지 (예: 공을 던지는 각도, 카메라의 시선) 를 예측해야 합니다. 수학적으로 이 '회전'은 3x3 행렬이라는 9 개의 숫자로 표현되는데, 이 숫자들은 서로 매우 복잡한 규칙 (직교성) 을 따라야만 진짜 회전으로 인정받습니다.

기존의 방법들은 두 가지 큰 실수를 저질렀습니다.

비유 1: "매번 등산할 때마다 정상 확인하기" (기존 SVD-Train 방식)

기존 연구자들은 인공지능이 9 개의 숫자를 예측할 때마다, **"이게 진짜 회전인가?"**를 확인하기 위해 매번 복잡한 계산 (SVD, 특이값 분해) 을 거쳐 숫자들을 정리했습니다.

문제점: 이는 마치 등산하는 도중, 10 미터 오를 때마다 "내가 정상에 가까워졌나?" 확인하느라 숨을 헐떡이며 멈추는 것과 같습니다.
결과: 인공지능이 배우는 과정 (학습) 에서 경사가 너무 가파르거나 (기울기 폭발), 혹은 어느 방향은 너무 빠르고 어느 방향은 너무 느린 (조건수 불균형) 문제가 생겨서 학습이 매우 불안정해졌습니다.

비유 2: "6 개의 숫자로만 등산하기" (6D Gram-Schmidt 방식)

다른 연구자들은 9 개 숫자 대신 6 개 숫자만 예측하게 했습니다. 하지만 이 방식은 비대칭적인 문제가 있었습니다.

문제점: 6 개의 숫자 중 첫 번째 숫자는 모든 정보를 받지만, 두 번째 숫자는 첫 번째의 실수를 전혀 알지 못합니다. 마치 팀원 A 는 팀 전체의 실수를 고치지만, 팀원 B 는 팀원 A 의 실수를 전혀 모르고 제자리걸음만 하는 상황과 같습니다.

2. 이 논문의 해결책: "등산 중엔 그냥 오르고, 정상에 닿을 때만 정리하자"

이 논문은 **"훈련 (학습) 중에는 아예 정리 작업을 하지 말고, 9 개의 숫자를 그냥 예측하게 하라"**고 제안합니다. 그리고 실제 사용 (추론) 할 때만 한 번에 정리하면 된다고 말합니다.

핵심 비유: "흙탕물과 정수기"

훈련 과정 (Training): 인공지능은 9 개의 숫자를 예측합니다. 이때는 숫자가 엉망이 되어도 (회전 규칙을 지키지 않아도) 상관없습니다. 그냥 **"목표 지점 (진짜 회전) 과 내 예측값의 차이"**만 계산해서 학습합니다.
- 비유: 흙탕물을 그릇에 담고 있는 상태입니다. 물이 맑아지길 기다리며 그릇을 흔들고 있습니다.
추론 과정 (Inference): 학습이 끝난 후, 실제 결과를 내놓을 때 한 번만 '정수기 (SVD)'를 통과시킵니다.
- 비유: 흙탕물을 정수기에 통과시켜 순식간에 맑은 물 (진짜 회전) 로 바꿉니다.

3. 왜 이것이 더 좋은가? (수학적 이유를 쉽게)

이 논문은 수학적으로 두 가지 중요한 사실을 증명했습니다.

① "등산 중 정리하기"는 위험하다 (SVD 의 문제)

매번 정리를 하면, 인공지능이 배울 때 **경사 (Gradient)**가 엉망이 됩니다.

비유: 등산로가 너무 가파르거나 (숫자가 0 에 가까울 때), 혹은 등산로가 뒤틀려 있어서 (조건수 문제) 한 발을 내디딜 때마다 넘어질 뻔합니다.
결과: 인공지능이 "어디로 가야 하나?"를 혼란스러워하며 학습 속도가 느려지거나 아예 실패합니다.

② "6 개 숫자"는 불공평하다 (Gram-Schmidt 의 문제)

6 개 숫자 방식은 팀원들 간의 소통이 안 됩니다.

비유: 3D 회전은 3 개의 축 (X, Y, Z) 으로 이루어져 있는데, 6 개 방식은 첫 번째 축은 모든 정보를 받지만, 두 번째 축은 첫 번째 축이 틀렸다는 걸 모릅니다. 그래서 마지막 축 (세 번째) 은 아예 정보가 부족해집니다.
결과: 예측의 정확도가 편차가 심해집니다.

③ "9 개 숫자 + 추론 시 정리"는 완벽하다

비유: 9 개의 숫자를 모두 예측하게 하면, 모든 숫자가 평등하게 정보를 주고받습니다. 그리고 학습이 끝난 뒤, 정수기 (SVD) 를 한 번만 통과시키면 됩니다.
장점:
1. 학습 중: 인공지능이 자유롭게 9 개의 숫자를 조절하며 빠르게 배웁니다. (경사가 고르고 안정적)
2. 사용 시: 정수기를 통과하면, 흙탕물이 순식간에 맑은 물이 됩니다. (오류가 3 배나 줄어듭니다)

4. 결론: "훈련은 자유로이, 결과는 완벽하게"

이 논문의 핵심 메시지는 다음과 같습니다.

"인공지능에게 3D 회전을 가르칠 때, 매번 규칙을 강요하지 마세요. 대신 9 개의 숫자를 자유롭게 예측하게 하고, 학습이 끝난 후 실제 결과를 내보낼 때만 규칙을 적용하세요."

이 방법은 마치 유리공예와 같습니다.

기존 방식: 유리공예를 할 때마다 매번 자로 재고 다듬기를 하며 작업합니다. (시간도 걸리고, 실수할 확률도 높음)
이 논문의 방식: 먼저 자유롭게 유리 조각을 쌓아 올립니다 (학습). 그리고 마지막에 한 번만 다듬고 광을 냅니다 (추론).

이 방식은 더 빠르고, 더 정확하며, 더 안정적인 3D 회전 예측을 가능하게 합니다. 이제 인공지능이 3D 공간을 이해하는 데 있어, 이 새로운 '자유로운 학습' 방식이 표준이 될 것입니다.

1. 문제 제기 (Problem)

3D 회전 ($SO(3) $) 을 표현하는 것은 컴퓨터 비전과 로봇공학의 핵심 문제입니다. 신경망은$ R^3 \times 3 $공간에서 출력해야 하지만, 회전 행렬은 직교성 ($ R^T R = I $) 과 행렬식 1 ($ \det(R)=1$) 의 제약을 만족해야 합니다.
기존 연구들은 두 가지 주요 접근 방식을 취해 왔습니다:

SVD-Train (Levinson et al., 2020): 훈련과 추론 모두에서 SVD 를 사용하여 직교화 레이어를 포함함.
SVD-Inference (Gu et al., 2024, PRoM): 훈련 시에는 직교화를 생략하고 9D 행렬을 직접 예측하며, 추론 시에만 SVD 를 적용함.

Gu et al. 은 실험적으로 SVD-Inference 가 더 좋음을 보였으나, 왜 SVD 가 훈련 중에는 해가 되는지, 왜 9D 가 6D(Gram-Schmidt) 보다 좋은지, 그리고 왜 추론 시 SVD 가 Gram-Schmidt 보다 우월한지에 대한 이론적 설명이 부족했습니다. 이 논문은 이러한 격차를 메우기 위해 그라디언트 (Gradient) 분석을 수행했습니다.

2. 방법론 (Methodology)

저자는 SVD 와 Gram-Schmidt 직교화 매핑의 **자코비안 (Jacobian)**을 상세히 분석하여 그라디언트 흐름의 특성을 규명했습니다.

SVD 역전파 분석: $3 \times 3$ 행렬에 대한 SVD 투영의 자코비안 스펙트럼 (고유값/특이값 분포) 을 유도했습니다.
Gram-Schmidt 분석: 6D 표현법의 자코비안 비대칭성과 그라디언트 결합 (coupling) 문제를 분석했습니다.
비교 분석: 훈련 중 직교화 유무, 6D vs 9D, SVD vs Gram-Schmidt 의 그라디언트 성질을 정량적으로 비교했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. SVD 훈련 중의 그라디언트 병리 현상 (Gradient Pathology)

훈련 중 SVD 를 사용할 경우 발생하는 근본적인 문제를 수학적으로 증명했습니다.

자코비안 스펙트럼: SVD 자코비안의 랭크는 3 이며 (SO(3) 의 차수와 일치), 6 개의 영공간 (null space) 을 가집니다.
특이값 (Singular Values): 0 이 아닌 특이값은 $2/(s_i + s_j)$ 형태입니다. 여기서 $s_i$ 는 입력 행렬의 특이값입니다.
조건수 (Condition Number): $\kappa = (s_1 + s_2) / (s_2 + s_3)$ $κ = (s_{1} + s_{2}) / (s_{2} + s_{3})$ 입니다.
- 훈련 초기에 예측 행렬이 $SO(3) $에서 멀어$ s_3 \approx 0$일 때, 조건수가 급격히 커져 **그라디언트 폭발 (Gradient Explosion)**과 심한 왜곡이 발생합니다.
- 이는 최적화 과정을 불안정하게 만듭니다.
그라디언트 정보 손실: SVD 역전파는 9 차원 그라디언트 중 6 차원 (직교성에서 벗어난 거리 정보) 을 0 으로 투영하여 버립니다. 즉, 네트워크가 직교 행렬에 수렴하도록 유도하는 신호를 잃게 됩니다.
- 결과: 훈련 중 SVD 를 제거하면 (Direct 9D Regression) 조건수 $\kappa=1$ 을 유지하며 모든 그라디언트 정보를 보존합니다.

B. 안정화 기법의 한계

Wang et al. (2022) 이 제안한 SVD 그라디언트 안정화 기법 (Taylor 전개 등) 은 분모의 0 을 피할 수는 있지만, **그라디언트 방향 오차 (Direction Error)**를 필연적으로 발생시킵니다. 따라서 병리 현상을 '교정'하려 하기보다 훈련 루프에서 아예 SVD 를 제거하는 것이 이론적으로 더 우월합니다.

C. 6D (Gram-Schmidt) vs 9D (Direct)

Gram-Schmidt 의 비대칭성: 6D 표현법 (Gram-Schmidt) 의 자코비안은 비대칭적입니다. 첫 번째 열 ( $t'_1$ ) 은 모든 회전 열의 그라디언트 신호를 받지만, 두 번째 열 ( $t'_2$ ) 은 첫 번째 열의 오차에 영향을 받지 않습니다.
결합 문제: 3 번째 열은 외적 ( $t'_1 \times t'_2$ ) 로 유도되므로, 1, 2 열의 오차가 누적되어 그라디언트 왜곡이 심해집니다.
9D 의 우월성: 9D 직접 회귀는 모든 9 개의 요소에 대해 독립적이고 균일한 그라디언트 신호를 제공하며 조건수가 1 로 완벽하게 조건이 잘 잡혀 있습니다.

D. 추론 시 SVD 의 최적성

훈련 중에는 SVD 를 제거해야 하지만, 추론 (Inference) 시에는 SVD 가 최적임을 재확인했습니다.

최소 제곱 최적성: SVD 는 프로베니우스 노름 (Frobenius norm) 에서 입력 행렬에 가장 가까운 회전 행렬을 제공합니다.
오차 감소: 등방성 가우시안 잡음이 있는 경우, SVD 투영은 Gram-Schmidt 보다 **예상 오차를 1/2 (또는 3 배 감소)**시킵니다.
좌표계 불변성: SVD 는 좌표계 변환에 대해 불변 (Coordinate-independent) 인 반면, Gram-Schmidt 는 그렇지 않아 추론 시 일관성이 떨어집니다.

4. 결론 및 의의 (Significance)

이 논문은 **"훈련 시에는 직교화 없이 9D 직접 회귀를 수행하고, 추론 시에만 SVD 를 적용한다 (Train Without Orthogonalization, Inference With SVD)"**는 전략이 단순한 경험적 발견이 아니라 강력한 수학적 근거를 가진 최적의 접근법임을 증명했습니다.

이론적 기반: SVD 훈련 중의 그라디언트 불안정성 (조건수 문제, 정보 손실) 과 Gram-Schmidt 의 비대칭성을 정량화했습니다.
실용적 가이드: 회전 추정 태스크에서 9D 입력을 사용하고, 훈련 손실은 원시 행렬 (Raw Matrix) 에 대한 MSE 로 계산하며, 추론 시에만 SVD 를 적용하는 것이 가장 성능이 좋습니다.
일반화: 이 분석은 회전 추정뿐만 아니라 SVD 를 거꾸로 전파 (Backpropagation) 해야 하는 다른 딥러닝 구조에서도 유사한 그라디언트 병리 현상이 발생할 수 있음을 시사합니다.

요약하자면, 이 연구는 훈련 중의 직교화는 그라디언트 흐름을 왜곡시키므로 피해야 하며, 추론 시의 직교화는 오차를 최소화하므로 필수적이라는 명확한 원칙을 제시하여 회전 표현 학습의 표준을 재정립했습니다.