Are You Measuring the Failure Subspace, or Its Ceiling?

기술 요약: "실패 서브스페이스를 측정하고 있는가, 아니면 그 천장을 측정하고 있는가?"

문제 제기
테스트 시간 적응(Test-Time Adaptation, TTA) 및 저계수 적응(Low-Rank Adaptation, LRA) 문헌에서 지배적인 경험적 주장은 모델을 적응시키는 데 유의미한 서브스페이스(per-sample gradient, Fisher direction 또는 "failure direction"의 스팬으로 정의됨)가 놀라울 정도로 저차원이라는 것입니다. GOLD [7]와 다양한 LRA 기법들은 소수의 고유벡터가 이러한 그래디언트 유사 벡터("demands")의 에너지 대부분을 포착한다는 관찰에 의존합니다.

그러나 본 논문은 일반적으로 사용되는 수요(demand) 정의들(교차 엔트로피 그래디언트, 엔트로피 그래디언트, 그리고 평균 그래디언트 외적(AGOP))에 대해, 이러한 "저계수(low-rank)" 관찰이 데이터나 실패 모드에 관한 경험적 발견이 아니라 **대수적 항등식(algebraic identity)**이라고 주장합니다. 이러한 수요들은 수학적으로 최종 분류기 가중치 행렬 $W$의 행 공간(row space)에 국한됩니다. 결과적으로, 이들의 공분산 계수(covariance rank)는 클래스 수 $C$(또는 zero-sum 수요의 경우 $C-1$)를 초과할 수 없습니다. 본 논문은 보고된 저계수 구조가 실제 압축된 내재적 실패 차원의 증거가 아니라, 단순히 이 대수적 천장(algebraic ceiling)을 재발견한 것에 불과하다고 상정합니다.

방법론
대수적 천장과 진정한 저차원 구조를 구별하기 위해, 저자들은 통제된 실험 설계를 사용합니다:

1. 대수적 증명: 논문은 흔히 쓰이는 수요들에 대한 세 가지 명제를 통해 계수 천장을 입증합니다:
   • 교차 엔트로피(CE) 및 엔트로피 그래디언트: 로짓 공간에서의 zero-sum 특성으로 인해 최대 $C-1$ 차원의 하이퍼플레인에 국한됩니다.
   • AGOP: $W$의 행 공간에 국한되며, 계수 천장은 최대 $C$입니다.
2. 천장이 없는 수요(Ceiling-Free Demand): 이 천장 너머에 무엇이 있는지 측정하기 위해, 저자들은 활성화 공간의 몫($A \odot -\nabla_A L$)을 기반으로 한 "자유로운" 수요($d_{act}$)를 구축합니다. 이 수요는 $W^\top$의 이미지(image)가 아니며, 이론적으로 전체 앰비언트 피처 차원 $D$를 점유할 수 있습니다.
3. 통제된 스윕(Controlled Sweep): 아키텍처, 피처 폭($D$), 클래스당 샘플 수, 최적화 프로토콜을 일정하게 유지하면서, CIFAR-100의 중첩된 서브셋에 대해 클래스 수 $C$를 2에서 100까지 변화시키며 실험을 수행합니다.
4. 폭 민감도 테스트: 고정된 $C=100$에서 피처 표현 폭($D$를 256에서 512로)을 두 배로 늘려, 측정된 계수가 태스크의 속성인지 아니면 측정 장치의 속성인지를 테스트합니다.
5. 분해(Decomposition): 자유로운 수요 벡터를 $W$의 행 공간($P_{row(W)}d$)과 그 직교 보공간(orthogonal complement)으로 투영하여, "천장" 성분과 "꼬리(tail)" 사이의 에너지 분포를 분석합니다.

주요 결과

• 캡(capped) 수요는 천장에 고정됨: CE, 엔트로피, AGOP 수요의 경우, 유효 계수($r_{90}$)가 대수적 천장을 밀접하게 추적합니다. $C=100$일 때, 이 수요들은 가능한 최대 계수($C$ 또는 $C-1$)의 55~65%를 점유합니다. $C$가 증가함에 따라, 천장을 점유하는 비율이 실제로 감소하는데, 이는 큰 $C$에서 나타나는 듯한 저계수 구조가 새로운 구조의 출현이 아니라 천장이 "비어가는" 결과임을 나타냅니다.
• 자유로운 수요는 천장을 초과하며 폭 민감성을 보임: 천장이 없는 수요는 $C$를 초과하는 유효 계수를 보이며(예: $C=20$에서 41.7), 캡 수요보다 약 두 배 빠른 속도로 $C$에 따라 증가합니다. 결정적으로, 피처 폭 $D$를 두 배로 늘렸을 때, 자유로운 수요의 유효 계수는 크게 증가(111에서 191로)하는 반면, 캡 수요는 상대적으로 안정적으로 유지되었습니다. 이는 자유로운 수요의 계수가 태스크의 난이도가 아니라 앰비언트 공간 크기의 함수임을 시사합니다.
• 분해는 넓은 꼬리를 드러냄: 자유로운 수요를 $row(W)$에 투영하면, 에너지의 약 74$C$에서의 정확한 스펙트럴 절벽(spectral cliff)을 재현합니다. 나머지 약 26%의 에너지는 수백 개의 차원에 걸쳐 있는 "넓고, 약하게 구조화된, 무릎(knee)이 없는 꼬리"를 형성합니다. 이 꼬리의 계수는 압축된 내재적 차원이 아니라 앰비언트 공간의 크기를 추적합니다.
• GOLD의 재평가: 본 논문은 GOLD 방법의 재분석을 통해, "강한 저계수 집중"(CIFAR-100-C에서 상위 64~128개 고유벡터가 에너지의 99% 이상을 포착한다는 주장)이 $C=100$인 대수적 천장을 고려할 때 동어반복적(tautological)임을 지적합니다. 보고된 수치는 전체 피처 공간의 숨겨진 저차원 매니폴드를 발견한 것이 아니라, 분류기 유도 서브스페이스의 점유율을 반영한 것입니다.

의의 및 주장
본 논문은 "적응 서브스페이스가 놀라울 정도로 저계수이다"라는 진술이 두 가지 서로 다른 대상을 혼동하고 있다고 결론짓습니다:

1. 대수적 사실: 로짓 유래 수요는 $row(W)$에 국한되며$C$를 초과할 수 없습니다. 이는 정리(theorem)이지 발견(finding)이 아닙니다.
2. 가설적 데이터 속성: 내재적이고 압축된 실패 차원. 저자들은 실험을 통해 이러한 차원에 대한 증거를 찾지 못했습니다. 대신, 대수적 천장을 제거하면 넓고 폭 민감한 꼬리가 나타납니다.

보고 방식의 전환 제안:
저자들은 천장에 묶인 수요에 대해 "유효 계수"만을 보고하는 것은 불충분하며 잠재적으로 오해의 소지가 있다고 주장합니다. 향후 이 분야의 연구에서는 다음을 보고할 것을 제안합니다:

• 천장 정규화 유효 계수 ($\rho_{ceil}$): 경험적 스펙트럼 감쇠와 대수적 제약을 분리하기 위해 유효 계수와 대수적 천수의 비율을 측정합니다.
• 행 공간 에너지 공유 ($\rho$): $row(W)$ 내에 존재하는 수요 에너지의 비율입니다. 이 지표는 폭 변화에 안정적이며, 대부분의 현재 TTA/LRA 방법이 포함하는 분류기의 행 공간 내에서 접근 가능한 최대 에너지를 직접적으로 정량화합니다.

본 논문은 저계수 방법들이 효과적이지 않다고 주장하는 것이 아니라, 그 성공을 "데이터의 숨겨진 저차원 구조" 때문이 아니라 분류기의 대수적 제약 내에서 작동하기 때문으로 돌려야 한다고 주장합니다. "꼬리"($row(W)$ 외부의 에너지)의 유용성은 여전히 미해결 과제로 남아 있습니다.