Iterative Erasure Count Is Not an Affine-Invariant Concept Dimension

기술 요약: 반복적 삭제 횟수는 아핀 불변적(Affine-Invariant) 개념 차원이 아니다

문제 제기

본 논문은 신경 표현(neural representations) 내에서 "개념 차원(concept dimension)"을 해석하는 데 있어 발생하는 근본적인 모호함을 다룹로다. 표현이 하나의 개념을 인코딩하기 위해 몇 개의 방향을 사용하는지 추정하는 일반적인 운영 방식은 **반복적 삭제(iterative erasure)**를 활용합니다. 이는 선형 프로브를 적합(fitting)시키고, 그 방향을 제거(null-space 투영을 통해)한 뒤, 다시 적합시키는 과정을 반복하며 프로브가 실패할 때까지의 횟수를 세는 방식입니다. 최근 문헌들은 이 정지 횟수(stopping count)나 누적 제거 랭크(cumulative removed rank)를 개념의 고유한 의미론적 차원(예: 어떤 개념이 수십 개의 방향에 걸쳐 분포되어 있다는 식의 해석)으로 해석해 왔습니다.

저자들은 이러한 해석이 결함이 있다고 주장합니다. 그들은 반복적 삭제 횟수가 개념이나 표현의 정보량에 대한 고유한 속성이 아님을 입증합니다. 대신, 이는 모든 선형 예측과 정보를 보존하는 가역적 재매개변수화(invertible reparameterization, 예: shear)에 의해 변화하는 **절차 상대적 추정치(procedure-relative estimand)**입니다. 결과적으로, 이 횟수는 좌표 자유로운(coordinate-free) 의미론적 차원의 척도를 제공하지 못합니다.

방법론

본 논문은 "차원"이라는 이름 아래 혼동되는 서로 다른 양들을 구분하기 위해 이론적 모집단 분석, 유한 샘플 시뮬레이션, 그리고 시각적 사례 연구를 결합하여 사용합니다.

1. 이론적 모집단 구성:

   • 저자들은 다섯 가지 별개의 양을 정의합니다: 생성 차원(generating dimension), 충분 선형 차원(sufficient linear dimension), 교차 공분산 랭크(cross-covariance rank), 반복적 삭제 횟수(iterative erasure count), 그리고 선형 가드 랭크(linear guarding rank).
   • 스칼라 개념 $S$가 레이블 $Y$를 생성하고, 독립적인 노이즈 변수 $N$이 가역 행렬 $A$를 통해 혼합되는 모집단 모델을 구축합니다.
   • 이 모델에서 충분 선형 차원과 최소 가드 랭크는 혼합 행렬 $A$와 관계없이 1(또는 다변량의 경우 $r$)로 고정됩니다.
   • 다양한 메트릭(유클리드 vs. 전송된 공분산) 및 정규화 기법(ridge, OLS)에 따른 반복적 삭제의 동작을 분석합니다.

2. 아핀 등변성(Affine Equivariance) 분석:

   • 메트릭, 프로브, 정규화 항, 그리고 타이브레이킹 규칙(tie-breaking rules)이 일관되게 전송(transported)된다면 삭제 절차의 *전체 궤적(complete trajectory)*은 아핀 등변적일 수 있음을 증명합니다. 그러나 표준 유클리드 삭제 횟수는 그렇지 않습니다.
   • 구체적으로, 가역적인 shear(전단 변환)가 유클리드 삭제 경로를 변화시켜, 근본적인 정보는 변하지 않음에도 불구하고 개념을 제거하는 데 필요한 단계 수를 바꾼다는 것을 보여줍니다.

3. 유한 샘플 및 시각적 실험:

   • Circular Bridge: 원형 타겟($\sin \theta, \cos \theta$ 예측)을 사용하여 Adam 옵티마이저와 full-QR 제거를 적용한 유한 샘플 시뮬레이션입니다. 이는 최근 비디오 월드 모델 연구에서 사용되는 절차를 모사합니다.
   • 시각적 사례 연구: 손-물체 접촉 데이터셋(100DOH 및 TouchMoment)에 대해 V-JEPA2와 DINOv2의 동결된 특징(frozen features)을 감사(audit)합니다. 이들은 제어된 이방성 맵(dense signed-Hadamard 행렬)과 직교 맵(orthogonal maps)을 적용합니다.
   • 대조군(Controls): 표준 유클리드 삭제를 축약되지 않은 경험적 공분산(unshrunk empirical covariance, 아핀 등변성을 만족함)을 사용하는 절차와 비교하며, 좌표 재표준화(coordinate restandardization) 및 새로운 공격자 튜닝(fresh attacker tuning) 하에서의 안정성을 테스트합니다.

주요 기여

1. 반복적 횟수의 비식별성(Non-Identification of Iterative Count):

   • 정리 1: 랭크-1 충분 개념을 가진 모집단에 대해, 반복적 ridge 삭제 횟수는 identity mixing 하에서는 1이지만, 0이 아닌 shear 하에서는 2가 됨을 증명합니다. 이때 충분 차원과 가드 랭크는 여전히 1입니다.
   • 정리 2: 이를 다변량 full-QR 제거로 확장합니다. 두 개의 출력 시스템에 대해, 누적 편집 랭크(cumulative edit rank)는 shear에 의해 2(identity)에서 4(ambient dimension)로 변하는 반면, 충분 차원은 2로 유지됩니다.

2. 아핀 등변성 정리:

   • 메트릭, 프로브, 정규화 항, 타이브레이킹 규칙이 일관되게 전송될 때만 전체 누적 궤적이 아핀 등변적임을 증명합니다. 이는 정확한 공분산(exact covariance)이 이 정리의 상관적 결과이지, 고유한 의미론적 메트릭이 아님을 확립합니다.

3. 경험적 스트레스 테스트:

   • Adam/QR을 사용하는 유한 샘플 설정에서 identity mixing은 1번의 업데이트 후 멈추는 반면, shear는 2번 이상의 업데이트를 수용한다는 점에서 차이가 있음을 입으로 입증합니다.
   • 실제 시각적 특징에서 좌표 재표준화 후에도 좌표 민감성이 지속되는 반면, 직교 맵(유클리드 기하학을 보존함)은 identity 궤적을 재현함을 보여줍니다.

4. 개념적 분리:

   • 모집단 차원(잠재 변수), 충분 차원, 가드 랭크, 그리고 반복 횟수를 엄격히 구분하며, 이들을 단일한 이름 아래 보고해서는 안 된다고 주장합니다.

결과

• 모집단 수준: 이론적 증명은 정수 형태의 정지 횟수가 불변하지 않음을 확인합니다. 랭크-1 개념이라도 좌표계의 조건수(condition number)에 따라 1 또는 2의 횟수를 나타낼 수 있습니다.
• Finite Circular Bridge: 20회의 대규모 샘플 실행($n=4,000$) 결과, identity mixing은 1번의 업데이트 후 멈췄습니다. 테스트된 모든 shear($a \in \{0.5, \dots, 2\}$)는 최소 2번의 업데이트를 수용했습니다. 누적 편집 랭크는 shear의 경우 주변 차원(4)에 도달했으나, identity의 경우 2에 머물렀습니다.
• 시각적 사례 연구:
  • 동결된 V-JEPA2 특징에 조밀한 이방성 맵을 적용하면, 재표준화 후에도 삭제 궤적과 편집 후 접근성(AUROC)이 크게 변했습니다.
  • 반대로, (등변성 조건을 만족하는) 축약되지 않은 경험적 공분산을 적용했을 때는 모든 맵에 대해 동일한 궤적이 나타났습니다.
  • 직교 맵은 identity 궤적을 재현하였으며, 이는 관찰된 민감성이 솔버 노이즈나 임의의 이름 변경이 아닌 이방성(anisotropy)에 의해 유발됨을 확인시켜 줍니다.
• 교차 적합(Cross-Fit) 교정: 샘플로 추정된 편집은 모집단 가드 랭크가 1임이 알려진 경우에도 새로운 공격자에게 상당한 잔여 접근성을 남길 수 있으며, 이는 유한 샘플 잔차와 모집단 속성의 차이를 강조합니다.

의의 및 주장

본 논문은 반복적 삭제 횟수는 아핀 불변적 개념 차원이 아니다라고 결론짓습니다. 이 횟수는 표현의 기하학적 구조와 분석 시 사용된 특정 측정 절차(메트릭, 프로브, 정규화, 정지 규칙)에 의해 공동으로 결정되는 양입니다.

• 기존 연구의 재해석: 저자들은 선형 프로브나 그들이 생성하는 편집된 표현의 유용성을 부정하는 것이 아닙니다. 다만, 삭제된 방향의 횟수를 사용하여 개념이 여러 차원에 "분포"되어 있다거나 고유한 차원을 식별한다고 주장하는 것은, 메트릭과 추정치를 사전에 고정하지 않는 한 수학적으로 타당하지 않다고 주장합니다.
• 방어 가능한 보고 방식: 본 논문은 절차 전체(메트릭, 손실 함수, 정규화, 정지 규칙)를 보고하고, 생성 차원, 충분 차원, 가드 랭크를 구분하여 보고할 것을 권고합니다.
• 범위: 이 결과는 선형 표현과 선형 개입에 적용됩니다. 저자들은 자신들이 비선형, 토큰 단위, 또는 인과적 개념 조직을 식별한다고 주장하지 않으며, 새로운 "지우개(eraser)" 알고리즘을 제안하는 것도 아님을 명시합니다. 시각적 연구는 확정적인 접촉 차원의 측정이 아니라 사례 연구 및 스트레스 테스트로서 제시되었습니다.

요약하자면, 본 논문은 반복적 삭제 절차의 단계 수가 신경 개념의 고유한 차원을 드러내는 것이 아니라, 오히려 좌표계와 분석 중에 이루어진 특정 알고리즘적 선택에 의한 산물임을 보여줌으로써, 반복적 삭제 횟수가 아핀 불변적 개념 차원이 아니라는 점을 수학적, 경험적으로 입증하는 엄격한 반박을 제공합니다.