💻 computer science

The Cross-Architecture Substrate: A Domain-Transcendent, Calibration-Surviving Geometric Invariant of Modern Vision Encoders

이 논문은 다양한 현대적 비전 인코더와 도메인 전반에 걸쳐 훈련 초기 단계에 출현하며, 캘리브레이션을 거치고도 생존하여 전이 품질이나 교차 모달리티를 예측하는 데는 실패함에도 불구하고 우수한 레이블 프리 전이성 필터링, 도메인 탐지, 로우-샷 프로빙, 그리고 교사 없는 증류를 가능하게 하는 '크로스 아키텍처 서브스트레이트(cross-architecture substrate)'라고 불리는 보편적인 16차원 기하학적 불변량을 밝혀낸다.

원저자: Yousef Radwan

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yousef Radwan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

네 명의 서로 다른 요리사가 있다고 상상해 보세요. 한 명은 채소를 식별하도록 훈련받았고, 다른 한 명은 자동차 모델을 인식하며, 세 번째는 퍼즐의 빈 부분을 채우도록 훈련받았고, 네 번째는 사진과 시를 매칭하도록 훈련받았습니다. 여러분은 이들의 "내적 사고"(그들의 뇌가 이미지를 처리하는 방식)가 완전히 다를 것이라고 예상하겠죠, 맞나요?

이 논문은 이렇게 말합니다: 아닙니다.

연구진들은 이들의 직업, 훈련 방법, 아키텍처가 모두 다름에도 불구하고, 이 현대적인 AI 시각 시스템들이 이미지를 처리하기 위해 정확히 동일한 **16개의 "정신적 방향(mental directions)"**을 개발한다는 것을 발견했습니다. 그들은 이 공유된 토대를 **"교차 아키텍처 기질(Cross-Architecture Substrate)"**이라고 부릅니다.

다음은 쉬운 비유를 사용한 상세 내용입니다:

1. "보편적 나침반" 비유

모든 AI 시각 모델을 숲을 항해하려는 등산가라고 생각해보세요.

과거의 관점: 우리는 곰을 찾도록 훈련받은 등산가는 꽃을 찾도록 훈련받은 등산가와 완전히 다른 지도를 사용할 것이라고 생각했습니다.
새로운 발견: 연구진은 등산가가 무엇을 찾도록 훈련받든, 그들은 모두 방향을 잡기 위해 동일한 16개의 나침반 지점을 사용한다는 것을 발견했습니다.
증거: 그들은 13개의 서로 다른 AI 모델을 대상으로 테스트했습니다. 이 모델들이 이미지를 이해하는 방식에서 나타나는 상위 16가지 변이를 살펴보았을 때, 그 16개의 방향은 모든 모델에서 기하학적으로 동일했습니다. 이는 마치 13명의 사람에게 도시의 지도를 그려달라고 요청했을 때, 그들이 "빵집이 어디인지" 혹은 "공원이 어디인지"와 같이 서로 다른 것을 찾도록 훈련받았더라도, 모두가 정확히 똑같은 16개의 주요 도로를 그려낸 것과 같습니다.

2. "형태 변환" 테스트 (도메인 초월성)

연구진은 "풍경을 바꾸어도 이 16개 지점의 나침반이 작동하는가?"라고 물었습니다.

그들은 8가지의 완전히 다른 유형의 이미지에 대해 모델을 테스트했습니다:
- 일반 사진 (인스타그램 같은 사진)
- 의료 CT 스캔 (인체 내부)
- 위성 사진 (우주에서 본 모습)
- 현미경 이미지 (작은 세포들)
- 손으로 그린 스케치
- 열화상 지도
- 깊이 맵 (3D 형태)
- 은하 사진
결과: 은하가 CT 스캔과 전혀 다르게 생겼음에도 불구하고, AI 모델들은 여전히 은하를 이해하기 위해 동일한 16개의 나침반 지점을 사용했습니다. 이 "나침반"은 어디에서나 작동합니다.

3. "가짜인가?" 체크 (단순한 속임수인가?)

회의론자들은 이렇게 말할 수 있습니다. "어쩌면 이것은 AI가 단순히 가장자리나 색상 같은 기본적인 것을 보고 있기 때문이거나, 혹은 수학적 계산이 잘못된 것 아닐까?"

"픽셀" 테스트: 연구진은 원시 픽셀(예: 사진에 빨간색 픽셀이 얼마나 있는지 세는 것)만 보고 이 16개의 방향을 찾아내려 시도했습니다. 하지만 실패했습니다. 이 "나침반"은 단순히 픽셀을 세는 것보다 훨씬 더 똑똑합니다.
"무작위" 테스트: 연구진은 16개의 무작위 방향을 사용해 보았습니다. 그 결과는 처참한 실패였습니다.
"Pang" 테스트: 최근의 비판(Pang 2026)은 이전 연구들이 AI 모델의 크기에 의해 속았을 가능성을 제기했습니다. 연구진은 더 엄격하고 까다로운 수학적 방식을 사용하여 테스트를 다시 수행했습니다. 16개의 방향은 여전히 살아남았습니다. 그들은 이 유사성이 환상이 아니라 실제임을 증 증명했습니다.

4. "얼리 버드" 발견 (언제 발생하는가?)

그들은 AI가 처음부터 학습하는 과정을 관찰했습니다.

놀라운 사실: AI는 훈련의 첫 10% 단계에서 이 16개의 공유된 방향을 개발했습니다.
함정: 그 시점에 AI는 실제 작업(직무)에는 여전히 서툴렀습니다(정확도가 46%에 불과했습니다). AI는 훨씬 더 나중에야 자신의 직무를 잘 수행하게 되었습니다.
의미: 이 "16방향 나침반"은 AI가 가장 먼저 구축하는 토대입니다. 이는 "학습하는 법을 배우는" 단계입니다. 일단 AI가 이 토대를 갖추고 나면, 그 위에 특정 작업(예: 고양이나 종양 식별)을 배울 수 있습니다.

5. 이를 어떻게 활용할 수 있는가? (도구들)

이 "16방향 나침반"이 존재하며 공유된다는 것을 알기 때문에, 논문은 네 가지 실질적인 기술을 제안합니다:

"라벨 없는" 필터: 데이터를 라벨링할 필요 없이 새로운 작업에 가장 적합한 AI 모델을 선택할 수 있습니다. 이는 현재 방식보다 3배 더 빠릅니다.
"도메인 탐지기": 이미지가 의료 스캔인지, 위성 사진인지, 아니면 스케치인지를 이 16개의 숫자를 통해 판별할 수 있습니다. 정확도는 99.6%에 달합니다.
"미세 특징" 강화: 라벨이 매우 적은 경우(예: 질병 사례가 50개뿐인 경우), 이 16개의 방향을 사용하는 것이 현대 AI가 보통 사용하는 거대하고 복잡한 특징(768 차원)을 사용하는 것보다 더 효과적입니다.
"유령 교사(Ghost Teacher)": 새로운 AI를 훈련할 때는 보통 길을 안내해 줄 "교사" AI가 필요합니다. 이 방법은 교사 AI를 매번 실행할 필요 없이, "16방향 나침반"을 교사로 사용하여 학생 AI를 훈련할 수 있게 해줍니다. 이는 엄청난 컴퓨팅 자원을 절약해 줍니다.

이것이 "아닌" 것 (경계 설정)

저자들은 이 기술이 하지 못하는 것에 대해서도 주의를 기울였습니다:

감각 간에는 작동하지 않습니다: 시각(눈)과 청각(귀)을 혼합하면 이 16방향 나침반은 깨집니다. 이는 오직 시각에 대해서만 작동합니다.
품질를 예측하지 않습니다: AI가 강력한 "나침반"을 가졌다고 해서 특정 작업에 반드시 최고라는 뜻은 아닙니다.
만능 해결책이 아닙니다: 일반 사진으로 훈련된 AI가 자동으로 X-ray를 완벽하게 읽을 수 있다는 뜻은 아니지만, 도움이 됩니다.

요약

이 논문은 심층부에서 모든 현대 AI 시각 모델이 세상을 이해하기 위해 동일한 16개의 단어로 이루어진 언어를 사용한다는 것을 밝혀냈습니다. 이들은 훈련 초기 단계에 이 언어를 구축하며, 이 언어는 고양이를 보든, 종양을 보든, 은하를 보든 상관없이 작동합니다. 이 발견을 통해 우리는 방대한 양의 라벨링된 데이터 없이도 더 빠르고, 저렴하며, 스마트한 AI 도구를 구축할 수 있습니다.

기술 요약: 교차 아키텍처 기질 (The Cross-Architecture Substrate)

문제 정의
현대의 비전 인코더들은 매우 상이한 목적 함수로 학습된다—지도 분류(예: ImageNet), 대조 학습(예: DINOv2), 마스크 이미지 모델링(예: MAE), 그리고 시각-언어 매칭(예: CLIP) 등이다. 전통적인 통념은 이러한 이질적인 학습 패러다임, 아키텍처, 그리고 귀납적 편향(inductive biases)이 근본적으로 다른 내부 표현을 생성할 것이라고 제안한다. 또한, 최근의 비판(특히 Pang et al., 2026)은 표준 유사도 측정 방식인 중심 커널 정렬(Centered Kernel Alignment, CKA)이 특징 너비(feature width)와 풀링 깊이(pooling depth)에 의해 부풀려질 수 있으며, 이로 인해 보고된 많은 교차 아키텍처 수렴 주장들이 엄격한 보정(calibration) 하에서 해체된다고 주장했다. 핵심 질문은 이러한 이질적인 인코더들 사이에 도메인 변화와 엄격한 통계적 보정 모두를 견뎌내는 공유된 기하학적 구조가 존재하는가 하는 점이다.

방법론
저자들은 특정 기하학적 절차를 통해 "교차 아키텍처 기질"을 정의한다:

인코더 패널: $E$ 개의 비전 인코더 세트(ResNet, ViT, ConvNeXt 범위)를 선정한다.
특징 추출: 고정된 프로브 이미지를 모든 인코더에 통과시킨다. 펜얼티메이트 레이어(penultimate-layer)의 특징들은 스케일을 정규화하기 위해 평균 중심화(mean-centered) 및 백색화(whitened)된다.
결합 PCA (Joint PCA): 모든 인코더의 특징 벡터들을 하나의 행렬로 결합한다. 이 결합 공간의 상위 $K$ 개 주성분(Principal Components, PCs)을 추출한다.
정의: 저자들은 교차 도메인 유사도가 정체되는 지점인 $K=16$ 을 경험적으로 결정한다. 결과적으로 도출된 16차원 기저(basis)를 **기질(substrate)**이라 정의한다.
평가 지표:
- Procrustes-CKA (PCKA): 최적의 회전 후 두 $K$ 차원 부분 공간을 비교하는 대칭적 척도이다.
- Pang 2026 보정: "너비 팽창" 비판에 대응하기 위해, 저자들은 Pang의 행 순열 귀무 가설(row-permutation null hypothesis)을 적용한다. 관찰된 유사성이 특징 차원의 인위적 산물이 아님을 보장하기 위해, 무작위 데이터로부터 기대되는 베이스라인 정렬(글로벌 선형-CKA 및 로컬 mutual-kNN recall 변형 모두 포함)을 차감한다.
대조군: 연구에는 제거법(leave-one-out)에 의한 절제 연구, 픽셀 수준 PCA, Gabor 에지 에너지 뱅크, 그리고 무작위 저차원 투영과의 비교가 포함된다. 또한 학습 중의 출현(emergence)을 테스트하고, 기질의 적용 범위를 양상(modality) 및 패러다임에 따라 제한한다.

주요 기여

공유된 기하학적 객체의 존재: 13개의 현대적 비전 인코더에서 나타나는 상위 16개 주성분 변동 방향은, 해당 인코더가 지도 분류, 대조 학습, 또는 마스크 재구성 중 무엇으로 학습되었는지와 관계없이 동일한 16차원 기하학적 객체로 수렴한다.
엄격한 보정 하에서의 생존: 이전의 주장들과 달리, 이 기질은 Pang 2026 보정을 통과한다. 판별적(discriminative) 인코더들은 글로벌 보정 하에서 마스크 재구성(MAE) 인코더보다 7.4배 높은 정렬도를 보였으며, 더 까다로운 로컬 최근접 이웃(nearest-neighbour) 회상 변형 하에서는 4.82–5.30배의 분리도를 보였다 ( $p < 10^{-44}$ ).
도메인 초월성: 기질은 자연 사진, 의료 CT, 위성 RGB, 현미경, 손으로 그린 스케치, 깊이 맵(depth maps), 열 적외선, 은하 텔레스코프 이미지 등 8개의 이질적인 시각 도메인을 가로질러 전이된다. 이 8개 도량에 대한 중앙값 PCKA는 0.604이며, 모든 교차 도메인 쌍은 0.40을 상회한다.
조기 출현: 기질은 학습 초기 단계에 획득된다. 처음부터 학습된 ResNet-50의 경우, 기질 정렬도는 에포크 5(전체 학습의 10%)에서 0.58에 도달하는 반면, 분류 정확도는 남은 에포크 동안 46%에서 76%로 계속 상승한다. 이는 기질이 수렴된 분류기 상태가 아니라 초기 최적화 영역(optimization basin)의 속성임을 시사한다.
네 가지 라벨 프리(Label-Free) 응용:
- 전이성 필터: 라벨 없이 인코더 순위를 매기기 위한 "기질 정렬 점수"는 LogME를 대체하며, SITE-2025 벤치마크에서 3배의 속도 향상과 +0.15의 Kendall- $\tau$ 개선을 제공한다.
- 도메인 탐지기: 16차원 기질 상의 선형 분류기는 미세 조정 없이 4가지 시각 도메인을 구별하는 데 99.6%의 정확도를 달성한다.
- 저샷 프리즈드 프로브 (Low-Shot Frozen Probe): 클래스당 $N=50$ 개의 라벨이 있을 때, 16차원 기질은 768차원의 DINOv2 특징보다 균형 정확도(balanced accuracy)에서 +3.78 퍼센트 포인트 더 우수한 성능을 보인다.
- 교사 없는 증류 (Teacher-Free Distillation): 기질-CKA 보조 손실은 훈련 중 교사 네트워크의 순전파(forward pass)를 요구하지 않고도 3/3의 교사-학생 쌍에 대해 표준 학습-교사 지식 증류 베이스라인과 일치하며, 라벨 비율 10%에서 +7.56pp의 피크 이득을 보인다.

결과 및 한계

픽셀 통계가 아님: 기질은 낮은 수준의 이미지 통계로 설명되지 않는다. 픽셀 수준 PCA는 PCKA 0.263만을 기록했으며, Gabor 에지 에너지 뱅크는 0.31을 기록하여, 기질의 값(4개 도메인 0.679, 8개 도메인 0.604)보다 현저히 낮았다.
무작위가 아님: 무작위 16차원 투영은 중앙값 PCKA 0.041을 기록했다.
인코더 특정적이지 않음: 제거법(leave-one-out) 절제 연구는 기질이 단일 모델의 속성이 아니라 패널 전체의 속성임을 보여준다 (인코더 하나를 제거해도 중앙값 PCKA는 $\pm 0.027$ 만 변한다).
양상(Modality)의 한계: 기질은 양상을 가로질러 확장되지 않는다. 결합된 시각-오디오 기질(CLIP/CLAP)은 보정된 귀무 가설을 통과하지 못한다.
패러다임의 한계: 기질은 판별적 계열 내에서는 존재하지만, 교차 패러다임 증류를 용이하게 하지는 않는다 (예: CLIP 기질을 ResNet 학생에게 전달하는 것은 교차 엔트로피 대비 이득이 없다).
예측의 한계: 기질 정렬은 다운스트림 전이 정확도를 예측하지 못한다 ( $\tau = -0.08$ ). 이는 기질이 모델의 '품질'이 아닌, 모델이 속한 '학습 패러다임의 유형'을 식별함을 의미한다.

의의 및 주장
본 논문은 현대 비전 인코더에서 나타나는 견고한 경험적 규칙성을 식별했다고 주장한다: 즉, 다양한 아키텍처, 학습 목적, 시각 도메인 전반에 걸쳐 나타나며 학습 초기에 형성되어 지속되는 공유된 16차원 기하학적 구조이다. 저자들은 이를 정리(theorem)나 보편적인 특징 관련성 주장이 아닌, "방향-존재(direction-existence)"에 관한 주장으로 규정한다. 이 연구의 의의는 서로 다른 학습 목표에도 불구하고, 비전 인코더들이 무작위 노이즈, 픽셀 통계, 또는 특정 인코더의 고유한 특성과 구별되는 공통의 저차원 부분 공간으로 수렴한다는 것을 입증했다는 점에 있다. 이 발견은 서로 다른 학습 패러다임이 완전히 분리된 표현 공간을 생성한다는 가정에 도전하며, 전이성 추정, 도메인 탐지, 효율적인 지식 증류를 위한 새로운 라벨 프리 도구를 제공한다. 저자들은 기질이 양상 내(intra-modality) 현상이며, ImageNet으로 사전 학습된 모델이 모든 다운스트림 작업(예: 의료 영상)에 대해 보편적으로 경쟁력 있는 백본임을 의미하는 것은 아니라고 명시적으로 경고한다.