🤖 machine learning

Transformer Geometry Observatory TGO-II: Representational Similarity Observatory

이 논문은 비전 트랜스포머가 훈련 과정 전반에 걸쳐 강력한 토큰 상호작용 구조를 유지하면서도, 점진적인 매니폴드 확장과 더욱 풍부한 변환을 통해 표현 복잡성과 레이어 특수화를 발달시킨다는 것을 밝히기 위해 트랜스포머 기하학 관측소-II(TGO-II) 프레임워크를 소개한다.

원저자: Kaustubh Kapil, Kishor P. Upla

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kaustubh Kapil, Kishor P. Upla

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

비전 트랜스포머(Vision Transformer, 이미지를 '보는' 일종의 AI)를 블랙박스가 아니라, 거대하고 다층적인 공장이라고 상상해 보십시오. 이 공장의 각 층은 AI가 이미지를 처리하는 '레이어(layer)'를 나타냅니다.

오랫동안 과학자들은 이 공장이 훈련을 통해 업무 능력이 향려진다는 사실은 알고 있었지만, 각 층의 작업자들이 시간이 흐름에 따라 어떻게 사고방식을 바꾸는지에 대해서는 제대로 이해하지 못했습니다. 그들은 주로 최종 결과물(고양이를 제대로 인식했는가?)이나 작업자들이 사용하는 도구(어텐션 메커니즘)만을 살펴보았습니다.

이 논문인 TGO-II는 훈련 첫날부터 마지막 날까지 작업자들의 내부 세계 지도가 어떻게 진화하는지 관찰하기 위한 새로운 '관측소'(첨단 전망대)를 도입합니다.

연구진이 발견한 내용을 쉬운 비유를 통해 설명하면 다음과 같습니다.

1. 작업자들이 서로를 복제하는 것을 멈춤 (전문화)

비유: 첫째 날의 인턴 그룹을 상상해 보십시오. 그들은 모두 같은 사진을 보고 거의 동일한 스케치를 그려냅니다. 그들은 모두 똑같은 방식으로 생각하고 있습니다.
발견: 훈련이 진행됨에 따라, 각 층의 작업자들은 똑같은 일을 하는 것을 멈춥니다. 이 논문은 층 사이의 '스케치'(표현)가 얼마나 유사한지를 측정했습니다. 그 결과, 시간이 흐를수록 유사성이 감소한다는 것을 발견했습니다.
의미: 공장의 각 층은 전문가가 되어가고 있습니다. 초기 층은 선이나 모양에 집중할 수 있고, 후기 층은 '털'이나 '바퀴'와 같은 복잡한 개념에 집중할 수 있습니다. 그들은 더 이상 서로를 단순히 복제하는 것이 아니라, 자신만의 고유한 역할을 개척해 나가고 있습니다.

2. 작업 공간이 더 커지고 복잡해짐 (매니폴드 확장)

비유: 인턴들이 작은 평면 종이 위에 그림을 그린다고 상상해 보십시오. 처음에는 단순한 선밖에 그릴 수 없습니다. 하지만 배우면서 그들은 더 많은 공간이 필요하다는 것을 깨닫습니다. 그들은 3D 모델을 사용하기 시작하고, 그다음에는 홀로그램 투영을 사용합니다. 그들이 일하는 '방'은 점점 더 커지고 복잡해집니다.
발견: 이 논문은 '고유 차원성(Intrinsic Dimensionality)'을 측정했는데, 이는 기본적으로 AI가 이미지를 설명하기 위해 얼마나 많은 서로 다른 방향이나 '자유도'를 사용하는지를 세는 것입니다. 연구진은 이 수치가 훈련 중에 급격히 증가했다가 안정화된다는 것을 발견했습니다.
의미: AI는 단순히 기존의 기술을 더 잘하게 되는 것이 아닙니다. AI는 말 그대로 자신의 정신적 작업 공간을 확장하고 있습니다. AI는 시작할 때보다 훨씬 더 풍부하고 복잡한 차원들을 사용하여 이미지를 설명하는 법을 배우고 있습니다.

3. 작업자들은 연결된 상태를 유지함 (토큰 결합)

비유: 흔한 추측 중 하나는 AI가 똑똑해짐에 따라 이미지의 서로 다른 부분들(예: '고양이의 귀'와 '고양이의 꼬리')이 서로 대화하는 것을 멈추고, 군중 속의 낯선 사람들처럼 독립적으로 변할 것이라는 것이었습니다.
발견: 이 논문은 이미지의 서로 다른 부분들이 서로 얼마나 영향을 미치는지(토큰 공분산)를 살펴보았습니다. 연구진은 훈련 과정 내내 강한 연결이 유지됨을 발견했습니다. '귀'와 '꼬리'는 서로 소통하는 것을 멈추지 않았으며, 오히려 그 상호작용 패턴은 더욱 조직적이고 구조적으로 변했습니다.
의미: AI는 이미지의 부분들을 고립시켜서 똑똑해지는 것이 아닙니다. AI는 이미지의 부분들을 점점 더 정교한 방식으로 서로 조율함으로써 똑똑해집니다. '팀'은 전문가가 되어가는 와중에도 긴밀하게 결속되어 있습니다.

거대한 놀라움: "전이 구역(Transition Zone)"

연구진은 공장의 4층과 5층 부근에서 기이한 현상이 일어나는 것을 발견했습니다.

1~4층: 작업자들이 빠르게 변화하고 있었고, '방'이 확장되고 있었습니다.
5~12층: 작업자들이 새로운 리듬에 안착했습니다. 층간 유사성은 떨어졌지만, 복잡성은 계속해서 성장했습니다.
가설: 이 논문은 이곳이 '전이 구역'이라고 제안합니다. 처음 몇 개의 층은 가공되지 않은 기초적인 입력값(픽셀 조각 등)을 처리하며, 4층 혹은 5층 이후부터 AI는 추상적이고 높은 수준의 개념을 다루기 시작합니다. 이는 마치 공장이 '조립 라인' 작업에서 '창의적 디자인' 작업으로 전환되는 것과 같습니다.

새로운 이론의 요약

이 논문 이전의 사람들은 이렇게 생각했을지도 모릅니다: "AI는 이미지를 독립적인 조각들로 나누고 그것들을 따로 분석함으로써 똑똑해진다."

TGO-II는 그 반대를 제안합니다: AI는 조각들을 분리하기보다는, 그 조각들을 긴밀하게 연결된 상태로 유지하면서 그들이 서로 대화하는 방식을 훨씬 더 복잡하고 전문적으로 만듦으로써 똑똑해집니다. 이것은 마치 재즈 밴드와 같습니다: 음악가들은 함께 연주하는 것을 멈추는 것이 아니라(결합을 해제하는 것이 아니라), 각자가 고유한 솔로 스타일을 찾아가는 동시에(전문화) 더 복잡한 화성과 즉흥 연주를 배워나가는 것(매니폴드 확장)과 같습니다.

다음 단계는?

저자들은 이러한 복잡한 패턴들이 '의미(semantics)' 측면에서 정확히 무엇을 뜻하는지 아직 완전히 알지 못한다고 인정합니다. 그들은 이 복잡한 기하학적 구조가 실제로 AI가 '고양이'나 '자동차'가 무엇인지 이해하는 데 도움이 되는지 확인하기 위해 "TGO-III"를 구축할 계획이며, "TGO-IV"를 통해 이미지의 개별 부분들이 시간이 지남에 따라 어떻게 움직이고 변하는지 관찰할 예정입니다.

요약하자면: AI는 사물을 분해하는 것이 아니라, 정신적 지도를 확장하고, 레이어를 전문화하며, 내부의 구성 요소들을 긴밀하게 연결함으로써 학습합니다.

기술 요약: TGO-II: 표현 유사성 관측소 (Representational Similarity Observatory)

문제 정의
비전 트랜스포머(ViT)가 최첨단 성능을 달 achievement 했음에도 불구하고, 지도 학습(supervised training) 과정 중 내부 표현의 기하학적 진화에 대한 이해는 여전히 불충분하다. 저자들의 이전 연구(TGO-I)를 포함한 기존 연구들은 어텐션 메커니즘, 피드 포워드 네트워크(FFN), 그리고 특징 공분산(feature covariance)의 스펙트럼 특성(고윳값, 유효 계수 등)에 집중해 왔다. 그러나 스펙트럼 유사성만으로는 레이어가 유사한 계산을 수행하는지 확증할 수 없는데, 이는 레이어들이 서로 다른 표현 서브스페이스(subspace)를 점유하면서도 동일한 스펙트럼 특성을 공유할 수 있기 때문이다. 또한, 기존의 분석들은 표현 유사성, 매니폴드 복잡도, 그리고 토큰 상호작용 구조가 학습 과정 전반에 걸쳐 어떻게 공동 진화(co-evolve)하는지에 대한 체계적인 조사가 부족하다.

방법론
저자들은 ImageNet-100에 대해 100 에포크(epoch) 동안 훈련된 ViT-Small/16 모델의 표현 기하학을 분석하기 위해 설계된 프레임워크인 **TGO-II (Transformer Geometry Observatory-II)**를 소개한다. 본 연구는 일관된 관측성을 보장하기 위해 1,000개의 검증 이미지로 구성된 고정된 하위 집합을 활용한다. 방법론은 네 가지 주요 분석 도구를 사용한다:

표현 유사성 (Representation Similarity): 훈련 과정 동안 레이어 표현 간의 기하학적 정렬 및 유사성을 정량화하기 위해 **중심 커널 정렬(CKA)**과 **단일 벡터 정본 상관 분석(SVCCA)**을 측정한다.
고유 차원 (Intrinsic Dimensionality): 학습된 표현 매니폴드 내의 복잡도와 자유도를 평가하기 위해 두 근접 이웃 고유 차원(TwoNN-ID) 지표를 사용하여 추정한다.
토큰 상호작용 구조 (Token Interaction Structure): 토큰 공분산 행렬과 **토큰 결합 비율(token coupling ratio)**을 통해 분석한다. 이 접근 방식은 토큰 간의 쌍별 관계를 조사하여 학습이 진행됨에 따라 토큰들이 통계적으로 독립(디커플링)되는지, 아니면 결합된 상태를 유지하는지를 판단한다.
상보적 관점 (Complementary Views): 특징 공간 공분산( $C_{feat} \propto A^T A$ )과 토큰 공간 공분산( $C_{token} \propto AA^T$ )을 동일한 비제로(non-zero) 특이값을 공유하는 동일한 표현 기하학의 상보적 관점으로 취급한다.

주요 결과
실험을 통해 ViT 표현의 기하학적 진화에 관한 세 가지 주요 관찰 결과를 얻었다:

점진적 전문화 (Progressive Specialization): CKA와 SVCCA 점수 모두 훈련 과정 동안 점진적인 감소를 보인다. 이는 훈련이 진행됨에 따라 트랜스포머 레이어가 중복성을 유지하기보다 점차 전문화되어 독특한 표현 기하학을 발달시킨다는 것을 나타낸다. 특히 레이어 4와 5 사이에서 주목할 만한 전환이 발생하며, 유사도가 급격히 떨어진 후 심층 레이어에서 안정화된다.
매니폴드 확장 (Manifold Expansion): 고유 차원(TwoNN-ID)은 훈련 초기 단계 동안 지속적으로 증가하다가 안정화된다. 이러한 추세는 학습된 표현 매니폴드가 더 넓은 범위의 국소적으로 접근 가능한 자유도로 확장됨을 시사한다. 차원은 중간 레이어(특히 레이어 8)에서 정점을 찍고, 마지막 블록들에서는 감소하는데, 이는 깊이에 따른 복잡도 프로파일을 나타낸다.
지속적인 토큰 결합 (Persistent Token Coupling): 복잡성 증가가 토큰의 독립성으로부터 기인한다는 가설과 달리, 토큰 공분산 분석은 강력한 상호작용 구조가 훈련 전반에 걸쳐 지속됨을 보여준다. 토큰 공분산은 대각 행렬으로 수렴하는 대신, 특히 깊은 레이어에서 조직화된 줄무늬 형태의 구조로 진화한다. 이는 표현의 복잡성이 증가하는 동시에 토큰들이 강력하게 결합된 상태를 유지함을 입증한다.

주요 기여

프레임워크 도입: 스펙트럼 중심의 TGO-I을 보완하여, 표현 기하학을 통해 트랜스포머 학습 역학을 연구하기 위한 체계적인 관측소로서 TGO-II를 제안한다.
공동 진화의 실증적 증거: 표현 복잡성의 증가(매니폴드 확장)가 레이어 간 유사성 감소(전문화) 및 지속적인 토큰 결합과 공존한다는 증거를 제공한다.
토큰 디커플링 가설 반박: 토큰이 완전한 통계적 독립을 달성하지 못함을 보여줌으로써 "토큰 다양화(Token Diversification)" 가설에 도전하며, 복잡성은 결합된 토큰 시스템의 정교한 변환을 통해 창발한다는 것을 입증한다.
전환 구역 식별: 레이어 4~5 부근에서의 뚜렷한 행동 변화를 강조하며, 이는 저수준의 토큰 상호작용 처리에서 추상적이고 문맥 의존적인 표현으로의 전환을 시사한다.

의의 및 주장
본 논문은 이러한 발견이 새로운 작업 가설을 촉발한다고 주장한다: 비전 트랜스포머는 토큰의 점진적인 독립성을 통해서가 아니라, 고도로 결합된 토큰 시스템의 점진적으로 더 풍부한 변환을 통해 표현 복잡성을 높인다.

저자들은 TGO-II를 스펙트럼 분석을 넘어선 필수적인 단계로 위치시키며, 표현의 기하학 자체를 이해하는 것이 트랜스포머 학습의 완전한 그림을 그리는 데 중요하다고 주장한다. 이 연구는 관찰된 스펙트럼 확장이(TGO-I에서 언급된) 표현 매니폴드가 더 높은 고유 차원으로 확장되어 더 풍부한 특징 관계를 가능하게 하는 **매니폴드 확장 가설(Manifold Expansion Hypothesis)**에 의해 주도될 가능성이 높음을 시사한다.

본 논문은 의미론적 주장(semantic claims)에 대해서는 신중한 태도를 유지하며, 표현의 전문화는 관찰되었으나 TGO-II가 의미적 내용이나 클래스 분리(class separation)를 직접 측정하지는 않는다고 명시한다. 따라서 "의미적 확장(Semantic Expansion)" 가설은 향후 연구를 위해 미결 상태로 남아 있다. 저자들은 이러한 발견들을 기하학적 진화를 의미적 구조, 토큰 역학, 어텐션 메커니즘 및 최적화 랜드스케이프와 연결하기 위한 차세대 관측소(TGO-III부터 TGO-VI까지)의 토대로 규정한다.