📊 statistics

Symmetric Divergence and Normalized Similarity: A Unified Topological Framework for Representation Analysis

본 논문은 정밀한 구조적 진단을 위한 대칭적 표현 위상 발산(Symmetric Representation Topology Divergence, SRTD)과 척도 불변 벤치마킹을 위한 정규화된 위상 유사도(Normalized Topological Similarity, NTS)를 포함하는 통합된 위상적 프레임워크를 도입하며, 이를 통해 기존 방법들의 비대칭성 및 무제한성 한계를 극복하여 신경 표현을 분석하기 위한 강력한 도구를 제공한다.

원저자: Yan Wang, Tianyang Hu

게시일 2026-06-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yan Wang, Tianyang Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: AI가 어떻게 "생각하는지" 측정하기

두 명의 서로 다른 요리사(신경망)가 수프를 만들고 있다고 상상해 보세요. 여러분은 알고 싶습니다: 이들이 같은 수프를 만들고 있는가?

오랫동안 과학자들은 재료(데이터)를 살펴보고 그릇이 얼마나 비슷하게 보이는지(기하학적 분석)를 측정함으로써 이 질문에 답하려 노력해 왔습니다. 이를 위한 대중적인 도구는 CKA라고 불립니다. 이것은 마치 그릇의 모양과 크기가 같은지 확인하는 것과 같습니다.

하지만 이 논문은 그릇의 모양만 보는 것으로는 충분하지 않다고 주장합니다. 때로는 겉보기에는 동일한 그릇이라도, 그 안의 재료들이 완전히 다른 방식으로 배치되어 있을 수 있기 때문입니다. 이를 해결하기 위해 저자들은 위상수학(형태와 연결성을 연구하는 학문)에 기반한 새로운 도구 모음을 도입합니다. 그들은 이 도구 모음을 "위상학적 렌즈(Topological Lens)"라고 부릅니다.

이 도구 모음은 기존 방식의 두 가지 특정 문제를 해결하기 위해 설계된 두 가지 주요 도구를 포함하고 있습니다.

문제 1: "일방통행"과 "경계 없는 점수"

이 논문 이전에는 RTD(Representation Topology Divergence)라는 도구가 있었습니다. 이는 차이점을 찾아내는 데는 유능했지만, 두 가지 주요 결함이 있었습니다:

불공평함 (비대칭성): 요리사 A와 요리사 B를 비교할 때 하나의 점수가 나오고, 요리사 B와 요서 A를 비교하면 다른 점수가 나왔습니다. 이는 마치 어느 방향으로 들고 있느냐에 따라 길이가 달라지는 자와 같았습니다.
경계가 없음 (비교의 어려움): 점수가 어떤 거대한 숫자라도 될 수 있었습니다. 작은 그릇 두 개를 비교하면 점수가 작았지만, 거대한 그릇 두 개를 비교하면 점수는 엄청나게 커졌습니다. 이 때문에 "이 두 수프는 50% 다르다"라고 말하는 것이 불가능했습니다. 숫자가 수프의 양에 따라 계속 변했기 때문입니다.

해결책: 통합된 도구 모음

저자들은 이러한 문제를 해결하기 위해 두 가지 새로운 도구를 만들었습니다.

도구 1: SRTD (Symmetric Representation Topology Divergence)

목표: 두 수프가 어디에서 다른지에 대한 완벽하고 공정하며 상세한 진단을 내리는 것입니다.

비유: 도시의 두 가지 지도를 가지고 있다고 상상해 보세요. 한 지도는 도로를 보여주고, 다른 지도는 강을 보여줍니다.
- 기존의 도구들은 도로를 먼저 보고 그다음 강을 본 뒤 결과를 평균 내어 비교하려 했습니다. 이는 무질서했고, 어떤 순서로 보느냐에 따라 다른 답을 내놓았습니다.
- SRTD는 도로와 강을 하나의 단일한 뷰로 결합하는 슈퍼 지도를 만드는 것과 같습니다. 이는 "합집합"(두 지도에 존재하는 모든 것)과 "교집합"(두 지도 모두에 존재하는 것)을 살펴봅니다.
- 이 두 가지 뷰를 직접 비교함으로써, SRTD는 단일하고 공정한 점수를 제공합니다. 어느 방향으로 보든 답은 같습니다.
왜 유용한가: SRTD는 구조가 정확히 어디에서 다른지 알려줍니다. 만약 한 요리사는 수프에 소금을 넣었고 다른 요리사는 설탕을 넣었다면, SRTD는 바로 그 지점을 가리킵니다. 또한 "손실 함수(loss function)"로도 작동할 수 있어, 컴퓨터가 이 점수를 최소화함으로써 더 나은 수프를 만들도록 가르칠 수 있습니다.

도구 2: NTS (Normalized Topological Similarity)

목표: 모델의 크기에 상관없이 어떤 두 모델도 비교할 수 있도록 -1에서 1 사이의 단순하고 표준화된 점수를 얻는 것입니다.

비유: 두 개의 서로 다른 소셜 네트워크의 "연결성"을 순위 매긴다고 상상해 보세요.
- 기존의 도구들은 총 악수 횟수를 셌습니다. 만약 네트워크 A에 1,000명이 있고 네트워크 B에 1,000,000명이 있다면, 숫자가 완전히 달라 공정하게 비교할 수 없습니다.
- NTS는 총 횟수를 무시합니다. 대신, 사람들이 그룹에 합류하는 순서를 봅니다.
- 예시: 두 네트워크 모두에서 사람 A가 먼저 합류하고, 그다음 사람 B가 합류하고, 그다음 그들이 사람 C를 만납니다. 네트워크 B가 백만 배 더 크더라도, 합류하는 순서가 같다면 NTS는 두 네트워크가 매우 유사하다고 판단합니다 (점수: 1). 만약 순서가 완전히 뒤섞여 있다면, 두 네트워크는 다른 것입니다 (점 score: -1).
왜 유용한가: 이는 "보편적인 자"를 만들어 줍니다. 아주 작은 모델과 거대한 대규모 언어 모델(LLM)을 비교하여 의미 있는 점수를 얻을 수 있습니다. 또한 기하학적 도구(CKA 등)가 모델이 매우 복적으로 변할 때 모든 것이 똑같아 보인다고 착각하는 "거리 포화(distance saturation)" 문제에 강합니다.

무엇을 발견했는가? (실험)

저자들은 여러 시나리오에서 이 도구들을 테스트했습니다:

합성 클러스터 (Synthetic Clusters): 명확한 형태(예: 점들로 이루어진 원)를 가진 가짜 데이터를 생성했습니다.
- 결과: 기존 도구(CKA)는 모양이 약간만 변해도 차이를 구별하지 못했습니다. 반면, 새로운 도구들(SRTD 및 NTS)은 변화를 즉각적으로 포착했습니다.
딥러닝 레이어 (Deep Learning Layers): 이미지 인식 AI인 TinyCNN의 층(layer)을 하나씩 살펴보았습니다.
- 결과: 새로운 도구들은 명확한 패턴을 보여주었습니다. 네트워크에서 가까운 층들은 서로 유사하고, 멀리 떨어진 층들은 서로 달랐습니다. 기존 도구들은 혼란을 겪으며 일관성 없는 결과를 냈습니다.
- 보너스: 새로운 도구들은 기존 도구들이 완전히 놓쳤던 특정 "단절 지점"(AI가 국소적 세부 사항을 보는 단계에서 전역적 패턴을 보는 단계로 전환되는 지점)을 찾아냈습니다.
대규모 언어 모델 (LLMs): 유명한 AI 모델들(Llama, Qwen, Mistral 등)을 비교했습니다.
- 결과: 기하학적 도구(CKA)는 "포화"되었습니다. 숫자가 너무 높아져서 거의 모든 모델이 동일해 보인다고 판단했습니다.
- NTS는 이 노이즈를 뚫고 들어갔습니다. NTS는 같은 "가족"(예: Qwen과 그 업그레이드 버전)에 속한 모델들이 표면적으로는 달라 보일지라도 깊은 구조적 DNA를 공유하고 있음을 성공적으로 식별했습니다. 심지어 "증류된(distilled)" 모델(거대 모델의 작은 버전)이 부모 모델과 구조적으로 유사하다는 사실도 밝혀냈는데, 이는 기존 도구들이 놓친 연결고리였습니다.

요약

기존 방식: 데이터의 "형태"가 얼마나 다른지를 측정했지만, 숫자가 무질서하고 불공평하며 비교하기 어려웠습니다.
새로운 방식 (SRTD): 두 모델이 어디에서 다른지 정확히 보여주는 공정하고 상세한 지도입니다.
새로운 방식 (NTS): 순위 시스템처럼 작동하는 표준화된 "유사도 점수"(-1에서 1 사이)를 제공하여, 아주 작은 모델과 거대한 모델을 공정하게 비교할 수 있게 합니다.

이 논문은 이 도구들이 현재 AI를 분석하고 진단하는 데는 매우 뛰어나지만, 아직 AI를 직접 훈련시키는 데 사용하기에는 준비가 되지 않았다고 결론짓습니다 (NTS는 "미분 가능"하지 않아서, 단계별 최적화를 위한 가이드로 사용하기 어렵기 때문입니다). 그러나 이 도구들은 신경망이 실제로 어떻게 작동하는지 이해하는 데 훨씬 더 명확하고 신뢰할 수 있는 방법을 제시합니다.

기술 요약: 대칭적 발산과 정규화된 유사성: 표현 분석을 위한 통합된 위상학적 프레임워크

문제 정의

위상 데이터 분석(TDA)은 신경망 표현을 비교하기 위한 내재적인 관점을 제공하지만, 기존의 거시적 방법론들은 중대한 한계에 직면해 있다. 구체적으로, 표현 위상 발산(Representation Topology Divergence, RTD) 프레임워크와 그 변형들은 두 가지 결정적인 문제를 겪고 있다:

이론적 불완전성 및 비대칭성: 흔히 사용되는 "대칭적" RTD는 두 방향성 값( $RTD(w, \tilde{w})$ 와 $RTD(\tilde{w}, w)$ )의 무차별 평균으로 정의된다. 이러한 값들은 명확한 이론적 설명 없이 극적으로 다를 수 있다. 또한, 그래디언트 정보를 풍부하게 하기 위해 제안된 듀얼 변형인 Max-RTD는 RTD와의 완전하게 규명된 이론적 관계가 결여되어 있다.
정규화의 부재: RTD와 RTD-lite는 샘플 크기와 고유한 거리 스케일에 크게 의존하는 유계가 없는 양수 점수를 생성한다. 이는 서로 다른 시나리오 간의 벤치마킹(예: 서로 다른 모델, 레이어 또는 데이터셋 비교)을 신뢰할 수 없게 만들고 해석을 어렵게 한다. 거리 스케일을 재조정하려는 기존의 시도들(예: 0.9-분위수 사용)은 휴리스틱하며 불충분하다.

이러한 한계는 미세한 구조적 진단과 견고하고 표준화된 신경 표현 평가 모두를 저해한다.

방법론

저자들은 두 가지 상호 보완적인 구성 요소인 구조적 진단을 위한 **대칭적 표현 위상 발산(Symmetric Representation Topology Divergence, SRTD)**과 표준화된 평가를 위한 **정규화된 위상 유사성(Normalized Topological Similarity, NTS)**을 포함하는 통합된 위상학적 도구 모음을 제안한다.

1. 대칭적 표현 위상 발산 (SRTD)

RTD 계열의 비대칭성과 이론적 공백을 해결하기 위해, 저자들은 SRTD를 도입한다.

개념: 두 점 구름(point clouds)의 비에토리스-립스(Vietoris-Rips) 여과(filtration)의 합집합과 교집합 사이의 위상적 불일치를 직접 측정한다.
구성: 거리 행렬의 원소별 최솟값( $min(w, \tilde{w})$ )과 최댓값( $max(w, \tilde{w})$ )으로 구성된 대칭적 보조 행렬( $M_{sym}$ )을 활용한다. 발산은 이 보조 그래프의 지속성 호몰로지(persistent homology)로부터 유도된 바코드 길이의 합으로 정의된다.
이론적 통합: SRTD는 비대칭적 척도들(RTD 및 Max-RTD)이 하나의 거대한 공유된 대칭 성분(SRTD)과 개별 여과에 고유한 작은 "개별적" 성분들로 분해되는 통합 프레임워크를 제공한다.
효율성 (SRTD-lite): RTD-lite 접근 방식을 따라, 저자들은 최소 신장 트리(Minimum Spanning Tree, MST) 가중치를 사용하여 전체 위상 발산을 근사하는 SRTD-lite를 정의한다. 이는 $max(w, \tilde{w})$ 와 $min(w, \tilde{w})$ 의 MST 가중치 차이로 정의된다.
핵심 속성: 저자들은 라이트(lite) 버전의 경우, $Max\text{-}RTD\text{-}lite + RTD\text{-}lite = SRTD\text{-}lite$ 임을 증명하여, SRTD-lite가 균형 잡힌 중앙값 척도로서 엄격한 계층적 순서를 확립함을 보여준다.

2. 정규화된 위상 유사성 (NTS)

강건한 교차 시나리오 벤치마킹을 가능하게 하기 위해, 저자들은 -1과 1 사이로 제한되는 NTS를 제안한다.

동기: 바코드 길이를 합산하는(이는 이상치와 스케일에 민감함) 발산 척도와 달리, NTS는 계층적 병합 순서의 순위 상관관계에 집중한다.
메커니ме리즘:
- 두 표현의 MST에 있는 엣지들의 합집합에 의해 정의되는 "핵심 쌍(core pairs)"을 식별한다.
- 두 표현에서 이 핵심 쌍들의 병합 시간(또는 엣지 거리) 사이의 **스피어만 순위 상관관계(Spearman's rank correlation)**를 계산한다.
- 두 가지 변형이 정의된다: NTS-E(엣지 거리에 기반) 및 NTS-M(병합 시간에 기반).
속성: NTS는 스케일 불변(scale-invariant)이며 샘플 크기 변화에 강건하다. 이는 절대적인 거리의 크기가 아니라 연결된 성분들이 병합되는 순서를 비교함으로써 위상적 구조를 포착한다.

주요 기여

RTD 프레임워크의 완성: SRTD의 도입은 기존 RTD 변형들의 이론적 비대칭성을 해결한다. 이는 진단 정보를 단일한 대칭적 교차 바코드 시그니처로 통합하여, 두 방향성 계산의 오버헤드 없이 더 효율적인 최적화 목적 함수를 제공한다.
NTS의 도입: NTS의 제안은 유계가 없는 위상 발산의 문제를 극복한다. 순위 기반 정규화를 활용함으로써, 서로 다른 데이터셋, 모델 아키텍처 및 실험 파이프라인 간에 비교 가능한 표준화된 유사성 점수를 제공한다.
이론적 규명: 본 논문은 호몰로지의 매핑 콘(mapping cone)과 롱 익택트 시퀀스(long exact sequences)를 사용하여 RTD, Max-RTD, SRTD 사이의 엄격한 수학적 관계를 확립하고, Max-RTD의 역할과 비대칭성의 원인을 명확히 한다.
효율적인 알고리즘: 저자들은 $O(n^2(\alpha_{uf}(n) + d))$ 시간 복잡도로 작동하는 경량 변형(SRTD-lite 및 NTS-E)을 제공하여 대규모 표현 분석에 대한 확장성을 확보한다.

실험 결과

이 도구 모음은 합성 및 실제 딥러닝 환경에서 평가되었다:

합성 계층적 이동: 가우시안 클러스터 및 UMAP 임베딩을 포함하는 실험에서, NTS와 SRTD 계열은 증가하는 구조적 비유사성을 정확하게 포착했다. 반면, CKA는 이러한 변화에 거의 무감각했으며, RTD-lite는 비정상적이고 역전된 추세를 생성하여 $max(w, \tilde{w})$ 성분과 정규화의 필요성을 강조했다.
CNN 레이어별 분석: CIFAR-10으로 학습된 TinyCNN에 대해, NTS와 CKA는 일관되고 해석 가능한 근대각 유사성 지형(깊이에 따라 유사성이 감소함)을 보였다. 그러나 정규화되지 않은 RTD 계열은 이러한 단조적 추세를 회복하지 못하고 불규적인 히트맵을 생성했다. 결정적으로, 위상적 척도(NTS 및 SRTD-lite)는 최종 풀링 레이어에서 급격한 구조적 전이를 감지했는데, 이는 CKA와 같은 기하학적 베이스라인이 놓친 기능적 변화이다.
대규모 언어 모델(LLM) 분석: TruthfulQA 및 ToxiGen 데이터셋에 대해 LLM 제품군(Qwen, InternLM, Baichuan, Llama)에 적용한 결과:
- 모델 내부(Intra-Model): NTS는 모델 제품군 내에서 일관된 계층적 "지문"을 드러낸 반면, CKA는 거리 포화로 인해 종종 포화되거나 일관되지 않은 히트맵을 생성했다.
- 모델 간(Inter-Model): NTS는 점수 포화(1.0 근처로 클러스터링됨)를 겪는 CKA에 비해 모델 관계에 대한 더 날카롭고 변별력 있는 관점을 제공했다.
- 증류 사례(Distillation Case): Qwen2.5-Math로부터 증류된 DeepSeek-R1-Ds에 대한 사례 연구에서, CKA는 계보를 반영하지 못하는 낮은 유사성 점수를 냈으나, NTS는 높은 구조적 유사성을 성공적으로 식별했다. 이는 위상적 병합 순서가 증류로 인한 기하학적 변화에 더 강건함을 시사한다.

의의 및 주장

본 논문은 CKA와 같은 기존 기하학적 척도를 보완하는 엄격하고 위상 인지적인 관점을 제공한다고 주장한다.

진단을 위해: SRTD 및 SRTD-lite는 구조적 불일치에 대한 미세하고 해석 가능한 증거를 제공하며, 오토인코더 등의 최적화를 위한 효과적인 손실 항으로 작, 효율성이 향상된 성능을 달성한다.
벤치마킹을 위해: NTS는 이질적인 설정 간에 표현을 비교하기 위한 신뢰할 수 있는 스케일 불변 척도를 제공하여, 정규화되지 않은 발산의 해석 가능성 문제를 극복한다.
한계점: 저자들은 NTS가 현재 분석 전용 척도이며 미분 불가능하여 모델 최적화에 직접 사용할 수 없다고 언급했다. 향-후 연구로 미분 가능한 공식 개발을 제안했다. 또한, 경량 변형들은 주로 0차원 특징에 의존하므로, 확장성을 위해 고차원 위상 통찰력을 일부 절충하였다.

이 연구는 미세한 구조적 진단과 견고한 표준화된 평가 사이의 간극을 메움으로써, 통합된 위상학적 렌즈를 통해 신경 표현을 이해하기 위한 기초적인 단계로서 자리매김한다.