기술 요약: 텍스트 내 의미 정보의 기하학적 프로파일

문제 정의

텍스트의 정보를 정량화하는 현재의 방법들은 근본적인 한계에 직면해 있다. 섀넌(Shannon)의 정보 이론은 기호 시퀀스의 불확실성을 측정하지만, 의미론적 내용에는 의도적으로 무관심하다. 즉, 동일한 토큰 통계를 가진 텍스트라도 의미는 판이하게 다를 수 있다. 반대로, 현대의 쌍별 메트릭(예: BERTScore, ROUGE)은 두 텍스트 사이의 유사성을 측정할 뿐, 단일 텍스트 내부의 의미적 풍부성을 특징짓지는 못한다. 또한, 의미 정보에 대한 철학적 설명들은 실제 데이터에 대한 계산 가능성이 결여되어 있는 경우가 많다.

따라서 구문론적 예측 불가능성이 아니라 의미 표현(임베딩)의 구조에 기반하여 의미적 내용을 측정하는 프레임워크가 필요하며, 이때 의미 정보가 단 하나의 보편적인 스칼라 값으로 환원되지 않을 수 있음을 인정해야 한다.

방법론

본 논문은 문장 임베딩에 기초한 기하학적 프레임워크를 제안한다. 텍스트 $T$를 세그먼트로 분할하고, 이를 임베딩 모델 $E$를 통해 고차원 벡터 공간으로 매핑한다. 프레임워크는 다음 단계로 작동한다:

1. 중복 제거 및 의미 양자(Semantic Quanta): 반복이 기하학적 구조를 왜곡하는 것을 방방지하기 위해, 코사인 거리 임계값 $\tau$를 사용하는 응집형 클러스터링(agglomerative clustering)을 통해 매우 유사한 세그먼트들을 클러스터링한다. 각 클러스터는 중심점(centroid)으로 대체되며, 이를 통해 "의미 양자"의 집합 $\tilde{T}$가 형성된다. 임계값 $\tau$는 명시적인 측정 해상도 파라미터 역할을 한다.
2. 프레임 조건부 유일성(Frame-Conditional Uniqueness): 저자들은 먼저 여섯 가지 공리(의미론적 불변성, 중복 증가 비증가, 신규성 단조성, 아이디어 가산성, 직교 불변성, 연속성)를 바탕으로 스칼라 척도인 의미 정보 법칙(Semantic Information Law, SIL), $I_E(T) = \|\mu_T - \mu_0\| \cdot \text{rank}(C_T)$를 도출한다. 그러나 경험적 테스트 결과, 이 스칼라는 신경망 공간에서 랭크(rank)가 포화되고 신규성 항이 지배적이 되기 때문에 너무 거칠다는 것이 밝혀졌다.
3. 3좌표 프로파일(Three-Coordinate Profile): SIL의 거친 특성을 해결하기 위해, 프레임워크는 프로파일 $P_E(T) = (N, B, I)$를 정의한다:
   • 신규성(Novelty, $N$): 중립적인 베이스라인 평균으로부터 텍스트의 평균 임베딩까지의 마할라노비스 거리(Mahalanobis distance)를 로그 압축한 값.
   • 폭(Breadth, $B$): 중복 제거된 중심점 공분사의 유효 랭크(effective rank)를 중심점으로부터의 평균 방사형 코사인 거리로 가중치를 두어 계산한 값.
   • 통합성(Integration, $I$): 아이디어 간의 연결성을 나타내며, 2-최근접 이웃(2-NN) 코사인 유사도로 측정한다.
4. 스칼라 요약: 서로 다른 응용 분야에서 서로 다른 속성이 요구됨을 인지하여, 프로파일로부터 파생된 두 가지 실용적 스칼라를 정의한다:
   • $S_{minmax}$: 이론적 분석을 위해 해석적 안정성(Lipschitz 연속성)을 우선시하는 최소-최대 정규화(min-max normalization)를 사용한다.
   • $S_{rank}$: 문서 비교 및 순위 산정을 위해 서수적 견고성(ordinal robustness)을 우선시하는 순위 정규화(rank normalization)를 사용한다.

주요 기여

1. 프레임 조건부 유일성 정리: 본 논문은 고정된 임베딩 모델과 베이스라인 내에서, 여섯 가지 자연스러운 공리가 스칼라 상수 차이를 제외하고 의미 정보의 척도를 유일하게 결정함을 증명한다. 이 결과는 의미 정보가 섀넌의 엔트로피와 같은 보편적 법칙이 아니라, 표현에 의해 인덱싱되는(representation-indexed) 것임을 확립한다.
2. 의미 프로파일과 양자: 3좌표 프로파일(신규성, 폭, 통합성)을 도입하고, "의미 양자"를 이산적인 최소 구조 단위로 공식화하여, 클러스터링 임계값 $\tau$를 통해 측정 해상도를 명시적으로 만든다.
3. 노고 정리(No-Go Theorem: 트레이드-오프 삼각형): 프로파일의 스칼라 요약이 다음 세 가지 바람직한 속성을 동시에 만족할 수 없다는 증명이 핵심적인 이론적 기여이다:
   • 해석적 안정성(Analytic Stability): 패러프레이즈 및 폐쇄형 합성 하에서의 안정성.
   • 서수적 견고성(Ordinal Robustness): 텍스트 규모 및 부트스트랩 섭동에 대한 견고성.
   • 교차 표현 비교 가능성(Cross-Representation Comparability): 모델 재학습 없이 서로 다른 임베딩 모델 간의 비교 가능성.
     이 정리는 이러한 속성들이 상호 배타적임을 보여주며, 실용적인 스칼라는 이 트레이드-오프 삼각형의 서로 다른 꼭짓점에 위치해야 함을 입증한다.
4. 폭의 변분적 특성(Variational Characterization of Breadth): 브레스(Breadth) 좌표를 결정론적 점 프로세스(DPP)의 최대 사후 확률 선택의 로그-행렬식(log-determinant)과 연결한다. 이는 폭에 대한 최적화 이론적 토대를 제공하며, 폭이 다양성을 극대화하는 세그먼트 부분 집합의 로그-부피와 동일함을 보여준다.

경험적 결과

프레임워크는 23개의 합성 카테고리, 5권의 프로젝트 구텐베르크 소설, 3개의 임베딩 모델을 통해 검증되었다.

• 서수적 성능: 권장 구성인 가중치 $(0.5, 3.0, 1.0)$를 가진 $S_{rank}$와 2-NN 통합 방식은 28개의 서수적 검사 중 25개를 점 추정치로서 통과했다. Benjamini–Hochler 보정 후에도 28개 중 21개의 검사가 유의미하게 유지되었다. 이는 unigram 엔트로피, 원시 유클리드 신규성, BERTScore 기반 신규성 신호를 포함한 7개의 베이스라인보다 우수한 성능을 보였다.
• 트레이드-오프 검증: 경험적 결과는 노고 정리를 확인했다. $S_{minmax}$는 해석적 안정성은 달성했으나 서수적 견고성(21/28 검사 실패)에서 실패했고, $S_{rank}$는 서수적 견고성은 달성했으나 해석적 안정성(패러프레이즈 시 21% 드리프트 발생)에서 실패했다. 어떤 스칼라도 두 가지 이상의 속성을 동시에 만족하지 못했다.
• 폭 상관관계: 507개의 구텐베르크 챕터를 대상으로 한 실험에서, 폭 좌표 $B$는 DPP 로그-부피와 $\rho = 0.985$의 스피어만 상관계수를 보여 변분적 특성을 입증했다.
• 교차 모델 안정성: 프로파일 좌표 자체가 파생된 스칼라($\rho \in [0.79, 0.84]$)보다 서로 다른 임베딩 모델 간에 더 안정적임($\rho \in [0.92, 0.98]$)이 밝혀졌으며, 이는 프로파일이 근본적인 객체라는 주장을 뒷받침한다.

의의 및 주장

본 논문은 텍스트의 의미 정보가 단일한 보편적 숫자가 아니라, 표현에 의해 인덱싱된 구조적 프로파일로 이해되는 것이 최선이라고 주장한다.

• 이론적 전환: 본 연구는 의미론을 위한 "섀넌 스타일"의 보편적 스칼라를 찾는 작업에서 벗어난다. 대신, 프로파일이 이론적 객체이며, 스칼라 요약은 모든 운영 요구 사항을 동시에 만족하는 것이 불가능함에 따라 결정되는 실용적인 편의 도구라고 상정한다.
• 명시적 가정: 측정 장치(임베딩 모델, 세그먼트 분할, 베이스라인, 임계값, 정규화 참조점)를 명시함으로써, 프레임워크는 사용자가 자신의 가정을 검토하고 교정할 수 있게 하며, 이견의 원인을 프레임워크 자체가 아닌 특정 장치 선택의 문제로 국지화할 수 있게 한다.
• 해석 가능성: 세 개의 좌표는 서로 다른 의미적 직관(일반적 담론으로부터의 이탈, 아이디어의 다양성, 그리고 연결성)에 대응하며, 이를 통해 단일 스칼라로는 구분할 수 없는 진단(예: 충실한 요약과 주제에서 벗어난 요약의 구분)을 가능하게 한다.

결론적으로, 본 논문은 트레이드-오프 삼각형이 스칼라로의 매핑 과정에서 발생하는 구조적 속성이지, 특정 구성의 결함이 아니라고 주장한다. 이 프레임워크는 구조를 단일 값으로 환원할 때 발생하는 내재적 한계를 인정하면서도, 의미적 구조를 측정하는 엄밀하고 계산 가능한 방법을 제공한다.