당신은 순수한 생각으로 이루어진 거대하고 보이지 않는 구름의 형태를 이해하려고 노력 중이라고 상상해 보세요. 이것이 바로 인공지능(AI), 구체적으로는 대규모 언어 모델(LLM)의 '두뇌'의 세계입니다. 이 모델들은 단순히 단어를 저장하는 것이 아니라, 모든 문장을 복잡한 다차원 지도로 변af합니다. 이 지도가 얼마나 복잡한지 알아내기 위해 과학자들은 **고유 차원(Intrinsic Dimensionality, ID)**이라는 도구를 사용합니다. ID를 데이터가 얼마나 '퍼져 있는지' 또는 '빽빽한지'를 측정하는 방법이라고 생각하세요. 만약 일련의 아이디어들이 매우 단순하다면, 그것들은 하나의 작고 평평한 원 안에 옹기종기 모여 있을 것입니다(낮은 ID). 반대로 만약 아이디어들이 매우 복잡하고 다양하다면, 그것들은 광활하고 높은 차원의 정글처럼 뻗어 나갈 것입니다(높은 ID). 과학자들은 높은 숫자가 더 풍부하고 복잡한 구조를 의미한다고 가정하며, 이를 통해 모델이 얼마나 똑똑한지 혹은 작업이 얼마나 어려운지 추측하는 데 ID를 즐겨 사용합니다. 하지만 여기 함정이 있습니다. 만약 그 숫자가 '아이디어'에 대해 말해주는 것이 아니라, 단지 우리가 그들을 '어떻게 셌는지'에 대해 말해주고 있는 것이라면 어떨까요?

이 퍼즐은 Arwa Osman, Marco Baroni, Iuri Macocco의 논문 "언어 모델 표현의 기하학적 복잡성의 국소적 및 전역적 체제(Local and Global Regimes of Geometric Complexity in Language Model Representations)"에서 다루는 내용입니다. 그들은 언어 모델의 두뇌가 가진 '복잡도 점수'(ID)가 고정된 진리가 아니라는 사실을 발견했습니다. 대신, 이 점수는 얼마나 '다양한' 단어를 입력하느냐와 얼마나 '반복해서' 입력하느냐에 따라 스위치처럼 바뀝니다. 연구진은 만약 독특한 단어의 수가 적다면 모델이 놀라울 정도로 복잡해 보이지만, 독특한 단어의 수가 아주 많아지면 완전히 다른 이유로 인해 훨씬 더 복잡해 보인다는 것을 발견했습니다. 가장 놀라운 부분은 무엇일까요? 두 종류의 단어(예: '명사'와 '전치사')를 비교할 때, 각 그룹에 포함된 고유 단어의 수를 통제하지 않는다면 당신은 결론을 거꾸로 얻을 수도 있다는 것입니다. 결국 우리가 보는 '복잡성'은 실제 단어의 난이도가 아니라, 어휘의 크기로 인해 발생하는 일종의 착시 현상일 수 있습니다.

거대한 어휘 교체극 (The Great Vocabulary Switcheroo)

이를 이해하기 위해, 언어 모델의 두뇌를 거대하고 마법 같은 댄스 플로어라고 상상해 봅시다. 모델이 단어를 볼 때마다, 모델은 댄서 한 명을 무대로 보내 포즈를 취하게 합니다. 만약 모델이 "cat"이라는 단어를 천 번 본다면, 천 명의 "cat" 댄서를 내보냅니다. 비록 모두 같은 "cat" 댄서일지라도, 문맥(예: "The cat sleeps" vs. "The cat jumps")에 따라 그들은 미세하게 다르게 포즈를 취할 수 있습니다.

연구진은 '독특한 단어의 수(어휘 다양성)'가 이 댄스 플로어의 형태를 어떻게 바꾸는지 알고 싶었습니다.

그들은 10,000개의 샘플로 구성된 방대한 실험을 설계했습니다. 그들은 11가지의 서로 다른 시나리오를 만들었습니다. 한 시나리오에서는 단 1개의 고유한 명사(예: "cat")를 10,000번 반복하여 사용했습니다. 또 다른 시나리오에서는 10,000개의 고유한 명사(예: "cat", "dog", "elephant" 등)를 사용하여 각 단어가 단 한 번씩만 나타나게 했습니다. 그런 다음 그들은 GRIDE라는 특수 자를 사용하여 댄서들의 포즈가 가진 '고유 차원(ID)'을 측정했습니다.

두 가지 체제: 국소적(Local) 대 전역적(Global)

결과는 놀라웠습니다. 고유 단어의 수와 복잡도 점수 사이의 관계는 측정 규모에 따라 단순히 올라가거나 내려가는 것이 아니라, 역전되었습니다.

1. 국소적 체제 (The "Crowded Room" Effect - 붐비는 방 효과)
연구진이 작은 측정 규모(한 번에 몇 개의 이웃만 관찰함)를 사용하고 어휘 다양성이 낮을 때(고유한 단어는 적고 반복은 많은 경우), 이상한 일이 일관되게 나타났습니다. 고유한 단어가 적을수록, 오히려 복잡도 점수는 더 높았습니다.

• 비유: 댄스 플로어에 오직 한 종류의 댄서(예: "고양이")만 있다고 상상해 보세요. 만약 고양이가 10,000마리 있다면, 그들은 모두 빽빽하게 모여 있을 것입니다. 하지만 그 수가 너무 많기 때문에, 그들은 서로 부딪히지 않기 위해 아주 미세하고 섬세하게 포즈를 다르게 취해야만 합니다. 어떤 단일한 고양이 주변의 "국소적" 영역은 매우 밀집되고 빽빽한 변형들로 가득 차 있습니다. 측정 도구는 이 조밀하고 빽빽한 변형을 보고는 이렇게 말합니다. "와, 정말 복합적이고 높은 차원의 공간이구나!"
• 결과: 고유 단어가 적을수록 = 높은 ID (이 특정 국소적 관점에서의 결과).

2. 전역적 체제 (The "Massive Parade" Effect - 거대한 퍼레이드 효과)
측정 규모를 키우거나 고유한 단어의 수를 늘리면 규칙이 뒤집혔습니다. 이제는 고유한 단어가 많을수록 복잡도 점수가 높아졌습니다.

• 비유: 이제 10,000명의 서로 다른 유형의 댄서(고양이, 개, 코끼리, 우주비행사 등)가 참여하는 퍼레이드를 상상해 보세요. 각 유형은 댄스 플로어의 자신만의 뚜렷한 위치를 가집니다. 어떤 단일한 댄서 주변의 "국소적" 영역은 비어 있습니다. 왜냐하면 근처에 다른 "고양이"들이 없어 서로를 압박하지 않기 때문입니다. 대신, 측정 도구가 전체 퍼레이드를 바라보면, 댄서들이 가능한 모든 가능성의 우주 전역에 흩어져 있는 것을 보게 됩니다. 세상에는 너무나 다양한 '종류'의 것들이 있기 때문에 공간이 거대해진 것입니다.
• 결과: 고유 단어가 많을수록 = 높은 ID (이 전역적 관점에서의 결과).

마법의 전환점 (The Magic Switch Point)

이 논문의 가장 흥exting한 부분은 저자들이 단순히 이 반전 현상을 관찰한 것이 아니라, 그것이 어디서 일어나는지를 정확하게 예측했다는 점입니다.

그들은 "적은 단어가 높은 ID를 갖는 경우"에서 "많은 단어가 높은 ID를 갖는 경우"로 규칙이 바뀌는 '임계점'에 대한 간단하고 완벽한 공식을 도출했습니다. 전환은 고유 단어의 수($n$)가 전체 샘플 수($N$)를 측정 규모($k$)로 나눈 값과 같아질 때 발생합니다.

• 공식: $n = N / k$
• 의미: 만약 당신이 128명의 댄서($k=128$)가 있는 이웃을 보고 있고, 총 샘플 수가 10,000개($N=10,000$)라면, 전환점은 정확히 78개의 고유 단어($10,000 / 128 \approx 78$)를 가질 때입니다.
• 증명: 그들은 이 테스트를 두 개의 거대한 AI 모델(Qwen3-8B 및 Meta-Llama-3-8B)에 적용했고, 전환점이 매번 이 예측된 숫자에서 정확히 발생한다는 것을 발견했습니다. 이것은 추측이 아니라, 데이터가 배열된 방식에 기반한 수학적 확실성이었습니다.

이것이 왜 중요한가 (그리고 우리가 왜 틀렸는가)

이 발견은 이러한 도구를 사용하는 과학자들에게 커다란 경고를 보냅니다. 이 논문은 만약 고유 단어의 수를 통제하지 않고 두 그룹의 단어를 비교한다면, 당신은 결론을 완전히 거꾸로 얻을 수 있음을 보여줍니다.

"명사 vs. 전치사"의 함정:
저자들은 전형적인 예시를 보여주었습니다. 자연스러운 텍스트에서 "명사"(예: 개, 집, 아이디어)는 수천 개의 고유 단어로 이루어져 있는 반면, "전치사"(예: 안, 위, 에)는 불과 수십 개뿐입니다.

• 표준적인 관점: 만약 명사와 전치사의 복잡도를 그냥 측정한다면, 명사는 훨씬 더 복잡하고 높은 차원의 공간에 살고 있는 것처럼 보일 것입니다. 당신은 "명사는 정말 풍부하고 다양하구나!"라고 생각할지도 모릅니다.
• 실제 상황: 저자들은 두 그룹이 정확히 25개의 고유 단어를 갖도록 맞추었습니다. 그러자 갑자기 결과가 뒤집혔습니다! 이제 전치사가 명사보다 더 복잡해 보였습니다.
• 교훈: 원래의 차이는 명사가 "더 낫거나" "더 복잡해서"가 아니었습니다. 그것은 명사는 수천 개의 고유 유형을 가지고 있고 전치사는 단 몇 개뿐이라는 사실 때문에 발생한 **아티팩트(artifact, 인위적 산물/오류)**였습니다. 측정 도구는 단어의 '본질'이 아니라, 고유 단어의 '개수'에 반응하고 있었던 것입니다.

핵심 요약 (The Takeaway)

이 논문은 우리가 AI의 '두뇌 형태'를 들여다볼 때, 실제로 무엇을 측정하고 있는지 매우 주의해야 한다는 점을 가르쳐 줍니다.

• 반복되는 단어의 작은 그룹을 보고 있다면, 복잡도 점수는 그 '하나의 단어'가 다양한 맥락에서 얼마나 포즈를 다양하게 취하는지를 알려줍니다.
• 고유한 단어의 거대한 그룹을 보고 있다면, 복잡도 점수는 '전체 어휘'가 얼마나 넓게 퍼져 있는지를 알려줍니다.

이것은 완전히 다른 두 가지입니다. 이 두 가지를 직접 비교할 때는 당신이 서로 다른 체제를 측정하고 있다는 사실을 인지하지 못하면 안 됩니다. 저자들은 당신이 현재 어떤 체제에 있는지 알려주는 정밀한 수학적 규칙을 찾아냈습니다. 이는 AI의 세계에서, 때때로 가장 "복잡해 보이는" 숫자들은 기계의 마음속에 숨겨진 깊은 비밀이 아니라, 단지 우리가 실험을 어떻게 설정했는지를 반영하는 것일 뿐이라는 점을 상기시켜 줍니다. 모델의 기하학적 "진실"은 당신이 어떤 척도로 바라보느냐에 전적으로 달려 있습니다.