Inferring the Size of Large Language Models From Popular Text Memorization

기술 요약: 대중적인 텍스트 암기를 통한 대규모 언어 모델 크기 추론

1. 문제 정의

대규모 언어 모델 (LLM) 의 총 파라미터 수 ($|f|$) 는 능력, 비용, 성능 비교를 해석하는 주요 지표입니다. 그러나 주요 기술 기업 (예: OpenAI, Google, Anthropic) 이 개발한 가장 첨단 폐쇄형 가중치 모델의 경우, 이 지표는 거의 항상 공개되지 않습니다. 이러한 불투명성은 폐쇄형 모델과 개방형 모델 간 비교에 모호함을 초래하며, API 가격 책정 및 지연 시간의 경제적 동인을 흐리게 만듭니다.

본 논문은 엄격한 블랙박스 제약 조건 (로짓, 가중치, 또는 은닉 상태에 접근할 수 없고 프롬프트 제출 및 텍스트 출력 관찰만 허용됨) 하에서 두 가지 특정 추론 문제를 다룹니다:

1. 절대적 크기 추론: 알려지지 않은 모델 $f$의 파라미터 수 $|f|$를 추정합니다.
2. 상대적 크기 추론: 임계값 $\tau > 0$에 대해 $|f| > (1 + \tau)|g|$인지 여부를 판단하여, 한 모델이 다른 모델보다 유의미하게 큰지 확인합니다.

핵심적인 과제는 텍스트 생성 품질에도 영향을 미치는 훈련 데이터 분포, 지시 튜닝, 아키텍처 선택과 같은 교란 변수들로부터 모델 크기의 신호를 분리해 내는 것입니다.

2. 방법론

제안된 접근법은 고전 문학, 종교 텍스트, 기초 문서와 같이 대중적이고 널리 유포된 텍스트가 거의 모든 대규모 사전 훈련 코퍼스에 존재한다는 관찰에 기반합니다. 저자들은 이러한 암기된 텍스트에서 다음 토큰을 정확하게 예측하는 모델의 능력이 총 파라미터 수에 의해 근본적으로 제한된다고 가정합니다.

데이터 수집 및 신호 추출:

• 소스 텍스트: 이상한 나라의 앨리스, 성경과 같은 37 개의 다양한 대중적 퍼블릭 도메인 텍스트와 4 개의 희귀한 기준선 텍스트가 사용됩니다.
• 정확도 지표: 모델 $M$, 텍스트 $T$, 접두어 길이 $l$에 대해, 저자들은 원시 정확도 ($\hat{\alpha}_r$) 와 상향 조정된 정확도 ($\hat{\alpha}_l = \hat{\alpha}_r - \hat{\beta}$, 여기서 $\hat{\beta}$는 희귀 텍스트에 대한 기준선 정확도) 를 계산합니다.
• 정확도 프로파일: 여러 접두어 길이와 텍스트를 샘플링하여, 각 모델에 대해 다양한 컨텍스트에 걸친 성능을 집계하는 고차원 정확도 프로파일 벡터 ($A_{T,L}(M) \in \mathbb{R}^{2KL}$) 를 구성합니다.

추론 프레임워크:
이 논문은 이러한 정확도 프로파일을 크기 추정치로 변환하기 위한 두 가지 보완적 방법을 소개합니다:

1. 스케일링 법칙 추정기 (절대적 추론):

   • PCA 투영: 알려진 개방형 가중치 모델의 정확도 프로파일에 주성분 분석 (PCA) 을 적용하여 1 차원 잠재 크기 인덱스 ($z_M$) 를 추출합니다. 이 인덱스는 파라미터 수에 의해 주도된다고 가정되는 성능의 지배적 분산을 포착합니다.
   • 지수 스케일링: 신경 스케일링 법칙에 기반하여, 잠재 인덱스 $z$와 파라미터 수 $\theta$ 간의 관계를 지수 함수로 모델링합니다: $\hat{\theta}(z) = A \cdot e^{B \cdot z}$. 이 곡선은 알려진 크기를 가진 개방형 가중치 모델을 사용하여 보정됩니다.
   • 보수적 하한: 폐쇄형 모델의 경우, 이 곡선에서 추정치를 도출하되 교차 검증 오차 마진에 기반하여 0.5 배 계수로 조정하여 보수적인 하한을 생성합니다.

2. 쌍대 통계 검정 (상대적 추론):

   • 블록된 부호-순열 검정: 두 모델 $f$와 $g$를 비교하기 위해, 정확도 프로파일의 차이를 계산합니다. 동일한 텍스트 내 측정값들은 상관관계가 있으므로, 이 검정은 각 소스 텍스트를 "블록"으로 간주합니다.
   • 가설 검정: 단측 블록 부호-순열 검정은 정확도 차이가 체계적으로 한 모델을 다른 모델보다 우세하게 만드는지 평가합니다. 귀무가설 ($H_0$) 은 체계적인 우위가 없다고 가정합니다. $H_0$의 기각은 우월한 모델이 더 클 가능성이 있음을 나타냅니다.
   • 임계값 설정: 이 검정은 통제된 거짓 양성률을 가지고 $|f| > (1+\tau)|g|$인지 여부를 결정합니다.

범위 및 한계:
이 방법은 표준 인터넷 규모 코퍼스로 훈련된 범용 모델을 가정합니다. 코드 전용 모델과 같은 특수한 파인튜닝으로 인한 치명적 망각이나 공개 텍스트의 의도적 망각 (전략적 회피) 을 수행하는 모델은 명시적으로 제외됩니다. 전문가 혼합 (MoE) 아키텍처의 경우, 이 방법은 추론 시 활성화된 파라미터가 전체 파라미터의 부분집합이므로 총 파라미터 수에 대한 보수적인 하한을 제공합니다.

3. 주요 기여

1. 암기 기반 크기 신호: 이 논문은 공개 도메인 텍스트에 대한 다음 토큰 정확도를 집계하면 내부 모델 접근 없이도 모델 크기와 강력하게 상관관계가 있는 견고한 고차원 신호를 산출함을 입증합니다.
2. 이중 하한 프레임워크: PCA 기반 스케일링 법칙 추정기와 엄격한 쌍대 통계 검정을 결합한 이중 방법론을 제안합니다. 임의 대상 모델에 대한 최종 추론은 이 두 가지 방법이 생성한 하한 중 최댓값입니다.
3. 검증 및 적용: 이 프레임워크는 19 개의 개방형 가중치 밀집 모델 (절대적 추정의 경우 $R^2 = 0.95$, 상대적 검정의 경우 약 90% 정밀도/재현율 달성), 16 개의 개방형 가중치 MoE 모델, 그리고 21 개의 인기 있는 폐쇄형 가중치 모델에서 검증되었습니다.

4. 결과

• 개방형 가중치 밀집 모델: 스케일링 법칙 추정기는 보정 세트에서 $R^2$ 0.9504 를, 일회성 교차 검증 (leave-one-out cross-validation) 에서 0.9387 을 달성했습니다. 모든 예측은 2 배 오차 범위 내에 있었습니다.
• 개방형 가중치 MoE 모델: 이 프레임워크는 평가된 16 개의 MoE 모델 모두에 대해 유효한 하한을 성공적으로 확립했습니다. "정밀도" (하한과 실제 크기의 비율) 는 WizardLM-2-8x22b의 86% 대 Mimo-v2-pro의 11% 와 같이 크게 변동했으나, 하한은 일관되게 보수적이었습니다 (실제 크기를 초과하지 않음).
• 폐쇄형 가중치 모델: Anthropic, Google, OpenAI, Alibaba 의 21 개 모델에 적용된 결과:
  • 내부 제품 위계 (예: Anthropic 의 Opus > Sonnet > Haiku) 를 정확하게 복원했습니다.
  • 상이한 산업 스케일링 전략을 드러냈습니다:
    • Google 과 Anthropic: 세대별 스케일링이 뚜렷하여, 플래그십 모델의 하한이 400B 파라미터를 초과했습니다 (예: Claude Opus 4.6은 433B, Gemini 3 Flash는 405B).
    • OpenAI 와 Alibaba: 엄격한 파라미터 상한선 하에서 운영되었습니다. GPT-4o와 Qwen3.6-Max와 같은 플래그십 모델은 110B 근처로 제한되었으며, 이는 성능 향상이 대규모 파라미터 확장보다는 알고리즘 최적화나 데이터 품질에 의해 주도됨을 시사합니다.
  • 더 작은 변형 모델에 대한 구체적인 하한을 확인했습니다 (예: GPT-5.4-nano는 2B, Claude Haiku 4.5는 49B).

5. 의의 및 주장

이 논문은 폐쇄형 LLM 의 숨겨진 설계 선택을 탐구하는 최초의 체계적인 블랙박스 방법론을 제공한다고 주장합니다. 모델 크기가 퍼블릭 도메인 텍스트의 암기에서 감지 가능한 "지문"을 남긴다는 것을 입증함으로써, 저자들은 다음을 보여줍니다:

• 투명성: 가중치나 로짓에 접근하지 않고도 모델 크기에 대한 보수적인 하한을 추론할 수 있습니다.
• 전략적 통찰: 이 방법은 산업이 단일하지 않음을 드러냅니다. 일부 제공자는 파라미터를 공격적으로 확장하는 반면, 다른 제공자들은 파라미터 상한선에 도달한 것으로 보이며 능력 향상을 위해 다른 레버에 의존합니다.
• 견고성: 이 접근법은 암기 신호가 의도적으로 억제되지 않는 한, 범용 모델의 경우 훈련 데이터 및 아키텍처의 변동에 대해 견고합니다.

저자들은 하한이 구성상 보수적이며, MoE 아키텍처나 전략적 회피를 수행하는 모델의 정확한 파라미터 수를 복원하는 것은 여전히 열린 과제로 남아 있음을 겸손하게 인정합니다. 이 작업은 내부 지표를 대체한다고 주장하지는 않지만, 현대 AI 개발의 "블랙박스"를 위한 엄격한 외부 탐침을 제공합니다.