Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression

이 논문은 토크나이저 효율성을 고려한 새로운 효율성 지표인 '정보 용량 (Information Capacity)'을 제안하고, 이를 통해 다양한 크기와 아키텍처의 오픈소스 대규모 언어 모델들의 추론 효율성을 평가하고 성능 예측 및 언어 편향을 분석했습니다.

핵심

📚 거대 언어 모델 (LLM) 의 '효율성'을 재정의하다: 정보 용량 (Information Capacity)

이 논문은 최근 AI 가 너무 똑똑해지면서 생기는 **'비싼 계산 비용'**과 '실제 지능' 사이의 균형을 어떻게 측정할지 고민한 연구입니다.

기존에는 "모델이 얼마나 큰가 (파라미터 수)"만 보고 성능을 판단했지만, 이 논문은 **"이 모델이 얼마나 '똑똑하게' 데이터를 압축하는가?"**를 기준으로 효율성을 평가하는 새로운 척도, **'정보 용량 (Information Capacity)'**을 제안합니다.

---

🧩 핵심 개념: "지능은 곧 압축이다"

이 논문의 가장 재미있는 전제는 **"지능 = 압축 능력"**이라는 것입니다.

🍕 피자 비유:
imagine 당신이 친구들에게 피자를 배달해 주려고 합니다.

• 비효율적인 AI: 피자를 잘게 잘라 100 개의 작은 조각으로 나누어 100 개의 상자에 담아 배달합니다. (데이터가 너무 큽니다. 비용이 많이 듭니다.)
• 효율적인 AI: 피자를 그대로 1 개의 큰 상자에 담아 배달합니다. (데이터가 작습니다. 비용이 적게 듭니다.)

똑같은 피자를 배달하는데, 적은 상자 (데이터) 로 배달할수록 그 AI 는 더 똑똑한 것입니다. 왜냐하면 "어떤 것이 중요한지, 무엇을 생략해도 되는지"를 잘 이해하고 있기 때문입니다.

이 논문은 AI 가 텍스트를 얼마나 잘 예측하고 압축하는지, 그리고 그 과정에서 컴퓨터가 얼마나 많은 전력을 썼는지를 비교하여 **'효율성 점수'**를 매깁니다.

---

🔍 이 연구가 발견한 3 가지 놀라운 사실

1. 🗣️ "말하는 방식 (토크나이저) 이 가장 중요합니다"

AI 가 글을 읽을 때, 글자를 어떻게 쪼개서 읽느냐가 중요합니다.

• 비유: 같은 영어 문장이라도, 한 글자씩 끊어 읽는 사람과 한 단어를 통째로 읽는 사람이 있습니다.
• 발견: 연구 결과, 토크나이저 (글자 쪼개기 도구) 가 효율적인 모델이 훨씬 더 높은 점수를 받았습니다. 마치 "한 번에 10 마디를 말해서 10 번의 일을 한 번에 끝내는 사람"처럼, 적은 노력으로 더 많은 정보를 처리하는 모델이 더 똑똑하다는 뜻입니다.

2. 🌍 "언어 편향 (Bias) 이 심합니다"

모든 AI 가 모든 언어를 똑같이 잘하는 것은 아닙니다.

• 비유: 중국어에 특화된 AI 는 중국어 책을 압축할 때 천재처럼 작동하지만, 영어 책을 압축할 때는 평범한 학생 수준이 될 수 있습니다.
• 발견: 서양권 AI(예: Llama, Gemma) 는 중국어 데이터에서 효율성이 떨어졌고, 중국 AI(예: Qwen, Hunyuan) 는 영어나 코드 데이터에서 더 뛰어났습니다. 즉, 학습한 데이터의 언어와 종류에 따라 AI 의 '지능'이 달라진다는 것을 증명했습니다.

3. 🏗️ "MoE(전문가 혼합) 아키텍처의 승리"

최근 AI 는 모든 부품을 다 켜지 않고, 필요한 부분만 켜는 '전문가 시스템 (MoE)'을 사용합니다.

• 비유: 100 명짜리 팀이 있는데, 매번 100 명 모두를 소집하는 대신 문제에 맞는 10 명만 뽑아서 해결하는 방식입니다.
• 발견: 같은 크기의 컴퓨터 자원 (전력) 을 써도, MoE 방식을 쓴 모델이 더 많은 정보를 압축해냈습니다. 즉, 더 적은 비용으로 더 큰 지능을 발휘하는 것입니다.

---

🚀 이 연구가 우리에게 주는 메시지

1. "크기만 큰 게 답이 아니다"

기존에는 "모델이 클수록 무조건 좋다"라고 생각했습니다. 하지만 이 연구는 **"같은 크기의 모델이라도, 어떻게 설계하느냐에 따라 효율이 10 배 이상 차이 날 수 있다"**고 말합니다.

2. "미래의 AI 개발을 가속화한다"

이론상, 이 '정보 용량' 점수를 알면 아직 훈련되지 않은 거대 모델의 성능을 작은 모델로 미리 예측할 수 있습니다.

• 비유: 작은 시제품 차를 타고 달린 결과만 봐도, 그 차를 10 배 크게 만들었을 때의 연비와 속도를 정확히 예측할 수 있다면, 거대한 실험실과 돈을 아낄 수 있습니다.

3. "환경과 비용을 아끼는 길"

AI 가 너무 많은 전기를 먹고 있습니다. 이 새로운 척도는 **"어떤 AI 가 가장 적은 전기로 가장 똑똑한 일을 하는가?"**를 알려주므로, 친환경적이고 경제적인 AI 개발을 위한 나침반이 될 것입니다.

---

💡 한 줄 요약

"이제부터 AI 의 진짜 실력은 '얼마나 큰가'가 아니라, '얼마나 적은 자원으로 많은 일을 해내는가 (압축 효율)'로 판단하자!"

이 연구는 AI 가 더 똑똑해지면서 생기는 에너지 위기를 해결하고, 더 효율적인 AI 를 만드는 새로운 기준을 제시했습니다.

기술 요약

논문 제목: 정보 용량 (Information Capacity): 텍스트 압축을 통한 대규모 언어 모델 (LLM) 의 효율성 평가

1. 연구 배경 및 문제 정의 (Problem)

• 자원 소비의 급증: 최근 LLM 의 발전과 추론 시 확장 (Test-time scaling) 기술의 도입으로 인해 모델의 성능은 향상되었으나, 이에 따른 계산 자원 (컴퓨팅 파워, 에너지) 소비가 기하급수적으로 증가하고 있습니다.
• 효율성 평가 지표의 부재: 현재 LLM 의 효율성을 평가하는 데에는 명확하고 엄격한 기준이 부족합니다. 기존 지표들은 파라미터 수 (Parameter Count) 에 의존하거나, 서로 다른 토크나이저 (Tokenizer), 모델 아키텍처 (Dense vs MoE), 그리고 네트워크 구조의 차이를 고려하지 못합니다.
• 토크나이저 효율성 간과: 토크나이저의 효율성 (텍스트를 얼마나 적은 토큰으로 표현하느냐) 은 추론 비용과 지연 시간에 직접적인 영향을 미치지만, 대부분의 평가에서 간과되고 있습니다.
• 핵심 질문: 다양한 아키텍처와 크기를 가진 LLM 들의 추론 효율성을 공정하게 비교하고, 모델 크기에 따른 성능을 예측할 수 있는 새로운 메트릭은 무엇인가?

2. 제안 방법론 (Methodology)

저자들은 **압축과 지능의 상관관계 (Correlation between compression and intelligence)**에 착안하여 **"정보 용량 (Information Capacity, IC)"**이라는 새로운 지표를 제안했습니다.

• 정의: 정보 용량은 모델의 지능 (텍스트 압축 성능) 을 추론 복잡도 (계산 비용) 로 나눈 비율로 정의됩니다.
  • 수식: $IC = \frac{\text{모델 지능 (압축 이득)}}{\text{모델 추론 복잡도 (FLOPs)}}$
  • 구체적 계산:
    1. 모델 지능: 원본 텍스트 크기 ($C$) 에서 LLM 이 예측한 엔트로피 코딩 후의 비트 길이 (음의 로그 가능도, NLL) 를 뺀 값 (압축 이득).
    2. 추론 복잡도: 추론 시 소요되는 부동소수점 연산 횟수 (FLOPs) 의 로그 스케일.
    3. 보정: 시퀀스 길이의 영향을 제거하기 위해 토큰 단위로 평균화하며, 모델 시리즈 간 비교를 위해 음의 오프셋 ($b$) 을 적용하여 일정한 값을 유지하도록 조정합니다.
• 평가 프로세스:
  • 데이터셋: Mixed text, FinePDFs-en, Ch-FineWeb-Edu, FineWeb-Edu, NextCoder 등 5 가지 이질적인 데이터셋을 사용하여 평가.
  • 모델: 56 개의 오픈소스 모델 (Qwen, Llama, GLM, DeepSeek, Gemma 등) 을 대상으로 실험.
  • 측정 항목: 토크나이저 효율성 (토큰당 텍스트 크기), 사전 학습 데이터 양, MoE 아키텍처의 영향 등을 분석.

3. 주요 기여 (Key Contributions)

1. 새로운 효율성 지표 (Information Capacity) 제안: 파라미터 수나 벤치마크 점수 대신, '압축 효율성 대비 계산 비용'을 기반으로 한 통합 효율성 지표를 제시했습니다.
2. 토크나이저 효율성의 중요성 강조: 기존 평가에서 간과되었던 토크나이저의 효율성이 정보 용량에 미치는 결정적인 영향을 정량화했습니다.
3. 모델 시리즈 내 일관성 발견: 서로 다른 크기의 모델이 동일한 시리즈 내에서는 일정한 정보 용량을 유지한다는 사실을 발견하여, 이를 통해 모델 크기에 따른 성능을 예측할 수 있음을 증명했습니다.
4. 언어적 편향 (Linguistic Bias) 규명: 다양한 언어와 도메인 (영어, 중국어, 코드 등) 에서 모델들의 정보 용량 순위가 크게 달라짐을 확인하여, LLM 들의 성능이 데이터 분포에 따라 불균형적임을 보였습니다.

4. 주요 실험 결과 (Results)

• 일관된 정보 용량: 한 모델 시리즈 (예: Qwen3, Llama-3) 내에서 모델 크기가 커질수록 절대적인 압축 성능은 향상되지만, 계산 비용 증가와 상쇄되어 정보 용량 (IC) 값은 거의 일정하게 유지되었습니다.
• 토크나이저 효율성의 지배적 영향: 정보 용량과 토큰당 평균 텍스트 크기 (Text size per token) 사이에는 0.98 이상의 강한 양의 상관관계가 있었습니다. 즉, 효율적인 토크나이저를 가진 모델이 더 높은 정보 용량을 가집니다.
• MoE 아키텍처의 이점: MoE (Mixture of Experts) 모델은 활성화된 파라미터 수를 줄여 FLOPs 를 낮추면서도 예측 정확도 (NLL) 를 유지하거나 향상시켜, Dense 모델 대비 더 높은 정보 용량을 달성했습니다. 특히 희소도 (Sparsity ratio) 가 낮을수록 (전체 파라미터는 많지만 활성화 파라미터는 적은 경우) 정보 용량 이득이 큽니다.
• 성능 예측 능력:
  • 기존 스케일링 법칙 (Power Law) 은 단일 참조 모델로 다른 크기의 모델 성능을 예측할 때 큰 오차 (25% 이상) 를 보였습니다.
  • 반면, 정보 용량 기반 예측은 단일 참조 모델만으로도 다른 크기의 모델 NLL 성능을 ±3~6% 이내의 오차로 매우 정확하게 예측할 수 있었습니다.
• 벤치마크 점수와의 상관관계: 정보 용량은 평가된 코퍼스 (데이터) 와 일치하는 벤치마크 점수 (MMLU, LiveCodeBench, C-Eval 등) 와 강한 상관관계를 보였습니다. (예: 중국어 데이터셋에서 평가된 IC 는 C-Eval 점수와 높은 상관관계를 가짐).

5. 의의 및 결론 (Significance)

• 효율성 평가의 패러다임 전환: 단순한 "지능 (성능)" 중심의 평가에서 "지능 대비 비용 (효율성)" 중심의 평가로 전환할 수 있는 기준을 마련했습니다.
• 개발 및 배포 최적화:
  • 리소스 절감: 정보 용량을 통해 추론 효율성을 정량화함으로써, 제한된 하드웨어 환경 (에지 디바이스 등) 에서 최적의 모델을 선택하는 데 도움을 줍니다.
  • 학습 가속화: 대규모 모델을 학습시키기 전에 작은 참조 모델의 정보 용량을 통해 대규모 모델의 최종 손실 (Loss) 을 예측함으로써, 불필요한 학습 비용을 절감하고 개발 속도를 높일 수 있습니다.
• 포괄적 평가 필요성 강조: 단일 언어나 도메인 데이터만으로는 모델의 진정한 효율성을 평가할 수 없으며, 다양한 언어와 데이터 소스를 아우르는 종합적인 평가가 필요함을 시사합니다.

이 논문은 LLM 의 발전이 단순히 모델 크기 확장에만 머무르지 않고, 계산 효율성과 토크나이저 설계를 포함한 종합적인 관점에서 평가되어야 함을 강조하며, 이를 위한 강력한 도구인 '정보 용량'을 제시했습니다.