Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

이 논문은 로컬 AI 의 효율성을 평가하기 위해 '지능당 전력 (IPW)'이라는 새로운 지표를 제안하고, 대규모 실증 연구를 통해 로컬 추론이 클라우드 인프라의 수요를 의미 있게 분산시킬 수 있음을 입증했습니다.

핵심

🏠 비유: "거대한 발전소 vs. 개인용 태양광 패널"

과거의 AI 는 마치 **거대한 발전소 (클라우드 서버)**에서 전기를 만들어 먼 곳으로 보내는 방식이었습니다. 모든 질문을 이 거대한 발전소로 보내면 정답을 잘 얻었지만, 전기를 너무 많이 쓰고 비용도 비쌌습니다.

하지만 최근 기술 발전으로 **작은 발전기 (개인용 노트북/스마트폰)**도 이제 그럭저럭 좋은 전기를 만들어낼 수 있게 되었습니다. 이 논문은 "그 작은 발전기가 얼마나 효율적으로 전기를 아끼면서 일을 잘해낼까?"를 측정했습니다.

🔍 핵심 질문 3 가지

연구진은 다음과 같은 세 가지 질문을 던졌습니다.

1. 작은 AI 가 진짜 일을 잘할까? (우리가 일상에서 하는 질문의 88.7% 는 작은 AI 가 해결할 수 있음)
2. 전기를 얼마나 아끼면서 일을 할까? (지능 효율성, 즉 '전력 1 와트당 얼마나 똑똑한지'를 측정)
3. 두 가지를 섞으면 얼마나 이득일까? (간단한 건 작은 AI 가, 어려운 건 큰 AI 가 처리하게 하면?)

---

📊 주요 발견 사항 (창의적인 비유로!)

1. "작은 AI 가 90% 는 해결해요!" (현실적인 능력)

과거에는 "AI 는 무조건 거대한 서버에 있어야 한다"고 생각했습니다. 하지만 연구 결과는 다릅니다.

• 비유: 우리가 매일 하는 대화나 간단한 질문 (예: "오늘 저녁 메뉴 추천해줘", "이 이메일 요약해줘") 은 작은 노트북에 탑재된 AI가 거의 완벽하게 처리합니다.
• 통계: 연구진들이 100 만 개의 실제 질문을 테스트한 결과, **88.7%**는 작은 AI 가 거대한 클라우드 AI 와 똑같이 잘 답했습니다.
• 예외: 다만, "건축 설계도 그려줘"나 "복잡한 물리 문제 풀어줘" 같은 아주 전문적이고 어려운 질문은 여전히 거대한 AI 의 도움이 필요합니다.

2. "지능 효율성 (IPW): 전기를 아끼면서 똑똑해지는 기술"

이 논문은 **'전력 1 와트당 얼마나 똑똑한지 (Intelligence per Watt)'**라는 새로운 지표를 만들었습니다.

• 비유: 같은 양의 연료 (전기) 로 얼마나 멀리 (똑똑하게) 갈 수 있는지 측정하는 자동차의 연비와 같습니다.
• 결과: 2023 년부터 2025 년까지 2 년 사이, 이 '연비'가 5.3 배나 좋아졌습니다!
  • 이유: AI 알고리즘이 더 똑똑해졌고 (소프트웨어), 노트북 칩이 더 효율적으로 전기를 쓰게 되었기 때문입니다 (하드웨어).
  • 의미: 이제 개인 기기에서도 클라우드 못지않게 효율적으로 AI 를 쓸 수 있는 시대가 왔습니다.

3. "스마트한 배정 시스템: 60~80% 의 에너지 절약"

가장 중요한 결론은 **"혼합 시스템"**입니다.

• 비유: 식당에 손님이 왔을 때, 간단한 주문은 **가게 앞의 작은 주방 (로컬 AI)**이 하고, 복잡한 스페셜 메뉴 주문만 **본점의 거대한 주방 (클라우드 AI)**으로 보내는 것입니다.
• 효과: 이렇게 똑똑하게 나누어 처리하면, 전기는 80%, 비용은 **74%**나 아낄 수 있습니다.
• 현실: 완벽한 배정 시스템이 아니더라도 (80% 만 정확해도), 우리는 여전히 엄청난 에너지를 절약하면서도 좋은 답변을 받을 수 있습니다.

---

💡 이 연구가 우리에게 주는 메시지

1. 클라우드만 믿지 마세요: 앞으로는 거대한 서버에 모든 일을 맡기지 않아도 됩니다. 우리 손안의 기기만으로도 대부분의 일을 해결할 수 있습니다.
2. 에너지와 비용의 구원: AI 가 전기를 너무 많이 써서 환경 문제가 된다는 우려가 있었지만, 이 '로컬 AI' 기술은 그 문제를 해결할 열쇠가 됩니다.
3. 미래는 '하이브리드'입니다: 간단한 건 내 노트북이, 어려운 건 클라우드가 처리하는 협업 시스템이 AI 의 미래를 바꿀 것입니다.

🚀 결론

이 논문은 **"AI 가 거대하고 비싸야만 하는 시대는 끝났다"**고 선언합니다. 이제 우리는 작고 효율적이며, 전기를 아끼는 AI를 통해 더 저렴하고 친환경적으로 똑똑한 기술을 누릴 수 있게 되었습니다. 마치 거대한 발전소 대신 각 가정의 지붕에 태양광 패널을 설치하여 전기를 아끼는 것과 같은 변화입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 쿼리의 대부분은 현재 중앙 집중식 클라우드 인프라의 최첨단 모델 (Frontier Models) 에 의해 처리되고 있습니다. 그러나 쿼리 수요의 기하급수적인 성장은 클라우드 인프라의 확장 능력을 초과하여 자원 제약과 비용 증가를 초래하고 있습니다.

• 핵심 과제: 클라우드 의존도를 낮추고 로컬 디바이스 (랩톱, 모바일 등) 에서 추론을 가능하게 하려면, 로컬 모델이 실제 쿼리를 정확하게 처리할 수 있을 뿐만 아니라, 전력 제약이 있는 환경에서 효율적으로 작동할 수 있는지 입증해야 합니다.
• 기존 한계: 기존 연구들은 주로 모델의 정확도나 추론 속도만 측정했을 뿐, '지능 (성능)'과 '에너지 효율 (전력)'을 통합하여 로컬 추론의 실현 가능성을 평가하는 체계적인 지표가 부족했습니다.

2. 방법론 (Methodology)

저자들은 로컬 AI 의 효율성을 측정하기 위해 **"지능 당 와트 (Intelligence Per Watt, IPW)"**라는 새로운 통합 지표를 제안하고 대규모 실증 연구를 수행했습니다.

• 지표 정의 (IPW):
  • 정의: 단위 전력 소비당 태스크 정확도 (Task Accuracy / Power Consumption).
  • 목적: 모델의 능력 (지능) 과 하드웨어의 효율성 (전력) 을 동시에 고려하여 로컬 추론의 실용성을 평가.
  • 보조 지표: 정확도/줄 (Accuracy per Joule, 에너지 효율), 퍼플렉시티/와트, 지연 시간 (Latency) 등.
• 데이터셋 및 범위:
  • 쿼리: 100 만 개 이상의 실제 세계 쿼리 (WildChat, NaturalReasoning, MMLU PRO, SUPERGPQA).
  • 모델: 2023 년부터 2025 년까지의 20 개 이상의 최신 로컬 LLM (QWEN3, GPT-OSS, GEMMA3, IBM GRANITE 등, 활성 파라미터 20B 이하).
  • 하드웨어: 8 가지 가속기 (Apple M4 Max, NVIDIA H100/B200, AMD MI300X, SambaNova 등) 를 포함한 로컬 및 클라우드 환경.
• 실험 설계:
  • 단일 턴 채팅 및 추론 쿼리에 대해 로컬 모델과 최첨단 클라우드 모델 간의 승률 (Win-rate) 을 비교.
  • 시간 경과에 따른 IPW 개선 추이 분석 (2023~2025).
  • 로컬 - 클라우드 하이브리드 시스템에서의 쿼리 라우팅 시나리오 시뮬레이션 (Oracle 라우팅 및 60~80% 정확도 라우팅).

3. 주요 기여 (Key Contributions)

1. IPW 지표의 도입: 로컬 추론의 실현 가능성을 평가하기 위해 정확도와 에너지 효율을 통합한 '지능 당 와트 (IPW)' 지표를 최초로 제안하고 체계적인 벤치마크를 수행했습니다.
2. 대규모 실증 연구: 100 만 개 이상의 쿼리, 20 개 이상의 모델, 8 가지 하드웨어 가속기를 대상으로 2023 년부터 2025 년까지의 진화 과정을 분석했습니다.
3. 하이브리드 라우팅의 효율성 입증: 로컬과 클라우드 인프라를 상호 보완적으로 활용하는 라우팅 전략이 에너지, 컴퓨팅, 비용 측면에서 막대한 절감 효과를 가져올 수 있음을 수치적으로 증명했습니다.
4. 오픈 소스 도구 공개: 재현 가능한 효율성 벤치마킹을 위한 프로파일링 하네스 (Profiling Harness) 를 공개하여 생태계 발전을 지원했습니다.

4. 주요 결과 (Key Results)

A. 로컬 모델의 처리 능력 (Coverage)

• 높은 처리율: 2025 년 10 월 기준, 단일 턴 채팅 및 추론 쿼리의 **88.7%**를 로컬 모델 (≤20B) 이 성공적으로 처리할 수 있음.
• 도메인별 차이: 창의적 작업 (예술, 미디어 등) 은 90% 이상 처리되지만, 기술적 분야 (건축, 공학 등) 는 68% 로 낮음.
• 시간에 따른 성장: 2023 년 (23.2%) → 2024 년 (48.7%) → 2025 년 (71.3%) 으로 로컬 모델이 최첨단 모델 품질을 달성하는 쿼리 비율이 3.1 배 증가.

B. 지능 효율성 (IPW) 의 진화

• 급격한 효율성 향상: 2023 년부터 2025 년까지 IPW 가 5.3 배 개선됨.
  • 모델 아키텍처 발전 (MIXTRAL → GPT-OSS 등) 에 의한 기여: 3.1 배.
  • 하드웨어 가속기 발전 (NVIDIA Quadro → Apple M4 Max 등) 에 의한 기여: 1.7 배.
• 로컬 vs 클라우드 효율성: 동일한 모델을 실행할 때, 로컬 가속기 (Apple M4 Max) 는 클라우드 가속기 (NVIDIA B200) 대비 IPW 가 약 1.4 배 낮음 (클라우드가 더 효율적). 하지만 로컬 가속기는 전력 제약 내에서 충분히 실용적인 수준에 도달함.

C. 하이브리드 라우팅의 자원 절감 효과

• 이상적인 시나리오 (Oracle Routing): 모든 쿼리를 가장 작은 능력이 있는 모델로 완벽하게 라우팅할 경우, 클라우드 전용 배포 대비 에너지 80.4%, 컴퓨팅 77.3%, 비용 73.8% 절감 가능.
• 실용적인 시나리오 (80% 라우팅 정확도): 완벽한 라우팅이 아니더라도 80% 의 정확도로 라우팅하면 이론적 최대 절감 효과의 80% 를 달성할 수 있음 (에너지 64.3%, 비용 59.0% 절감).
• 품질 유지: 라우팅 오류 시 최상위 모델로 폴백 (Fallback) 하는 방식으로 답변 품질을 유지하면서 자원 절감 달성.

5. 의의 및 결론 (Significance)

이 논문은 **로컬 추론 (Local Inference)**이 더 이상 이론적 가능성이 아니라, 실제 클라우드 인프라의 수요를 의미 있게 재분배할 수 있는 실용적인 대안임을 입증했습니다.

• 패러다임 전환: 클라우드 중심의 LLM 배포에서 로컬 - 클라우드 하이브리드 시스템으로의 전환이 가능해졌으며, 이는 전력 소모와 비용을 획기적으로 줄일 수 있는 길입니다.
• 지속 가능한 AI: IPW 지표는 모델과 하드웨어의 발전을 추적하는 핵심 척도로 작용하며, 에너지 효율적인 AI 생태계 구축을 위한 기준을 제시합니다.
• 경제적 영향: 로컬 모델의 성능 향상은 창의적 및 대화형 작업뿐만 아니라 전문적인 추론 작업까지도 경제적으로 가치 있는 GDP 영역으로 확장시키고 있습니다.

결론적으로, 로컬 AI 는 전력 효율성과 모델 성능의 동시 개선을 통해 중앙 집중식 인프라의 병목 현상을 해결할 수 있는 핵심 기술로 부상하고 있으며, IPW는 이 전환기를 측정하고 최적화하는 데 필수적인 지표입니다.