기술 요약: 지속 가능한 온디바이스 인텔리전스를 향하여

문제 정의

대규모 언어 모델(LLM)의 급격한 확산은 모델 학습 및 추론에 필요한 계산 집약성과 에지 디바이스(스마트폰, IoT 게이트웨이, 임베디드 시스템)의 자원 제한적 현실 사이의 긴장을 조성했다. 검색 증강 생성(RAG)은 외부 지식에 LLM의 출력을 근거하게 하고 환각 현상을 완화하기 위한 지배적인 패러다임으로 부상했지만, 표준 RAG 파이프라인은 클라우드 규모의 자원(대규모 벡터 인덱스, GPU 기반 검색, 넉넉한 메모리)을 가정한다. 에지 디바이스에 RAG를 배포하는 것은 정확도, 지연 시간, 메모리 점유율, 에너지 소비, 탄소 배출량 사이의 복잡하고 다차원적인 트레이드오프를 도입한다.

현재 온디바이스 AI, RAG, 그리고 그린 AI(지속 가능성)에 관한 연구는 세 개의 별개 영역으로 분리되어 존재한다. 기존 서베이들은 이 영역들의 쌍(예: 온디바이스 AI + RAG, 또는 그린 AI + 모델 압축)을 다루지만, 이 세 가지를 통합된 시스템 설계 관점으로 결합하지 못하고 있다. 결과적으로 양자화 비트 폭, 검색 깊이, 하드웨어 선택과 같은 설계 결정은 전체 시스템의 지속 가능성과 성능에 미치는 상호 의존성을 무시한 채 고립되어 결정되는 경우가 많다. 또한 전통적인 지표인 정확도와 지연 시간 외에 에너지와 탄소를 명시적으로 측정하는 통합 평가 프레임워크가 부족하다.

방법론

본 논문은 PRISMA 2020 가이드라인에서 영감을 얻은 구조적 문헌 검토 방법을 채택한다.

• 검색 전략: 세 가지 도메인의 용어를 조합한 불리언 쿼리를 사용하여 5개의 데이터베이스(IEEE Xplore, ACM Digital Library, Scopus, Google Scholar, arXiv)에서 체계적인 검색을 수행했다(예: "소형 언어 모델", "NPU"와 같은 온디바이스 AI; "검색 증강 생성"과 같은 RAG; "에너지 효율적 추론", "탄소 발자국"과 같은 그린 AI).
• 선택 기준: 본 검토는 2017년부터 2026년 8월까지의 피어 리뷰된 논문, 컨퍼런스 논문 및 인용수가 높은 프리프린트에 집중했다. 세 가지 도메인 중 적어도 하나를 다루고 새로운 방법론, 시스템 또는 벤치마크를 제시한 논문만을 포함했다. 에지 또는 지속 가능성을 고려하지 않은 클라우드 전용 LLM 서빙은 제외되었다.
• 코퍼스: 초기 검색 결과 1,247편의 논문이 도출되었다. 중복 제거 및 스크리닝(제목/초록 및 전문 검토) 과정을 거쳐 108편의 논문이 체계적 검색을 통해 선정되었다. 추가로 역방향 및 순방향 인용 체이닝을 통해 34편의 논문을 식별하였다. 최종적으로 분석된 서베이의 총 코퍼스는 142편이다.
• 분류: 문헌은 세 가지 기둥을 아우르는 9개의 카테고리로 구성된 계층적 분류 체계로 분류되었다:
  1. 온디바이스 AI: 파운데이션 모델, 소형 언어 모델(SLM), 양자화/압축, NPU 하드웨어.
  2. RAG: 핵심 RAG 기본 원리, 온디바이스 RAG 시스템.
  3. 그린 AI: 지속 가능성 측정, 평가/벤치마크, 응용 사례 연구.

주요 기여

1. 세 가지 기둥의 통합적 합성

본 논문은 온디바이스 AI 추론, 검색 증강 생성, 그리고 그린 AI/지속 가능성을 단일 설계 공간으로서 공동으로 다루는 첫 번째 리뷰를 제공한다. 본 논문은 양자화가 NPU 처리량과 에너지에 미치는 영향, 그리고 검색 전략이 답변 품질과 계산 오버헤드에 미치는 영향과 같은 도메인 간의 상호 의존성을 분석한다.

2. 142편의 논문에 대한 체계적 분류

저자들은 검토된 문헌을 9개의 특정 카테고리로 분류하여, 파운데이션 트랜스포머 아키텍처에서부터 특화된 NPU 하드웨어, 효율적인 RAG 파이프라인, 그리고 탄소 인지형 추론 전략에 이르기까지 해당 분야의 진화를 매핑하였다.

3. ALEMC 평가 프레임워크

핵심 기여는 기존의 성능 지표를 확장한 통합 평가 프레임워크인 ALEMC(Accuracy, Latency, Energy, Memory, Carbon)의 제안이다.

• 지표: 정확도(작업 점수와 충실도의 조화 평균), 지연 시간(첫 토큰 생성 시간 및 종단 간 시간), 에너지(쿼리당 줄), 메모리(피크 RSS), 탄소(쿼리당 gCO2e)에 대한 공식 지표를 정의한다.
• 점수 산정: 시스템 구성 간의 총체적 비교를 가능하게 하기 위해 가중 기하 평균 합성 점수를 도입하여, 한 차원에서의 성능 저하(예: 높은 에너지 소비)가 다른 차원의 강점(예: 높은 정확도)에 의해 가려지지 않도록 한다.
• 적용: 이 프레임워크는 설계 원칙을 합성하고 다양한 배포 패턴을 비교하는 데 적용된다.

4. 지속 가능한 온디바이스 RAG를 위한 통합 패턴

본 논문은 정확도-효율성-지속 가능성의 트레이드오프 공간 내에서 서로 다른 지점을 점유하는 세 가지 뚜리한 설계 패턴을 합성한다:

• 패턴 1: 양자화된 SLM + 경량 리트리버 + NPU: 메모리와 에너지를 최소화하기 위해 4비트 양자화된 SLM(예: Phi-3-mini, Gemma-2B)과 그래프 기반 또는 경량 검색(예: MiniRAG)을 사용하는 완전 오프라인 단일 디바이스 구성.
• 패턴 2: 추측적 에지-클라우드 하이브리드: 로컬 SLM이 답변 초안을 작성하고, 신뢰도가 낮은 쿼리에 대해서만 클라우드 기반 대규모 모델이 검증하는 신뢰도 게이트형 아키텍처. 이는 로컬의 프라이버시/효율성과 클라우드의 수준 높은 정확도 사이의 균형을 맞춘다.
• 패턴 3: 탄소 인지형 적응형 RAG: 실시간 그리드 탄소 집약도 및 디바이스 배터리 상태에 따라 런타임 파라미터(DVFS, LoRA 어댑터 랭크, 검색 깊이)를 조정하여 지속 가능성을 최적화하는 동적 시스템.

5. 오픈 챌린지 및 로드맵 식별

본 서베이는 6가지 핵심 과제를 식별하였다:

1. 하드웨어 격차: 현재의 NPU는 CNN에 최적화되어 있으며, LLM/RAG에 필요한 가변 길이 시퀀스, 희소 연산 및 동적 그래프에 대한 네이티브 지원이 부족하다.
2. 표준화된 벤치마크: 온디바이스 RAG에 대한 재현 가능한 에너지 벤치마크가 부족하여 연구 간 비교가 어렵다.
3. 라이프사이클 인식 모델 선택: 모델을 선택할 때 추론 에너지뿐만 아니라 학습 탄소 및 재학습 비용을 고려해야 할 필요성이 있다.
4. 연합 RAG(Federated RAG): 협력적인 온디바이스 지식 공유를 위한 보안 인덱스 집계 및 차분 프라이버시의 과제.
5. 멀티모달 에지 RAG: 엄격한 에지 메모리 및 에너지 예산 내에서 멀티모달 검색(텍text, 이미지, 오디오)을 배포하는 것의 어려움.
6. 정책 및 규제: AI 시스템에 대한 표준화된 탄소 라벨링 및 에너지 보고에 대한 요구 증가.

결과 및 경험적 관찰

본 논문은 단일한 새로운 실험 결과를 제시하는 것이 아니라, 검토된 142편의 논문으로부터 발견된 내용을 합성하며, ALEMC 프레임워크를 검증하기 위한 통제된 경험적 연구(섹션 7.3)를 포함한다.

• 실행 가능성: 본 합성은 지속 가능한 온디바이스 RAG가 기술적으로 가능하다는 것을 확인한다. 4비트 양자화된 SLM(13B 파라미터)과 경량 검색을 사용하는 시스템은 현대적인 모바일 NPU에서 24GB의 메모리 내에서 작동하며, 2초 이내에 답변을 제공할 수 있다.
• 에너지 절감: 온디바이스 추론은 네트워크 전송 및 인프라(PUE) 오버헤드를 제거함으로써 소형 모델의 경우 클라우드 추론 대비 에너지 소비를 10~100배 줄일 수 있다. 그러나 더 큰 모델이나 고빈도 쿼리의 경우, 내재된 탄소 및 로컬 그리드 강도가 지배적인 요인이 됨에 따라 이 이점은 감소한다.
• 트레이드오프: 경험적 연구와 문헌 합성은 급격한 수확 체감 법칙을 보여준다. 4비트 1B 파라미터 모델에서 풀 프리시전 7B 모델로 이동하면 정확도는 단 3~5% 향상될 수 있는 반면, 에너지 소비는 10배 이상 증가할 수 있다.
• 컨텍스트 압축: SparseRAG 및 선택적 콘텐츠 감소와 같은 기술은 정확도 손실을 거의 없이 컨텍스트 길이를 30~55% 줄일 수 있으며, 이는 프리필(prefill) 계산 및 KV 캐시 에너지를 직접적으로 낮춘다.

의의 및 주장

본 논문은 세 가지 인접한 연구 커뮤니티를 하나의 일관된 프레임워크로 합성하는 데 그 주요 의의가 있다고 주장한다. 저자들은 지속 가능한 온디바이스 RAG 시스템의 설계가 압축, 검색, 또는 지속 가능성 중 어느 하나의 요소만을 고립시켜 최적화해서는 달성될 수 없다고 주장한다.

• 담론의 전환: 본 연구는 질문의 초점을 "온디바이스에서 RAG를 실행할 수 있는가?"(이미 긍정적인 답변이 나온 부분)에서 "지속 가능하게 온디바이스에서 RAG를 실행할 수 있는가?"로 전환하는 것을 목표로 한다.
• 통합적 관점: 양자화 비트 폭이 검색 인덱스를 위한 메모리 가용량에 미치는 영향이나, 검색 깊이가 에너지 소비에 미치는 영향과 같은 상호 의존성을 드러냄으로써, 본 논문은 시스템 설계를 위한 원칙적인 기초를 제공한다.
• 실행 가능한 프레임워크: ALEMC 프레임워크와 식별된 통합 패턴은 실무자들이 정확도, 지연 시간, 에너지, 메모리, 탄소라는 다차원 파레토 최적해(Pareto frontier)를 탐색할 수 있는 구체적인 방법론을 제공한다.
• 미래 방향: 본 논문은 표준화된 에너지 벤치마크, LLM을 위한 NPU 하드웨어 공동 설계, 그리고 진정으로 지속 가능한 에지 인텔리전스를 가이드하기 위한 라이프사이클 인식 모델 선택 도구의 개발을 촉구하며 연구 로드맵을 제시한다.