기술 요약: SmartRAG – 모바일 기기를 위한 네이티브 그래프 기반 RAG

문제 정의

모바일 기기에서 개인용 비서로서 대규모 언어 모델(LLM)을 배포하는 것은 근본적인 긴장 상태에 직면해 있다: 즉, 프라이버시, 낮은 지연 시간, 오프라인 가용성의 필요성과 에지 하드웨어의 계산 및 메모리 제약 사이의 충돌이다. 검색 증강 생성(RAG)은 외부 비매개변수적 메모리를 통합함으로써 해결책을 제시하지만, 기존의 온디바이스 접근 방식은 주로 "나이브 벡터 검색(naive vector retrieval)"에 크게 의존한다. 이 패러다임은 여러 세그먼트에 걸친 증거 집계, 엔티티 연결(entity linking), 다중 홉 추론(multi-hop reasoning)을 요구하는 복잡한 질의를 처리하는 데 어려움을 겪는다. 반대로, 그래프 RAG를 통해 탁월한 다중 홉 추론 능력을 보여주는 클라우드 기반 방식은 그래프 구축과 추론을 위해 수십억 개의 파라미터를 가진 거대 모델에 의존하며, 이는 모바일 기기에서는 사용 불가능한 자원이다.

핵심 과제는 경량화된 온디바이스 모델이 재학습 없이 미지의 엔티티를 식별하거나, 롱테일 개념을 조직하거나, 복잡한 그래프 기반 추론을 수행할 역량이 부족하다는 점이다. 또한, 소형 모델의 제한된 매개변수적 메모리에만 의존하는 것은 지속적인 업데이트와 지식 집약적 작업에 불충분하다.

방법론: SmartRAG 아키텍처

SmartRAG는 온디바이스 지능을 네 가지의 협력적인 모듈로 분해함으로써 이러한 한계를 해결하며, 구조화된 메모리 구축의 부담을 LLM에서 특화된 시스템 아키텍처로 전환한다. 이 프레임워크는 양자화된 1.7B 파라미터 백본을 사용하여 일반적인 스마트폰에서 완전히 작동한다.

1. 인지(Perception): EvoNER (진화형 개체명 인식)

백본 LLM의 재학습 없이 사용자 데이터의 동적인 특성을 처리하기 위해, SmartRAG는 지속적으로 학습 가능한 개체명 인식기인 EvoNER를 채택한다.

• 문자 주입을 통한 스팬 기반 탐지(Span-based Detection with Character Injection): EvoNER는 입력 문장을 서브워드 표현으로 인코딩하고 후보 스팬을 열거한다. 오타나 희귀한 표면 형태에 대한 강건성을 높이기 위해 컨텍스트 임베딩에 문자 수준의 특징을 보강한다.
• 예약된 레이블 메커니즘(Reserved-Label Mechanism): 지속적인 확장을 지원하기 위해 분류기는 베이스 헤드(배포된 엔티티 유형용)와 미래의 유형을 위한 예약된 행으로 분할된다. 새로운 엔티티 유형은 출력 차원을 변경하지 않고 사용되지 않은 예약된 행에 매핑된다.
• 점진적 학습(Incremental Learning): 새로운 엔티티 유형이 등장할 때, EvoNER는 베이스 레이블 서브스페이스 내로 제한된 교사 유도 증류(teacher-guided distillation)를 통해 업데이트된다. 이를 통해 시스템은 기존 유형에 대한 성능을 유지하면서도 보이지 않던 개념을 흡수할 수 있다.
• 3단계 업데이트: 모바일 스케줄링 제약을 수용하기 위해 학습은 세 단계 일정을 따른다: 헤드만 적응시키기, 부분적인 인코더 레이어 추가하기, 그리고 마지막으로 짧은 전체 모델 통합 허용하기.
• 트리플렛 발견(Triplet Discovery): 추출된 엔티티는 거친 유형으로 분류된다. 미지의 엔티티는 시맨틱 벡터에 대한 응집형 클러스터링(agglomerative clustering)을 통해 클러스터링되며, LLM이 일관된 클로스터에 레이블을 할당한다.

2. 메모리: MRGraph (다층 프로비넌스 그래프)

추출된 지식은 효율적인 검색과 명시적인 출처(provenance)를 위해 설계된 3계층 지식 그래프인 MRGraph에 저장된다.

• 레이어 1 (엔티티–문단 그래프): 문단이 원자적 단위이다. 엔티티 노드는 중복 제거되어 소스 문단에 연결된다. 관계는 통제되지 않는 성장을 방지하기 위해 관측 횟수가 포함된 키드(keyed) 엣지로 저장된다.
• 레이어 2 (추상화 레이어): 엔티티 상위에 시맨틱 클러스터가 유지되며, 중심점(centroid)은 스무딩을 통해 업데이트된다. 이 레이어는 토픽 드리프트 탐지와 점진적인 요약 정교화를 지원한다.
• 레이어 3 (런타임 로우-텍스트 뷰): 질의 시, 검색된 문단과 로컬 그래프 이웃이 토큰 예산 내로 구성된 컨텍스트로 조립되어, 구조화된 증거와 비구조화된 증거를 모두 제공한다.

3. 집중(Focus): 하이브리드 검색

Focus 모듈은 그래프 순회, 어휘 매칭, 밀집 시맨틱 검색을 결합한 하이브리드 파이프라인을 통해 증거를 검색한다.

• 계획 가이드형 다중 홉 텍스트 검색: 시스템은 질문을 검색 계획(시드 엔티티, 관계 구절, 타겟 유형)으로 분해한다. 융합된 어휘 및 밀집 점수를 사용하여 후보 문단을 검색하고, 최대 한계 관련성(MMR)을 통해 증거를 선택한다.
• 그래프 구조적 증강: 텍스트 검색 시드로부터 브릿지 엔티티가 그래프 순회를 시작한다. 시스템은 노드 결합을 추상화 레이어의 요약과 비교하고, 퍼스널라이즈드 페이지랭크(Personalized PageRank)를 사용하여 노드 중요도를 추정하여 서브그래프를 확장한다.
• 전체 문서 폴백(Full-Document Fallback): 초기 단계에서 충분한 증거가 확보되지 않으면, 문서에 대한 글로벌 검색을 통해 경계를 넘나드는 참조를 복구한다.

4. 사고(Thinking): LLM 기반 시맨틱 연산

온디바이스 LLM은 고가치 시맨틱 연산을 위해 드물게 호출되어 추론 비용을 제한한다:

• 레이블링(Labeling): 새로 등장하는 엔티티 클러스터에 이름을 부여한다.
• 요약(Summarization): 지식 그래프를 주기적으로 클러스터링하고 요약을 생성하여 자기 압축적 메모리 루프를 형성한다.
• 계획(Planning): 검색 모호성을 줄이기 위해 복잡한 질문을 다중 홉 검색 계획으로 분해한다.
• 답변(Answering): 검색된 증거를 조건으로 답변을 생성하며, 환각을 줄이기 위해 구조화된 스키마에 구속된다.

주요 기여

1. 문제 식별: 본 논문은 복잡한 추론에는 구조화되고 업데이트 가능한 메모리가 필요하지만, 기존의 그래프 구축 파이프라인은 에지 지속 가능성을 위해 강력한 LLM에 너무 많이 의존한다는 점을 식별하였다.
2. SmartRAG 프레임워크: 고빈도 메모리 쓰기 작업을 경량화된 학습 가능 구성 요소(EvoNER)로 재할당하는 동시에, LLM을 희소하고 가치 있는 연산에만 예약하는 새로운 온디바이스 RAG 방식을 제안한다.
3. EvoNER: 백본 LLM을 재학습할 필요 없이 경량화된 점진적 업데이트와 교사 증류를 통해 미지의 시맨틱 카테고리를 흡수하는 지속 학습 가능한 엔티티 인식기이다.
4. 엔드 투 엔드 온디바이스 파이프라인: 프로비넌스를 보존하는 구조화된 메모리와 하이브리드 검색을 실제 스마트폰에서 구현한 풀 파이프라인을 통합하여, 엄격한 장치 제약 하에서도 강력한 성능을 입증하였다.

실험 결과

실험은 Qwen3-1.7B 양자화 백본을 사용하여 OnePlus 13 및 OnePlus 15 스마트폰에서 완전히 실행되는 환경에서 네 가지 QA 벤치마크(TriviaQA, Natural Questions, HotpotQA, MultiHopQA)를 대상으로 수행되었다.

• 대규모 모델과의 성능 비교: SmartRAG는 1.7B 파라미터 모델임에도 불구하고 Natural Questions, HotpotQA, MultiHopQA에서 최대 18배 더 큰 모델(예: Qwen3-32B 및 Ministral3-14B)과 경쟁할 만한 다중 홉 추론 성능을 달성했다.
• RAG 베이스라인과의 비교: SmartRAG는 동일한 1.7B/3B 백본을 사용하는 다른 검색 증강 방법들(Naïve RAG, InstructRAG, StableRAG, TruthfulRAG)보다 유의미하게 높은 성능을 보였다. 예를 들어, MultiHopQA에서 SmartRAG는 Naïve RAG(45.66%) 및 TruthfulRAG(19.95%)에 비해 **50.17%**의 정확도(Cr)를 달 기록했다.
• 어블레이션 연구(Ablation Studies): MRGraph 구성 요소를 제거했을 때 가장 큰 성능 저하(Token-F1이 0.5484에서 0.4151로 감소)가 발생하여, 구조화된 메모리의 결정적인 역할을 확인했다. Thinking 플래너와 하이브리드 검색을 비활성화하는 것 또한 상당한 성능 저하를 초래했다.
• 온디바이스 실행 가능성: 4B 모델도 기술적으로 실행은 가능하지만, 1.7B 백본이 메모리(약 45.5 GB PSS)와 지연 시간 측면에서 "실질적으로 배포 가능한 영역"에 머물러 있음을 확인했다. 4B 모델의 메모리 풋프린트(약 6.56.8 GB)와 더 긴 첫 토큰 시간(TTFT)은 대화형 온디바이스 RAG에 덜 적합하게 만든다.

의의 및 주장

본 논문은 SmartRAG가 구조화된 지식에 대한 능력을 모델 중심의 문제에서 시스템 아키텍처의 문제로 전환한다고 주장한다. 지식 추출, 메모리 조직, 추론 지원을 분리함으로써, 이 프레임워크는 거대 모델의 계산 오버헤드 없이 복잡한 추론을 지원하는 구조화된 지식 기반을 구축할 수 있는 경량 구성 요소를 가능하게 한다.

저자들은 이 접근 방식이 클라우드 패러다임과는 다른 온디바이스 RAG의 실질적인 구현 경로를 제공한다고 강조한다. 이는 엄격한 장치 제약 하에서, 증거 조직과 메모리 구축을 개선하는 것이 파라미터 수를 늘리는 것만큼이나 중요할 수 있음을 입증한다. 시스템은 전체 과정을 커모디티 스마트폰에서 실행함으로써 프라이버시를 보호하고, 오프라인이며, 저지연인 개인 비서 기능을 달성하며, 사용자 데이터를 클라우드로 보낼 필요를 없앤다.

논문은 현재의 플래너가 휴리스틱이라는 점, 지연 시간이 검색 조건부 프리필링(prefilling)에 의해 지배된다는 점, 그리고 평가가 현재 영어 벤치마크로 제한되어 있다는 점 등 한계점에 대해 겸허하게 언급한다. 또한, 시스템이 상세한 개인 지식 그래프를 구축하므로, 장치가 침해되었을 경우를 대비해 데이터 거버넌스 문제를 완화할 적절한 암호화 및 액세스 제어가 필요함을 인정한다.