기술 요약: 개인정보 보호를 위한 로컬 인지 에이전트용 소형 언어 모델 기반 검색 증강 생성(RAG) 최적화

1. 문제 정의

고도화된 추론 및 지식 검색을 위해 대규모 언어 모델(LLM)에 대한 의존도가 높아짐에 따라 데이터 프라이버시, 네트워크 의존성, 통신 지연 시간 및 계산 비용과 관련된 중대한 과제가 발생하고 있습니다. 소형 언어 모델(SLM)은 로컬의 자원 제한적인 환경 배포를 위한 실행 가능한 대안을 제시하지만, 파라미터 수의 제한과 문맥적 지식의 부족으로 인해 외부 지원 없이는 환각 현상(hallucination)과 지식 집약적 작업에서의 성능 저하가 나타나기 쉽습니다.

RAG는 파라미터 모델의 지식과 비파라미터 검색을 결합하여 지식의 한계를 해결하지만, 기존의 RAG 파이프라인은 로컬 SLM보다는 클라우드 기반의 대규모 모델에 최적화되어 있는 경우가 많습니다. 본 논문은 세 가지 핵심 문제를 식별합니다:

• P1: 기존 RAG 프레임워크는 SLM을 위한 특정 검색 최적화가 부족하여, 비효មាន한 시맨틱 검색과 취약한 지식 근거 제시로 이어집니다.
• P2: 현재의 구현 방식은 자원이 제한된 로컬 환경에 최적화되어 있지 않아, 높은 응답 지연 시간과 계산 오버헤드를 초래합니다.
• P3: 비효율적인 검색 및 문맥 구성은 무관한 정보를 도입하여, 로컬 에이전트의 환각 현상을 심화시키고 응답 품질의 불일치를 유발합니다.

2. 방법론

본 연구는 개인정보를 보호하는 로컬 인지 에이전트 프로토타입인 FRIDAY(Fast Retrieval-Integrated Digital Assistant for You)를 개발하고 평가하기 위해 응용, 정량, 실험적 설계를 채택하였습니다. 이 방법론은 RAG를 고정된 파이프라인이 아닌 최적화 변수의 시스템으로 취급합니다.

2.1 시스템 아키텍처

FRIDAY 프로토타입은 클라우드 연결 없이 전적으로 로컬 하드웨어에서 작동합니다. 아키텍처는 다음과 같은 순차적 단계로 구성됩니다:

1. 지식 습득: 로컬 PDF 및 텍스트 문서 수집.
2. 문서 전처리: 문서의 정제, 정규화 및 청킹(chunking).
3. 임베딩 최적화: 후보 모델을 사용하여 청크를 벡터 표현으로 변환.
4. 벡터 인덱싱: 로컬 벡터 데이터베이스에 저장.
5. 검색 최적화: Top-k 값 및 유사도 임계값의 실험적 변동.
6. 문맥 최적화: 문맥 저하를 방지하기 위한 검색 정보 구조화.
7. 로컬 SLM 생성: 프라이버시 가드레일이 적용된 로컬 배포 SLM을 통한 추론.
8. 성능 평가: 베이스라인 대비 정량적 평가.

2.2 실험 구성

연구는 여러 변수에 대해 베이스라인 구성과 최적화 구성을 비교합니다:

• 언어 모델: Ollama를 통한 Phi-3 Mini (SLM).
• 임베딩 모델: BGE-small-en-v1.5 (384차원).
• 벡터 데이터베이스: Redis 8.2.7 Vector Sets (VADD/VSIM 명령 활용).
• 청킹: 고정된 구성에 대해 평가.
• Top-k 검색: 실험적으로 변동 (k = 3, 5, 8, 10).
• 프라이버시 가드레일: 입력/출력 스크리닝 및 프롬프트 주입 탐지 구현.

2.3 평가 지표

시스템은 검색 정밀도(precision), 재현율(recall), 응답 지연 시간, 환각율, 지식 근거 품질, CPU/메모리 사용률, 그리고 프라이버시 정책 준수 성공 여부를 사용하여 평가되었습니다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 제시합니다:

1. FRIDAY 프레임워크: 로컬에 배포된 SLM을 위해 특별히 설계된 최적화 지향적 RAG 프레임워크.
2. 체계적 평가: 로컬 환경에서의 시맨틱 지식 검색에 맞춤화된 임베딩 모델, 청킹 전략 및 검색 파라미터에 대한 종합적인 분석.
3. 실험적 분석: 검색 품질, 문맥 활용 및 응답 생성 간의 관계에 대한 조사.
4. 정량적 베이스라인: 로컬 추론 제약 조건 하에서의 지연 시간, 처리량 및 자원 활용도에 대한 측정된 평가.
5. 작동하는 프로토타입: 클라우드 의존성 없이 지식 검색 및 가드레일 강제 수행이 가능한 완전한 기능의 개인정보 보호 로컬 인지 에이전트.

4. 결과

FRIDAY 프로토타입은 12개의 PDF 문서(64페이지) 코퍼스를 대상으로 테스트되었으며, 그 결과 843개의 지식 청크가 생성되었습니다.

• 수집 성능: 시스템은 843개의 청크를 처리하였으며, 임베딩 시간은 30.94초, 총 수집 시간은 31.48초로 초당 26.78개의 청크 처리량을 달성했습니다.
• 검색 지연 시간: 10개 쿼리 벤치마크 결과, 평균 임베딩 지연 시간은 20.3 ms였으며, Redis 벡터 검색 지연 시간은 2.93 ms로 현저히 낮았습니다. 총 평균 검색 단계 지연 시간은 약 23.2 ms였습니다.
• Top-k 최적화: Top-k(3, 5, 8, 10)를 변화시킨 실험에 따르면, 검색된 후보의 수를 늘리는 것이 시맨틱 품질을 선형적으로 개선하지는 않았습니다. 낮은 순위의 청크들은 직접적인 증거보다는 참조 문구나 광범위한 결론을 포함하는 경향이 있어, 관련성 필터링의 필요성을 시사했습니다.
• 프라이버시 및 가드레일: 시스템은 로컬 SLM에 도달하기 전 프롬프트 주입 시도를 성공적으로 탐지하고 차단했습니다. 이후의 정상적인 쿼리들은 4가지 보안 체크(프라이버시 보호, 프롬프트 주입 방지, 입력 가드레일, 출력 가드레일)를 모두 통과하였으며, 응답 시간은 3.20초로 확인되어 가드레일이 정상적인 사용을 방해하지 않음을 입증했습니다.
• 시각적 처리: 파이프라인은 27개의 시각 분석 레코드를 위해 로컬 비전 모델(Granite 3.2 Vision)을 성공적으로 통합하였으며, 간헐적인 로컬 추론 타임아웃 발생 시 프로세스를 종료하는 대신 계속 진행함으로써 이를 처리했습니다.

5. 의의 및 주장

본 논문은 그 주요 의의가 완전히 로컬이며 개인정보를 보호하는 RAG 파이프라인에 대한 정량적 베이스라인을 구축하는 데 있다고 주장합니다. 이는 클라우드 연결 없이 소비자급 하드웨어에서 지식 근거를 갖춘 인지 에이전트를 배포하는 것이 가능하다는 것을 보여줍니다.

주요 결과는 다음과 같습니다:

• 실행 가능성: SLM을 사용하는 로컬 RAG 파이프라인은 상호작용 용도로 실용적이며, 검색 지연 시간은 벡터 데이터베이스 검색보다는 임베딩 생성 과정에 의해 지배됩니다.
• 최적화의 필요성: 단순히 검색된 문맥의 양(Top-k)을 늘리는 것이 더 나은 생성을 보장하지 않으며, 문맥 구성과 순서가 성능 저하를 방지하는 데 매우 중요합니다.
• 프라이버시 강제: 프라이버시 인식 가드레일은 엔드 투 엔드 응답 지연 시간에 실질적인 영향을 주지 않고 로컬에서 강제될 수 있습니다.

저자는 FRIDAY를 최종적으로 완전히 최적화된 시스템이라기보다, 측정 가능하고 재현 가능한 토대로 규정합니다. 본 연구는 향-후 연구가 유사도 임계값 설정, 하이브리드 검색, 재순위화(reranking), 정교한 청킹 전략을 통해 검색 품질과 계산 효율성을 공동으로 최적화하는 동시에, 완전한 로컬 및 개인정보 보호 운영이라는 핵심 요구 사항을 유지하는 데 집중해야 한다고 결론짓습니다.