기술 요약: 개인정보 보호가 엄격한 환경에서의 신뢰할 수 있는 장문 생성을 위한 RH-RAG

문제 정의

의료, 금융, 법률과 같은 민감한 분야의 조직들은 중대한 병목 현상에 직면해 있다: 즉, 데이터의 외부 클라우드 API 전송을 금지하는 엄격한 개인정보 보호 제약으로 인해, 기밀 내부 보고서를 바탕으로 한 대규모 언어 모델(LLM) 활용이 불가능하다는 점이다. 로컬에 배포된 오픈 웨이트 모델(예: 7B–8B 파라미터)은 프라이버시를 보존하는 대안을 제공하지만, 장문 생성 시 다음과 같은 세 가지 주요 실패 모드를 겪는다:

1. 사실적 환각(Factual Hallucination): 확장된 출력 과정에서 근거 없는 주장이 누적된다.
2. 컨텍스트 포화(Context Saturation): 컨텍스트 창이 커짐에 따라 검색 충실도가 저하되어, 모델이 관련 증거를 통합하기보다 표면적인 패턴에 주의를 기울이게 된다.
3. 구조적 이탈(Structural Drift): 글로벌 계획(global planning)의 부재로 인해 단락 간 일관성과 서사적 연속성이 상실된다.

기존의 검색 증강 생성(RAG) 파이프라인은 환각을 부분적으로 완화하지만, 글로벌 계획 메커니즘이 부족하며 긴 문서에 대해 서사적 연속성이 저하된다. 또한, 문헌에서 제안된 다단계 생성 전략들은 종종 클라우드 배포를 위해 설계되었거나, 로컬의 프라이버시 제한 환경에 적합한 결정론적 사실 검증 메커니즘이 결여되어 있다.

방법론: RH-RAG 프레임워크

RH-RAG는 로컬에 배포된 오픈 웨이트 모델을 사용하여 인간의 글쓰기 워크플로(계획, 초안 작성, 검증)를 재현하도록 설계된 멀티 에이전트 프레임워크이다. 이 프레임워크는 소비자급 하드웨어(예: NVIDIA T4 GPU)를 사용하는 프라이빗 로컬 환경 내에서 완전히 작동한다. 프레임워크는 전용 에이전트에 의해 관리되는 세 가지 순차적 단계로 구성된다:

1. 이중 수준 문서 청킹 (Dual-Level Document Chunking)

글로벌 컨텍스트 이해와 정밀한 사실적 검색 사이의 균형을 맞추기 위해, 문서는 두 가지 상보적인 입도(granularity)로 인덱싱된다:

• 레벨-1 (라우팅 요약): 문서를 큰 세그먼트(20k–30k 토큰)로 나눈다. 미세 조정된 Mistral-7B 모델을 사용하여 각 세그먼트에 대한 간결한 요약을 생성한다. 이 요약들은 전체 코퍼스를 로드하지 않고도 관련 문서 영역을 식별하는 데 사용되는 경량 시맨틱 라우팅 레이어를 형성한다.
• 레벨-2 (증거 청크): 미세한 구절들은 사실적 근거를 위해 원문 텍사를 보존한다. 이들은 밀집 시맨틱 검색(dense semantic retrieval)을 위해 bge-base-en-v1.5 임베딩 모델로 인코딩된다.

2. 멀티 에이전트 생성 파이프라인

• 플래너 에이전트 (Planner Agent): 텍스트 생성 전, 이 에이전트는 레벨-1 인덱스를 쿼리하여 구조화된 글로벌 개요를 구축한다. 결정적으로, 이 에이전트는 후속 레벨-2 증거 검색을 가이드하기 위한 검색 앵커(retrieval anchor)(대상 쿼리)를 생성한다. 이는 글로벌 구조 계획과 미세 증거 검색을 분리한다.
• 라이터 에이전트 (Writer Agent): 이 에이전트는 섹션 단위로 콘텐츠를 점진적으로 생성한다. 컨텍스트 포화를 방지하기 위해, 다음과 같이 구성된 **유계 코히런스 메모리(bounded coherence memory)**를 활용한다:
  • 로컬 요약 ($L_{i-1}$): 이전 섹션으로부터의 즉각적인 서사적 전이를 포착한다.
  • 글로벌 요약 ($G_{i-1}$): 전체 문서의 주제적 흐름과 확립된 사실들에 대한 실행 중인 압축된 표현이다.
    두 요약은 각 섹션이 끝날 때마다 경량 요약기에 의해 업데이트되며, 이를 통해 유효 컨텍스트 크기를 확장하지 않고도 연속성을 보장한다.
• 체커 에이전트 및 증명 피드백 루프 (Checker Agent & Attestation Feedback Loop): 생성된 각 섹션은 최종 통합 전 세 단계의 검증 과정을 거친다:
  1. 클레임 추출: 텍스트를 원자적 사실 주장(atomic factual claims)으로 분해한다.
  2. NLI 검증: DeBERTa-v3-large 모델이 각 주장을 검색된 레벨-2 증거와 대조하여 지지됨, 지지되지 않음, 또는 모순됨으로 분류한다.
  3. 증명 루프: 만약 사실적 커버리지($coverage(S_i)$)가 임계값($\tau=0.8$) 미만으로 떨어지면, 근거 없는 주장들은 새로운 증거를 사용하여 전용 **리비전 에이전트(Revision Agent)**에 의해 재작성된다. 이 루프는 최대 3회 반복된다.

주요 기여

본 논문은 세 가지 주요 기여를 식별한다:

1. 이중 수준 검색 아키텍처: 계획 수준의 요약과 생성 수준의 증거 청크를 분리함으로써, 제한된 하드웨어에서 효율적인 멀티 에이전트 검색을 가능하게 하는 새로운 인덱싱 전략.
2. 유계 코히런스 메모리: 모델 컨텍스트 제한을 초과하지 않으면서 서사적 일관성을 유지하고 컨텍스트 포화를 방지하기 위해 로컬 및 글로벌 요약을 활용하는 섹션별 생성 메커니즘.
3. 증명 기반 리비전 루프: 사후 평가에 의존하는 대신, NLI 기반 검증을 생성 과정에 직접 통합하여 근거 없는 주장을 체계적으로 제거하는 생성 제어 메커니즘.

실험 결과

프레임워크는 문학(공공 저작물 도서), 금융(연례 보고서), 법률(법원 판례 자료)의 세 가지 도메인에서 평가되었다. 성능은 Standard RAG, Hierarchical RAG, 그리고 상용 독점 모델(GPT-4o, Claude, Gemini Pro)과 비교 측정되었다.

• 사실적 근거 형성: RH-RAG는 RAG 베이스라인들을 일관되게 능가했다. 금융 도메인에서 체커 에이전트를 제거했을 때 AlignScore가 78.5에서 74.2로 하락하였으며, 이는 검증의 결정적인 역할을 입증한다.
• 코히런스 및 정렬: RH-RAG는 단일 패스 생성 방식에 비해 시맨틱 코히런스(SUMMAC)와 문서 수준 정렬(Align-Score) 측면에서 유의미한 개선을 달성했다.
• 독점 시스템과의 비교: 7B–8B 오픈 웨이트 모델을 사용했음에도 불구하고, RH-RAG는 독점 클라우드 시스템의 충실도 지표에 근접했다. 예를 들어, 문학 도메인에서 RH-RB(Mistral-7B)는 데이터를 외부로 전송하지 않고도 GPT-4o(79.1)와 3점 차이 이내인 76.7의 AlignScore를 기록했다.
• 절제 연구 (Ablation Studies): 연구를 통해 각 구성 요소(Planner, Memory를 가진 Writer, Checker)가 중복되지 않는 이득을 제공함을 확인했다. Planner는 구조적 코히런스를 개선했고, Checker는 사실적 정렬에서 가장 큰 개별적 이득을 제공했다.

의의 및 주장

본 논문은 RH-RAG가 글로벌 문서 계획, 유계 메모리 생성, 결정론적 클레임 수준 검증, 그리고 엄격한 로컬 전용 배포를 하나의 통합된 프레임워크 내에서 동시에 해결함으로써 문헌의 중요한 공백을 메운다고 주장한다.

저자는 RH-RAG를 데이터를 타협할 수 없는 조직을 위한 실행 가능한 솔루션으로 포지셔닝한다. 이 시스템은 생성 과정을 명시적인 계획과 반복적 검증으로 구조화한다면, 소비자급 하드웨어와 오픈 웨이트 모델을 사용하여 고품질의 신뢰할 수 있는 장문 생성이 가능하다는 것을 보여준다. 본 연구는 단순히 모델 파라미터를 확장하는 것이 아니라 아키텍처 혁신을 통해 프라이빗 환경에서 독점 클라우드 시스템의 신뢰성을 근사할 수 있음을 시사한다.

논문은 한계점을 인정하는데, 프레임워크가 7B–8B 모델의 추론 능력에 제약을 받고, 에이전트 전용 미세 조정보다는 범용 인스트럭션 튜닝 모델에 의존하며, 공공 저작물에 대한 평가가 모델의 잠재적 파라미터 지식으로 인해 상한선(upper bound)을 나타낼 수 있다는 점을 언급했다. 향후 연구로는 도메인 적응형 검증 임계값 및 특화된 NLI 모델이 제안되었다.