기술 요약: 나이브 RAG에서 딥 에이전틱 리트리벌(Deep Agentic Retrieval)로의 진화: 규제 준수를 중심으로

1. 문제 영역 및 동기

본 논문은 고도로 규제된 산업, 특히 온타리오 에너지 위원회(OEB)를 위한 수천 페이지의 규제 신고서를 분석해야 하는 온타리오 전력 공사(OPG)의 요구사항에 초점을 맞추어 대규모 언어 모델(LLM)을 배포하는 문제를 다룹니다. 핵심 과제는 단순히 질문에 답하는 것이 아니라, 거대하고 독점적이며 지속적으로 진화하는 코퍼스(corpus)로부터 권위 있는 맥락을 신뢰할 수 있고 효율적이며 검증 가능한 방식으로 추출하는 시스템을 설계하는 것입니다.

저자들은 표준적인 구현 방식에서 나타나는 결정적인 실패 모드로 **컨텍스트 부패(Context Rot)**를 지목합니다. 이들은 컨텍스트 길이가 공짜 자원이 아니라고 주장합니다. 컨텍스트 창이 무관한 토큰들로 확장됨에 따라 어텐션 경쟁(attention competition)이 심화되어 답변의 품질이 저하되고, 검색 신호가 약화됩니다. 결과적으로, 목표는 원시 컨텍스트의 양을 최대화하는 것에서 **관련 증거 밀도(relevant evidence density)**를 최대화하는 것으로 전환됩니다.

본 논문은 이 사례에 대해 도메인 특화 미세 조정(fine-tuning)을 주요 해결책으로 사용하는 것을 명시적으로 거부합니다. 미세 조정은 지식이 학습 시점에 고정되는 진화하는 코퍼스 환경에서는 경제적으로 부적합하다고 판단됩니다(규제 신고서는 빈번하게 업데이트되기 때문). 대신, 저자들은 검색, 필터링, 압축을 통해 추론 시점의 고신호 맥락을 의도적으로 구축하는 **컨텍스트 엔지니어링(Context Engineering)**을 옹호합니다.

2. 방법론적 진화

본 논문은 이전 단계의 실패 모드에 의해 유발된 세 가지 단계적 진화를 통해 리트리벌 파이프라인의 발전을 추적합니다.

1단계: 나이브 RAG 베이스라인 (Naïve RAG Baseline)

• 아키텍처: OCR/구조적 추출, 청킹(500~800 토큰), 임베딩, 그리고 크로스 인코더 재순위화(cross-encoder re-ranking)를 포함한 하이브리드 검색(밀집 벡터 + 키워드)을 포함하는 표준 파이프라인입니다.
• 한계: 이 시스템은 결정론적이며 상태를 유지하지 않습니다(stateless). 만약 초기 검색이 어휘 불일치나 멀티홉(multi-hop) 의존성으로 인해 관련 청크를 찾아내는 데 실패하면, LLM은 스스로 교정할 수 없습니다. 유일한 완화책은 검색되는 청크의 수($k$)를 늘리는 것이지만, 이는 비용과 지연 시간을 선형적으로 증가시키며 컨텍스트 부패를 악화시킵니다.
• 결과: 단순 조회에는 기능적이지만, 복잡한 멀티홉 규제 질의를 처리하기에는 유연성이 부족합니다.

2단계: 함수 호출을 통한 에이전틱 리트리벌 (Agentic Retrieval via Function Calling)

• 아키텍처: LLM이 수동적인 소비자에서 능동적인 검색자로 전환됩니다. LLM은 검색 도구를 갖추게 되며, 중간 결과에 기반하여 질의를 반복적으로 재구성(의사 관련성 피드백, pseudo-relevance feedback)합니다.
• 핵심 메커니즘:
  • 점진적 발견(Progressive Discovery): 에이전트는 정교화된 질의를 사용하여 여러 차례의 도구 호출을 수행하며, 메타데이터 필터(예: 특정 전시물 ID 또는 요금 사례 연도)를 사용하여 탐색 공간을 좁힙 most 합니다.
  • 청크-문서 에스컬레이션(Chunk-to-Document Escalation): 예상되는 증거 이득($\Delta U$)이 추가되는 지연 시간($\Delta T$) 및 비용($\Delta C$)을 정당화할 때만 청크 단위 검색에서 전체 문서 읽기로 격상(escalate)하는 결정 규칙이 도입됩니다.
  • 역량 분할(Capability Partitioning): 캐나다 데이터 거주성 제약을 충족하기 위해, 비전 추론이 필요한 시각적 콘텐츠(차트/그래프)는 캐나다 내에 호스팅된 모델로 오프로드되며, 메인 추론 에이전트는 별도로 유지됩니다.
• 한계: 함수 호출은 JSON 스키마 오버헤드를 발생시킵니다. 최악의 경우, 저품질 질의가 많아지면 토큰 소비량이 1단계 베이스라인을 초과할 수 있습니다.

3단계: 딥 에이전틱 리트리벌 (Deep Agentic Retrieval - PEA-CAE)

• 아키텍처: 명시적 계획, 계층적 서브에이전트 위임, 코드 기반 도구 합성을 특징으로 하는 성숙한 시스템입니다.
• 핵심 메커니즘:
  • 명시적 계획(Explicit Planning): 에이전트는 검색을 시작하기 전에 복잡한 질의를 일련의 하위 질문으로 분해하고, 중간 발견 사항을 작업 메모리에 저장합니다.
  • 계층적 서브에이전트(Hierarchical Subagents): 긴 추론 체인에서의 컨텍스트 부패를 방지하기 위해, 메인 에이전트는 제한된 하위 작업을 수행하는 하위 에이전트를 생성합니다. 서브에이전트는 심층 연구를 수행한 후 압축된 요약만을 반환하여, 중간 검색 결과물이 메인 에이전트의 컨텍스트 창을 점유하는 것을 방지합니다.
  • 코드 기반 도구 합성(Code-Based Tool Synthesis): 사전 정의된 JSON 함수 대신, 에이전트는 API와 상호작용하고 데이터를 처리하기 위해 런타임에 Python/Bash 코드를 작성합니다. 이는 도구 오버헤드를 상쇄하고 고정된 도구 제한 없이 조합 가능한 표현력을 허용합니다.
  • PEA-CAE 프레임워크: 시스템은 **비용 인식 에스컬레이션을 동반한 점진적 증거 획득(Progressive Evidence Acquisition with Cost-Aware Escalation)**으로 공식화됩니다. 이는 먼저 필터링하고, 조기에 압축하며, 늦게 격상하고, 폭을 압축하도록 규칙을 강제합니다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 합니다:

1. 알고리즘적 특성화: 실제 운영 환경에 배치된 세 가지 리트리벌 아키텍처를 단계별로 분석하여, 특정 실패 모드와 아키텍처 전환 간의 관계를 규명했습니다.
2. 공식 프레임워크 (PEA-CAE): 증거 획득과 비용 및 지연 시간 제약 사이의 균형을 맞추는 성숙한 리트리벌 정책을 공식화했습니다.
3. 경험적 분석: 컨텍스트 창 활용도, 검색 정밀도, 에스컬레이션 빈도 사이의 트레이드오프를 보여주는 운영 트레이스 데이터를 제시했습니다.
4. 데이터 주권 패턴: 시각적 처리(로컬 호스팅)와 일반 추론을 분리하는 다중 관할 구역 배포를 위한 역량 분할 전략을 제시했습니다.
5. 이론적 연결: 적응형 질의 재구성, 점진적 문서 발견과 같은 실무적 시스템 프리미티브를 고전적 정보 검색 및 정보 포리지 이론(information foraging theories)과 연결하는 비교 분석을 수행했습니다.

4. 결과 및 관찰

3단계(Deep Agent) 시스템의 운영 트레이스에 기반한 결과는 다음과 같습니다:

• 성공률: 14회의 샘플 실행 중 6회의 OEB 에이전틱 실행이 모두 성공했습니다.
• 지연 시간: 작업 시간은 24.8초에서 223초 사이였으며(중앙값 92.1초), 이는 단일 패스 조회가 아닌 지속적인 연구 루프를 반영합니다.
• 에스컬레이션 효율성: 시스템은 약 9.6:1의 검색 대 에스컬레이션 비율을 보였습니다. 전체 문서 추출은 리트리벌 이벤트의 약 10%에서만 발생하여, "선택적 에스컬레이션" 설계 의도를 확인했습니다.
• 지연 시간 변동성: 전체 문서 추출은 높은 꼬리 지연 시간(최대 12.14초)을 보였으며, 이는 성능 저하를 피하기 위해 에스컬레이션을 선택적으로 유지해야 함을 뒷받침합니다.

5. 의의 및 주장

본 논문은 거대하고 진화하는 규제 코퍼스의 경우, 도메인 특화 미세 조정보다 컨텍스트 엔지니어링이 더 다루기 쉽고 경제적으로 실행 가능한 경로라고 주장합니다. 시스템의 "지능"은 모델 가중치가 아니라 고신호 컨텍스트 창을 구축하는 알고리즘에 존재합니다.

저자들은 나이브 RAG에서 딥 에이전틱 리트리벌로의 발전이 고전적 정보 검색 아이디어를 반영한다고 주장하며, 다음과 같은 실무적 시스템 프리미티브를 도입합니다:

• 적응형 질의 재구성 (Adaptive query reformulation)
• 점진적 문서 발견 (Progressive document discovery)
• 계층적 서브에이전트 요약 (Hierarchical subagent summarization)

핵적인 논지는 명목상의 컨텍스트 창 크기가 커지더라도 컨텍스트는 여전히 희소한 자원이라는 것입니다. 따라서 최적의 전략은 점진적으로 검색하고, 선택적으로 격상하며, 공격적으로 압축하는 것입니다. 본 논문은 규제 환경에서의 AI 운영 성공은 모델의 적응보다는 리트리벌 품질, 도구 오버헤드, 지연 시간 및 컨텍스트 성장의 결합된 관리 능력에 달려 있다고 결론짓습니다.