기술 요약: ConCise – 멀티스텝 RAG를 위한 학습 불필요 결론 체인 상태 압축

1. 문제 정의

멀티스텝 검색 증강 생성(Multi-step RAG)은 복잡한 질의응답을 위해 반복적인 검색 및 추론 단계를 활용하여 멀티홉(multi-hop) 정확도를 달고 있는 표준 패러다임이 되었습니다. 그러나 이 방식은 역사적 문맥 팽창(historical context inflation) 문제에 직면합니다. 전통적인 "전체 문맥(full-context)" 패러다임 하에서는 이전 단계의 모든 검색된 문서와 추론 흔적이 다음 단계의 입력값으로 계속 연결됩니다. 이로 인해 누적되는 입력 토큰은 추론 단계 $N$에 대해 약 $O(N^2)$의 속도로 이차 함수적으로 증가하게 됩니다.

서버리스(serverless)나 에지(edge) 배포와 같은 API 기반 서비스 아키텍처에서 이러한 이차적 성장은 세 가지 결정적인 문제를 야기합니다:

1. 비용: 요청당 과금은 입력 토큰 수와 직접적으로 연결되어 있어, 깊은 추론 체인을 수행하는 데 막대한 비용이 발생합니다.
2. 지연 시간(Latency): 페이로드가 커질수록 네트워크 전송 시간과 응답 지연 시간이 증가합니다.
3. 노이즈: 문맥이 확장됨에 따라 무관한 정보의 밀도가 높아져, 주의력 편향(attention drift)이 발생하고 추론 정확도가 저하될 수 있습니다.

기존의 압축 방법들(예: 토큰 프루닝, KV 캐시 최적화, 소프트 벡터 압축 또는 재귀적 요약)은 이러한 동적인 환경에 적합하지 않습니다. 이들은 모델 접근 권한을 요구하거나(블랙박스 API와 호환 불가), 오프라인 학습/미세 조정을 필요로 하거나, 혹은 (재귀적 요약처럼) 역사적 상태를 반복적으로 다시 쓰는 과정에서 정보 손실을 겪습니다. 즉, 반복적인 RAG 상태 관리에 특화된 학습이 필요 없는 플러그 앤 플레이(training-free, plug-and-play) 솔루션이 부족한 실정입니다.

2. 방법론: ConCise

본 논문은 교차 라운드 문맥 전달 방식을 재구성하는 학습 불필요 상태 계층 프로토콜인 ConCise를 제안합니다. 이는 모델 수정이나 추가 학습 없이 프롬프트 결합 수준에서 작동합니다.

핵심 메커니즘

1. 결론 체인 상태 반복 (Conclusion-Chain State Iteration):
   원시 문서($D_t$)와 추론 흔적($r_t$)의 전체 이력을 전파하는 대신, ConCise는 구조화된 결론들의 추가 전용(append-only) 체인($C_t$)을 유지합니다.

   • 각 라운드 $t$에서 시스템은 쿼리 $q$와 현재 결론 체인 $C_{t-1}$을 바탕으로 문서 집합 $D_t$를 검색합니다.
   • 생성기는 추론 궤적 $r_t$와 구조화된 결론 $c_t$를 생성합니다.
   • 다음 라운드로 전달되는 상태는 $S_t = (q, C_t)$이며, 여기서 $C_t = \text{Append}(C_{t-1}, c_t)$입니다.
   • 원시 문서 $D_t$는 해당 라운드가 끝나면 폐기됩니다.
   • 복잡도 감소: 이를 통해 누적 문맥 성장을 $O(N^2)$에서 약 $O(N)$으로 줄입니다.

2. 융합 생성 (Fused Generation):
   직렬적 이중 호출(추론을 위한 호출 한 번, 요약을 위한 호출 한 번)의 오버헤드를 제거하기 위해, ConCise는 융합 생성 모드를 도입합니다. 단 한 번의 API 호출로 모델이 추론 궤적, 구조화된 결론, 그리고 다음 행동을 동시에 출력하도록 합니다. 이는 문맥을 두 번 전송함으로써 발생하는 반복적인 입력 과금 비용을 제거합니다.

3. 플러그형 아키텍처 (Pluggable Architecture):
   상태 업데이트 모듈은 두 가지 모드를 가진 플러그형 컴포넌트로 설계되었습니다:

   • 융합 모드 (Fused Mode): 효율성을 위해 단일 API 호출을 사용합니다 (에지/서버리스 환경 권장).
   • 2단계 모드 (Two-Stage Mode): 별도의 요약 모델을 사용할 수 있거나 더 높은 추출 품질이 필요한 경우, 추론과 결론 추출을 분리하여 호출합니다.

이론적 근거

본 논문은 ConCise와 재귀적 요약을 비교하는 정보 이론적 분석을 제공합니다.

• 재귀적 요약: 이전 요약들을 반복적으로 다시 쓰는 것은 정보 충실도가 단조 감소하는 마르코프 체인을 생성합니다 ($I(\sigma_t; Z_k) \leq I(\sigma_{t-1}; Z_k)$).
• 추가 전용 규칙 (Append-Only Rule): 결론을 재압축하지 않고 있는 그대로 유지함으로써, ConCise는 현재 체인이 주어졌을 때 과거 결론의 조건부 엔트로피가 0임을 보장합니다 ($H(c_k | C_t) = 0$). 이는 초기 라운드의 사실이 연쇄적으로 퇴화하는 것을 방지하면서도 $O(N)$의 페이로드를 유지합니다.

3. 주요 기여

1. 결론 체인 반복 패러다임: 원시 텍스트 축적을 구조화된 결론의 추가 전용 체인으로 대체하여, 문맥 성장을 $O(N^2)$에서 $O(N)$으로 줄이고 교차 라운드 노이즈 전파를 제거하는 새로운 상태 관리 전략을 제시했습니다.
2. 학습 불필요 플러그형 아키텍처: 블랙박스 API와 호환되는 제로 트레이닝(zero-training) 방법을 제공합니다. 여기에는 추론과 결론 추출을 하나의 API 호출로 결합하여 단계별 오버헤드를 줄이는 융합 생성 메커니즘이 포함됩니다.
3. 체계적인 경험적 평가: 3개의 모델, 2개의 데이터셋, 2개의 프레임워크를 포함한 12개의 쌍 구성에 대한 광범한 실험을 통해, 허용 가능한 정확도 트레이드오프 내에서 유의미한 토큰 절감 효과를 입증했습니다.

4. 실험 결과

평가는 HotpotQA와 2WikiMultihopQA 데이터셋을 사용하였으며, 세 가지 모델(GPT-5, Qwen2.5-72B, DeepSeek V3.2)과 두 가지 베이스라인(IRCoT, Search-R1)을 대상으로 진행되었습니다. 최대 추론 깊이는 4단계로 설정되었습니다.

• 토큰 효율성: ConCise는 4단계에서 평균 64.63%의 토큰 절감을 달축했습니다. 절감률은 추론 깊이가 깊어질수록 증가하는 '깊이 증폭 효과(depth amplification effect)'를 보였으며, 구성에 따라 49.6%에서 74.1% 사이의 범위를 나타냈습니다.
• 정확도 영향: 정확도에 미치는 영향은 베이스라인 방식에 따라 달랐습니다:
  • IRCoT (프롬프트 기반): 상당한 정확도 향상(평균 +8.37 pp)을 보였습니다. 이는 결론 체인이 프롬프트 기반 방식에 내재된 주의력 편향과 중복성을 완화하는 데 도움이 됨을 시사합니다.
  • Search-R1 (RL 학습 기반): 약간의 정확도 하락(평균 -1.07 pp)을 보였습니다. 저자들은 이를 압축 과정에서 버려지는 미세한 단서들(예: 숫자 세부 사항, 약한 연관성)이 RL 정책이 의존하는 정보를 상실했기 때문이라고 분석했습니다.
• 서비스 지표: 토큰 감소는 추정 네트워크 페이로드 및 입력 과금 비용의 비례적인 감소로 직결되었습니다.

확인된 실패 모드

논문은 세 가지 특정 실패 모드를 식별했습니다:

1. 정보 누락: 결론 내 핵심 세부 사항의 불완전한 추출.
2. 미세 정보 손실: 압축 과정 중 고밀도 정보(숫자, 타임스탬프 등)의 퇴화.
3. 오류 전파: 체인 초기에 잘못 기록된 결론은 추가 전용 방식의 특성상 그대로 보존되며, 이후 라운드에서 수정될 수 없습니다.

5. 의의 및 주장

본 논문은 ConCise가 모델 접근이 제한적이고 비용이 주요 제약 사항인 API 네이티브, 서버리스, 에지 환경의 멀티스텝 RAG 서비스를 위한 배포 친화적이고 비용 효율적인 솔루션이라고 주장합니다.

• 비용 효율성: 문맥 성장을 $O(N)$으로 압축하고 융합 생성을 활용함으로써, ConCise는 모델을 재학습하지 않고도 API 과금 비용을 획기적으로 줄일 수 있는 플러그 앤 플레이 방식을 제공합니다.
• 품질 보존: 긴 문맥 노이즈에 취약한 방식(예: IRCoT)의 경우, 구조화된 결론 체인은 "주의력 앵커(attention anchor)" 역할을 하여 잘못된 개체의 반복 언급에 의해 모델이 휘둘리는 것을 방지함으로써 오히려 추론 품질을 높일 수 있습니다.
• 한계점: 저자들은 이 방법이 초기 결론 추출의 품질에 의존한다는 점을 겸허히 인정합니다. 만약 초기 결론이 틀릴 경우, 추가 전용 설계로 인해 이를 수정할 수 없습니다. 이들은 향-후 연구에서 이를 완화하기 위해 지연된 체인 삽입(delayed chain insertion)이나 슬라이딩 증거 윈도우(sliding evidence windows)를 탐색할 수 있다고 제안합니다.

요약하자면, ConCise는 상태 표현을 원시 텍스트 축적에서 압축된 구조적 결론 체인으로 전환함으로써, 반복적 RAG의 확장성 병목 현상을 해결하며 비용, 지연 시간, 추론 충실도 사이의 실용적인 트레이드오프를 제공합니다.