CARROT: A Learned Cost-Constrained Retrieval Optimization System for RAG

이 논문은 RAG 시스템이 직면한 청크 간 관계 무시, 비단조적 유틸리티, 그리고 쿼리별 적응성 부재 문제를 해결하기 위해 몬테카를로 트리 탐색 (MCTS) 기반 최적 조합 탐색, 예산 소진 대신 유틸리티 기반 종료 조건, 그리고 쿼리 도메인별 최적 설정을 예측하는 에이전트를 도입한 'CARROT' 프레임워크를 제안하고, 이를 통해 기존 모델 대비 최대 30% 의 성능 향상을 입증했습니다.

핵심

🥕 CARROT: 인공지능을 위한 똑똑한 재료 고르기 시스템

1. 문제점: 왜 기존 방식은 실패할까요?

기존의 검색 시스템 (RAG) 은 인공지능이 질문에 답할 때 필요한 정보를 찾아내는 역할을 합니다. 하지만 기존 방식에는 세 가지 큰 문제가 있었습니다.

• 문제 1: 재료의 순서를 무시함 (Relationships)

  • 비유: 레시피에 "소금"과 "후추"가 필요하다고 해서, 소금을 먼저 넣고 후추를 나중에 넣든, 반대로 넣든 상관없다고 생각한 적이 있나요? 하지만 요리에서는 순서가 중요하죠.
  • 현실: 기존 시스템은 관련 문서를 찾아서 그냥 뭉개서 넣었습니다. 하지만 문서를 어떤 순서로 배치하느냐에 따라 인공지능의 답변 품질이 크게 달라집니다. (중요한 정보가 중간에 숨겨지면 인공지능이 놓쳐버릴 수 있습니다.)

• 문제 2: 많이 넣을수록 좋은 건 아닙니다 (Non-monotonicity)

  • 비유: 스테이크를 먹을 때 고기만 1kg 을 먹으면 배가 부르지만, 소금까지 1kg 더 넣으면 먹을 수 없게 되죠. "많으면 무조건 좋다"는 법칙이 통하지 않습니다.
  • 현실: 불필요한 정보를 너무 많이 넣으면 인공지능이 핵심을 놓치거나 헷갈려서 엉뚱한 답을 합니다. (할루시네이션)

• 문제 3: 모든 질문이 똑같지 않음 (Diversity)

  • 비유: "오늘 날씨 어때?"라는 간단한 질문과 "2024 년 경제 전망"이라는 복잡한 질문에 같은 방식으로 자료를 찾는 건 비효율적입니다.
  • 현실: 질문의 종류마다 최적의 검색 전략이 다릅니다. 하지만 기존 시스템은 모든 질문에 똑같은 방식을 적용했습니다.

---

2. 해결책: CARROT 가 어떻게 작동하나요?

CARROT 는 이 세 가지 문제를 해결하기 위해 세 가지 핵심 기술을 사용합니다.

① 나무를 타고 올라가는 탐색 (MCTS - 몬테카를로 트리 탐색)

• 비유: 미로 찾기 게임을 한다고 상상해 보세요. 모든 길을 다 걸어보는 건 시간이 너무 걸립니다. 대신, "여기서 오른쪽으로 가면 보물일 확률이 높겠다"라고 추측하며 가장 유망한 길만 골라가며 탐색합니다.
• 설명: CARROT 는 가능한 모든 문서 조합을 다 시도하는 게 아니라, 가장 좋은 조합을 찾아내기 위해 나무 가지처럼 뻗어나가는 경로를 지능적으로 탐색합니다. 이때 문서들의 순서와 상관관계를 고려해서 "어떤 문서를 먼저 넣고, 어떤 걸 나중에 넣으면 가장 맛있는 요리가 될까?"를 계산합니다.

② 예산을 아끼는 똑똑한 선택 (Cost-Constrained)

• 비유: 마트에서 장을 볼 때, "무조건 많이 사야지"가 아니라 "내 지갑에 있는 돈 (예산) 안에서 가장 맛있는 식재료를 고르자"라고 생각합니다.
• 설명: 인공지능이 읽을 수 있는 글의 양 (토큰 수) 은 정해져 있습니다. CARROT 는 예산을 다 쓸 때까지 무조건 더 넣는 게 아니라, 예산 안에서 가장 좋은 조합을 찾으면 바로 멈춥니다. 불필요한 정보는 과감히 버려서 인공지능이 핵심만 집중하게 합니다.

④ 질문을 분석하는 '매니저' (Configuration Agent)

• 비유: 레스토랑에 손님이 들어오면, 매니저가 "이 손님은 간단한 음료만 원하네, 저 손님은 복잡한 코스 요리를 원하네"라고 파악해서 주방에 맞는 지시를 내립니다.
• 설명: CARROT 에는 **매니저 (Configuration Agent)**라는 역할이 있습니다. 이 매니저는 들어온 질문을 분석해서, "이 질문에는 어떤 검색 도구를 쓰고, 몇 번 탐색을 해야 할지"를 미리 예측합니다. 그래서 복잡한 질문에는 더 꼼꼼하게, 간단한 질문에는 빠르게 대응합니다.

---

3. 결과: 얼마나 좋을까요?

실험 결과, CARROT 는 기존 최고의 시스템들보다 약 30% 더 좋은 답변을 내놓았습니다.

• 더 정확함: 불필요한 정보 없이 핵심만 골라내서 답변의 정확도가 높습니다.
• 더 빠르고 저렴함: 인공지능이 읽어야 할 글의 양을 줄여서 비용과 시간을 아껴줍니다.
• 유연함: 어떤 종류의 질문이 들어와도 상황에 맞춰 최적의 전략을 사용합니다.

📝 한 줄 요약

CARROT는 인공지능이 정보를 찾을 때, "무조건 많이 찾는 것"이 아니라 "순서도 고려하고, 예산도 지키며, 질문의 성격에 맞춰 똑똑하게 골라내는" 최고의 비서 역할을 해주는 시스템입니다.

기술 요약

CARROT: RAG 를 위한 학습 기반 비용 제약 검색 최적화 시스템 기술 요약

이 논문은 **CARROT (Cost-constrained Retrieval Optimization)**이라는 새로운 프레임워크를 제안합니다. 이는 대형 언어 모델 (LLM) 기반의 검색 증강 생성 (RAG) 시스템에서 발생하는 핵심 문제들을 해결하기 위해 설계된 학습 기반 시스템입니다.

1. 문제 정의 (Problem Statement)

기존 RAG 시스템은 외부 지식의 최신성을 반영하고 환각 (hallucination) 을 줄이기 위해 필수적이지만, 다음과 같은 세 가지 주요 한계에 직면해 있습니다.

1. Chunks 간 관계 무시: 기존 시스템은 개별 청크 (chunk) 를 독립적으로 검색하거나 클러스터링하여 반환합니다. 이는 정보의 중복을 초래하거나, 청크 간의 상관관계 (예: 순서, 상호 보완성) 를 고려하지 못해 최적의 정보 조합을 놓치게 합니다.
2. 비단조적 유틸리티 (Non-monotonic Utility): 많은 시스템이 "더 많은 청크를 포함할수록 성능이 좋아진다"는 가정에 기반합니다. 그러나 실제로는 불필요하거나 모순된 정보가 추가되면 오히려 LLM 의 성능이 저하될 수 있습니다. 즉, 청크의 유틸리티는 단조 증가하지 않습니다.
3. 쿼리 다양성 대응 부족: 다양한 도메인과 의도를 가진 쿼리에 대해 단일한 랭킹 전략이나 재순위화 (reranking) 모델로는 최적의 성능을 내기 어렵습니다.

또한, 기존 그래프 기반이나 튜닝 기반 RAG 방법론은 높은 계산 비용과 복잡성을 요구하여 실용성이 떨어집니다.

2. 방법론 (Methodology)

CARROT 는 주어진 비용 제약 (토큰 수 등) 하에서 최적의 청크 조합과 순서를 찾는 것을 목표로 합니다. 시스템 아키텍처는 크게 두 가지 핵심 모듈로 구성됩니다.

2.1 최적 청크 조합 탐색 (Optimal Chunk Combination Search)

• 정책 트리 (Policy Tree) 모델링: 청크의 모든 가능한 조합과 순서를 트리 구조로 표현합니다. 루트 노드는 빈 상태이며, 자식 노드는 청크가 하나씩 추가된 순서 조합을 나타냅니다.
• 몬테카를로 트리 탐색 (MCTS) 기반 전략:
  • 탐색과 활용의 균형: UCB (Upper Confidence Bound) 기반의 유틸리티 함수를 사용하여, 비용 제약 내에서 새로운 조합을 탐색 (Exploration) 하거나 유망한 경로를 활용 (Exploitation) 하는 것을 조절합니다.
  • 비용 인식 (Cost-Aware): 비용 제약 ($B$) 을 유틸리티 함수에 명시적으로 통합하여, 예산을 초과하는 경로는 탐색하지 않도록 합니다.
  • 병렬 평가 (Parallel Evaluation): 확장된 노드들을 재순위화 모델 (Reranker) 을 통해 한 번의 배치 호출로 동시에 평가하여 계산 효율성을 극대화합니다.
  • 비단조성 처리: 예산을 모두 소모하는 것을 종료 조건으로 삼지 않고, 재순위화 점수가 가장 높은 최적의 조합을 선택합니다.

2.2 구성 에이전트 (Configuration Agent)

• 동적 설정 예측: 쿼리 도메인과 검색된 데이터의 특성에 따라 MCTS 의 최적 설정 (반복 횟수, 탐색 계수, 비용 계수 등) 과 가장 적합한 재순위화 모델을 예측합니다.
• 대조 학습 (Contrastive Learning): 쿼리와 청크의 임베딩을 입력으로 받아, 최적의 설정을 가진 쿼리 - 데이터 쌍은 가깝게, 다른 쌍은 멀게 매핑되도록 학습합니다. 이를 통해 다양한 도메인과 LLM 에 대한 일반화 능력을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 청크 조합 순서 고려: RAG 작업에서 청크의 조합 순서가 성능에 미치는 영향을 명시적으로 고려한 최초의 프레임워크입니다. 단순한 톱-k 선택이 아닌, MCTS 를 통해 최적의 순서를 탐색합니다.
2. 비용 제약 하의 비단조성 최적화: 예산 소모를 종료 조건이 아닌 제약 조건으로 정의하고, 청크 유틸리티의 비단조성을 고려한 새로운 최적화 수식을 제시합니다.
3. 적응형 구성 에이전트: 쿼리 도메인에 따라 동적으로 최적의 검색 설정을 예측하는 에이전트를 도입하여 시스템의 유연성과 효율성을 높였습니다.
4. NP-난해 문제 해결: 최적의 청크 조합 순서 선택 문제가 NP-난해 (NP-hard) 임을 증명하고, MCTS 를 통해 이를 효율적으로 근사 해결하는 방법을 제시했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (WikiPassageQA, MARCO, HotpotQA) 와 LLM (Llama3-8B, DeepseekV3, GPT-4o) 을 대상으로 한 실험 결과는 다음과 같습니다.

• 성능 향상: 기존 최첨단 방법론 (RAPTOR, NaiveRAG, GraphRAG 등) 대비 최대 30% 의 성능 향상을 기록했습니다. 특히 단일 홉 (single-hop) 및 멀티 홉 (multi-hop) 질문 모두에서 우수한 결과를 보였습니다.
• 효율성: CARROT 는 그래프 기반 방법론에 비해 오프라인 인덱싱 및 온라인 검색 비용이 현저히 낮습니다. 또한, 병렬 평가 전략으로 인해 지연 시간 (latency) 을 크게 줄였습니다.
• 비용 대비 효과: 할당된 토큰 예산 내에서 최적의 조합을 찾아내어, 예산을 다 쓰지 않아도 더 높은 품질의 답변을 생성합니다.
• 확장성: 데이터셋 크기가 10 배 증가해도 검색 지연 시간은 약 10% 만 증가하여 대규모 데이터셋에서도 확장성이 뛰어납니다.
• 일반화: 학습된 도메인/데이터셋과 다른 영역에서도 높은 성능을 유지하며, 구성 에이전트가 쿼리 의도에 따라 적절히 설정을 조정함을 확인했습니다.

5. 의의 및 결론 (Significance)

CARROT 는 RAG 시스템의 효율성과 정확성을 동시에 개선하는 새로운 패러다임을 제시합니다.

• 실용성: 고비용의 모델 튜닝이나 복잡한 그래프 구축 없이, 기존 재순위화 모델과 MCTS 를 결합하여 비용 효율적인 솔루션을 제공합니다.
• 핵심 통찰: "더 많은 정보"가 항상 좋은 것이 아니며, "적절한 정보의 순서와 조합"이 LLM 의 성능을 결정한다는 점을 입증했습니다.
• 미래 지향성: 다양한 도메인과 LLM 에 적응 가능한 학습 기반 접근법은 향후 지능형 검색 시스템의 표준이 될 수 있는 잠재력을 가지고 있습니다.

결론적으로, CARROT 는 제한된 계산 자원 하에서 RAG 의 성능 한계를 극복하고, 더 정확하고 신뢰할 수 있는 생성형 AI 응답을 제공하는 강력한 프레임워크입니다.