기술 요약: RAG 파이프라인에서 검색된 콘텐츠 표현의 영향에 대하여

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템은 일반적으로 순위 목록, 쿼리 편향 스니펫, 용어 강조와 같은 기능을 갖춘 인간 독자용 검색 구성 요소를 상속받습니다. 그러나 소비자가 인간이 아닌 대규모 언어 모델(LLM)일 때 검색된 콘텐츠의 최적의 표현 방식이 무엇인지는 여전히 명확히 밝혀지지 않았습니다. LLM은 인간의 처리 방식과는 다른 입력 형식, 길이 및 구조에 대한 고유한 민감성을 보이며, 검색된 콘텐츠를 처리하는 비용은 길이에 따라 초선형적으로 증가합니다. 최근 연구들은 다양한 변환(예: 요약, 압축, 재작성)을 제안하고 특정 속성(예: 쿼리 유사성, 논리적 연결성)이 미치는 영향을 식별해 왔으나, 이러한 연구들은 종-종 특정 기법을 개별적으로 조사합니다. 결과적으로, 문서 표현의 어떤 특징이 다운스트림 생성 정확도에 가장 결정적인지에 대해서는 불분clear합니다. 왜냐하면 특정 메커니즘에 의한 성능 향상에 대한 기존의 귀인은 해당 메커니즘이 정답을 담고 있는 콘텐츠를 얼마나 잘 보존하는지에 의해 혼동될 수 있기 때문입니다.

방법론

저자들은 문서 표현의 효과를 검색 품질로부터 분리하기 위해 통제된 비교 실험을 수행합니다. 실험 파이프라인은 검색 프로세스를 고정시킨 채, 검색된 문서의 표현 방식만을 변화시킵니다.

• 데이터셋 및 검색: 본 연구는 KILT-NQ 데이터셋(Wikipedia 코퍼스에 대한 Natural Questions 쿼리)을 활용합니다. 검색이 혼란 변수가 되지 않도록 하기 위해 "골드 인젝션(gold injection)" 메커니즘을 사용합니다. 즉, 모든 쿼리에 대해 알려진 정답을 포함하는 문서(gold document)가 검색된 5개의 문서 세트 내에 반드시 존재하도록 보장합니다.
• 평가된 표현 방식: 14가지 표현 방식을 비교합니다:
  1. 오리지널 베이스라인: 준비된 문서(섹션 트리밍 및 10,750 토큰으로 절단됨)로, 변환이 적용되지 않은 상태입니다.
  2. 변환 방식 (13가지 변형): 세 가지 유형으로 그룹화됩니다:
     • 선택(Selection): 구간 추출 (예: Snippet-BM25, Snippet-Cross-Encoder, RECOMP, LLMLingua2, Selective-Context).
     • 요약(Summarisation): 더 짧은 텍스트 생성 (예: 섹션 요약, 쿼리 중심 스니펫).
     • 재구성(Reformulation): 콘텐츠 구조 변경 (예: 패러프레이징, 명제 분해).
  • 이러한 변환들은 다시 쿼리 의존적(Query-Dependent) 또는 쿼리 독립적(Query-Independent) 방식으로 분류됩니다.
  • LLM 기반 변환은 모델 패밀리 편향을 테스트하기 위해 Gemma 3 27B 및 Llama 3.3 70B를 사용하여 생성되었습니다.
• 생성기(Generators): 네 가지 오픈 소스 모델(Llama 3.1 8B, Mistral Nemo 12B, Gemma 3 12B, Qwen 3.5 9B)이 답변을 생성합니다.
• 지표:
  • 답변 정확도(Answer Accuracy): 생성된 답변을 골드 답변과 비교하는 LLM 판정기(Qwen 2.5 32B)를 통해 측정합니다.
  • 답변 보존율(Answer Retention): 변환 후에도 골드 문서가 기존의 정답을 여전히 뒷받침하는지를 측정하는 새로운 지표입니다.
  • 지연 시간(Latency): 쿼리 시점의 지연 시간으로, 변환 비용과 생성기의 첫 토큰 시간(TTFT)으로 분해됩니다.

주요 기여

1. 통제된 비교: 본 연구는 검색 효과를 격리하기 위해 검색을 고정한 상태에서 14가지 문서 표현(베이스라인 + 13가지 변환)을 선택, 요약, 재구성을 통해 체계적으로 평가합니다.
2. 답변 보존율의 결정적 역할: 저자들은 답변 보존율이 생성 정확도를 결정하는 지배적인 요인임을 확인했습니다.
3. 다른 차원의 제한적 영향: 보존율이 높을 때, 다른 표현 차원(말투, 구조, 길이, 쿼리 의존성)은 정확도에 미치는 영향이 제한적임을 입증했습니다.
4. 소스 효과의 재해석: 본 논문은 LLM이 생성한 변환이나 특정 모델 패밀리에 대한 외견상의 선호도가 실제로는 텍스트 자체의 출처가 아니라 답변 보존율의 차이에 의해 발생함을 보여줍니다.
5. 방법론적 논거: 저자들은 답변 보존율을 통제하지 않고서는 특정 메커니즘에 성능 향상을 귀인할 수 없다고 주장합니다. 왜냐하면 보존율은 종종 제안된 메커니즘과 상관관계를 갖기 때문입니다.

결과

RQ1: 표현이 정확도에 미치는 영향

• 보존율의 지배력: 네 가지 생성기 중 세 가지(Qwen, Gemma, Llama)에서 정확도는 답변 보존율과 밀접하게 연동됩니다. 정답을 95% 이상의 확률로 유지하는 방법들은 텍스트가 원래 크기의 2%로 압축되거나(Snippet-Abstractive), 확장되거나(Propositions), 재작성되더라도(Paraphrase) 베이스라인에 근접한 정확도를 유지합니다.
• 압축 vs 보존율: 정답 유지가 실패하는 공격적인 압축 방식(예: 52.8% 보존율을 보이는 Snippet-BM25)은 상당한 정확도 하락(13~22 포인트)을 겪는 반면, 높은 보존율을 가진 방식(예: 98.5% 보존율을 보이는 LLMLingua2-50)은 비록 비논리적인 텍스트를 생성하더라도 베이스라인과 유사한 성능을 보입니다.
• Mistral-Nemo의 예외: Mistral-Nemo는 다르게 행동합니다. 이 모델의 정확도는 보존율과 상관관계가 낮고 입력 길이 및 반복에 더 민감하며, 이는 다른 모델들에 비해 컨텍스트 볼륨에 더 민감할 수 있음을 시사합니다.

RQ2: 쿼리 의존적 vs 쿼리 독립적

• 체계적 우위 없음: 쿼리 의존적 표현이 쿼리 독립적 표현보다 체계적으로 우수하지 않습니다. 쿼리 의존적 방식(Snippet-Abstractive 등)이 높은 정확도를 달성할 수는 있지만, 상당한 지연 시간 오버헤드(최대 6배)를 발생시킵니다.
• 지연 시간-정확도 트레이드오프: 쿼리 독립적 방식(Summary, LLMLingua2 등)은 베이스라인 정확도의 대부분을 유지하면서 지연 시간은 약 3분의 1 수준으로 줄이는 유리한 트레이드오프를 제공합니다. 쿼리 의존적 방식은 고성능 변환기의 미미한 정확도 이득이 특정 애플리케이션에서 요구되지 않는 한 일반적으로 그 오버헤드를 정당화하지 못합니다.

RQ3: LLM 생성 변환에 대한 선호도

• 소스 편향 없음: 생성기들은 비-LLM 방식보다 LLM이 생성한 변환을 체계적으로 선호하지 않으며, 자신의 모델 패밀리에서 생성된 변환을 선호하지도 않습니다.
• 외견상 편향의 설명: 보존율을 일치시켰을 때, LLM/비-LLM 또는 모델 패밀리 간의 구분이 사라집니다. 외견상의 선호도(예: Gemma 생성기가 Gemma 요약을 선호하는 현상)는 Gemma 변환기가 Llama 변환기(94.4%)보다 정답을 더 자주 유지(97.8%)했기 때문에 발생한 것입니다.

의의 및 주장

본 논문은 답변 보존율이 RAG 파이프라인에서 생성 정확도를 결정하는 주요 결정 요인이라고 주장합니다. 이 발견의 의의는 두 가지 측면에서 중요합니다:

1. 실무적 설계: LLM을 사용하는 시스템의 경우, 우선순위는 변환 과정이 정답을 담고 있는 콘텐츠를 보존하도록 보장하는 것입니다. 일단 보존율이 확보되면, 표현의 구체적인 말투, 구조 또는 길이는 성능에 미치는 영향이 제한적입니다. 이는 핵심 정답이 보존된다면 공격적인 압축이나 재구성이 가능하다는 것을 시사합니다.
2. 방법론적 교정: 저자들은 특정 메커니즘(예: "계층적 추상화가 추론을 개선한다" 또는 "압축이 노이즈를 줄인다")에 정확도 향상을 귀인하는 기존의 방식이 혼동될 수 있다고 주장합니다. 만약 어떤 메커니즘이 정답 콘텐츠를 잘 보존한다면 성능이 좋을 것이고, 정답을 버린다면 실패할 것입니다. 본 논문은 보존율을 통제하지 않는다면, 해당 방법이 제안된 메커니즘 덕분에 작동하는 것인지 아니면 단순히 정답을 보존하기 때문인지 구분할 수 없다고 단언합니다.

본 연구는 표현 방식이 중요하지만, 인간 독자를 위해 최적화되는 차원들(포맷팅, 하이라이팅, 쿼리 편향 등)은 소비자가 LLM일 때 정답을 보존해야 한다는 근본적인 요구사항보다 부차적이라는 결론을 내립니다.