기술 요약: 스타일의 변화: RAG의 언어적 변이에 대한 취약성

문제 정의

검색 증강 생성(RAG) 시스템은 표준 자연어 처리(NLP) 벤치마크에서 인상적인 성능을 보여주었으나, 실제 사용자의 상호작용에서의 견고함(robustness)에 대해서는 아직 충분히 탐구되지 않았습니다. 실제 세계의 쿼리는 정교하게 큐레이션된 공식적인 입력값과는 다른, 격식, 가독성, 공손함, 문법적 정확성 등 상당한 언어적 변이(예: 격식의 차이)를 나타내는 경우가 많습니다. 이러한 불일치는 중요한 과제를 제기합니다. 즉, RAG 시스템은 검색과 생성이라는 상호 의존적인 구성 요소에 의존하기 때문에, 다양한 입력값을 처리할 때 연쇄적인 오류(cascading errors)를 겪을 수 있습니다. 독립형 대규모 언어 모델(LLM)과 달리, RAG 시스템은 검색 단계에서 생성 단계로 오류가 전파되는 것에 취약하며, 이는 시스템이 튜닝된 좁은 패턴 범위를 벗어난 언어적 표현을 사용하는 광범위한 사용자 계층을 배제할 가능성을 내포하고 있습니다.

방법론

저자들은 언어적 변이가 RAG의 견고함에 미치는 영향을 조사하기 위해 대규모의 체계적인 연구를 제시합니다. 본 연구는 다음 구성 요소를 포함하는 통제된 실험 설계를 채택하였습니다:

• 언어적 차원: 연구는 실제 입력에서 흔히 나타나는 네 가지 특정 변이 차원을 목표로 합니다:

  1. 격식(Formality): 쿼리를 격식 있는 언어에서 캐주얼/비격식 언어로 변환.
  2. 가독성(Readability): 의미를 보존하면서 쿼리를 가독성이 낮게(언어적 복잡도를 높게) 재작성.
  3. 공손함(Politeness): 쿼리의 공손함 수준을 높임.
  4. 문법적 정확성(Grammatical Correctness): 두 가지 방법을 통해 오류를 도입:
     • 오타(Typos): 무작위 문자 수준의 추가, 삭제 또는 대체.
     • 왕복 번역(Round-Trip Translation, RTT): 쿼리를 영어에서 아프리칸스어로 번역한 후 다시 영어로 번역하여 구조적 및 어휘적 변화를 유도.

• 데이터 생성: GPT-4o-mini를 사용하여 데이터를 생성하고(Llama-3.1-70B-Instruct로 검증), 네 가지 오픈 도메인 질의응답(QA) 데이터셋(PopQA, EntityQuestions, MS MARCO, Natural Questions)에 걸쳐 재작성된 쿼리를 생성했습니다. 엄격한 2단계 검증 과정(의미적 유사도 점수 산출 및 수동 주석 달기)을 통해 재작성된 쿼리가 원래의 화용적 의도와 정답(gold answers)을 보존하도록 보장했습니다.

• 평가 대상 모델:

  • 리트리버(Retrievers): 두 가지 신경망 검색 모델: Contriever 및 ModernBERT Embed.
  • 제너레이터(Generators): 세 가지 제품군(Llama 3.1, Qwen 2.5, Gemma 2)에서 파라미터 규모가 20억 개에서 720억 개에 이르는 9개의 오픈 소스 지시어 튜닝 LLM.

• 평가 지표:

  • 검색(Retrieval): Recall@k (R@k), 특히 R@5.
  • 생성(Generation): Answer Match (AM), Exact Match (EM), F1 Score.
  • 고급 기법(Advanced Techniques): 쿼리 확장(HyDE) 및 문서 재순위화(reranking)가 견고함에 미치는 영향도 함께 평가했습니다.

주요 결과

1. 상당한 성능 저하

언어적 재구성은 모든 차원과 데이터셋에서 RAG 성능을 일관되게 저하시킵니다.

• 검색(Retrieval): 모든 수정 사항에 대해 Contriever는 평균 16.7%, ModernBERT는 **13.3%**의 평균 상대적 성능 저하가 관찰되었습니다.
  • 문법적 변이(RTT 및 오타)가 Recall에 가장 심각한 영향을 미쳤으며, 특히 RTT는 평균 **19.56%**의 하락을 유발했습니다.
  • 격식 변화는 특정 데이터셋에서 높은 민감도를 보였는데, 예를 들어 MS MARCO에서 Contriever의 Recall@5가 40.41% 하락했습니다.
  • 공손함 변이는 영향이 가장 적었으며(평균 6.48% 하락), 이는 검색 모델이 사회적 예절 마커를 효과적으로 필터링함을 시사합니다.
• 생성(Generation): 모든 실험 설정에서 생성 성능은 평균적으로 AM 16.52%, EM 41.15%, F1 19.60% 하락했습니다.
  • PopQA 데이터셋이 가장 높은 민감도를 보였으며, AM 점수에서 평균 **18.64%**의 하락을 기록했습니다.
  • RTT는 가장 극적인 생성 저하(PopQA에서 최대 33.86%)를 일으켰으며, 가독성 감소 또한 성능에 상당한 영향을 미쳤습니다.

2. RAG vs. LLM-only 민감도

RAG 시스템은 LLM 단독 생성보다 언어적 변이에 더 큰 취약성을 보입니다.

• PopQA 데이터셋에서 RAG 시스템은 평균 **22.53%**의 성능 저하를 경험한 반면, LLM 단독 생성은 **10.78%**만 저하되었습니다.
• 이러한 격차는 오류가 검색 구성 요소에서 생성 구성 요소로 전이되고 있음을 시사합니다. 예를 들어 격식 재작성의 경우, LLM 단독 생성은 성능 차이가 거의 없었는데, 이는 검색 단계가 견고함의 주요 병목 구간임을 나타냅니다.

3. 모델 규모 및 고급 기법의 영향

• 스케일링(Scaling): LLM 파라미터 크기를 키우는 것(예: 3B에서 72B로)이 성능 격차를 일관되게 완화하지는 못했습니다. 더 큰 모델이 가독성 및 격식 변이를 처리하는 데 약간의 개선을 보였으나, 왕복 번역(RTT) 변이에 대해서는 오히려 성능 격차가 확대되었습니다.
• 고급 기법(Advanced Techniques):
  • 쿼리 확장 (HyDE): 일부 변이(가독성, 오타 등)에 대해서는 견고함을 향상시켰으나, RTT 쿼리에 대해서는 성능을 심각하게 저해했으며 원래 쿼리에 대한 효과도 감소했습니다.
  • 재순위화 (Reranking): 재작성된 쿼리에 대해 검색 성능을 실질적으로 향상시켰으며(평균 16.56% 개선), 이는 원래 쿼리에 대한 개선폭(7.40%)보다 컸습니다. 이는 언어적 변이가 관련 문서를 완전히 사라지게 하기보다는 순위 목록에서 아래로 밀려나게 함을 시사합니다. 그러나 재순위화를 적용하더라도 시스템은 여전히 언어적 변화에 취약했습니다.

의의 및 주장

본 논문은 RAG 시스템의 언어적 쿼리 재구성에 대한 견고함을 분석한 최초의 체계적인 분석을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 취약성 폭로: 표준 벤치마크에서는 강력한 성능을 보임에도 불구하고, RAG 시스템이 피할 수 없는 실제 세계의 언어적 변이에 취약하다는 것을 입증했습니다.
2. 연쇄적 오류 식별: RAG 시스템이 단독 LLM보다 언어적 변화에 더 민감함을 밝혀내어, 검색 구성 요소를 핵심적인 오류 전파 원인으로 지목했습니다.
3. 현재 완화 기법의 한계 제시: 단순히 모델 크기를 키우거나 기존의 고급 기법(HyDE, 재순위화 등)을 적용하는 것만으로는 이러한 견고성 문제를 완전히 해결하기에 불충분함을 보여주었습니다.
4. 견고성에 대한 촉구: 차세대 RAG 시스템의 신뢰성을 확보하기 위해서는 다양한 언어적 상호작용을 처리할 수 있는 견고성 기술 개발이 시급함을 강조합니다.

저자들은 향-세대 RAG 시스템의 신뢰성을 높이기 위해 다양한 언어적 변이를 구체적으로 다룰 수 있는 전략 개발에 향후 연구가 집중되어야 한다고 결론짓습니다.