기술 요약: RAG 읽기에서 의미적 경쟁과 문맥 길이의 분리

문제 제기

검색 증강 생성 (RAG) 시스템은 검색 구성 요소가 정답이 포함된 문단을 성공적으로 찾아오더라도 정답을 생성하지 못하는 경우가 빈번합니다. 많은 연구가 이러한 성능 저하를 문맥 창 (context window) 의 sheer 크기 ("Haystack 속의 바늘" 문제) 에 기인하지만, 본 논문은 **의미적 경쟁 (semantic competition)**이 별개이면서도 결정적인 요인이라고 주장합니다. 여러 검색된 문단이 쿼리와 관련 있어 보일 때, 리더 모델은 올바른 "골드" 문단을 유망하지만 잘못된 "방해" 문단과 구별해야 합니다. 본 논문이 다루는 핵심 질문은 성능 저하가 단순히 증가된 문맥 길이 때문인지, 아니면 경쟁하는 상위 랭킹의 부정적 문단들이 가하는 의미적 압력 때문인지 여부입니다.

방법론

저자들은 의미적 경쟁을 문맥 길이와 분리하도록 설계된 **매칭-통제 프로토콜 (matched-control protocol)**을 도입했습니다. 실험 설정은 SQuAD 1.1 데이터셋에서 추출형 질문 답변을 수행하며, Phi-2와 Qwen2.5-1.5B-Instruct라는 두 가지 소형 오픈소스 리더를 활용합니다.

실험 설계

본 프로토콜은 문단 수와 총 입력 길이는 일치하지만 방해 문단의 품질이 다른 두 가지 서로 다른 문맥 조건을 구성합니다:

1. 하드 조건 (Hard Condition): 문맥에는 하나의 골드 스니펫 (답변 중심) 과 $H$개의 방해 스니펫이 포함됩니다. 이러한 방해 문단은 BM25 에 의해 검색된 **상위 랭킹 부정 문단 (top-ranked negatives)**으로, 올바른 답변과 매우 유사하여 강력한 의미적 경쟁자가 됩니다.
2. 원격-통제 조건 (Far-Control Condition): 문맥에는 동일한 골드 스니펫과 동일한 수의 총 문단 ($N=20$) 이 포함됩니다. 그러나 상위 랭킹의 하드 부정 문단들은 동일한 코퍼스에서 가져온 **원격 랭킹의 실제 문단 (far-rank real passages)**으로 대체됩니다. 이들도 답변 문자열을 제외하도록 필터링되지만, 의미적으로 훨씬 덜 경쟁적입니다.

중요하게도, 두 조건 모두에서 골드 스니펫이 아닌 모든 스니펫은 정규화된 답변 문자열이 방해 문단에 나타나지 않도록 필터링되어 답변 유출을 방지합니다.

지표 및 분석

본 연구는 다음을 사용하여 성능을 평가합니다:

• 정확 일치 (Exact Match, EM): 엄격하게 정규화된 일치.
• 토큰 F1: 토큰 중첩에 대한 부분 점수.
• 답변 포함 (Answer Inclusion): 골드 답변이 출력에 어디든 나타나는지 여부.

경쟁이 증가함에 따른 성능 저하를 추적하기 위해 저자들은 **유지 곡선 (retention curves, $R_M(H) = M(H) / M(0)$)**을 활용하고 **오른쪽 절단 반감기 (right-censored half-life, $K_{1/2}$)**를 사용하여 이를 요약합니다. 테스트된 하드 부정 문단 범위 내에서 유지 곡선이 50% 미만으로 떨어지지 않는 경우, 교차점을 임의로 생성하는 대신 반감기를 오른쪽 절단된 것으로 보고합니다 (예: $K_{1/2} > 79$).

주요 결과

1. 의미적 경쟁은 별개의 성능 저하 요인

문맥 길이를 고정하면서 하드 부정 문단을 원격 랭킹 문단으로 대체한 결과, 두 모델 모두에서 부분적인 성능 회복이 관찰되었습니다. 이는 성능 저하가 단순히 문맥 크기의 함수가 아니라 검색된 문단 간의 의미적 경쟁에 의해 크게 주도됨을 확인시켜 줍니다.

2. 지표별 차별적 회복

회복 효과는 F1과 답변 포함에서 가장 두드러졌으며, **정확 일치 (EM)**에서는 약하고 노이즈가 많은 개선을 보였습니다:

• Phi-2: EM +6.0 점, 답변 포함 +7.0 점, F1 +0.057 회복.
• Qwen2.5-1.5B: EM +4.5 점, 답변 포함 +9.0 점, F1 +0.068 회복.
• 참고: Qwen 의 경우 EM 회복 신뢰 구간이 약간 0 을 가로질렀으나, F1 과 포함 지표는 통계적으로 유의미한 개선을 보였습니다.

3. 유지 곡선과 반감기

하드 부정 문단의 수를 증가시킬 때 ($H=79$까지), 두 모델 모두 단조로운 성능 저하를 보였습니다. 그러나 EM 과 F1 에 대한 유지 곡선은 최대 테스트된 부정 문단 수에서도 50% 이상에 머무렀습니다. 결과적으로 두 지표의 반감기는 오른쪽 절단되었습니다 ($K_{1/2} > 79$). 이는 성능이 꾸준히 저하되기는 하지만, 이 범위 내에서 모델이 무작위 추측 수준으로 붕괴하지는 않음을 시사합니다.

4. 스니펫 길이에 따른 의존성

회복 효과의 크기는 스니펫 길이에 따라 달라졌습니다. 80 단어 스니펫을 사용한 실험에서는 하드에서 원격으로의 대체로 인한 회복이 50 단어 스니펫에 비해 현저히 약했습니다 (예: Qwen 의 EM 회복이 +4.5 에서 +0.0 으로 감소). 저자들은 더 긴 스니펫이 답변을 지지하는 문맥을 더 많이 보존하여 모호성을 줄이고, 따라서 "원격-통제"의 이점이 나타날 여지를 줄인다고 제안합니다.

중요성과 주장

본 논문은 의미적 경쟁이 문맥 길이와 구별되는 RAG 실패의 메커니즘임을 통제된 방식으로 증명했다고 주장합니다. 문단 수와 길이를 고정함으로써 저자들은 의미적으로 유사한 방해 문단들 사이에서 올바른 문단을 선택하는 특정 어려움을 격리했습니다.

저자들은 자신의 기여를 다음과 같이 겸손하게 제시합니다:

• 프로토콜 혁신: 표준 장문맥 벤치마크에 존재하는 혼란 변수를 피하면서 경쟁을 길이와 분리하는 매칭-통제 프로토콜을 도입했습니다.
• 실증적 증거: 덜 경쟁적인 실제 문단으로 하드 부정 문단을 대체함으로써 모델 성능을 부분적으로 회복시켰으며, 이는 정확 일치뿐만 아니라 답변 포함 및 부분 일치 (F1) 생성 능력을 특히 개선함을 입증했습니다.
• 평가의 뉘앙스: 결과는 RAG 평가가 단순한 "Haystack 속의 바늘" 존재 확인을 넘어선 것을 보아야 함을 시사합니다. "리더" 구성 요소의 난이도는 텍스트 양뿐만 아니라 검색된 방해 문단의 품질에 크게 영향을 받습니다.

본 논문은 특정 데이터셋 (SQuAD) 과 테스트된 소형 모델에 대한 주장으로 명시적으로 제한하며, 다른 코퍼스, 검색기, 또는 프론티어 규모 모델은 다른 경쟁 프로필을 보일 수 있음을 지적합니다. 새로운 아키텍처 솔루션을 제안하는 것이 아니라 RAG 실패를 더 잘 진단하기 위한 방법론적 프레임워크를 제시합니다.