From Ambiguity to Accuracy: The Transformative Effect of Coreference Resolution on Retrieval-Augmented Generation systems

이 논문은 코어퍼런스 해결 (coreference resolution) 이 검색 증강 생성 (RAG) 시스템의 검색 정확도와 생성 품질을 향상시키며, 특히 참조 모호성 처리 능력이 부족한 소형 모델에서 그 효과가 두드러진다는 것을 규명합니다.

핵심

🕵️‍♂️ 핵심 비유: "그"라는 단어가 가득한 미스터리 소설

상상해 보세요. AI 가 문서를 읽는다는 건 미스터리 소설을 읽는 것과 같습니다.

• 원래 문서 (모호한 상태):

  "철수가 민수에게 말했다. 그는 그의 가방을 챙겼다. 그는 그를 따라갔다."

  여기서 AI 는 "그"가 철수인지, 민수인지, 아니면 가방인지 헷갈립니다. 마치 소설 속 인물이 모두 '그'라고만 불린다면, 독자인 AI 는 "누가 누구를 따라갔지?"라고 고민하며 길을 잃게 됩니다.

• 해결된 문서 (명확한 상태):

  "철수가 민수에게 말했다. 철수는 철수의 가방을 챙겼다. 철수는 민수를 따라갔다."

  이제 AI 는 누가 무엇을 했는지 한눈에 알아챕니다.

이 논문은 **"AI 가 문서를 검색하거나 질문을 답할 때, 이 '그'라는 대명사를 실제 이름으로 바꿔주면 얼마나 더 똑똑해지나?"**를 실험했습니다.

---

🚀 주요 발견 3 가지

1. 검색할 때: "길 찾기"가 훨씬 수월해집니다.

AI 가 방대한 도서관 (데이터) 에서 정답이 있는 책을 찾아낼 때, 제목이나 내용 속에 '그'라는 단어가 많으면 검색 엔진이 "이게 무슨 책이지?"라고 헷갈려서 엉뚱한 책을 가져옵니다.

• 비유: 친구에게 "저기 그 사람"이라고만 말하면 친구는 누구를 찾을지 모릅니다. 하지만 "저기 김철수 씨"라고 말하면 바로 찾습니다.
• 결과: 대명사를 실제 이름으로 고쳐주니, AI 가 원하는 문서를 찾는 능력 (검색 정확도) 이 크게 향상되었습니다. 특히 **문장의 모든 단어를 골고루 고려하는 방식 (Mean Pooling)**을 쓰는 AI 모델이 이 혜택을 가장 많이 받았습니다.

2. 질문 답변할 때: "작은 뇌"가 더 큰 도움을 받습니다.

이 연구에서 가장 재미있는 점은 AI 모델의 크기에 따른 차이였습니다.

• 큰 모델 (고급 두뇌): 이미 지식이 많아서 '그'라는 단어도 어느 정도 추측해서 이해합니다. 그래도 고쳐주면 조금 더 잘하지만, 큰 변화는 없습니다.
• 작은 모델 (초보 두뇌): 지식이 적어서 '그'라는 단어가 나오면 바로 당황합니다. 하지만 대명사를 이름으로 바꿔주면, 작은 모델의 실력이 큰 모델 못지않게 급격히 좋아집니다.
• 비유: 수학 문제를 풀 때, 복잡한 식을 풀 수 있는 천재 (큰 모델) 는 약간의 오타를 봐도 풀지만, 초보 학생 (작은 모델) 은 식이 명확해야 풀 수 있습니다. 대명사 제거는 초보 학생에게 '해설지'를 주는 것과 같습니다.

3. 결론: "명확함"이 AI 의 실력을 바꾼다.

이 논문은 **"AI 가 문맥을 이해하는 데 가장 큰 방해물은 '모호함'이다"**라고 말합니다. AI 가 문서를 검색하거나 질문을 답할 때, 대명사를 실제 이름으로 명확하게 바꿔주는 과정 (Coreference Resolution) 을 거치면:

1. 검색이 더 정확해지고,
2. 답변이 더 사실에 가까워지며,
3. 특히 작은 AI 모델이 훨씬 똑똑해집니다.

---

💡 한 줄 요약

"AI 가 문서를 읽을 때 '그', '그녀' 같은 헷갈리는 말을 '철수', '민수' 같은 실제 이름으로 바꿔주면, AI 는 길을 잃지 않고 정답을 훨씬 정확하게 찾아냅니다. 특히 작은 AI 모델은 이 '명확한 지도'를 받으면 기적처럼 실력이 좋아집니다!"

이 기술은 앞으로 우리가 AI 에게 질문할 때, 더 정확한 정보를 얻고 AI 가 헛소리를 (할루시네이션) 하는 것을 줄이는 데 큰 도움이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

검색 증강 생성 (RAG, Retrieval-Augmented Generation) 시스템은 외부 문서 검색과 대규모 언어 모델 (LLM) 을 결합하여 사실적 일관성을 높이고 환각 (hallucination) 을 줄이는 데 효과적입니다. 그러나 RAG 의 성능은 검색된 문서 내의 대명사 및 참조 표현 (coreference) 의 복잡성으로 인해 종종 저하됩니다.

• 모호성 (Ambiguity): 문서 내에 등장하는 대명사 ('그', '그것', '그들' 등) 나 약어는 문맥에 따라 여러 개체 (entity) 를 가리킬 수 있어, LLM 이 이를 정확하게 해석하기 어렵게 만듭니다.
• 검색 및 생성 저하: 이러한 모호성은 검색 모델이 사용자의 질의 (query) 와 가장 관련성 높은 문서를 찾는 능력을 방해하고, 생성 단계에서 문맥 이해를 방해하여 사실 오류를 유발합니다.
• 핵심 질문: "문서 내의 대명사 참조를 명시적인 개체로 치환하는 '대명사 해소 (Coreference Resolution, CR)' 기술이 RAG 시스템의 검색 및 생성 성능에 어떤 영향을 미치는가?"

2. 방법론 (Methodology)

연구팀은 RAG 파이프라인의 두 가지 핵심 단계인 **문서 검색 (Retrieval)**과 **질문 응답 (Question Answering, QA)**에 대해 CR 의 영향을 체계적으로 분석했습니다.

• 대명사 해소 구현:
  • GPT-4o-mini 를 활용하여 f_coref 함수를 구현했습니다.
  • 이 함수는 문서 내의 모호한 대명사나 약어를 해당 문맥에서 명확한 선행어 (antecedent) 로 치환하여 문서를 변환합니다 (예: "GR" → "general relativity", "it" → "the basketball").
• 실험 설정:
  • 검색 모델: 인코더 기반 (e5-large-v2, bge-large-en-v1.5 등) 과 디코더 기반 (NV-Embed-v2, LLM2Vec 등) 의 다양한 임베딩 모델을 사용했습니다.
  • 생성 모델: Llama3.2, Qwen2.5, Gemma-2, Mistral 등 다양한 크기와 아키텍처를 가진 7 개의 instruction-tuned LLM 을 사용했습니다.
  • 데이터셋: BELEBELE, SQuAD2.0, BoolQ, NanoSCIDOCS 등 4 가지 데이터셋을 활용하여 검색 및 QA 평가를 수행했습니다.
  • 평가 지표: 검색 성능은 nDCG@k (k=1,3,5), QA 성능은 정확도 (Accuracy) 및 F1-score 를 사용했습니다.
• 비교 분석: 원본 문서 (Original) 와 대명사 해소된 문서 (Resolved) 를 각각 입력했을 때의 성능 차이를 비교하고, 풀링 전략 (Mean pooling vs. [CLS]/Last token pooling) 에 따른 영향을 분석했습니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

A. 검색 성능 (Retrieval Performance)

• 일관된 성능 향상: 모든 임베딩 모델에서 대명사 해소를 적용한 문서가 원본 문서보다 검색 성능 (nDCG) 이 향상되었습니다. 이는 개체 참조가 명시화되면서 문서의 의미적 표현이 더 명확해졌기 때문입니다.
• 풀링 전략의 중요성: Mean Pooling을 사용하는 모델들이 [CLS] 토큰이나 Last Token 풀링을 사용하는 모델들보다 CR 적용 시 더 큰 성능 향상을 보였습니다.
  • 이유: Mean Pooling 은 모든 토큰을 동등하게 처리하므로, 대명사가 실제 개체로 치환되어 생성된 추가적인 의미 정보 (explicit semantic information) 를 효과적으로 통합할 수 있기 때문입니다.
  • 결과: 디코더 기반 모델 (예: LLM2Vec) 에서 평균 점수 향상이 가장 두드러졌습니다.

B. 질문 응답 성능 (Question Answering Performance)

• 모델 크기에 따른 차이: CR 은 모든 모델의 성능을 향상시켰지만, **작은 모델 (Small Models, 예: 3B, 2B 파라미터)**이 큰 모델에 비해 상대적으로 더 큰 성능 향상을 보였습니다.
  • 이유: 작은 모델은 본래 참조 모호성을 처리하는 내재적 용량 (inherent capacity) 이 부족하기 때문에, CR 을 통해 문맥이 명확해지면 큰 도움을 받습니다.
  • 예시: SQuAD2.0 에서 GPT-4o-mini 로 CR 을 적용한 작은 모델 (gemma-2-2b-it, Qwen2.5-3B) 은 원본 문서를 사용한 대형 모델 (Llama3.1-8B 등) 과 유사하거나 더 높은 점수를 기록하기도 했습니다.

C. 문맥 복잡성 감소

• CR 적용 후 대명사 chunk 수는 감소하고 명사 chunk 수는 증가하여, 문맥의 참조 복잡성 (referential complexity) 이 낮아졌습니다. 이는 모델이 문맥을 이해하는 데 필요한 인지 부하를 줄여줍니다.

4. 실험 결과 요약

• 검색 (Table 1): CR 적용 시 모든 모델에서 nDCG 점수 상승. 특히 Mean Pooling 기반 모델 (NV-Embed-v2, LLM2Vec 등) 에서 평균 0.01~0.02 포인트 이상의 유의미한 개선.
• QA (Table 2): 모든 모델에서 정확도 및 F1-score 향상.
  • BoolQ, Belebele, SQuAD2.0 에서 작은 모델들의 개선 폭이 큼 (예: Qwen2.5-3B 는 Belebele 에서 0.0778 향상, 7B 모델은 0.0400 향상).
  • CR 적용 시 작은 모델이 원본 문서를 사용한 대형 모델을 추월하는 경우 발생.

5. 의의 및 결론 (Significance)

이 연구는 RAG 시스템의 성능 저하 요인 중 하나인 '대명사 모호성'을 해결하는 것이 단순한 전처리 단계를 넘어, 검색 정확도와 생성 품질을 동시에 혁신적으로 개선할 수 있음을 입증했습니다.

• 실용적 시사점:

  1. 검색 최적화: Mean Pooling 전략을 사용하는 임베딩 모델과 CR 기술을 결합하면 검색 효율을 극대화할 수 있습니다.
  2. 경량 모델 활용: 자원이 제한된 환경에서 작은 LLM 을 사용할 때, CR 전처리를 통해 대형 모델 수준의 성능을 달성할 수 있어 비용 효율적인 RAG 구축이 가능합니다.
  3. 시스템 설계 가이드: 지식 집약적 AI 애플리케이션을 설계할 때, 문서 내 참조 관계를 명시화하는 과정이 필수적임을 강조합니다.

• 한계점:

  • CR 수행을 위해 GPT-4o-mini 를 사용함으로써 발생할 수 있는 편향성 (bias) 과 비용 문제.
  • 매우 전문적이거나 기술적인 텍스트에서의 CR 정확도 한계.
  • 명시적 참조 치환이 때로는 생성 모델의 유연성을 제한할 수 있다는 점.

결론적으로, 이 논문은 **모호성에서 정확성으로 (From Ambiguity to Accuracy)**의 전환을 위해 대명사 해소 기술이 RAG 시스템의 핵심 구성 요소로 통합되어야 함을 강력하게 주장합니다.