QUBO-Optimized Evidence Selection for Retrieval-Augmented Question Answering with Unconventional Solvers

기술 요약: RAG(검색 증강 생성)를 위한 QUBO 최적화 증거 선택

문제 정의

검합 증강 생성(Retrieval-Augmented Generation, RAG) 시스템은 답변 생성을 위한 조건으로 적절한 증거 구절(passage) 세트를 선택하는 데 의존한다. 그러나 표준적인 검색 파이프라인은 일반적으로 개별 관련성 점수에 기반하여 상위-$k$개의 구절을 선택하는 "검색 후 재순위화(retrieve-then-rerank)" 방식을 채택한다. 이러한 전략은 여러 구절에 분산된 보완적 정보를 결합해야 하는 멀티홉(multi-hop) 질문의 경우 실패하는 경우가 많다. 최근의 대규모 언어 모델(LLM) 기반 방법들은 이를 해결하기 위해 검색을 집합 선택 문제로 다루지만, 이는 높은 계산 비용과 확장성 문제를 야기한다. 또한, 단순히 검색된 구절의 수를 늘리는 것은 컨텍스트 길이의 제한과 "중간 부분 손실(lost in the middle)" 현상으로 인해 성능을 저하시킬 수 있다. 핵심 과제는 선택 단계 자체를 위해 값비싼 반복적 LLM 추론에 의존하지 않으면서도, 여러 정보 요구 사항을 공동으로 충족하는 작고 중복되지 않는 구절의 부분 집합을 선택하는 것이다.

방법론

저자들은 증거 선택을 이차 무제약 이진 최적화(Quadratic Unconstrained Binary Optimization, QUBO) 문제로 정식화할 것을 제안한다. 이 접근 방식은 검색과 답변 생성 단계 사이에 구조화된 최적화 계층을 도입한다.

1. 파이프라인 개요:
제안된 프레임워크는 5단계로 작동한다:

• 요구 사항 분해: 입력 쿼리를 특정 정보 요구 사항으로 분해한다.
• 후보 풀 구성: 표준 검색기(희소, 밀집 또는 하이브리드 방식)를 통해 후보 구절 풀을 검색한다.
• 점수 산정: 관련성, 요구 사항 지원 강도, 쌍별 중복성 및 상보성에 대한 의미론적 점수를 구절에 할당한다.
• QUBO 정식화: 이 점수들은 QUBO 목적 함수를 매개변수화한다.
• 솔버 및 생성: QUBO 솔버가 최적의 이진 부분 집합을 식별하며, 이는 다운스트림 언어 모델로 전달되어 답변 생성에 사용된다.

2. QUBO 정식화:
문제는 이진 변수 $x_i \in \{0, 1\}$에 대해 정의되며, 여기서 $x_i=1$은 구절 $p_i$의 선택을 나타낸다. 목적 함수 $E(x)$는 여러 요인을 균형 있게 조절함으로써 에너지(유틸리티)를 최소화(효용 극대화)하도록 설계되었다:

• 관련성 및 지원: 높은 관련성 점수($s_i$)를 가진 구절과 정보 요구 사항($r_j$)에 대해 직접적 또는 부분적으로 지원을 제공하는 구절에 보상을 준다.
• 커버리지(Coverage): 생성된 모든 정보 요구 사항을 충족하는 구절의 선택을 장려하며, 부분적 지원과 직접적 지원을 구분한다.
• 중복성 및 상보성: 중복되는 요구 사항을 지원하는 구절 쌍(중복성)에는 페널티를 부여하고, 서로 다르거나 보완적인 요구 사항을 지원하는 쌍(상보성)에는 보상을 준다.
• 조밀성(Compactness): 어떤 요구 사항도 지원하지 않는 구절의 선택을 제한하고, 총 선택 구절 수($K$)에 대한 예산 제약을 강제한다.

제약이 있는 최적화 문제는 슬랙 변수(slack variables)와 제약 조건(예: 커버리지 일관성 및 예산 제한)에 대한 페널티 항을 도입함으로써 무제약 QUBO 형태로 변환된다. 최종 목적 함수는 $\min v^\top Q v$로 표현되며, 여기서 $v$는 이진 변수(구절 선택, 커버리지 지표, 슬랙 변수 포함)의 벡터이고 $Q$는 계수 행렬이다.

3. 솔버 호환성:
문제를 QUBO로 구성함으로써, 선택 단계는 시뮬레이티드 어닐링(simulated annealing), 양자 어닐러(quantum annealers), 디지털 어닐러(digital annealers), 코히어런트 이징 머신(coherent Ising machines), 게이트 모델 양자 알고리즘을 포함한 다양한 비전통적 솔버와 호환된다. 이는 조합적 선택 로직을 의미론적 답변 합성으로부터 분리한다.

주요 기여

• 정식화: 본 논문은 요구 사항 인지형 RAG 컨텍스트 선택을 랭킹이나 프롬프팅 작업이 아닌, 이산 이진 부분 집합 선택 문제로 취급하는 최초의 QUBO 정식화를 제시한다.
• 통합된 목적 함수: 구절 관련성, 요구 사항 커버리지, 지원 강도, 중복성 감소, 상보성, 조밀성 및 선택 예산 제약을 공동으로 인코딩하는 단일 솔버 호환 에너지 함수를 도출한다.
• 모듈형 아키텍처: 저자들은 의미론적 전처리, 조합적 컨텍스트 선택, 답변 생성을 분리하는 파이프라인을 제안하여 각 구성 요소를 독립적으로 교체할 수 있도록 한다.
• 하드웨어 경로: 이 연구는 선택 단계에서 특화된 Ising/QUBO 하드웨어를 사용하는 경로를 열어주며, 이는 반복적인 LLM 기반 재순위화에 비해 잠재적으로 더 낮은 지연 시간과 에너지 효율성을 제공할 수 있다.

결과

제안된 QUBO 선택기는 HotpotQA 디스트랙터 설정(멀티홉 질의응답)에서 평가되었으며, 다음 모델들과 비교되었다:

• LLM 기반 베이스라인: LLM을 사용하여 직접 증거 집합을 선택하는 SetR 스타일의 선택기(SetR 및 SetRO).
• 비(非) LLM 베이스라인: BM25, 관련성 top-$k$, 최대 한계 관련성(Maximal Marginal Relevance, MMR), 하이브리드 어휘-의미론적 랭킹, 그리디 커버리지(greedy coverage), 그리고 랜덤 선택.

주요 결과:

• LLM 대비 성능: QUBO 선택기는 SetR 스타일의 LLM 선택기와 비교하여 경쟁력 있는 Exact Match(EM) 및 Token-F1 점수를 달取得했다. 구체적으로, SetR 베이스라인과 비교하여 EM은 0.004, F1은 0.0064 차이 내에 있었다. 특히, QUBO 선택기는 비교된 방법들 중 가장 높은 요구 사항 커버리지를 달성했다.
• 비(非) LLM 대비 성능: QUQL 선택기는 비 LLM 베이스라인 중 최고의 EM 점수를 기록했으며, F1 점수에서도 relevance top-$k$ 및 MMR에 근접한 성능을 보였고, BM25 및 랜덤 선택보다는 유의미하게 높은 성능을 보였다.
• 절제 연구(Ablation Studies):
  • 답변 수준: 관련성과 요구 사항 커버리지가 다운스트림 답변 정확도에 가장 강력한 기여 요인으로 식별되었다. 전체 QUBO 목적 함수에는 구조(중복성, 상보성)를 위한 항이 포함되어 있었으나, 이것이 항상 단순한 관련성 전용 목적 함수보다 더 높은 exact-match 점수로 이어지지는 않았는데, 이는 구조적 품질과 즉각적인 답변 지표 사이의 트레이드오프를 시사한다.
  • 집합 수준: 전체 QUBO 목적 함수는 중복 제거 또는 미지원 구절 페널티를 제거한 변형들과 비교했을 때, 더 조밀하고 효용이 높은 부분 집합을 선택함으로써 증거 집합의 구조를 성공적으로 제어했다.

의의 및 주장

본 논문은 멀티홉 증거 선택이 구조화된 이산 최적화 문제로 효과적으로 구성될 수 있다고 주장한다. 이 접근 방식의 주요 의의는 모듈성에 있다. 즉, 계산 비용이 많이 드는 조합적 선택 단계를 특화된 QUBO/Ising 솔버(고전적 또는 양자 영감 방식)로 오프로드할 수 있게 하여, LLM을 주로 의미론적 측정 및 답변 생성에 집중할 수 있도록 한다.

저자들은 보편적인 양자 가속을 가정하지 않는다는 점에서 신중한 입장을 유지하면서도, 이 정식화가 후보 풀과 쌍별 상호작용이 코퍼스 크기에 따라 증가하는 대규모 RAG 파이프라인에 매력적인 "솔버 호환" 표현을 제공한다고 언급한다. 이 연구는 향-후 검색 파이프라인이 현재의 LLM 기반 선택 방법이 제공하는 경쟁력 있는 답변 품질을 희생하지 않으면서도, 더 낮은 지연 시간과 잠재적으로 더 나은 에너지 효율성을 달성하기 위해 비전통적인 하드웨어를 활용할 수 있는 방향을 제시한다.