기술 요약: 장형 검색 증강 생성을 위한 강화된 정보성 최적화 (RioRAG)

1. 문제 제기

장형 질문 응답 (LFQA) 은 다중 소스 증거로부터 일관되고 사실에 기반한 내용을 종합하는 것을 요구합니다. 검색 증강 생성 (RAG) 은 생성을 검색된 문서에 기반하게 함으로써 환각 현상을 완화하지만, 현재 시스템은 강화 학습 (RL) 보상 설계에서 상당한 도전에 직면해 있습니다.

LFQA 를 위한 표준 RL 보상은 주로 다음에 의존합니다:

• 정확 일치 가정: 짧은 형식의 질문 응답이나 수학에는 적합하지만, 여러 가지 유효한 표현이 존재하는 개방형 다문장 응답에는 비효율적입니다.
• 불안정하고 검증 불가능한 신호: 규칙 기반 결과 보상 모델 (ORM) 은 다양한 응답에 어려움을 겪으며, 모델 기반 점수 매기는 높은 분산과 신뢰성 부족을 보입니다 (논문의 Figure 1 참조). 이는 희소한 보상 신호를 초래하여 자기 탐색과 최적화를 저해합니다.
• 강한 감독에 대한 의존: 기존 방법들은 종종 수동으로 제작된 템플릿, 증류를 위한 강력한 교사 모델, 또는 정적 데이터셋에 의존하여 실시간 웹 지식과 다양한 도메인으로의 일반화를 제한합니다.

결과적으로 현재 RAG 시스템은 검증 가능한 보상 메커니즘이 부족하여 불안정한 피드백과 장형 생성에 대한 비최적의 최적화 결과를 초래합니다.

2. 방법론: RioRAG

저자들은 안정적인 검증 가능한 보상 학습을 통해 장형 RAG 를 최적화하도록 설계된 RioRAG(Reinforced Informativeness Optimization) 를 제안합니다. 이 방법론은 두 가지 핵심 구성 요소로 이루어집니다:

A. 강화된 정보성 최적화

RioRAG 는 모호한 전체적 점수 매기기를 측정 가능한 정보성으로 최적화 목표를 재정의합니다.

• 정보성의 정의: 응답의 길이나 스타일을 측정하는 대신, 정보성은 검색된 소스에서 증류된 "너겟 (nuggets)"—즉, 간결하고 재사용 가능하며 검증 가능한 사실 단위 (예: 짧은 사실이나 주장)—의 커버리지로 정의됩니다.
• 훈련 데이터 구축: 이 프레임워크는 ELI5 데이터셋을 활용하지만 인간이 작성한 답변은 제거하고 쿼리에만 의존합니다. 각 쿼리에 대해 상위 K 개의 웹페이지를 동적으로 검색하여 컨텍스트 $D_q$를 형성함으로써, 모델이 정적 주석이 아닌 현재 다양한 온라인 소스에서 학습하도록 합니다.
• 최적화 알고리즘: 장형 텍스트에서의 기울기 불안정성을 해결하기 위해 RioRAG 는 **그룹별 상대 정책 최적화 (GRPO)**를 사용합니다. 이는 샘플링된 그룹 내에서 보상을 정규화하여 분산을 완화하고 정책 업데이트를 안정화합니다.
• 액션 활성화: <thought>와 같은 새로운 구분 토큰을 도입하여 지시 튜닝 모델로부터의 웜스타팅을 방해하는 방법과 달리, RioRAG 는 기존 Markdown 헤더를 활용하여 추론과 최종 답변을 분리하여 사전 학습된 사전 지식을 보존합니다.

B. 너겟 중심 계층적 보상 모델링

밀집되고, 행동 구별적이며, 검증 가능한 피드백을 제공하기 위해 RioRAG 는 보상 계산을 세 단계로 분해합니다:

1. 사실적 너겟 추출: 검색된 문서에서 간결한 증거 문장을 추출합니다.
2. 증거 체크리스트 합성: 추출된 너겟을 클러스터링하고 통합된 체크리스트 $C(q, D_q)$로 병합하여 중복을 제거하고 쿼리에 대한 진실 기준 참조를 생성합니다.
3. 정보성 평가: 보상은 생성된 답변에서 커버된 체크리스트 너겟의 비율에 따라 계산됩니다. 각 매칭은 명시적으로 소스 문서로 추적 가능합니다.

길이 감쇠 메커니즘: 과도하게 긴 응답을 통한 "보상 해킹"을 방지하기 위해 길이 감쇠 정규화는 추론 토큰에는 영향을 주지 않고 최종 답변 세그먼트에만 적용됩니다. 이는 불필요한 장황함을 처벌하면서도 숙고 과정을 보존합니다.

3. 주요 기여

• 검증 가능한 보상 공식화: RioRAG 는 정보성을 휴리스틱 어휘 규칙이나 블랙박스 모델 점수 매기기가 아닌 증거 지원에서 파생된 외부적으로 검증 가능한 목표로 정의합니다.
• 너겟 중심 검증: 개방형 평가를 체크리스트 기반 크레딧 할당으로 전환함으로써, 프레임워크는 세밀하고 재현 가능한 피드백을 가능하게 합니다. 이는 장문 컨텍스트 저하를 방지하고 RL 을 위한 밀집된 신호를 제공합니다.
• 강한 감독 없이 자기 진화: 이 프레임워크는 작은 정책 모델이 실시간 웹 지식과의 상호작용을 통해 스스로 진화할 수 있게 하여, 수동 제작된 정책 감독이나 강력한 교사 모델 (예: 순차적 SFT) 로부터의 증류가 필요 없게 합니다.
• 효율성: 다단계 검증 과정에도 불구하고, 컴팩트한 입력 (단일 문서 또는 짧은 체크리스트) 을 사용하여 토큰 수를 낮게 유지합니다. 시스템은 병렬 및 비동기 실행을 지원하여 생성형 보상 베이스라인과 계산적으로 비교 가능합니다.

4. 실험 결과

저자들은 LongFact(38 개 도메인 포함) 와 RAGChecker(사실 기반성 및 검색 품질 평가) 두 가지 벤치마크에서 RioRAG 를 평가했습니다.

• 성능 향상: RioRAG 는 프롬프트 기반 방법, 지도 미세 조정 (SFT) 베이스라인, 그리고 다른 RL 기반 접근법 (DPO 등) 과 비교하여 모든 지표에서 우수한 성과를 달성했습니다.
  • LongFact에서 과학, 의학, 법률 등 다양한 도메인에서 사실 회상 (FR) 및 정보 밀도 (ID) 가 크게 개선되었습니다.
  • RAGChecker에서 지식 포인트 커버리지, 검색 활용도, 환각 완화, 그리고 충실도에서 탁월한 성과를 보였습니다.
• 절차 제거 연구 (Ablation Studies):
  • 정보성 최적화나 너겟 기반 보상을 제거하면 성능이 크게 저하되어 제안된 보상 구조의 필요성이 확인되었습니다.
  • 길이 감쇠 항을 제거하면 정보 밀도가 낮아져, 이 메커니즘이 장황하고 저품질의 출력을 방지하는 역할을 검증했습니다.
  • 오프-정책 RL 과 생성형 보상 모델과의 비교는 온-정책 GRPO 접근법과 검증 가능한 보상 신호의 우월성을 강조했습니다.
• 확장 및 콜드스타트:
  • 확장 법칙: RioRAG 는 모델 크기가 증가함에 따라 (15 억에서 140 억 파라미터) 일관된 성능 향상을 보였으나, 성장 곡선은 아선형 관계를 나타냈습니다.
  • 콜드스타트: R1 증류 모델 (느린 사고 패턴 포함) 로 초기화하면 가장 큰 개선 (29.6%) 이 이루어져, 구조화된 추론 사전 지식이 안정적인 RL 훈련을 촉진함을 시사합니다.

5. 의의 및 주장

이 논문은 RioRAG 가 검증 가능한 보상 모델링을 신뢰할 수 있는 장형 RAG 를 위한 기초 단계로 확립한다고 주장합니다. 모호한 전체적 점수 매기기를 명시적이고 너겟 정렬된 체크리스트 검증으로 전환함으로써, 이 프레임워크는 현재 보상 설계의 핵심적인 불안정성과 신뢰성 부족 문제를 해결합니다.

저자들은 RioRAG 를 희소하고 고품질의 주석 데이터나 강력한 교사 모델에 의존하지 않고 개방형 도메인 설정에서 모델이 스스로 개선할 수 있게 하는 솔루션으로 위치시킵니다. 그들은 장형 작업에 대한 미래 평가 프레임워크가 표면적 지표보다 세밀한 사실적 정렬을 우선시해야 한다고 주장합니다.

인정된 한계:

• 현재 초점은 영어 코퍼스에 맞춰져 있습니다.
• 자동 너겟 추출에 대한 의존성은 사전 학습 모델의 편향을 계승할 수 있습니다.
• 보상은 주로 사실적 정보성을 대상으로 하며, 인간 선호도에도 중요한 언어적 스타일, 일관성, 또는 가독성을 명시적으로 포착하지는 않습니다.
• 계산적 제약으로 인해 실험은 최대 320 억 파라미터 모델로 제한되었습니다.