기술 요약: 답변할 것인가, 기권할 것인가: 기권 인지 강화 학습을 통한 검색 에이전트의 환각 완화

문제 정의

최근 대규모 언어 모델(LLM)에 검색 도구를 결합하고 결과 보상(outcome-reward) 강화 학습(RL)을 적용하는 기술은 오픈 도메인 질의응답(QA) 분야에서 최첨단 성과를 달ей고 있습니다. 그러나 현재의 학습 패러다임은 치명적인 취약점을 안고 있습니다. 즉, 정답에는 보상을 주지만, 검색에 실패했을 때 발생하는 허위 답변(fabricated answers)에 대해서는 처벌하지 않는다는 점입니다. 결과적으로, 에이전트가 자신의 능력 범위를 벗어난 쿼리를 마주하거나 충분한 근거를 검색하지 못했을 때, 안전하게 기권하기보다는 답변을 지어내는 경e향이 있습니다. 이러한 "과잉 답변(over-answering)" 현상은 환각을 심화시킵니다.

기존의 기권 학습 방식은 세 가지 주요 한계점을 가집니다:

1. 미스매치된 시나리오: 단일 턴 QA에 집중되어 있어, 도구 사용에 따라 능력 경계가 동적으로 변화하는 멀티 턴 에이전트 환경을 반영하지 못합니다.
2. 능력 저하: 대부분 사후 파이프라인 학습(먼저 능력을 학습시킨 후 기번을 튜닝하는 방식)을 채택하며, 이는 모델의 원래 검색 및 추론 능력을 훼손합니다.
3. 휴리스틱 의존: 답변 불가능한 데이터셋을 합성하는 데 의존하며, 이는 다양한 모델의 고유한 능력에 일반화되지 못하는 인간의 휴리스틱을 도입하게 됩니다.

방법론: AWA-RL

저자들은 **기권 인지 강화 학습(Abstention-Aware Reinforcement Learning, AWA-RL)**을 제안합니다. 이 프레임워크는 역량과 신뢰성의 균형을 맞추기 위해 기권 보상을 동적으로 형성합니다. 핵심 직관은 기권에 대한 유인이 보편적인 상수가 아니라, 각 특정 쿼리에 대한 모델의 내재적 문제 해결 능력에 따라 동적으로 조정되어야 한다는 것입니다.

주요 구성 요소

1. 쿼리 인지 기반 보상 ($R_{base}$):

   • RL 학습 전, 표준 체크포인트를 평가하여 각 쿼리에 대한 추정 정답 확률($p_i$)을 계산함으로써 모델의 기본 능력을 측정합니다.
   • 조기 기권을 방지하기 위해 하한 클리핑($p_{clip}$)을 적용합니다.
   • 모델의 자연스러운 "게으른 거절(lazy refusal)" 편향(검색보다 거절을 선호하는 경향)을 상쇄하기 위해 비선형 변환 $p^*_i = (p_{clip})^\gamma$를 적용합니다. 여기서 $\gamma \in (0, 1]$은 모델의 자신감을 조절하는 "용기(courage)" 계수입니다.
   • 기반 기권 보상은 $R_{base}(q_i) = 1 - p^*_i$로 정의됩니다. 이는 쿼리에 대한 추정 능력이 높을수록 답변의 기대 보상이 거절의 보상보다 커지는 이론적 평형 상태를 만듭니다.

2. 동적 페널티 ($P(E_t)$):

   • RL 단계에서 경험적 거절률이 이론적 기대치와 달라질 수 있습니다. 과도한 거절 또는 부족한 거절을 교정하기 위해 배치 수준의 동적 페널티를 도입합니다.
   • 초과 거절률($E_t$)은 경험적 평균 거절률과 예상되는 배치 수준 비율 사이의 편차를 기준으로 계산됩니다.
   • 조각별(piecewise) 페널티 함수가 최종 거절 보상($r_{ref}$)을 실시간으로 조정합니다. 심각한 과잉 거절은 보상을 음수 값으로 밀어내어 거절을 처벌하고, 심각한 과소 거절은 보상을 양수 값으로 밀어내어 거절을 장려합니다.

3. 복합 목적 함수:

   • 본 프레임워크는 그룹 상대 정책 최적화(GRPO)를 활용합니다.
   • 희소한 결과 보상(정답/오답/기권) 외에도, 외부 LLM 판별기에 의해 평가되는 조밀한 **인용 보상(citation reward)**을 도입합니다. 이 보상은 인용 범위와 중복성을 평가하여, 주 목표인 답변 대 기권의 트레이드오프를 해치지 않으면서 멀티 홉 검색 및 추론 기술을 강화하기 위한 세밀한 피드백을 제공합니다.

주요 기여

• 동적 보상 형성: 정적인 거절 보상이나 데이터 조작과 달리, AWA-RL은 거절 보상을 모델의 쿼리별 사전 능력에 고정하여 더욱 견고하고 확장 가능한 신뢰할 수 있는 에이전트 경로를 제공합니다.
• "용기" 계수 ($\gamma$): 저자들은 자신감의 비선형 매핑을 제어하는 단일하고 설명 가능한 하이퍼파라미터를 도입했습니다. 실험 결과, 이 계수는 매우 민감하게 반응하며 튜닝하기 쉬워, 능력 습득과 기번 캘리브레이션을 효과적으로 분리합니다.
• RA-F1 메트릭: 정밀도(Precision, 답변 시의 정확성)와 정확도(Accuracy, 전체적인 유용성) 사이의 트레이드오프를 측정하기 위해 새로운 지표인 **신뢰도 인지 F1(Reliability-Aware F1, RA-F1)**을 도입했습니다. 이는 자신 있게 답변하는 것과 안전하게 기권하는 것 사이의 최적의 균형을 나타내는 종합적인 지표 역할을 합니다.
• 안정화 기술: 보상 해킹과 정책 붕괴를 방ку하기 위해 지수 이동 평균(EMA) 평활화 및 페널티의 단계적 양자화와 같은 메커니즘을 상세히 설명합니다.

실험 결과

저자들은 Qwen2.5-7B-Instruct를 기본 모델로 사용하여 세 가지 멀티 홉 QA 벤치마크인 HotpotQA, 2WikiMultiHopQA, MuSiQue에서 AWA-RL을 평가했습니다.

• 성능 향상: 비기번 베이스라인과 비교하여, AWA-RL은 절대 정밀도를 최대 10.3% 높였으며 전체 RA-F1을 2.9% 개선했습니다 (초록에서는 5.2% 개선을 언급했으나, 결과 섹션 요약에서는 2.9% 향상을 명시함).
• 트레이드오프 관리: 이 방법은 미미한 원시 정확도 희생만으로 이러한 성과를 달성했습니다. 예를 들어, 콜드 스타트 설정에서 AWA-RL은 정밀도를 0.559에서 0.662로 높이는 동시에 정확도를 0.552에서 0.529로 아주 약간 떨어뜨리며 SOTA 수준의 RA-F1인 0.585를 달성했습니다.
• 베이스라인의 실패: 기존 베이스라인들은 신뢰할 수 있는 경계를 구축하는 데 실패했습니다. 정적 거절 보상은 치명적인 "보상 해킹"(예: 최소한의 보상 변화에도 99.9%의 거절률 발생)을 유발했고, 데이터 조작(답변 불가능한 쿼리 주입)은 예측 불가능한 행동이나 "게으른 거절" 붕괴를 초래했습니다.
• 학습 역학: AWA-RL은 매우 안정적인 학습 역학을 보여주었습니다. 배치 수준의 거절률은 "용기" 계수에 대응하는 뚜렷한 고원(plateau)으로 매끄럽게 수렴하며, 다른 방법들에서 보이는 급격한 진동을 피했습니다.

의의 및 주장

본 논문은 AWA-RL이 진정으로 신뢰할 수 있는 검색 에이전트를 향한 견고하고 확장 가능한 경로를 제공한다고 주장합니다. 에이전트가 자신의 능력 경계를 인식하고 근거 없는 답변에 대해 자신 있게 기권하도록 명시적으로 학습함으로써, 이 프레임워크는 LLM 에이전트의 핵심적인 능력-신뢰성 트레이드오프 문제를 해결합니다.

저자들은 다음과 같은 방식으로 기존 연구의 한계를 성공적으로 해결했음을 강조합니다:

1. 기번을 사후 패치로 취급하는 대신 RL 프로세스에 직접 통합했습니다.
2. 정적인 보너스 대신 추정된 사전 능력에 연결된 동적 형성 거절 보상을 사용했습니다.
3. 게으른 거절로의 붕괴를 방지하기 위해 명시적인 생성 장려 항을 추가했습니다.

이 연구는 환각과 과도하게 확신에 찬 사실적 오류의 위험을 완화함으로써, 신뢰할 수 있는 AI를 실제 환경에 배포하기 위한 중요한 단계로 자리매김하고 있습니다. 저자들은 테스트된 모델의 규모(현재 Qwen2.5-7B)와 "용기" 계수에 대한 의존성을 인정하며, 향-후 연구에서 이 자신감 매핑을 자동 캘리브레이션하는 적응형 메커니즘을 탐구할 것이라고 밝혔습니다.