💻 computer science

From Refuse to Richness: Rubric Rewards for Long-Form Hallucination Reinforcement Learning

이 논문은 핵심 지점 루브릭 기반의 강화 학습 프레임워크를 제안함으로써 장문 생성에서의 근거 제시와 정보 포괄성 사이의 절충 문제를 다루며, 이 프레임워크는 근거 및 관련성 보상과 부드럽게 결합될 때 기존 방식보다 사실적 뒷받침과 포괄적인 정보 전달 사이에서 더 우수한 균형을 달성한다.

원저자: Yudong Wang, Zhe Yang, Wenhan Ma, Rang Li, Qibin Yang, Weimin Xiong, Jiangshan Duo, Liang Zhao, Zhifang Sui

게시일 2026-08-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yudong Wang, Zhe Yang, Wenhan Ma, Rang Li, Qibin Yang, Weimin Xiong, Jiangshan Duo, Liang Zhao, Zhifang Sui

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 특정 노트의 내용을 바탕으로 역사적 사건에 대해 길고 상세한 이야기를 쓰도록 가르치고 있다고 상상해 보세요. 당신은 두 가지를 원합니다. 첫째, 로봇이 당신의 노트에 있는 사실에 엄격하게 충실할 것(즉, 멋대로 지어내지 않도록), 둘째, 당신이 요청한 모든 중요한 세부 사항을 다루는 풍부하고 완전한 이야기를 쓸 것. 이것이 바로 "장문 생성(long-form generation)"이라는 인공지능의 까다로운 세계입니다. 문제는 이 두 가지 목표가 서로 충돌한다는 점입니다. 만약 당신이 로봇에게 "노트에 있는 내용이라고 100% 확신할 수 없는 것은 말하지 마"라고 말한다면, 로봇은 겁을 먹고 아주 적게 말하거나, 안전을 위해 아예 답변을 거부하기 시작할 것입니다. 하지만 만약 당신이 "최대한 많이 써봐"라고 말한다면, 로ло봇은 사실이 아닌 엉뚱한 세부 사항들을 지어내기 시작할 수도 있습니다. 과학자들은 이를 '근거 제시(grounded, 사실에 충실함)'와 '풍부함(rich, 유용하고 상세함)' 사이의 긴장이라고 부릅니다.

"거절에서 풍요로(From Refuse to Richness)"라는 제목의 이 논문은 강화 학습(Reinforcement Learning)이라는 특별한 종류의 훈련을 사용하여 이 줄다리기를 해결하는 방법을 탐구합니다. 이 훈련을 비디오 게임처럼 생각하면 쉽습니다. 로봇은 잘했을 때 점수(보상)를 받습니다. 연구진은 로봇에게 어느 한 쪽을 선택하도록 강요하지 않고도 어떻게 정직하면서도 유용하게 만들 수 있는지 알아보고자 했습니다. 그들은 점수를 주는 방식이 생각보다 훨씬 중요하다는 것을 발견했습니다. 만약 안전함에 대해서만 점수를 준다면, 로봇은 지루하고 침묵하는 사서가 될 것입니다. 만약 풍부함에 대해서만 점수를 준다면, 로봇은 혼란스러운 이야기꾼이 될 것입니다. 하지만, 그들은 특정 체크리스트를 사용하여 로봇에게 단순히 단어 수를 세는 것이 아니라 어떤 정보가 포함되어야 하는지를 정확히 알려줌으로써 "스위트 스팟(최적의 지점)"을 찾아냈습니다.

문제점: "말을 줄여라"의 함정

연구진은 좌절스러운 관찰로부터 연구를 시작했습니다. AI 모델이 제공된 텍ка스트로 증명할 수 없는 문장에 엄격하게 벌점을 주어 환각(hallucination, 사실을 지어내는 현상)을 피하도록 훈련했을 때, 모델들은 매우 단순하고도 무익한 기술을 배웠습니다. 그것은 바로 **"가능한 한 말을 적게 하는 것"**이었습니다.

학생이 시험을 보고 있는데 선생님이 "틀린 것을 하나라도 쓰면 0점 처리하겠다"라고 말한다고 상상해 보세요. 가장 똑똑한 전략은 훌륭한 에세이를 쓰는 것이 아니라, 위험을 피하기 위해 단 한 단어 혹은 아무것도 쓰지 않는 것입니다. 논문은 AI 모델을 "엄격한 근거 제시(strict grounding)" 보상으로 훈련했을 때, 모델들이 답변을 급격히 줄인다는 것을 발견했습니다. 근거 없는 주장을 피하는 가장 안전한 방법은 입을 닫아버리는 것임을 모델들이 학습한 것입니다. 모델들은 안전하지만, 사용자가 실제로 원하는 풍부한 정보를 제공하지 못하는 '거절(refusal)' 기계가 되어버려 쓸모가 없게 되었습니다.

해결책: "루브릭(Rubric)" 체크리스트

이를 해결하기 위해 저자들은 새로운 접근 방식을 시도했습니다. 단순히 AI에게 "거짓말하지 마"라고 말하는 대신, **루브릭(rubric)**을 제공했습니다.

루브릭을 학교 프로젝트를 위한 상세한 체크리스트라고 생각해보세요. 단순히 "멋진 포스터를 만들어라"라고 말하는 대신, 선생님이 다음과 같은 목록을 건네주는 것입니다: "날짜를 반드시 포함할 것, 주인공의 이름을 반드시 포함할 것, 배경 그림을 포함할 것." 이 목록은 해당 질문에 대해 무엇이 "풍부함"인지를 정확히 알려줍니다.

연구진은 AI가 답변하는 모든 질문에 대해 이러한 루브릭을 만들었습니다. 루브릭에는 "필수" 항목(반드시 포함해야 할 것)과 "선택" 항목(있으면 좋은 것)이 나열되었습니다. 그런 다음 이 체크리스트를 보상 신호로 사용했습니다. AI가 필수 항목을 다루면 점수를 얻었고, 놓치면 점수를 잃었습니다. 이는 AI에게 "풍부함"이란 단순히 많은 단어를 쓰는 것이 아니라, 특정 체크리스트 항목들을 다루는 것임을 가르쳤습니다.

발견: "소프트(Soft)"한 조합이 최고다

연구팀은 보상을 결합하는 여러 가지 방법을 테스트했으며, 결과는 흥미로운 트레이드오프를 보여주었습니다:

엄격한 근거 제시만 사용할 경우: AI는 매우 안전해졌지만(높은 정확도), 매우 짧고 무익해졌습니다. 체크리스트를 채우려는 시도를 멈췄습니다.
루브릭만 사용할 경우: AI는 매우 상세해지고 체크리스트를 완벽하게 다루었지만, 거짓말에 대한 처벌이 없었기 때문에 다시 사실을 지어내기 시작했습니다.
"대리(Proxy)" 방법: "문장의 개수를 세거나", "AI가 글을 많이 썼는지"와 같은 일반적인 신호를 사용하는 것을 시도했습니다. 이는 잘 작동하지 않았습니다. 이는 마치 학생이 쓴 내용이 주제와 관련이 있는지 확인하지 않고 단순히 500단어를 썼다고 보상하는 것과 같았습니다. AI는 알맹이 없는 말들로 공간을 채울 뿐이었습니다.

승리한 전략은 FACT-RUBRIC-REL이라 불리는 **"소프트한 조합"**이었습니다. 이 방법은 하나의 실수로 전체 점수가 깎이는 "하드 게이트(hard gate)"를 사용하지 않았습니다. 대신 다음 세 가지를 부드럽게 균형 있게 조절했습니다:

근거 제시(Grounding): AI가 사실에 충실했는가?
루브릭 범위(Rubric Coverage): 체크리스트 항목을 다루었는가?
관련성(Relevance): 답변이 실제로 말이 되는가?

이 세 가지를 부드럽게 혼합함으로써, AI는 모든 사실이 완벽하지 않더라도 전반적으로 근거가 확실하다면 상세하게 작성하여 점수를 얻을 수 있다는 것을 배웠습니다. 이는 "말을 줄여라"의 함정을 방지했습니다. 모델들은 체크리스트를 다룰 만큼 용감해지면서도, 출처에 대체로 충실할 만큼 주의 깊게 행동하는 법을 배웠습니다.

결과: 어디서나 더 나은 성능

연구진은 이 방법을 두 가지 다른 AI 모델(Qwen3-4B 및 DeepSeek-R1-Distill-Llama-8B)에 테스트했고, 두 모델 모두에서 동일한 패턴을 발견했습니다.

표준 테스트에서: "소프트 혼합" 모델은 긴 답변을 쓰는 능력을 잃지 않으면서도, 기본 모델에 비해 사실에 충실하는 능력이 향상되었습니다.
새롭고 까다로운 테스트에서: 이 부분이 정말 흥별한 지점이었습니다. 모델이 본 적 없는 작업(창의적 글쓰기나 체크리스트 퍼즐 풀기 등)을 테스트했을 때, "엄격한 근거 제시"로 훈련된 모델들은 처참하게 실패했습니다. 그들은 너무 겁을 먹어 시도조차 하지 못했습니다. 하지만 "소프트 혼합(FACT-RUBRIC-REL)"으로 훈련된 모델들은 가장 좋은 성과를 냈습니다. 이 모델들은 새로운 작업에 자신의 기술을 훨씬 더 잘 전이시켰습니다.

이 논문은 "하드(hard)"한 보상이 오히려 AI의 새로운 상황에서의 창의성과 유용성을 해친다는 점을 시사합니다. 루브릭을 통해 "풍부함"이 무엇인지를 정의하고, 완전한 실패에 대한 두려움 없이 목표를 달달성하도록 부드럽게 독려함으로써, 연구진은 AI를 정직하면서도 유용하게 만드는 방법을 찾아냈습니다.

핵심 요약

주요 교훈은 AI에게 단순히 거짓말을 하지 말라고 벌을 주는 것만으로는 부족하며, 유용하게 행동하도록 적극적으로 보상해야 한다는 것입니다. 안전에만 집중하면 AI는 입을 닫아버립니다. 양(volume)에만 집중하면 AI는 거짓말을 배웁니다. 비결은 무엇을 말해야 하는지에 대한 명확한 체크리스트를 제공하는 루브릭 기반 보상 시스템과, 근거를 지키도록 부드럽게 유도하는 것을 결합하는 것입니다. "거절에서 풍요로"라고 불리는 이 접근 방식은, 유용한 AI의 미래가 단순히 '하지 말아야 할 일'의 무서운 목록이 아니라, '무엇을 말해야 하는지'에 대한 명확한 체크리스트를 주는 데 있음을 시사합니다.

기술 요약: 폐기물에서 풍요로움으로: 장문형 환각 억제 강화 학습을 위한 루브릭 보상

1. 문제 정의

대규모 언어 모델(LLM)의 장문 생성은 두 가지 뚜렷한 유형의 환각 문제를 겪습니다: 사실적 환각(세계 지식과 일치하지 않는 주장)과 충실도 환각(제공된 문맥에 의해 뒷받침되지 않는 주장). 근거 기반 보상(grounding rewards)을 통한 강화 학습(RL)은 뒷받침되지 않은 주장을 완화할 수 있지만, 이는 결정적인 트레이드오프를 초래합니다. 즉, 모델이 페널티를 피하기 위해 답변을 "거부"하거나 지나치게 간결한 응답을 제공하도록 학습되어, 결과적으로 풍요로움(정보 커버리지)을 희생하게 됩니다.

풍요로움을 강제하기 위해 기존 방식들은 응답 길이, 클레임(claim) 개수, 또는 쌍방향 관련성(pairwise relevance)과 같은 전역적 대리 지표(global proxies)에 의존합니다. 저자들은 다음과 같은 이유로 이들이 불충분하다고 주장합니다:

길이는 미사여구(filler)로 부풀려질 수 있습니다.
클레임 개수는 사소하거나 무관한 사실을 포함할 수 있습니다.
일반적인 관련성 판단은 질문에 따라 특정되어야 하는 누락된 콘텐츠를 식별하지 못합니다.
엄격한 근거 기반 보상(예: 뒷받침되지 않는 문장에 대한 이진 페널티)은 모델이 안전성을 극대화하기 위해 출력을 최소화하도록 유도하여, "거부-풍요로움 붕괴(refusal-to-richness collapse)"를 일으킵니다. 즉, 모델이 환각을 피하기 위해 답변을 덜 하게 만듭니다.

2. 방법론

핵심 개념: 키포인트 루브릭 (Key-Point Rubrics)

전역적 대리 지표 대신, 본 논문은 샘플별 키포인트 루브릭을 사용하는 것을 제안합니다. 여기서 루브릭은 황금 표준(gold-standard) 정답이 아니라, 풍부한 답변이 반드시 다루어야 할 필수적 정보와 선택적 정보를 명시하는 구조화된 체크리스트로 정의됩니다.

구축: 단일 생성기의 누락을 방로하고 폭넓은 커버리지를 확보하기 위해 멀티 생성기 연합 파이프라인(GPT-5.4, Gemini-3-Flash-Preview, GPT-OSS-120B)을 사용하여 루브릭을 생성합니다.
기능: 루브릭은 정보 커버리지에 대한 평가 지표인 동시에 RL을 위한 보상 신호라는 이중 목적을 수행합니다.

보상 설계 변체 (Reward Design Variants)

본 연구는 두 가지 모델 제품군(Qwen3-4B 및 DeepSeek-R1-Distill-Llama-8B)에 대해 다섯 가지 보상 전략을 비교합니다:

FACT-ONLY: 이진 근거 보상 ( $R = G(y)$ ). 뒷받침되지 않는 모든 문장에 페널티를 부여합니다.
FACT-PROXY: 근거 보상과 일반적 상세도(지원되는 클레임 수의 로그값) 및 쌍방향 관련성을 결합합니다.
RUBRIC-ONLY: 명시적인 근거(grounding) 항 없이 루브릭 체크리스트의 커버리지를 보상합니다.
FACT-RUBRIC: 근거와 루브릭 커버리지의 가산적 결합입니다.
FACT-RUBRIC-REL: 근거( $0.5G$ ), 루브릭 커버리지( $0.4C_{rub}$ ), 그리고 쌍방향 관련성( $0.1R_{rel}$ )을 결합한 부드러운(soft) 3성분 보상입니다. 결정적으로, 이는 근거 실패 시 전체 보상을 제로로 만드는 "게이팅(gating, 곱셈 방식)"을 피합니다.

훈련 프로토콜

알고리즘: GRPO (Group Relative Policy Optimization).
데이터: 2,000개의 근거 기반 프롬프트(문맥 포함)와 2,000개의 오픈 프롬프트(문맥 미포함)로 구성된 4,000개 프롬프트 훈련 세트.
안전 메커니즘: 의미 있는 근거 판단을 지원할 만큼 응답이 짧을 경우 적용되는 포맷 페널티를 적용하여, 모델이 답변을 잘라내어 보상을 해킹하는 것을 방지합니다.

3. 주요 결과

분포 내 성능 (In-Distribution Performance - Grounding 벤치마크)

표준 근거 벤치마크(FACTS Grounding, LongFact, FActScore)에서:

FACT-ONLY는 가장 높은 근거 정확도를 달성하지만, 루브릭 커버리지와 클레임 수를 크게 억제합니다 (예: Qwen3-4B의 커버리지가 0.459에서 0.334로 감소).
RUBRIC-ONLY는 커버리지를 극대화하지만, 근거 정확도를 붕괴시킵니다 (예: Qwen3-4B에서 0.097까지 하락).
FACT-RUBRIC-REL은 균형 잡힌 트레이드오프를 제공하여, 베이스 모델 수준의 근거를 유지하면서도 높은 커버리지를 보존합니다.

분포 외 성능 (Out-of-Distribution (OOD) Performance)

체크리스트 완료(CL-bench) 및 창의적 글쓰기(Arena-Hard) 작업에서:

엄격한 근거 기반 (FACT-ONLY/PROXY): 이러한 보상은 OOD 성능을 실질적으로 손상시킵니다. DeepSeek-R1-Distill-Llama-8B의 경우, FACT-PROXY는 창의적 글쓰기 승률을 베이스 모델 성능의 극히 일부로 떨어뜨립니다.
RUBRIC-ONLY: 가장 강력한 OOD 결과를 보여주며, 이는 질문별 커버리지 신호가 다양한 작업에 잘 전이됨을 나타냅니다.
FACT-RUBRIC-REL: 인-디스트리뷰션(in-distribution) 근거와 OOD 동작 모두를 베이스 모델과 비교하여 개선하는 유일한 변체입니다. 이는 루브릭 보상의 체크리스트 완료 행동을 성공적으로 전이하면서도 충분한 근거성을 유지합니다.

모델 민감도

"거부-풍요로움" 트레이드오프는 Qwen3-4B와 DeepSeek-R1-Distill-Llama-8B 모두에서 일관되게 나타납니다. 그러나 추론 증류 모델인 DeepSeek가 엄격한 근거 보상에 더 민적이며, Qwen보다 더 급격한 응답 길이 붕괴와 심각한 OOD 저하를 보입니다.

4. 주요 기여

풍요로움의 공식화: 본 논문은 장문 답변의 풍요로움을 일반적인 상세도가 아닌 질문별 정보 커버리지로 정의하며, 환각 RL을 사실적 오류와 충실도 오류의 공동 완화 문제로 프레임화했습니다.
루브릭 파이프라인: 4개의 근거 벤치마크와 4K RL 훈련 세트에 적용되는, 샘플별 키포인트 루브릭을 위한 멀티 생성기 파이프라인 구축.
보상 구성 분석: 근거와 루브릭 커버리지의 연성 결합(soft composition)(특히 FACT-RUBRIC-REL)이 인-디스트리뷰션 안전성과 OOD 유용성 사이의 최적의 파레토 프런티어를 달성한다는 실증적 증거 제시.

5. 의의 및 주장

본 논문은 "거부-풍요로움" 문제가 근거에 과적합된 보상이 모델에게 적게 말하도록 가르치기 때문에 발생한다고 주장합니다. 이 연구의 의의는 다음을 입증하는 데 있습니다:

근거만으로는 불충분하다: 근거는 지원 여부는 포착하지만 완전성은 포착하지 못합니다.
루브릭은 필수적이다: 루브션은 단순히 무엇을 피해야 하는가가 아니라, 답변이 무엇을 포함해야 하는지에 대한 필요한 신호를 제공합니다.
연성 결합이 핵심이다: 곱셈 방식의 게이팅(근거 실패가 커버리지 보상을 무효화하는 방식)은 유용한 행동을 억제합니다. 부드러운 가산적 결합은 미세한 근거 문제가 있더라도 모델이 필수 포인트를 다루었을 때 크레딧을 받을 수 있게 하여, 장문 생성에 필요한 "체크리스트 스타일"의 행동을 보존합니다.

저자들은 샘설별 루브릭이 근거를 대체하는 것이 아니라 보완하는 도구로서 가장 효과적이며, 제안된 보상 구성(FACT-RUBRIC-REL)이 장문 생성 모델이 근거를 갖추면서도 풍부한 답변을 할 수 있도록 하는 견고한 솔루션을 제공한다고 결론짓습니다.

6. 한계점

본 연구는 두 개의 상대적으로 작은 오픈 웨이트 모델(Qwen3-4B 및 DeepSeek-R1-Distill-Llama-8B)로 제한됩니다. 저자들은 더 강력한 독점 모델이나 더 큰 모델은 다른 민감도를 보일 수 있다고 언급했습니다. 또한, FActScore의 클로즈드 북(closed-book) 성능이 거의 제로에 가까웠던 것은 보상 설계의 문제라기보다 베이스 모델의 파라메트릭 지식 한계 때문인 것으로 분석되었습니다.