기술 요약: BALTO – 환각 완화를 위한 균형 잡힌 토큰 수준 정책 최적화

1. 문제 정의

대규모 언어 모델(LLM)은 지식 집약적인 환경에서 충실도 환각(faithfulness hallucinations)—제공된 근거가 부족하거나 근거와 모순되는 내용을 생성하는 현상—으로 인해 상당한 어려움을 겪고 있습니다. 강화 학습(RL)은 이를 완화하기 위한 유망한 방안을 제시하지만, 기존 방식들은 입도 불일치(granularity mismatch) 문제를 안고 있습니다.

대부분의 기존 RL 방법론은 전체 출력에 단일 스칼라 점수를 부여하는 **응답 수준 보상(response-level rewards)**을 채택합니다. 이러한 조립적(coarse-grained) 감독은 동일한 응답 내에서 환각이 발생한 구간과 충실한 내용을 구분하지 못합니다. 결과적으로, 국소적인 오류(예: 잘못된 날짜나 개체명)가 전체 토큰에 대해 일률적인 부정적 패널티를 유발하여, 올바른 정보까지 억제하고 모델이 패널티를 피하기 위해 짧고 지나치게 보수적인 응답을 생성하게 만드는 "보상 해킹(reward hacking)" 행동을 유도합니다.

최근의 세밀한 접근 방식들(예: 클레임 수준 또는 토큰 수준 보상)은 탐지 문제는 해결하지만, 신용 할당(credit assignment) 문제를 해결하는 데는 종종 실패합니다. 불균형한 토큰 수준 보상은 장황함이나 길이에 대한 편향을 도입할 수 있으며, 전역적인 응답 수준 이득(advantage)에 묶인 방식들은 여전히 전역 신호로부터 발생하는 노이즈를 물려받습니다. 핵심적인 문제는 환각된 토큰만을 정밀하게 패널티를 부여하면서 동시에 동일 응답 내의 충실한 토큰들을 보상하여, 모델이 단순히 생성을 억제하는 것이 아니라 진실성을 향해 확률 질량을 재분배하도록 보장하는 메커니즘의 부재입니다.

2. 방법론: BALTO 프레임워크

저자들은 환각을 국지화하고 토큰 수준에서 균형 잡힌 신용을 할당하도록 설계된 강화 학습 프레임워크인 **BALTO (Balanced Token-Level Policy Optimization)**를 제안합니다. 이 프레임워크는 두 가지 주요 단계로 작동합니다.

A. 미세한 환각 토큰 탐지

BALTO는 샘플링된 응답을 처리하기 위해 LLM 기반의 충실도 평가기를 활용합니다:

1. 클레임 추출: 시스템은 응답으로부터 검증 가능한 사실적 클레임(예: 개체명, 숫자, 날짜, 관계)을 추출합니다.
2. 검증: 각 클레임은 참조 컨텍스트(검색된 문서)와 대조하여 검증됩니다. 클레임은 충실한(Faithful, $C^+$) 집합과 환각된(Hallucinated, $C^-$) 집합으로 분할됩니다.
3. 토큰 투영(Token Projection):
   • 충실한 클레임 내의 토큰은 **충실(Faithful, $F$)**로 라벨링됩니다.
   • 환각된 클레임의 경우, 시스템은 오류를 일으킨 최소한의 오류 토큰 부분 집합($e_{i,m}$)을 국지화하려고 시도합니다(예: 문장 전체가 아닌 잘못된 숫자 "11.4%"만 지정). 격리가 불가능한 경우, 해당 클레임 구간 전체에 패널티를 부여합니다. 이 토큰들은 **환각(Hallucinated, $H$)**으로 라벨링됩니다.
   • 검증 가능한 클레임 외부에 있거나 환각된 클레임 내에서 격리가 불가능한 충실한 토큰은 **중립(Neutral, $N$)**으로 라벨링됩니다.

B. 균형 잡힌 토큰 수준 신용 할당

단일 이득을 모든 토큰에 방송하는 표준 GRPO와 달리, BALTO는 토큰 라벨에 따라 특정 이득($A^{bal}_{i,t}$)을 할당합니다:

• 환각된 토큰 ($H$): -1의 부정적 이득을 받습니다.
• 충실한 토크 ($F$): $N^-_i / N^+_i$의 양의 보상적 이득을 받습니다. 여기서 $N^-$와 $N^+$는 각각 환각된 토큰과 충실한 토큰의 개수입니다.
• 중립 토큰 ($N$): 0의 이득을 받습니다.

핵심 메커니즘: 이 설계는 **응답 내 제로섬 속성(intra-response zero-sum property)**인 $\sum A^{bal}_{i,t} = 0$을 보장합니다. 환각으로부터 오는 총 부정적 신호는 충실한 내용으로부터 오는 양의 신호에 의해 정확히 상쇄됩니다. 이는 정책이 전체 응답을 억제하는 대신, 환각된 내용에서 충실한 내용으로 확률 질량을 재분배하도록 유도합니다.

C. 최적화 목적 함수

BALTO는 사실적 토큰($H \cup F$)에 국한된, GRPO와 유사한 클리핑된 목적 함수를 사용하여 정책을 최적화합니다. 목적 함수는 기대 균형 이득을 최대화하며, 사실적 토큰의 수($Z_i = \max(1, |H| + |F|)$)로 업데이트를 정규화합니다.

3. 이론적 분석

본 논문은 BALTO가 응답 수준 GRPO보다 우월함을 입증하는 이론적 증명을 제공합니다:

• 분산 감소 (정리 1): 응답 수준 GRPO는 전체 응답 길이($O(T)$)에 선형적으로 비례하는 그래디언트 분산을 유도합니다. 반면, BALTO는 분산을 환각된 토큰의 수($O(N^-)$)에만 비례하도록 제한합니다. 환각은 희소하게 발생하므로, 이는 그래디언트 노이즈를 크게 줄이고 학습을 안정화합니다.
• 최적화 효율성 (정리 2):
  • 콜드 스타트 ($p \to 0$): 응답 수준 GRPO는 충실한 응답이 드물 때 정규화 계수가 사라짐에 따라 "그래디언트 기아(gradient starvation)" 현상을 겪습니다. BALTO는 강력하고 유계된(bounded) 국소 신호($O(1)$)를 유지하여 효율적인 초기 단계 탐색을 보장합니다.
  • 수렴 ($p \to 1$): 응답 수준 GRPO는 드문 오류에 대해 무한히 발산하는 패널티($A^- \to -\infty$)를 트리거하여 후기 단계의 수렴을 불안정하게 만듭니다. BALTO는 엄격하게 유계된 이득($[-1, 1]$)을 유지하여 안정적이고 점진적인 수렴을 보장합니다.

4. 실험 결과

실험은 ConFiQA(역사실적 QA), RAGTruth(RAG 환각 코퍼스), FinLLM-Eval(금융 도메인 QA)의 세 가지 벤치마크에서 수행되었습니다. 사용된 모델은 Qwen3-8B 및 Qwen3-4B입니다.

주요 결과:

• 충실도(Faithfulness): BALTO는 6개의 모델-벤치마크 설정 모두에서 응답 수준 베이스라인(GRPOB, GRPOD) 및 토큰 수준 베이스라인(FSPO)을 능가하며 가장 높은 충실도 점수를 달取得했습니다.
• Q-Score: BALTO는 일관되게 가장 높은 Q-Score(충실도 $\times$ 정보성으로 정의됨)를 달성하여, 정확성과 정보 보유 사이의 우수한 트레이드오프를 보여주었습니다.
  • 가장 강력한 사후 학습(post-training) 베이스라인과 비교했을 때, BALTO는 Q-Score를 평균 2.7 포인트(최대 4.9) 개선하였고, 충실도를 3.1 포인트(최대 6.7) 개선하였습니다.
• 학습 역학(Training Dynamics):
  • 그래디언트 노름(Gradient Norms): BALTO는 응답 수준 방법들보다 한 자릿수 더 작고 집중된 그래디언트 노름을 보였으며, 이는 분산 감소를 확인시켜 줍니다.
  • 파라미터 업데이트: BALTO는 훨씬 적은 파라미터 업데이트(~12% vs. GRPOB의 ~17%)만으로도 높은 충실도를 달성하였으며, 이는 관련 파라미터에 집중된 더 효율적인 학습을 나타냅니다.
• 절제 연구(Ablation Studies): 충실한 토큰에 대한 양의 보상적 이득을 제거했을 때(PA=0로 설정), 충실도와 정보성 모두에서 상당한 하락이 발생하여 균형 잡힌 신용 메커니즘의 필요성을 입증했습니다.

5. 의의 및 주장

본 논문은 BALTO가 환각 완화의 핵심적 간극인 균형 잡힌 미세한 신용 할당의 필요성을 해결한다고 주장합니다.

• 정밀도: 오류를 특정 토큰으로 국지화하고 보상 신호를 균형 있게 조정함으로써, BALTO는 응답 수준 RL의 "전부 아니면 전무(all-or-nothing)" 식의 패널티를 피하고 응답의 정보성을 보존합니다.
• 안정성: 이론적 및 경험적 증거는 균형 잡힌 토큰 수준 할당이 특히 학습 초기 단계와 수렴 단계에서 더 안정적인 학습 궤적과 더 높은 최적화 효율성을 이끌어낸다는 것을 시사합니다.
• 트레이드오프: 결과는 과도하게 보수적이거나 장황한 생성으로 무너지지 않으면서도 환각을 크게 줄일 수 있으며, 기존의 사후 학습 접근 방식보다 더 강력한 충실도-정보성 트레이드오프를 달성할 수 있음을 보여줍니다.

저자들은 주요 한계점으로, 이 방법이 클레임 추출 및 검증을 위한 외부 LLM 기반 평가기에 의존하므로 성능이 평가기의 정확도에 종속된다는 점을 언급했습니다. 또한, 본 프레임워크는 참조 문서가 가용한 검색 기반(retrieval-grounded) 설정에 맞게 설계되었습니다.