기술 요약: 적응적 이점 형성을 통한 자유 에너지 기반 강화 학습 (FREIA)

문제 제기

비지도 강화 학습 (RL) 은 비용이 많이 드는 정답 감독에 의존하지 않고 대규모 언어 모델 (LLM) 의 자기 개선 능력을 가능하게 하는 핵심 패러다임으로 부상했습니다. 그러나 기존 비지도 RL 방법들은 모델의 진화하는 학습 역동성과 근본적인 불일치를 겪고 있습니다.

현재 접근 방식은 일반적으로 두 가지 범주로 나뉘며, 둘 다 훈련 중 모델의 변화하는 능력을 적응하지 못합니다:

1. 궤적 내재적 방법 (Trajectory-Intrinsic Methods): 모델의 불확실성이나 자기 정보와 같은 내재적 측정치에서 보상을 도출합니다. 이는 특히 모델의 추론 능력이 제한적일 때 높은 확신을 가진 잘못된 답변을 강화할 위험이 있으며, 결과적으로 확신과 정확성 간의 불일치를 초래합니다.
2. 집단 기반 방법 (Population-Based Methods): 정확성을 판단하기 위해 집단적 합의 (예: 다수결 투표) 에 의존합니다. 그룹 합의를 활용하지만, 종종 가치 있는 소수 추론 경로를 폐기합니다. 이는 초기 훈련 단계나 "약한 합의" 단계에서 특히 잘못된 다수가 최대 보상을 받고 올바른 소수가 처벌받는 편향을 만듭니다.

또한 기존 방법들은 보상 분포의 진화와 관계없이 정적 이점 형성 (static advantage shaping) 을 적용합니다. 훈련이 "약한 합의" 단계 (희소한 고보상) 에서 "강한 합의" 단계 (지배적인 다수) 로 진행됨에 따라, 정적 정규화는 희귀한 올바른 답변을 과도하게 처벌하거나 확률적 이상치를 과도하게 보상하여 조기 수렴이나 오해의 소지가 있는 신호에 대한 과적합을 초래합니다.

방법론: FREIA

이러한 한계를 해결하기 위해 저자들은 정책 최적화를 모델의 내부 학습 역동성과 정렬시키는 두 가지 핵심 혁신을 통합한 새로운 알고리즘인 FREIA(Adaptive Advantage Shaping 을 통한 자유 에너지 기반 강화 학습) 를 제안합니다.

1. 자유 에너지 기반 보상 (FER)

자유 에너지 원리 (Free Energy Principle, FEP) 에 기반한 FER 은 자기 개선을 자유 에너지를 최소화하는 과정으로 재정의합니다. 보상 목표를 두 가지 적응적 구성 요소로 분해합니다:

• 합의 정렬: 모델이 가장 확률적인 솔루션 (샘플링 분포의 최빈값) 에 정렬하도록 장려합니다.
• 탐색: 모델이 높은 불확실성을 보일 때 다양한 추론 경로의 발견을 장려합니다.

이 메커니즘은 세 단계로 작동합니다:

1. 신념 sharpening: 고유한 답변은 가설로 간주됩니다. 비선형 sharpening 메커니즘 (매개변수 $\alpha$로 제어됨) 이 답변 빈도를 신념 가중치로 변환하여 강력한 합의를 확률적 노이즈와 구분합니다.
2. 그룹 신뢰도 ($C_G$): 신념 분포의 섀넌 엔트로피에서 유도된 지표로 그룹 합의의 정도를 정량화합니다. $C_G \to 1$은 높은 확신을, $C_G \to 0$은 높은 불확실성을 나타냅니다.
3. 적응적 보상 공식화: 추론 경로에 대한 최종 보상 $R_i$는 동적 트레이드오프입니다:
   $$R_i = C_G \cdot r_{cons}(y_i) + (1 - C_G) \cdot r_{explore}(y_i)$$
   고신뢰 상태에서는 모델이 합의를 우선시하고, 저신뢰 상태에서는 모델이 다양한 경로를 탐색하도록 장려되어 비최적 솔루션으로의 조기 수렴을 효과적으로 완화합니다.

2. 적응적 이점 형성 (AAS)

보상 분포가 훈련 중에 지속적으로 변화한다는 점을 인식하여, AAS 는 보상 분포의 왜도 (skewness) 에 기반하여 정책 업데이트에 사용되는 이점 신호를 동적으로 조정합니다.

• 양의 왜도 (희소한 고보상): 고보상 답변이 드물게 발생할 때 발생합니다. 표준 정규화는 이러한 이상치에 과도하게 큰 이점을 할당합니다. AAS 는 모델이 잠재적으로 오해의 소지가 있는 확률적 신호에 과적합하는 것을 방지하기 위해 이러한 양의 이점을 감쇠시킵니다.
• 음의 왜도 (풍부한 고보상): 답변의 대다수가 고보상일 때 발생합니다. 표준 정규화는 드문 저보상 편차에 큰 패널티를 할당합니다. AAS 는 드물고 잠재적으로 해롭지 않은 변이에 기반한 과도한 수정을 방지하기 위해 이러한 음의 이점을 감쇠시킵니다.

최종 이점 $\hat{A}_i$는 왜도 $S$에서 유도된 적응적 가중치에 의해 조절되어 다양한 훈련 단계 전반에 걸쳐 안정적인 정책 업데이트를 보장합니다.

주요 기여

1. 불일치 식별: 본 논문은 기존 비지도 RL 방법들이 진화하는 추론 능력에 적응하지 못하고 변화하는 보상 분포를 무시하여 비최적 정책 최적화를 초래한다고 지적합니다.
2. FREIA 알고리즘: 통합 프레임워크의 도입:
   • FER: 자유 에너지 원리에 기반하여 합의와 탐색을 균형 있게 조절하고 그룹 신뢰도를 통해 가중치를 동적으로 조정하는 보상 메커니즘.
   • AAS: 보상 분포의 통계적 왜도에 기반하여 학습 신호를 조절하는 이점 형성 기술.
3. 실증적 검증: FREIA 가 여러 추론 작업에서 기존 비지도 베이스라인을 능가함을 보여주는 포괄적인 평가.

실험 결과

저자들은 수학 추론, SQL 생성, 멀티모달 추론이라는 세 가지 추론 작업을 다루는 아홉 개의 데이터셋에서 FREIA 를 평가했습니다.

• 수학 추론: DeepSeek-R1-Distill-Qwen-1.5B 모델을 사용하여 FREIA 는 MATH500, AIME24, AIME25 와 같은 벤치마크에서 Pass@1 기준으로 다른 비지도 방법보다 평균 0.5 에서 3.5 점 더 높은 성능을 기록했습니다. 특히, FREIA 는 정답 레이블이 없음에도 불구하고 여러 지표에서 감독 학습 GRPO(검증 가능한 보상을 통한 강화 학습) 와 동등하거나 더 나은 성능을 달성했습니다.
• 일반화: FREIA 는 SQL 생성 (Spider, BIRD) 과 멀티모달 추론 (Geometry3K) 으로 강력한 전이성을 보여주었으며, TTRL, Entropy, Intuitor 와 같은 베이스라인을 능가했습니다.
• 훈련 역동성: 훈련 곡선 분석은 FREIA 가 탐색과 합의를 효과적으로 균형 잡는 것을 보여주었습니다. 그룹 신뢰도 점수 ($C_G$) 는 시간이 지남에 따라 증가하여 불확실성이 감소했음을 나타냈으며, 동시에 탐색 구성 요소는 모드 붕괴를 방지할 만큼 충분히 활성화되어 있었습니다.
• 절대 실험: FER 의 합의 또는 탐색 구성 요소 중 하나를 제거하거나 AAS 모듈을 제거하면 성능이 크게 저하되어 적응적 보상 공식화와 동적 이점 형성의 필요성을 확인했습니다.

중요성과 주장

본 논문은 FREIA 가 레이블된 데이터가 없는 시나리오에서 정렬을 위한 새로운 패러다임을 제공한다고 주장합니다. 자유 에너지 원리와 적응적 통계 분석을 통합함으로써 FREIA 는 외부 감독 없이 LLM 이 효과적인 자기 개선을 달성할 수 있게 합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• "다수 편향" 완화: 정적 투표 방법과 달리 FREIA 는 합의가 약하거나 잘못되었을 때 올바른 소수 경로를 식별하고 보상할 수 있습니다.
• 안정성 보장: AAS 는 초기 훈련에서의 이상치 보상으로 인한 불안정성과 후기 훈련에서의 과도한 패널티를 방지합니다.
• 확장성: 현재 실험은 리소스 제약으로 인해 최대 3B 파라미터 모델로 제한되었으나, 저자들은 FREIA 의 기본 원리가 더 큰 파운데이션 모델로 확장되도록 설계되었다고 주장합니다.

이 연구는 결과 기반 감독만으로는 달성할 수 없는 더 강력한 추론 능력을 위해 적응적 합의와 탐색 촉진을 통한 자유 에너지 최소화가 더 나은 결과를 낳으며, LLM 의 비지도 추론을 위한 원칙적인 해결책을 제공한다고 결론지었습니다.