기술 요약: 신경 다양성이 언어 모델의 환각 현상을 규제한다

문제 정의

매개변수, 연산량, 데이터의 규모를 키움에도 불구하고, 언어 모델(LM)은 지속적인 환각(hallucination) 문제에 시달리고 있다. 이러한 신뢰성 위기는 에지(edge) 및 에이전트 애플리케이션을 위해 점점 더 선호되고 있는 소형 언어 모델(SLM)에서 특히 심각하게 나타나는데, 이들은 압축된 표현(representation)으로 인해 사실과 다르거나 일관되지 않은 콘텐츠를 생성하기 쉽다.

현재의 완화 전략은 주로 평균 성능(1차 모멘트 개선)을 최적화하는 데 집중되어 있다. RLHF(인간 피드로백 기반 강화학습), RAG(검색 증강 생성), 대조 디코딩(contrastive decoding) 등의 기술은 평균적인 무해함이나 사실적 근거를 개선하는 것을 목표로 한다. 그러나 이러한 방법들은 파멸적 실패(환각)의 확률에 대한 공식적인 보증을 제공하지 못한다. 또한, 기존의 병렬 스케일링 방식은 병렬 스트림들이 유사한 표현으로 수렴하여 신뢰성 이득을 실현하지 못하는 "표현 붕괴(representational collapse)" 현상을 겪는 경우가 많다. 본 논문은 환각이 지식의 부재가 아니라 상관관계가 있는 표현 오류로부터 발생하며, 이는 포트폴리오 이론적 다각화로 해결 가능한 2차 모멘트 신뢰성 문제라고 상정한다.

방법론

이론적 프레임워크: 환각을 위한 포트폴리오 이론

저자들은 환각 확률을 표현 공분산(representational covariance)에 의해 제어되는 2차 모멘트 신뢰성 문제로 재정의한다. 마코위츠의 포트폴리오 이론(1952)을 인용하여, 저자들은 상관관계가 낮은 병렬 표현("신경 다양성")이 환각 확률의 꼬리 경계(tail bound)를 줄일 수 있다고 제안한다.

• 신호-노이즈 모델: 모델은 동일한 입력을 처리하는 $P$개의 병렬 계산 스트림을 가정한다. 각 스트림은 $Z_i = z^* + \epsilon_i$인 은닉 표현을 생성하며, 여기서 $\epsilon_i$는 노이즈이다.
• 신경 다양성 지수 ($D$): 코사인 기반 지수가 스트림 간 다양성을 측정한다. $D=0$은 완전한 직교성을 의미하고, $D=1$은 완전한 붕괴를 의미한다.
• 이론적 경계:
  • 정리 1: 환각 확률 $P(H_\delta)$가 신경 다양성 $D$와 스트림의 수 $P$의 함수에 의해 제한됨을 증명한다. 구체적으로, 완전한 비상관 관계를 가질 때 $P(H_\delta)$는 $O(1/P)$로 스케일링된다.
  • 정리 2: 비단조적 스케일링 동작을 입증한다. $P$를 늘리면 초기에는 환각이 감소하지만, 과도한 병렬화는 (최적화 제약으로 인해) 상관관계 증가를 초래하여 신뢰성을 저하시킬 수 있다. 이로 인해 특정 작업에 대해 최적의 $P^*$가 존재하는 U자형 곡선이 나타난다.

ND-LoRA: 신경 다양성 저차 적응(Neural Diversity Low-Rank Adaptation)

이 이론을 구현하기 위해, 저자들은 명시적인 탈상관 규제를 결합한 병렬 LoRA 어댑터를 사용하는 매개변수 효율적 아키텍처인 ND-LoRA를 도입한다.

• 아키텍처: 모델은 $P$개의 병렬 스트림을 사용한다. 각 스트림은 다음을 활용한다:
  • 스트림별 LoRA 어댑터: 표현을 변형하기 위해 각 레이어에 적용된다.
  • 학습 가능한 프리픽스 토큰(Learnable Prefix Tokens): 입력 시퀀스 앞에 붙는 48개의 토큰.
  • 멀티 스트림 어그리게이터(Multi-Stream Aggregator): 주의력 붕괴(attention collapse)를 방지하면서 동적 가중치를 사용하여 스트림 출력을 결합하는 학습된 메커니즘.
• 규제: 훈련 목적 함수는 지정된 설계 레이어에서 스트림 쌍에 적용되는 Barlow Twins 규제($L_{BT}$)를 포함한다. 이는 스트림 간 화이트닝된 특징들의 교차 상관 행렬이 항등 행렬에 접근하도록 강제하여, 표현의 중복성을 명시적으로 최소화한다.
• 비용 효율성: 백본은 고정된 상태로 유지되며, 병렬 어댑터와 어그리게이터만 학습된다. 이는 지속적 사전 학습 비용의 극히 일부(+0.008%)만을 추가하며, 완만한 추론 지연 시간 증가(1.1배)를 초래한다.

주요 기여

1. 이론적 연결: 본 논문은 앙상블된 LM에서의 환각 확률 꼬리 경계에 대한 최초의 공식적 프레임워크를 제공한다. 저자들은 신경 다양성이 이러한 경계를 줄인다는 것을 증명하고, 신뢰성을 최소화하는 최적의 병렬 수준($P^*$)이 존재함을 입증하였으며, 이는 설정된 환경에서 신뢰성 변동의 94.3%를 설명한다.
2. 구축적 입증 (ND-LoRA): 저자들은 일반적인 능력을 저하시키지 않으면서 소형 언어 모델(Qwen2.5-0.5B)에서 환각을 최대 25.6%(평균 14.6%) 감소시킴으로써 경험적 타당성을 입증했다. 이는 거의 제로에 가까운 추가 연산 비용으로 달성된다.
3. 기제 분석: 절제 실험(ablation)과 인과적 개입을 통해 신경 다양성이 매개 요인임을 확립한다.
   • 인과성: 다양성을 인위적으로 훼손하면 통계적으로 유의미한 정확도 저하($p < 0.001$)가 발생한다.
   • 시너지: LoRA 어댑터와 Barlow Twins 규제는 시너지를 일으킨다. 둘 중 하나만으로는 최대의 이득을 얻기에 충분하지 않다.
   • 작업 의존성: 서로 다른 작업은 서로 다른 최적의 다양성 수준을 요구한다. 환각에 집중된 작업은 더 높은 다양성의 이득을 보는 반면, 지식 검색 작업은 종종 $P=1$에서 정점에 도달한다.

실험 결과

평가는 The Pile 데이터셋의 20M 토큰으로 학습된 Qwen2.5-0.5B를 대상으로 12개 작업에 대해 수행되었다.

• 환각 감소: ND-LoRA는 매개변수 수가 동일한 베이스라인과 비교하여 환각 벤치마크에서 유의미한 개선을 달했을다:
  • HaluEval (요약): +25.6% 상대적 개선 ($P^*=4$).
  • HaluEval (질의응답): +23.4% 상대적 개선 ($P^*=4$).
  • TruthfulQA (MC2): +9.5% 상대적 개선 ($P^*=2$).
  • MemoTrap v2: +8.8% 상대적 개선 ($P^*=8$).
• 능력 보존: 일반적인 능력(NQ, Winogrande, Wikitext BPB로 측정)은 유지되거나 약간 향상되었으며, 이는 "지식 세금(knowledge tax)"이 없음을 나타낸다.
• 베이지라인과의 비교: ND-LoRA는 추론 시간 개입 방식(Context-Aware Decoding, Activation Decoding) 및 훈련 시 불일치 규제(disagreement regularization)보다 우수한 성능을 보였으며, 차순위 방법의 +4.1% 개선 대비 평균 +14.6%의 환각 감소를 달성했다.
• 이론적 적합성: 신경 다양성과 신뢰성 사이의 경험적 관계는 $R^2 = 0.943$의 결정 계수로 이론적 예측과 일치했다.

의의 및 주장

본 논문은 환각을 1차 모멘트 문제(평균 정확도)가 아닌 2차 모멘트 문제(분산 및 상관관계)로 재정의함으로써 LM 신뢰성을 다루는 패러다임의 전환을 제안한다고 주장한다.

• 스케일링과 독립적: 신경 다양성은 매개변수나 데이터를 대규모로 확장하지 않고도 신뢰성 이득을 가능하게 한다. 이는 용량이 아닌 분산과 상관관계 구조를 통해 꼬리 확률을 제어한다.
• 비용 효율성: 이 접근 방식은 거의 제로에 가까운 사전 학습 오버헤드와 1.1배의 완만한 추론 지연 페널티만으로 상당한 신뢰성 향상을 달성하여, 지연 시간에 민감하지 않은 안전 중심 배포에 적합하다.
• 작업별 최적성: 본 연구는 신뢰성이 단일한 속성이 아니며, 서로 다른 작업은 서로 다른 정도의 신경 다양성을 요구한다는 점을 강조한다. 이는 "하나의 크기로 통용되는(one-size-fits-all)" 스케일링 법칙에서 벗어나, 작업 특성에 기반한 원칙적인 아키텍처 설계로의 이동을 시사한다.

저자들은 비록 이번 시연이 소형 모델을 대상으로 했으나, 이론적 프레임워크와 낮은 오버헤드를 고려할 때 신경 다양성이 고위험 영역에서 언어 모델의 신뢰성을 향상시키기 위한 확장 가능하고 실용적인 메커니즘임을 결론짓는다.