기술 요약: 빔 탐색을 통한 LLM 의 일관성 기반 불확실성 개선

문제 제기

일관성 기반 불확실성 정량화 (UQ) 는 특히 블랙박스 환경에서 대규모 언어 모델 (LLM) 출력의 신뢰성을 평가하는 강력한 방법으로 부상했습니다. 이러한 방법들은 일반적으로 다항 샘플링을 통해 생성된 여러 생성물 간의 일치 수준을 측정하여 불확실성을 추정합니다.

그러나 저자들은 단답형 질문 응답 (QA) 작업에 다항 샘플링을 적용할 때의 중요한 한계를 지적합니다:

1. 높은 중복성: 짧은 답변에서의 첨두 확률 분포로 인해, 다항 샘플링은 종종 중복되거나 거의 동일한 생성물을 생산합니다. 논문은 짧은 출력 (24 토큰) 의 경우 중복률이 3050% 에 달할 수 있어 계산 자원이 낭비된다고 지적합니다.
2. 높은 분산: 각 샘플링 실행마다 다른 후보 집합을 생성하기 때문에, 결과적으로 도출된 불확실성 추정치는 실행 간에 상당한 분산을 보여 견고성을 훼손합니다.
3. 비효율성: 안정적인 추정을 달성하기 위해서는 종종 많은 수의 샘플이 필요하며, 이는 계산적으로 비용이 많이 듭니다.

핵심 문제는 다항 샘플링이 단답형 시나리오에서 모델의 출력 공간을 효과적으로 탐색하지 못하여 노이즈가 많은 신뢰도 추정치와 비최적의 불확실성 정량화를 초래한다는 점입니다.

방법론

이 논문은 후보 출력을 생성하기 위해 다항 샘플링을 빔 탐색으로 대체하는 새로운 UQ 방법군을 제안합니다. 이 방법론은 세 가지 핵심 통찰에 기반합니다:

1. 구별되는 후보: 빔 탐색은 본질적으로 상위 $k$개의 가장 가능성 있는 부분 시퀀스를 유지하여 고유한 후보 출력을 보장하고 중복성을 줄입니다.
2. 확률 가중 추정: 빔 후보를 단순히 균일한 샘플로 취급하면 저확률 출력이 과도하게 강조됩니다. 대신 저자들은 중요도 가중 추정기를 도입합니다. 빔 후보 ($b^{(i)}$) 의 시퀀스 확률을 정규화하여 가중치 $w_i$를 형성합니다:
   $$w_i = \frac{p(b^{(i)} | x)}{\sum_{j=1}^M p(b^{(j)} | x)}$$
   이러한 가중치는 단순 평균을 사용하는 대신 일관성 기반 지표 (예: Dissimilarity, Eccentricity) 를 계산하는 데 사용됩니다.
3. 이론적 정당성: 저자들은 빔 가중 추정기가 표준 몬테카를로 (다항) 추정기보다 더 낮은 평균 제곱 오차 (MSE) 를 달성하기 위해 빔 집합이 가져야 할 확률 질량 ($m_B$) 에 대한 이론적 하한을 유도합니다. 빔 집합이 충분한 확률 질량을 커버한다면 (단순화된 조건인 $m_B > 1 - \frac{1}{2\sqrt{M}}$), 빔 탐색 접근 방식이 더 낮은 오차를 산출함을 증명합니다.

적응된 방법들

저자들은 기존 일관성 기반 UQ 방법들을 빔 탐색을 활용할 수 있도록 적응시켰습니다:

• Dissimilarity: 주 답변과 빔 후보 간의 기대 의미적 차이를 $w_i$로 가중하여 측정합니다.
• Eccentricity: 모든 샘플 (주 답변 포함) 의 유사성 행렬에 그래프 라플라시안을 사용합니다. 저자들은 임베딩 계산 시 확률 가중 중심점을 사용하도록 수정했습니다.
• Eigenvector Dissimilarity: 라플라시안 공간에서 샘플 임베딩의 가중 평균으로부터 주 답변 임베딩까지의 거리를 측정합니다.
• CoCoA: 토큰 수준 가능성과 샘플 일관성을 결합한 하이브리드 방법입니다. 저자들은 일관성 신호를 빔 가중 추정기로 대체했습니다.

주요 기여

1. 한계 식별: 논문은 다항 샘플링이 단답형 QA 에서 높은 중복성과 분산을 초래하여 이러한 맥락에서 일관성 기반 UQ 를 위한 비최적의 선택임을 실증적으로 보여줍니다.
2. 빔 가중 추정기: 중복을 생성하지 않고 모델의 분포를 더 잘 근사하기 위해 중요도 가중치를 적용한 빔 탐색 후보를 활용하는 새로운 UQ 방법군을 제안합니다.
3. 이론적 분석: 빔 집합이 충분한 확률 질량을 포착할 때 빔 가중 추정기가 다항 몬테카를로 추정기보다 우월함을 보장하는 분포 무관 충분 조건 (정리 1) 을 유도했습니다.
4. 실증적 검증: TriviaQA, WebQuestions, CoQA, HotpotQA, CommonsenseQA, ARC-Challenge 의 6 개 QA 데이터셋과 Gemma 3, Llama 3.1, Qwen 3 의 6 개 모델에 대한 광범위한 평가.

결과

실험은 다항 샘플링을 빔 탐색으로 대체함으로써 일관성 기반 UQ 방법의 성능이 일관되게 개선됨을 보여줍니다:

• 최첨단 성능: Dissimilarity, Eccentricity, EigVecDissimilarity, CoCoA 의 빔 유도 변형들은 거의 모든 모델 및 데이터셋 조합에서 최고 또는 차고의 예측 - 거부 비율 (PRR) 점수를 달성합니다.
• 견고성: 빔 탐색 방법은 다항 샘플링에 비해 불확실성 추정치에서 훨씬 더 낮은 분산을 보입니다.
• 샘플 효율성: 개선 효과는 작은 샘플 예산 ($M \ge 2$) 에서 가장 두드러집니다. 빔 탐색은 더 적은 후보로 높은 PRR 점수에 도달하며 (오픈형 작업은 약 $M=5$, 객관식 작업은 $M=2$ 에서 포화), 다항 샘플링은 더 점진적으로 개선됩니다.
• 단답형 이점: 빔 탐색과 다항 샘플링 간의 성능 격차는 짧은 출력 길이 (중복성이 가장 높은 경우) 에서 가장 크며, 출력 길이가 증가함에 따라 축소됩니다.

중요성 및 주장

이 논문은 빔 탐색이 불확실성 정량화를 위한 디코딩 전략으로 폐기되어서는 안 된다고 주장합니다. 종종 결정론적이고 고품질의 생성과 연관되지만, 저자들은 확률 가중치와 결합될 때 빔 탐색이 단답형 QA 에서 출력 공간을 탐색하기 위해 확률적 다항 샘플링보다 더 효율적이고 안정적인 메커니즘을 제공한다고 논합니다.

이 연구의 중요성은 다음과 같습니다:

• 실용적 효율성: 빔 탐색은 종종 이미 수행되거나 $M$개의 독립적인 다항 샘플을 생성하는 것에 비해 무시할 수 있는 추가 비용으로 실행될 수 있으므로, 화이트박스 환경에서 UQ 성능을 "실질적으로 무료로" 개선할 수 있는 방법을 제공합니다.
• 이론적 기반: UQ 에 있어 빔 탐색이 샘플링보다 이론적으로 우월함을 증명하는 공식적 조건을 제공하여 휴리스틱 개선을 넘어섭니다.
• 광범위한 적용성: 이 방법은 순수 일관성 기반 지표와 일관성과 토큰 가능성을 결합한 하이브리드 방법 (CoCoA 등) 모두를 개선하므로, 단답형 생성 작업에서의 불확실성 추정을 위한 일반화 가능한 개선을 시사합니다.

저자들은 한계에 대해 겸손하게 언급하며, 현재 평가가 모델 확률에 대한 접근이 필요한 화이트박스 환경과 단답형 QA 데이터셋으로 제한되어 있음을 지적합니다. 장편 생성 및 블랙박스 환경 (실증적 확률 추정 필요) 으로 일반화 가능한지는 여전히 열린 질문으로 남아있음을 인정합니다.