기술 요약: 대규모 언어 깁스(Large Language Gibbs)를 이용한 구조적 추론

문제 정의

대규모 언어 모델(LLM)은 레이블 할당, 테이블 레코드, 조합적 객체와 같은 구조적 객체에 대한 분포를 표현하는 데 점점 더 많이 활용되고 있습니다. 그러나 구조적 확률 추론을 위해 LLM에 인코딩된 지식에 접근하는 것은 상당한 과제를 안겨줍니다. 단일 패스 자기회귀 디코딩(single-pass autoregressive decoding)을 통해 구조적 객체를 생성하는 표준 방식은 최신성 효과(recency effects)나 문맥 무시(context ignorance)와 같은 순서 의존적 편향을 도입하여 의도한 결합 분포를 왜곡합니다. 더욱이, LLM은 독립적 또는 배치 방식으로 샘플을 생성할 때 단순한 분포(예: 균등 분포 또는 가우시안 분포)로부터 올바르게 샘플링하는 데 실패하며, 높은 편향이나 높은 자기상관(autocorrelation)을 보이기도 합니다. 핵심 문제는 개별 변수에 대한 LLM의 조건부 신념을 활용하여, 고정된 생성 순서의 인위적 결과물 없이도 일관된 결합 샘플을 추출하는 방법입니다.

방법론: 대규모 언어 깁스(Large Language Gibbs)

저자들은 LLM의 조건부 분포를 깁스 샘플링 체계 내의 전이 연산자(transition operators)로 취급하는 구조적 확률 추론 프레임워크인 Large Language-Gibbs를 제안합니다. 전체 객체를 한 번의 패스로 생성하는 대신, 이 방법은 다른 모든 변수의 현재 값에 조건화된 개별 변수를 반복적으로 재샘플링합니다.

핵심 메커니즘

이 접근 방식은 상태가 변수 집합 $X = (X_1, \dots, X_n)$인 마르코프 체인을 정의합니다. 각 단계에서 변수 $X_i$가 선택되며, LLM으로부터 유도된 근사 조건부 분포 $q_i(X_i | X_{-i})$로부터 재샘플링됩니다.

1. 기본 Large Language Gibbs (섹션 3.1):
재샘플링 커널 $q^{LM}_i(X_i | X_{-i})$를 정의하기 위해, 본 방법은 자기회귀 LLM이 특정 시퀀스 순서에 대해서만 다음 토큰 확률을 제공한다는 점을 해결합니다. 저자들은 나머지 변수들의 무작위 순열 하에서 자기회귀 커널의 기댓값으로 커널을 정의할 것을 제안합니다:
$$q^{LM}_i(X_i | X_{-i}) \triangleq \mathbb{E}_{\sigma_{-i}} \left[ p_{LM}(X_i | \text{seq}(X_{-i}, \sigma_{-i}) \oplus [c_i]) \right]$$
여기서 $\sigma_{-i}$는 나머지 변수들을 섞는 무작위 전단사 함수이며, $c_i$는 $X_i$를 설명하는 자연어 문맥입니다. 이러한 무작위 셔플링은 순서 의존적 편향을 제거하여, 모든 국소적 조건부 분포들 사이의 절충안을 반영하는 정체 분포(stationary distribution)를 목표로 합니다.

2. 판별적 커널 (섹션 3.2):
LLM이 생성보다 판별(discrimination)에 더 뛰어날 수 있다는 점(특히 강화 학습 미세 조정 이후)을 인식하여, 저자들은 LLM의 판별 출력을 사용하여 후보를 수락하거나 거절하는 두 가지 변형을 도입합니다:

• Barker Gibbs: 현재 값과 후보 값 사이를 선택하는 데 LLM을 사용합니다. LLM이 Barker의 규칙에 따라 교정(calibrated)되어 있다면 정체 분포가 보존됩니다.
• Gambling Gibbs: 수락 결정을 도박(gamble)의 틀로 구성합니다. LLM에게 후보가 현재 값보다 더 그럴듯한지에 대해 돈을 걸 것인지 묻습니다. 이를 통해 교정된 확률에 의존하는 대신 탐욕적 디코딩(결정론적 임계값 판단)을 사용할 수 있습니다.

3. 실용적 변형 (섹션 3.3):
이 프레임워크는 수렴 속도를 높이거나 로컬 모드(local modes)를 탈출하기 위한 Sweeping Gibbs(변수들을 고정된 순서로 순환) 및 Block Gibbs($B > 1$개의 변수 세트를 동시에 재샘플링)를 지원합니다.

주요 기여

1. 새로운 추론 체계: 본 논문은 LLM의 조건부를 구조적 확률 추론을 위한 전이 연산자로 변환하는 방법인 Large Language Gibbs를 도입하여, 단일 패스 자기회귀 생성을 넘어섭니다.
2. 이론적 분석: 저자들은 깁스 체인의 유일한 정체 분포가 존재함을 입증하는 이론적 프레임워크를 제공합니다. 그들은 무작위 셔플링이 순서 편향을 제거하는 데 필수적임을 보여주는 충분 조건(Assumption 3.1)을 식별하여, 정체 분포가 LLM의 대칭화된 결합 분포와 일치함을 입증합니다.
3. 알고리즘 변형: 생성 확률이 잘못 교정된 경우를 대비하여, LLM의 판별 능력을 활용하는 Barker 및 Gambling Gibbs 커널을 제안합니다.
4. 실증적 검증: 이 방법은 세 가지 뚜렷한 도메인에 적용되었습니다:
   • 합성 분포: 균등 분포 및 가우시안 분포로부터 샘플링.
   • 일관된 추론: 관련 질문 세트(TruthfulQA, GSM8K)를 해결하여 일관된 답변을 찾음.
   • 베이지안 구조 학습: LLM 생성 합성 데이터를 사용하여 사전 확률(priors)을 구축함으로써 인과 그래프 발견을 위한 정보 제공.

결과

실험은 Large Language Gibbs가 표준 LLM 샘플링의 한계를 효과적으로 완화함을 보여줍니다:

• 단순 분포: 합성 작업(균등 및 가우시안)에서 독립 샘플링은 높은 편향을 보였고, 배치 샘플링은 높은 자기상관을 보였습니다. 깁스 샘플링은 이 두 문제를 실질적으로 교정하여, 베이스라인 방법들보다 낮은 편향과 낮은 자기상관을 가진 샘플을 생성했습니다.
• 일관된 추론: TruthfulQA 및 GSM8K-Verification에서, 깁스 샘플링을 통한 반복적 조건부 업데이트는 제로샷(zero-shot), 단일 패스 자기회귀, 심지어 내부 일관성 극대화(Internal Coherence Maximization, ICM) 베이스라인보다 우수한 성능을 보였습니다. 결과는 재샘플링 중 변수를 셔플링하는 것이 관련 질문들 사이의 더 나은 일관성을 이끌어낸다는 것을 시사합니다.
• 베이지안 구조 학습: 세계 지식 기반의 사전 확률을 정의하기 위해 합성 데이터($D_{LLM}$)를 생성할 때, Large Language Gibbs는 실제 데이터셋에 대해 균등 사전 확률(uniform priors) 및 직접적인 자기회귀 샘플링에 비해 구조 학습 성능(Expected Structural Hamming Distance 및 AUROC로 측정)을 향상시켰습니다. 이 방법은 메타데이터를 성공적으로 활용하여 인과 구조를 명확히 구분해 냈습니다.

의의 및 주장

본 논문은 LLM의 조건부를 MCMC 프레임워크 내에서 사용하는 것이 구조적 확률 추론을 위한 실용적인 대안이라고 주장합니다. 저자들은 이 접근 방식이 자기회귀 생성보다 모델의 내부 신념으로부터 더 많은 정보를 추출할 수 있게 해준다고 주장합니다.

그 의의는 "노이즈가 있는" LLM의 조건부를 다루기 위한 원칙적인 확률적 프레임워크를 제공한다는 점에 있습니다. 변수 순서를 반복적으로 재샘플링하고 평균을 냄으로써, 이 방법은 국소적 조건부들의 절충안을 나타내는 정체 분포를 생성하며, 이는 어떤 고정된 생성 순서의 편향도 효과적으로 제거합니다. 저자들은 이 연구를 LLM을 특히 여러 변수나 추론 단계 간의 일관성이 필요한 작업에서 확률적 프로그램 내의 사전 확률(priors)로 취급하는 단계로 포지셔닝합니다.

논문은 한계점에 대해 겸허하게 언급하며, 이 접근 방식이 단일 패스 생성보다 더 많은 계산량을 요구하며, 계산 제약으로 인해 현재는 상대적으로 작은 모델(32B 파라미터까지)로 제한된다는 점을 명시했습니다. 또한 결과의 품질이 LLM에 제공되는 메타데이터의 정보성에 크게 의존한다는 점도 인정하고 있습니다.