기술 요약: 텍스트 조건부 회귀를 위한 LLM 흐름 프로세스

문제 정의

본 논문은 특히 시계열 예측을 위해 전문가의 사전 지식과 비정형 텍스트 메타데이터를 회귀 모델에 통합하는 과제를 다룹니다. 사전 훈련된 대규모 언어 모델 (LLM) 은 암묵적인 전문가 지식을 활용하여 퓨샷 (few-shot) 회귀에서 유망한 결과를 보여주었으나, 다음과 같은 중대한 한계를 겪고 있습니다:

1. 오류 연쇄 (Error Cascades): 자기회귀형 LLM(예: 직접 프롬프트 방법) 은 '노출 편향 (exposure bias)'을 나타내는데, 이는 불완전한 자신의 예측에 조건을 부여함으로써 예측 지평이 길어질수록 (예: 100 포인트 이상) 오류가 연쇄적으로 발생하는 현상입니다. 이는 종종 선형 추세나 발산 궤적으로의 모드 붕괴를 초래합니다.
2. 계산 비효율성: 자기회귀 샘플링은 순차적이며 계산 비용이 많이 들고 병렬화가 어렵습니다.
3. 일관성 부재: LLM 의 독립적 주변 예측 (개별 점 예측) 은 국소적 구조적 상관관계를 포착하지 못해 일관성 없는 궤적과 이상치를 초래합니다.

반면, 신경 확산 프로세스 (NDP) 는 일관되고 병렬화 가능한 궤적 생성을 제공하며 합성 데이터를 통해 다양한 함수 공간에 대한 메타 학습이 가능합니다. 그러나 표준 NDP 는 함수 공간 선택을 안내하기 위해 풍부한 비정형 텍스트 메타데이터 (예: "몬트리올의 일일 기온") 를 통합할 수 있는 메커니즘이 부족합니다.

방법론: LLM 흐름 프로세스 (LLM-FP)

저자들은 **LLM 흐름 프로세스 (LLM-FP)**를 제안합니다. 이는 LLM 의 의미적 조건부 능력과 신경 확산 프로세스의 구조적 일관성을 전문가 곱 (Product-of-Experts, PoE) 접근법을 사용하여 결합한 프레임워크입니다.

핵심 메커니즘

이 방법은 두 분포의 곱으로 목표 분포 $\pi_1(y_1|c)$를 정의합니다:

1. 전문가 ($q$): 텍스트 프롬프트 ($c$) 와 컨텍스트 데이터에 조건을 부여한 LLM 에서 유도된 분포입니다. 저자들은 LLM 이 개별 점에 대한 주변 확률을 예측하여 결합 분포를 인수분해하는 독립 LLM 프로세스 (I-LLMP) 를 활용합니다.
2. 사전 ($p_1$): 합성 데이터 (예: 혼합 커널을 가진 가우시안 프로세스) 로 훈련된 신경 확산 프로세스 (NDP) 로서, 일관된 확률적 프로세스 사전 지식을 학습합니다.

결합된 분포는 다음과 같습니다:
$$\pi_1(y_1|c) \propto q(y_1|c) p_1(y_1)$$

컨볼루션을 통한 무그래디언트 샘플링

이 방법의 핵심 기술적 기여는 확산/흐름 매칭 프레임워크 내에서 전문가 곱에 대한 무그래디언트, 비몬테카를로 샘플링 방법입니다.

• 표준 접근법: 일반적으로 외부 에너지나 전문가 항으로 확산을 안내하려면 전문가의 그래디언트를 계산하거나 몬테카를로 추정을 사용해야 하며, 이는 계산량이 많고 불안정합니다.
• 제안된 접근법: 저자들은 LLM 의 출력이 **이진화된 확률 분포 (조각상수)**라는 사실을 활용합니다. 그들은 시간 의존적 점수 보정 항을 유도하는데, 이는 시간 $t$에서의 확산 노이즈를 나타내는 가우시안 커널로 전문가 분포 $q$를 컨볼루션하는 것을 포함합니다.
• 폐쇄형 해 (Closed-Form Solution): 조각상수 함수와 가우시안의 컨볼루션은 표준 가우시안 누적분포함수 ($\Phi$) 로 표현 가능한 폐쇄형 해를 가지므로, 점수 보정은 LLM 을 통해 역전파하거나 몬테카를로 샘플링을 사용하지 않고도 정확하게 계산할 수 있습니다.
  $$\nabla_{y_t} \log \pi_t(y_t|c) \approx s_\theta(y_t) + \nabla_{y_t} \log \tilde{q}_t(\hat{y}_{1|t}(y_t)|c)$$
  여기서 $\tilde{q}_t$는 평활화된 전문가 밀도이고 $\hat{y}_{1|t}$는 NDP 의 탈노이즈 추정치입니다.

이를 통해 모델은 NDP 가 학습한 국소적 구조와 일치하는 궤적을 샘플링하면서도 LLM 이 제공하는 텍스트 제약 조건에 부합하도록 '하위 선택 (sub-selected)'될 수 있습니다.

주요 기여

1. 무그래디언트 PoE 샘플링: 전문가가 가우시안과 폐쇄형으로 컨볼루션되는 확산 모델과 전문가 분포의 곱에서 샘플링하는 일반적인 방법입니다. 이는 전문가의 그래디언트나 몬테카를로 추정이 필요하지 않습니다.
2. LLM-흐름 프로세스 (LLM-FP): 위의 방법을 구현하여 LLM 에서 유도된 텍스트 조건부 확률을 NDP 와 통합합니다. 이는 텍스트 조건부 함수 공간 선택을 가능하게 하여, 모델이 자연어 설명과 일치하는 행동 (예: 주기성, 추세) 을 선택하거나 외삽할 수 있게 합니다.
3. 실패 모드의 실증적 검증: 논문은 자기회귀 LLM 회귀의 특정 실패 모드 (오류 연쇄, 선형 추세 끌개) 를 문서화하고, LLM-FP 가 NDP 의 결합 구조를 활용하여 이를 완화함을 입증합니다.

실험 결과

저자들은 LLM-FP 를 세 가지 베이스라인과 비교 평가합니다:

• NDP: 무조건부 신경 확산 프로세스.
• LLM-Direct: 제약 디코딩이 적용된 자기회귀형 LLM.
• LLM-Independent: 독립적인 주변 LLM 예측.

작업:

• 변화점 회귀: 불연속성에 대한 텍스트 설명의 충실도 테스트.
• 샌디에고 강수량: 계절적 구조를 가진 외삽.
• 주기성 + 선형 추세: 합성 함수의 외삽.
• 마우나로아 CO2: 실제 대기 데이터 외삽.

결과:

• 일관성 vs. 충실도: LLM-FP 는 일관된 (NDP 와 같이 매끄럽고 시간 일관성이 있는) 동시에 텍스트 프롬프트에 충실한 (NDP 와는 달리) 궤적을 생성합니다.
• 강건성: LLM-Direct 와 달리 LLM-FP 는 예측 지평이 길어질수록 (최대 256 포인트까지 테스트됨) 오류 연쇄를 겪지 않습니다. 자기회귀 모델에서 관찰되는 선형 추세의 '끌개 상태 (attractor state)'를 피합니다.
• 보정: LLM-FP 는 주기성 및 실제 세계 작업에서 베이스라인보다 우수한 연속 순위 확률 점수 (CRPS) 와 음의 로그 예측 밀도 (NLPD) 를 달성하여 더 잘 보정된 불확실성을 나타냅니다.
• 성능 트레이드오프: 변화점 작업에서 LLM-Direct 는 선형 추세 끌개의 단순성으로 인해 거의 완벽한 단일 궤적 정확도를 달성한 반면, LLM-FP 는 이상치를 부드럽게 만들었으나 특정 사례에서 자기회귀 베이스라인만큼 날카로운 불연속성을 완벽하게 재현하지는 못했습니다. 그러나 LLM-FP 는 일관되게 주변 LLM-Independent 베이스라인보다 우수한 성능을 보였습니다.

중요성 및 주장

본 논문은 LLM-FP 가 합성 데이터로 훈련된 확률적 프로세스 사전 지식과 언어로 표현된 전문가 지식을 결합하는 원칙적인 방법을 제공한다고 주장합니다.

• 메커니즘: 텍스트는 특정 행동 (예: 주기성) 으로 NDP 사전 지식을 재가중치하지만 근본적인 프로세스 구조를 대체하지 않는 '소프트 함수 클래스 선택기' 역할을 합니다.
• 일반화 가능성: 무그래디언트 컨볼루션 방법은 폐쇄형 가우시안 컨볼루션을 허용하는 모든 전문가 분포 (예: 조각 다항식, 양자화된 측정값) 에 적용 가능한 독립적인 관심 도구로 제시됩니다.
• 한계: 저자들은 이 방법이 NDP 와 LLM 요인 간의 독립성을 가정한다고 지적합니다. 만약 두 요인이 강하게 상관되어 있다면 증거가 중복 계산될 수 있습니다. 또한, 이 방법은 관련 함수 클래스에 NDP 사전이 충분한 질량을 할당한다고 가정합니다. 원하는 행동이 NDP 의 지지 영역을 훨씬 벗어난 경우, LLM 은 새로운 궤적 구조를 생성할 수 없고 재가중치만 할 수 있습니다.

이 연구는 신경 프로세스의 보정 및 결합 구조를 유지하면서 LLM 의 유연한 조건부 능력의 이점을 얻고 직접 자기회귀 회귀의 불안정성을 피하는 회귀 모델로의 길을 제시합니다.