기술 요약: Conf-Gen: 생성 모델을 위한 컨포멀 불확실성 정량화

문제 제기

최근 인공지능, 특히 대규모 언어 모델 (LLM) 과 이미지 생성기와 같은 비지도 생성 모델에서의 획기적인 발전은 전통적인 지도 학습에서 벗어나는 환경을 조성했습니다. 그러나 불확실성 정량화 (UQ) 는 이러한 생성 시스템에 있어 여전히 중요한 과제로 남아 있으며, 의료 및 과학적 발견과 같은 고위험 분야에서의 배포를 방해하고 있습니다.

컨포멀 예측 (CP) 과 컨포멀 리스크 제어 (CRC) 는 지도 학습에서 UQ 를 위한 엄격하고 분포에 무관한 프레임워크를 제공하지만, 생성 작업과는 직접적으로 호환되지 않습니다. 생성 모델에 컨포멀 아이디어를 적용하려는 기존 시도는 종종 특정 작업에 국한되어 있으며, 엄격한 제한적 가정 (예: 유틸리티 함수의 엄격한 단조성) 에 의존하고, 집합 값 출력으로만 제한됩니다. 또한, 현재 구현체들은 종종 정답 레이블과 호출 가능한 유틸리티 함수를 필요로 하는데, 이는 개방형 생성 시나리오에서 항상 이용 가능한 것은 아닙니다.

방법론: Conf-Gen 프레임워크

저자들은 CRC 를 생성 작업에 적용하면서 그 이론적 가정을 완화하는 일반 프레임워크인 **Conf-Gen (Conformal Generation)**을 제안합니다. Conf-Gen 은 이전의 특정 작업별 시도들을 통합하고, 단순한 집합을 넘어 시퀀스 및 구조화된 출력과 같은 새로운 영역으로 컨포멀 방법론을 확장합니다.

핵심 구성 요소

이 프레임워크는 $G_{:n} = \{(X^{(i)}, Y^{(i)}, Y^{(i)}_{GT})\}_{i=1}^n$으로 표시되는 보정 데이터셋을 기반으로 작동하며, 여기서 $X$는 입력, $Y$는 생성된 시퀀스, $Y_{GT}$는 선택적 정답입니다. 이는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 선택 함수 ($C_\lambda$): 매개변수 $\lambda$로 인덱싱된 잠재적 확률적 함수들의 집합 $C_\lambda: \mathcal{X} \times \mathcal{Y}^* \to \mathcal{S}$입니다. 전통적인 CP 가 집합을 출력하는 것과 달리, $\mathcal{S}$는 시퀀스 ($\mathcal{Y}^*$) 나 기타 구조화된 출력이 될 수 있습니다. 직관적으로, 더 큰 $\lambda$ 값은 더 높은 허용 가능성 (admissibility) 을 달성하는 더 보수적인 출력 (예: 더 짧은 시퀀스 또는 더 엄격한 부분집합) 을 생성합니다.
2. 허용 가능성 함수 ($A$): CRC 의 유틸리티 함수를 일반화하는 함수 $A: \mathcal{X} \times \mathcal{S} \times \mathcal{Y}_{GT} \to [0, \infty)$입니다. 이는 선택된 출력의 품질을 측정합니다. 중요한 점은 $A$가 호출 가능한 함수일 필요가 없다는 것이며, 정답이 정의되지 않은 경우에도 인간 평가나 절차에 의해 정의될 수 있다는 것입니다.
3. 보정: 이 방법은 보정 데이터셋에서의 평균 허용 가능성이 목표 $\gamma$를 만족하도록 임계값 $\hat{\lambda}$를 찾습니다. 공식적으로, $\hat{\lambda} = \inf \{ \lambda \in \Lambda : \bar{A}_n(\lambda) \ge \frac{n+1}{n}\gamma \}$입니다.

이론적 기여

Conf-Gen 은 CRC 의 가정을 완화하는 $\gamma$-합리적 인스턴스 정의를 도입합니다:

• 완화된 단조성: CRC 의 엄격한 요구사항인 허용 가능성 함수가 거의 확실하게 비감소해야 한다는 조건 대신, Conf-Gen 은 매핑 $\lambda \mapsto \mathbb{E}[A^{(n+1)}(\lambda) \mid \hat{\lambda}, \lambda^*]$이 조건부 기댓값에서 비감소해야 한다는 조건만 요구합니다. 이는 $\lambda$와 허용 가능성 간의 관계가 모든 실현에서 엄격하게 단조롭지는 않지만 기댓값에서는 성립하는 시나리오를 허용합니다.
• 일반화된 출력 공간: 이 프레임워크는 집합을 넘어선 출력 (예: 시퀀스) 을 지원하여 답변의 부분 시퀀스나 행동의 부분집합을 선택하는 것과 같은 응용을 가능하게 합니다.
• 정답 불필요: 이 프레임워크는 모든 인스턴스에 대해 잘 정의된 정답 $Y_{GT}$를 엄격하게 요구하지 않으며, 허용 가능성이 인간 평가나 의미적 일관성에 의해 결정되는 개방형 작업을 수용합니다.

계산 효율성

이 논문은 Conf-Gen 을 계산적으로 실현 가능하게 만드는 설계 패턴을 식별합니다:

• 점수 기반 선택: 개별 요소에 할당된 점수를 기반으로 $C_\lambda$를 정의함으로써 (예: $S_\downarrow(x, y_t) \le \lambda$인 요소 선택), 선택 함수의 상이 유한해지므로 무한한 $\Lambda$에서도 효율적인 보정이 가능합니다.
• 인스턴스 수준 분해: 허용 가능성 함수가 인스턴스 수준 점수의 집계로 분해될 수 있는 경우 (예: $A = \text{agg}(A'_1, \dots, A'_T)$), 보정은 생성된 모든 요소에 대해 $A'$를 한 번 평가함으로써 수행될 수 있으며, 이는 평가와 $\lambda$ 선택을 분리합니다.
• 부분 생성: 많은 경우, 선택 기준이 충족되면 시스템은 시퀀스 생성을 일찍 중단하여 계산 자원을 절약할 수 있습니다.

주요 기여

1. 프레임워크: 시퀀스 및 구조화된 출력으로 CRC 를 일반화하는 생성 모델을 위한 엄격한 UQ 프레임워크인 Conf-Gen 을 제안합니다.
2. 이론: CRC 의 단조성 가정을 거의 확실한 조건에서 조건부 기댓값 조건으로 완화하여, 엄격한 단조성이 성립하지 않는 작업에도 적용 범위를 확장합니다.
3. 소프트웨어: 다양한 구성에서 효율적인 보정과 추론을 지원하는 유연한 Python 패키지 (conf-gen) 를 제공합니다.
4. 실증적 검증: 새로운 작업 전반에 걸쳐 프레임워크의 다양성을 입증하며, LLM 질문 응답에서 최첨단 베이스라인을 능가하고 여러 새로운 응용 분야에 대한 최초의 컨포멀 보장을 확립합니다.

실험 결과

저자들은 Conf-Gen 을 다양한 작업에서 검증하여, 실증적 허용 가능성 ($\ge \gamma$) 이 컨포멀 보장을 만족하면서도 실용적 유틸리티 (베이스라인에 비해 더 짧은 시퀀스 또는 더 높은 품질의 출력) 를 유지함을 보여줍니다.

• 개방형 도메인 질문 응답: TriviaQA 데이터셋에서 Conf-Gen 은 동일한 커버리지 보장을 유지하면서 베이스라인 (Quach et al., 2024) 보다 더 짧은 답변 시퀀스를 생성하여 필요한 LLM 호출 횟수를 줄입니다.
• 비기억 이미지 생성: Stable Diffusion 에 적용된 Conf-Gen 은 인간 평가자가 "비기억" (즉, 학습 데이터의 복사본이 아님) 으로 확인한 이미지를 확률 $\gamma$로 보장하여 선택합니다. 이는 생성 모델과 관련된 저작권 리스크를 해결합니다.
• 대화형 AI: 이 프레임워크는 챗봇이 답변하기 전에 모호성을 해결하기 위해 충분한 명확화 질문을 하도록 보장합니다. 결과는 더 높은 $\gamma$가 더 많은 명확화를 유도하지만, 시스템이 가능한 최대 횟수를 질문하는 것으로 기본화하지는 않는다는 트레이드오프를 보여줍니다.
• 에이전트 AI: 웹 기반 작업 (WebVoyager 데이터셋) 에 대해 Conf-Gen 은 선택된 에이전트 궤적 시퀀스가 확률 $\gamma$로 적어도 하나의 성공적인 솔루션을 포함함을 보장합니다.
• 랜덤 포레스트: 이 프레임워크는 최소한의 정확한 예측 수를 보장하는 랜덤 포레스트의 서브셋을 선택함으로써 지도 학습에 적용되어, 생성 모델을 넘어선 방법의 일반성을 입증합니다.

중요성과 주장

이 논문은 Conf-Gen 이 생성 모델에서의 개선된 불확실성 정량화를 향한 중요한 단계라고 주장합니다. CRC 의 이론적 가정을 완화함으로써, 정답이 없거나 엄격한 단조성이 없는 작업을 포함한 더 넓은 범위의 생성 작업에 컨포멀 보장을 적용할 수 있게 합니다.

저자들은 그들의 작업이 생성된 이미지가 기억되지 않았음을 보장하거나 AI 에이전트가 충분한 명확화 질문을 했음을 검증하는 것과 같은 새로운 컨포멀 응용의 기반을 마련했다고 강조합니다. 그들은 이러한 개선이 AI 시스템의 신뢰성을 높여 안전이 중요한 응용 분야에서의 배포를 촉진할 수 있다고 봅니다. 이 논문은 사회적 영향에 대해 겸손한 어조를 유지하며, UQ 가 신뢰성을 향상시킬 수 있지만 악의적인 응용을 강화할 수도 있음을 인정하지만, 순 효과는 긍정적일 것으로 예상된다고 명시합니다.

이 작업은 모든 UQ 과제를 해결한다고 주장하지는 않지만, 기존 접근법을 통합하고 생성형 AI 시대에 엄격한 불확실성 제어를 위한 새로운 길을 여는 유연하고 이론적으로 근거 있는 프레임워크를 제공합니다.