기술 요약: PASC (파이프라인 인식 컨포멀 예측)

1. 문제 정의

현대 자연어 처리 (NLP) 및 대규모 언어 모델 (LLM) 시스템은 점점 더 다단계 파이프라인 (예: 개체명 인식 $\to$ 개체 의미소거 $\to$ 개체 유형 분류, 또는 계획자 $\to$ 도구 $\to$ 비평가 체인) 으로 배포되고 있습니다. 이러한 시스템에서 중요한 과제는 종단간 (E2E) 불확실성 정량화입니다.

개별 단계는 한계 커버리지 보장 (예: $P(\text{단계}_k \text{ 커버됨}) \ge 1-\alpha$) 을 제공하도록 보정될 수 있지만, 이러한 보장은 파이프라인 전체로 확장되지 않습니다.

• 독립 보정: 각 단계를 $1-\alpha$ 수준에서 독립적으로 보정하면 (독립 가정 하에) 결합 커버리지 확률은 최대 $(1-\alpha)^K$가 되며, 단계 수 $K$가 증가함에 따라 크게 저하됩니다. $K=3$이고 $\alpha=0.1$인 경우, 결합 커버리지는 목표인 90% 보다 훨씬 낮은 약 72.9% 로 떨어집니다.
• 본페로니 보정: 각 단계를 $1-\alpha/K$ 수준에서 보정하여 합집합 상한을 적용하면 결합 커버리지 ($\ge 1-\alpha$) 를 보장하지만 지나치게 보수적입니다. 이는 단계의 난이도와 관계없이 오류 예산을 균일하게 할당하여, 쉬운 단계에서 불필요하게 큰 예측 집합 (과다 커버리지) 을 초래하면서도 결합 신뢰도에는 비례하는 이득을 제공하지 않습니다.
• 기존 대안: MC 드롭아웃이나 딥 앙상블과 같은 방법은 휴리스틱 불확실성 추정을 제공하지만, 유한 표본, 분포 무관 보장을 결여하며 종종 단계 간 종속성을 무시합니다.

핵심 문제는 파이프라인 전체에 대해 공식적, 유한 표본, 분포 무관 결합 커버리지 보장을 제공하면서도 효율성 (즉, 예측 집합 크기를 불필요하게 팽창시키지 않음) 을 유지하는 방법의 부재입니다.

2. 방법론: PASC

저자들은 다단계 결합 보정 문제를 표준 스칼라 컨포멀 예측 문제로 축소하는 **PASC (파이프라인 인식 스플릿 컨포멀)**를 제안합니다.

핵심 통찰

"모든 $K$ 단계가 동시에 커버되는" 사건은 수학적으로 "모든 단계에 걸친 비동일성 점수의 최댓값이 임계값을 초과하지 않는" 사건과 동치입니다.
$$\bigcap_{k=1}^K \{s_k \le q\} \iff \left\{ \max_{k} s_k \le q \right\}$$
여기서 $s_k$는 단계 $k$의 비동일성 점수입니다.

알고리즘

1. 점수 정의: 파이프라인 샘플에 대해 단계별 비동일성 점수 ($s_1, \dots, s_K$) 를 계산합니다.
   • NER: $s_{NER} = \max_t (1 - p_{BIO, t})$ (소프트맥스 확률).
   • NED: $s_{NED} = 1 - \text{score}(e^*)$ (상위 랭킹 개체 점수).
   • 개체 유형 분류: $s_{typing} = 1 - \max_c \min_{\text{스팬}} p_{RoBERTa}$.
2. 결합 최대 점수: 각 샘플에 대한 스칼라 최대 점수를 계산합니다: $s_{\max} = \max_k s_k$.
3. 보정: 보정 집합을 사용하여 $s_{\max}$ 분포의 $1-\alpha$ 수준에서 컨포멀 분위수 $\hat{q}$를 계산합니다.
4. 예측: 테스트 입력에 대해 단계별 점수를 계산합니다. $s_{\max} \le \hat{q}$인 경우 파이프라인이 승인됩니다. 각 단계 $k$에 대한 예측 집합은 $C_k(x) = \{y_k : s_k(x, y_k) \le \hat{q}\}$입니다.

이론적 보장

보정 데이터와 테스트 데이터 간의 교환성 가정 하에, PASC 는 유한 표본, 분포 무관 보장을 제공합니다:
$$P\left( \bigcap_{k=1}^K \{s_k(x_{n+1}, y_{k,n+1}) \le \hat{q}\} \right) \ge 1 - \alpha$$
이 보장은 $1 - \alpha + \frac{1}{n+1}$로 제한되어 거의 엄밀합니다. 최악의 경우 합집합 상한을 사용하는 본페로니와 달리, PASC 는 점수의 경험적 결합 분포에 적응하여 "쉬운" 단계 (낮은 점수) 에는 더 엄격한 예산을, "어려운" 단계에는 더 느슨한 예산을 자동으로 할당합니다.

3. 주요 기여

1. PASC 알고리즘: 결합 최대 비동일성 점수에 대한 단일 스칼라 분위수 계산으로 다단계 결합 커버리지를 축소하는 파이프라인 인식 보정 절차.
2. 공식적 보장: 교환성 하에서 유한 표본, 분포 무관 결합 커버리지 ($\ge 1-\alpha$) 를 증명하는 정리와 근사 엄밀성 결과.
3. 종합 평가: 세 가지 분포 이동 시나리오 (내부 분포, 트위터 NER, 위키피디아 NER), 다양한 보정 크기, 그리고 $K=1$에서 $K=6$ 단계까지의 확장성에 대한 실험.
4. 건전성 검증: 구현 오류, 데이터 누수, 또는 지나치게 넓은 임계값의 산물이 아님을 확인하는 치환 검사와 부정적 통제.

4. 실험 결과

저자들은 CoNLL-2003, WNUT-17, WikiNEuRal 데이터셋을 사용하여 3 단계 파이프라인 (NER $\to$ NED $\to$ 개체 유형 분류) 에서 PASC 를 평가했습니다.

• 커버리지 대 효율성: $\alpha=0.1$이고 $K=3$인 경우:
  • PASC: **96.4%**의 E2E 커버리지를 달성했습니다.
  • 본페로니: **93.4%**의 E2E 커버리지를 달성했습니다.
  • 독립 CP: **86.5%**의 E2E 커버리지를 달성했습니다.
  • 중요하게도, 모든 방법은 평균 예측 집합 크기 1.083을 동일하게 유지하여, PASC 가 커버리지 확률을 집합 크기로 변환하는 데 있어 뛰어난 효율성을 보여줍니다.
• 분포 이동: CoNLL-2003 에서 보정하고 이동된 도메인 (WNUT-17, WikiNEuRal) 에서 테스트한 경우:
  • 독립 CP 는 59.0% 커버리지로 붕괴되었습니다.
  • PASC 와 본페로니는 보수적 임계값이 이동에 대한 버퍼를 제공함에 따라 100% 커버리지를 유지했습니다.
• $K$ 단계로 확장: $K=6$으로 확장하는 합성 실험에서:
  • 독립 CP 커버리지는 0.53으로 떨어졌습니다 (곱셈적 붕괴).
  • PASC 는 목표 커버리지 근처를 유지하며 곱셈적 감소를 피했습니다.
• 조건부 커버리지: PASC 는 "어려운" 하위 집단 (예: 가장 어려운 NER 신뢰도 5 분위수) 에서 유의미한 이점을 보였으며, 본페로니 (67.0%) 와 독립 CP (30.0%) 에 비해 82.0% 의 커버리지를 달성했습니다.
• 실행 시간: PASC 보정은 $K$개 대신 하나의 분위수만 계산해야 하므로 본페로니 및 독립 CP 보다 1.7$\times$ 빠릅니다.

5. 중요성 및 주장

이 논문은 PASC 가 다단계 NLP 시스템 배포의 근본적인 격차를 해소한다고 주장합니다:

• 직접 인증: 독립 CP(로컬 단계를 인증하지만 전역적으로는 실패함) 나 본페로니 (전역적으로 보장하지만 "보수성 세금"을 치름) 와 달리, PASC 는 **정확한 배포 관심 사건 (결합 승인)**을 직접 인증합니다.
• 최소 축소: 다단계 문제를 스칼라 문제로 축소하는 것은 수학적으로 간단합니다 (최댓값 사용). 그러나 이는 결합 승인 사건에 대한 최소 충분 단조 스칼라화입니다.
• 실용적 적용성: 이 방법은 모델 수정이나 무거운 추론 오버헤드 없이 모든 다단계 파이프라인 (복합 LLM 시스템 및 에이전트 워크플로우 포함) 에 즉시 적용 가능합니다.
• 강건성: 이론적 보장은 교환성에 의존하지만, 경험적 결과는 PASC 가 독립 CP 보다 분포 이동 하에서 더 나은 커버리지를 유지함을 시사합니다. 다만 저자들은 가중 CP 로 확장하여 강건한 이동 처리를 가능하게 하는 것은 향후 작업이라고 언급합니다.

저자들은 PASC 를 단계별 보정의 대체제가 아니라, 전체 파이프라인 출력의 신뢰성을 보장하는 필수 집계 계층으로 위치시킵니다. 이는 고위험 애플리케이션의 하류 의사결정에 있어 중요한 지표입니다.