NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision

기술 요약: NL-PAC: LLM 매개 감독에서의 명세 모호성과 인증된 미니맥스 리스크 하한

문제 정의
현대의 학습 파이프라인은 자연어로 명시된 작업을 위해 레이블, 평가 및 피드백을 제공하는 대규모 언어 모델(LLM)에 점점 더 많이 의존하고 있습니다. 여기서 중요한 문제는 자연어 명세가 여러 유효한 해석(readings)을 허용할 때, 감독 채널(판사 역할을 하는 LLM)이 어떤 해석이 작동 중인지 밝히지 않은 채 하나의 해석만을 채택한다는 점입니다. 이 체제는 **타겟-맹목적 감독(target-blind supervision)**이라 불리며, 근본적인 식별 문제를 야기합니다. 동일한 채널으로부터의 추가적인 관측은 모호성을 해결할 수 없는데, 이는 채널의 관측 법칙이 작동 중인 타겟과 독립적이기 때문입니다.

고전적인 통계적 학습 이론에서는 작업 명세와 감독 채널이 서로 분리되어 있는 반면, LLM 매개 시스템은 이 구분을 붕괴시킵니다. 작업은 자연어 지침에 의해 정의되며, 감독 신호는 해당 지침을 해석하는 동일한 모델에 의해 생성됩니다. 결과적으로, 학습자는 단순한 통계적 노이즈나 오염 예산 때문이 아니라, 프롬프트의 디코딩 과정에 내재된 허용 가능한 해석들의 구별 불가능성으로 인해 발생하는 불가피한 리스크 하한(risk floor)에 직면하게 됩니다. 본 논문은 다음과 같은 질문을 던집습니다: 채널이 허용 가능한 타겟을 정의하는 동시에 유일한 감독 소스인 경우 미니맥스 리스크는 얼마나 남게 되며, 이 리스크 하한을 라벨이 없는 입력값으로부터 인증할 수 있는가?

방법론: NL-PAC 프레임워크
저자들은 고정된 모델, 프롬프트, 그리고 디코딩 임계값을 사용하여 허용 가능한 레이블의 기하학적 구조를 정형화하는 Natural Language PAC (NL-PAC) 프레임워크를 도입합니다.

1. 모델-허용 기하학(Model-Admissible Geometry):

   • 고정된 설명 $f_{NL}$, 모델 $LLM_\theta$, 임계값 $\tau$에 대하여, 각 입력 $x$에서의 허용 레이블 집합 $A_\tau(x)$는 모델의 디코딩 확률 $\pi(y|f_{NL}, x) \ge \tau$를 만족하는 모든 레이블 $y$를 포함하도록 정의됩니다.
   • 허용-중첩 질량(admissible-overlap mass) $D^*_\tau$는 $|A_\tau(x)| \ge 2$인(즉, 여러 레이블이 허용되는) 입력의 확률 질량입니다.
   • 프레임워크는 모델-허용 레이블 클래스 $F_{\tau, \zeta}$( $\zeta$-질량 집합을 제외한 모든 곳에서 허용되는 레이벨링)와 그 **핵(core)**인 $Sel_\tau$(거의 모든 곳에서 허용되는 레이벨링)를 정의합니다.
   • 이 핵심의 지름 $\text{diam}_P(Sel_\tau)$는 $D^*_\tau$와 같음을 보입니다.

2. 타겟-맹목성 및 리스크 하한:

   • 감독 채널이 **타겟-맹목적(target-blind)**이라는 것은 관측 법칙이 작동 중인 타겟에 의존하지 않음을 의미합니다. 이 조건 하에서, 논문은 어떤 학습자도 동일한 관측 법칙을 유도하는 타겟들을 구별할 수 없음을 증명합니다.
   • 쌍별 하한(Pairwise Floor): 질량 $D$에서 서로 다른 두 허용 타겟 $f_1, f_2$에 대해, 미니맥스 리스크는 샘플 크기에 관계없이 최소 $D/2$입니다.
   • 정확한 미니맥스 값: 전체 허용 핵심 $Sel_\tau$에 대해, 정확한 미니맥스 값은 $V^*_\tau = \mathbb{E}_x[1 - 1/k(x)]$이며, 여기서 $k(x)$는 $x$에서의 허용 레이블 수입니다. 이 값은 각 입력에서 허용 집합으로부터 균등하게 선택하는 데이터 독립적 무작위 학습자에 의해 달성됩니다.
   • 일관된 해석(Coherent Readings): 논문은 점별(pointwise) 허용 선택과 일관된 해석(특정 읽기 절(reading clauses)에 의해 정의된 전역적 해석)을 구분합니다. 또한, 유한한 일관된 해석 군(family)에 대한 미니맥스 리스크가 $V^*_\tau$에 근접하기 위해서는 해당 군이 $\eta$-균등 커버리지 조건과 낮은 허용 위반(admissibility violation)을 만족해야 한다는 "브릿지" 경계(bridge bound)를 확립합니다.

3. 유한 샘플 인증:

   • 저자들은 배포 분포로부터 추출된 라벨이 없는 입력값을 사용하여 이러한 양들에 대한 **유한 샘플 인증(finite-sample certificates)**을 구축합니다.
   • 노출된 확률(Exposed Probabilities): 모델의 디코딩 확률에 접근할 수 있는 경우, 감사는 $D^*_\tau$와 $V^*_\tau$를 직접 추정하여 미니맥스 리스크 하한에 대한 호프딩(Hoeffding) 기반 하한을 제공합니다.
   • 샘플링된 디코딩(Sampled Decoding): 샘플링된 출력만 사용할 수 있는 경우, 감사는 플러그인 추정량을 사용합니다. 이는 임계값-마진(threshold-margin) 항($\kappa(\xi)$)과 유한-깊이(finite-depth) 에러 항을 도입하며, 이는 디코딩 깊이가 불충분하거나 많은 입력이 임계값 $\tau$ 근처에 위치할 경우 인증을 무의미하게(vacuous) 만들 수 있습니다.

주요 기여

1. 표현: 모델-허용 레이블 클래스를 정형화하고 이의 지름이 허용-중첩 질량 $D^*_\tau$와 같음을 증명하였으며, 허용 클래스에 대한 타이트한 경계를 제시했습니다.
2. 맹목적 채널 값: 타겟-맹목적 감독이 데이터 독립적 전략에 의해 달성되는 샘플 크기 독립적인 미니맥스 하한 $D^*_\tau/2$(이진 중첩의 경우) 또는 $V^*_\tau$를 부과함을 증명했습니다.
3. 일관된 해석 브릿지: 점별 허용성이 전역적인 읽기 절(reading clauses)로 어떻게 전이되는지에 대한 조건을 도출하여, 점별 허용성과 의미론적 일관성 사이의 간극을 강조했습니다.
4. 인증: 라벨이 없는 데이터로부터 리스크 하한에 대한 일방향 신뢰 구간을 계산하는 알고-리즘을 개발하였으며, 확률이 노출된 경우와 샘플만 사용 가능한 경우를 구분하였습니다.

실험 결과
저자들은 고정된 Qwen 2.5–3B 모델에 대해 감사를 수행했습니다:

• 긍정적 인증: 특정 콘텐츠 모더레이션 프롬프트(P1)에 대한 감사 결과, 상당한 중첩 질량($\tau=0.20$에서 $D^*_\tau = 0.29$)이 발견되었으며, 이는 미니맥스 리스크 하한이 0.0838임을 인증했습니다. 이는 모델의 내재적 모호성으로 인해 무한한 데이터가 있더라도 최악의 에러를 이 임계값 아래로 줄일 수 없음을 나타냅니다.
• 제로 인증: 프롬프트의 패러프레이즈(P2)와 정확한 규칙 제어 태스크는 제로 인증을 보였습니다. P2는 단일 레이블로 수렴하였고(엔트로피 진단), 정확한 규칙은 모호함의 여지를 남기지 않았습니다.
• 전이 실패: 점별 미니맥스 값이 두 개의 후보 읽기 절로 전이되는지 테스트하는 "브릿지" 감사는 실패했습니다. 혼합 커버리지는 유리했으나, 해당 절들이 허용 조건을 위반(높은 위반율)했기 때문에, 양의 하한(positive floor)을 인증하지 못하는 느슨한 경계가 나타났습니다.
• 샘플링 한계: 얕은 깊이($r=3$)의 샘플링 디코딩 감사는 큰 유한-깊이 수정 항으로 인해 무의미한(zero) 인증을 냈으며, 이는 로우(raw) 확률에 접근할 수 없을 때 발생하는 비용을 보여줍니다.

의의 및 범위
본 논문은 현재 LLM 판사 진단에서 누락된 **의사결정론적 단계(decision-theoretic step)**를 제공한다고 주장합니다. 기존 연구가 판사의 편향, 보정(calibration) 또는 일치율에 집중하는 반면, NL-PAC는 명세-채널 쌍 자체에 의해 부과되는 불가피한 모호성을 정량화합니다.

• 주장의 겸손함: 저자들은 이 인증이 **모델 상대적(model-relative)**이며 감사된 튜플 $(LLM_\theta, \Pi, \tau, P)$에 특화되어 있다고 명시합니다. 이는 설계자의 의도된 타겟을 식별하거나 인간의 작업 모호성을 확립하는 것이 아닙니다. 양의 하한은 이 특정 채널이 모호성을 해결할 수 없음을 인증하는 것이지, 작업 자체가 인간에게 본질적으로 모호하다는 것을 의미하지 않습니다.
• 시사점: 양의 인증은 샘플 크기를 늘리거나 학습자를 개선하더라도 최악의 리스크를 줄일 수 없음을 의미합니다. 하한을 낮추는 유일한 방법은 정보 구조를 변경하는 것(예: 명세 구체화, 다른 모델 사용, 또는 읽기-공개적 감독 도입)뿐입니다.
• 한계: 이 보증은 타겟-맹목성에 의존하며, 허용 집합의 관찰 가능성을 전제로 합니다. 이를 코어런트(coherent)한 인간의 읽기로 확장하려면 읽기 풀(reading pool)의 커버리지와 허용성에 대한 외부 검증이 필요한데, 본 논문의 브릿지 감사는 이것이 쉽지 않은 과제임을 보여주었습니다.

요약하자면, NL-PAC는 LLM 매개 감독에서 학습 가능성의 "바닥(floor)"을 감사하는 엄격한 방법을 제공하며, 명세 모호성이 데이터 양과는 무관하게 성능에 영구적이고 인증 가능한 장벽을 만들 수 있음을 입증합니다.