NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision

Technische Samenvatting: NL-PAC: Specificatie-ambiguïteit en Gecertificeerde Minimax Risicovloeren in LLM-gemedieerde Supervisie

Probleemstelling
Moderne leerpijplijnen vertrouwen steeds vaker op Large Language Models (LLMs) om labels, evaluaties en feedback te leveren voor taken die in natuurlijke taal zijn gespecificeerd. Een kritisch probleem ontstaat wanneer een specificatie in natuurlijke taal meerdere geldige interpretaties (lezingen) toelaat, maar het supervisiekanaal (de LLM die optreedt als rechter) één interpretatie adopteert zonder te onthullen welke interpretatie operationeel is. Dit regime, getypeerd als target-blind supervisie, creëert een fundamenteel identificatieprobleem: aanvullende observaties vanuit hetzelfde kanaal lossen de ambiguïteit niet op, omdat de observatiewet van het kanaal onafhankelijk is van de operationele target.

In tegen tegenstelling tot de klassieke statistische leertheorie, waarbij de taakspecificatie en het supervisiekanaal afzonderlijk zijn, laten LLM-gemedieerde systemen deze scheiding vervallen. De taak wordt gedefinieerd door een instructie in natuurlijke taal, en het supervisiesignaal wordt geproduceerd door een model dat diezelfde instructie interpreteert. Bijgevolg staat de leerder voor een onherleidbaar risicovloer, veroorzaakt niet door statistische ruis of een corruptiebudget, maar door de ononderscheidbaarheid van toelaatbare lezingen die inherent is aan de decodering van de prompt door het model. De paper stelt de vraag: hoeveel minimax risico blijft er over wanneer het kanaal dat de toelaatbare targets definieert ook de enige bron van supervisie is, en kan dit risicovloer worden gecertificeerd vanaf ongelabelde inputs?

Methodologie: Het NL-PAC Framework
De auteurs introduceren Natural Language PAC (NL-PAC), een framework dat de interactie tussen een vast model, een prompt en een decimeringstreshold formaliseert om de geometrie van toelaatbare labels te definiëren.

1. Model-Toelaatbare Geometrie:

   • Voor een vaste beschrijving $f_{NL}$, model $LLM_\theta$, en drempelwaarde $\tau$, wordt een toelaatbare labelset $A_\tau(x)$ gedefinieerd bij elke input $x$, die alle labels $y$ bevat waar de decoderingskans $\pi(y|f_{NL}, x) \ge \tau$ geldt.
   • De toelaatbare-overlap massa $D^*_\tau$ is de waarschijnlijkheidsmassa van inputs waar $|A_\tau(x)| \ge 2$ (d.w.z. meerdere labels zijn toelaatbaar).
   • Het framework definieert een model-toelaatbare labelklasse $F_{\tau, \zeta}$ (labelingen die toelaatbaar zijn op alle uitzondering van een $\zeta$-massa set) en haar kern $Sel_\tau$ (bijna-overal toelaatbare labelingen).
   • De diameter van deze kern, $\text{diam}_P(Sel_\tau)$, is aangetoond gelijk te zijn aan $D^*_\tau$.

2. Target-Blindheid en Risicovloeren:

   • Het supervisiekanaal is target-blind als de observatiewet niet afhankelijk is van de operationele target. Onder deze voorwaarde bewijst de paper dat geen enkele leerder onderscheid kan maken tussen targets die dezelfde observatiewet induceren.
   • Paarsgewijze Vloer: Voor elke twee toelaatbare targets $f_1, f_2$ die verschillen op een verzameling met massa $D$, is het minimax risico ten minste $D/2$, ongeacht de steekproefomvang.
   • Exacte Minimax Waarde: Over de gehele toelaatbare kern $Sel_\tau$ is het exacte minimax risico $V^*_\tau = \mathbb{E}_x[1 - 1/k(x)]$, waarbij $k(x)$ het aantal toelaatbare labels bij $x$ is. Deze waarde wordt bereikt door een data-onafhankelijke gerandomiseerde leerder die bij elke input uniform selecteert uit de toelaatbare set.
   • Coherente Lezingen: De paper maakt onderscheid tussen puntgewijze toelaatbare selecties en coherente lezingen (globale interpretaties gedefinieerd door specifieke leesclausules). Het stelt een "brug"-begrenzing vast waarbij het minimax risico over een eindige familie van coherente lezingen dicht bij $V^*_\tau$ ligt, mits de familie voldoet aan een $\eta$-uniforme dekking en een lage toelaatbaarheidsschending.

3. Eindige-Steekproef Certificering:

   • De paper construeert eindige-steekproef certificaten voor deze grootheden met behulp van gehouden-out ongelabelde inputs uit de deployment-distributie.
   • Geëxposeerde Waarschijnlijkheden: Als de decoderingswaarschijnlijkheden toegankelijk zijn, schat de audit $D^*_\tau$ en $V^*_\tau$ direct in, wat Hoeffding-gebaseerde ondergrenzen biedt voor het minimax risicovloer.
   • Gesamplede Decodering: Als alleen gesamplede outputs beschikbaar zijn, gebruikt de audit een plug-in estimator. Dit introduceert een threshold-marge term ($\kappa(\xi)$) en een finite-depth foutterm, wat het certificaat triviaal (vacuüm) kan maken als de decoderingsdiepte onvoldoend is of als veel inputs nabij de drempel $\tau$ liggen.

Belangrijkste Bijdragen

1. Representatie: Het formaliseren van de model-toelaatbare labelklasse en het bewijzen dat de diameter gelijk is aan de toelaatbare-overlap massa $D^*_\tau$, inclusioneel strikte grenzen voor tolerantieklassen.
2. Blind-Kanaal Waarde: Bewijzen dat target-blind supervisie een steekproefomvang-onafhankelijke minimax vloer van $D^*_\tau/2$ (voor binaire overlap) of $V^*_\tau$ (exacte waarde) oplegt, bereikt door een data-onafhankelijke strategie.
3. Coherente Lezingen Brug: Het afleiden van condities waaronder de puntgewijze minimax waarde overdraagt naar een eindige familie van globale leesclausules, waarbij het verschil tussen puntgewijze toelaatbaarheid en semantische coherentie wordt benadrukt.
4. Certificering: Het ontwikkelen van algoritmen om éénzijdige betrouwbaarheidsgrenzen voor het risicovloer te berekenen vanaf ongelabelde data, waarbij onderscheid wordt gemaakt tussen gevallen waarin waarschijnlijkheden geëxposeerd zijn versus gevallen waarin alleen samples beschikbaar zijn.

Empirische Resultaten
De auteurs voerden een audit uit op een bevroren Qwen 2.5–3B model:

• Positief Certificaat: Voor een specifieke content moderatie prompt (P1) vond de audit een significante overlap massa ($D^*_\tau = 0,29$ bij $\tau=0,20$), waarmee een minimax risicovloer van 0,0838 werd gecertificeerd. Dit geeft aan dat zelfs met oneindige data de slechtst denkbare fout niet onder deze drempel gereduceerd kan worden vanwege de inherente ambiguïteit van het model.
• Nul-Certificaten: Een parafrase van de prompt (P2) en exacte-regel controle-taken leverden nul-certificaten op. P2 stortte in tot een enkel label (entropie-diagnostiek), terwijl de exacte regels geen ruimte lieten voor ambiguïteit.
• Transfer Falen: Een "brug"-audit die testte of het puntgewijze certificaat overdraagt naar twee aangeleverde kandidaat leesclausules faalde. Hoewel de mengeling-dekking gunstig was, overtraden de clausules de toelaatbaarheidsconditie (hoge scheidingspercentages), wat resulteerde in een zwakke grens die de transfer van de positieve vloer niet kon certificeren.
• Sampling Limieten: Een sampled-decoding audit met een geringe diepte ($r=3$) leverde vacuüm (nul) certificaten op door de grote finite-depth correctieterm, wat de kosten illustreert van het niet hebben van toegang tot de ruwe waarschijnlijkheden.

Betekenis en Reikwijdte
De paper beweert een besluitvormings-theoretische stap te bieden die ontbrak in huidige LLM-als-rechter diagnostieken. Terwijl bestaand werk zich richt op judge bias, kalibratie of overeenstemmingspercentages, kwantificeert NL-PAC de onheridbare ambiguïteit die door de combinatie van specificatie en kanaal zelf wordt opgelegd.

• Bescheidenheid van Claims: De auteurs stellen expliciet dat het certificaat model-relatief is en specif kind aan de geauditeerde tuple $(LLM_\theta, \Pi, \tau, P)$. Het identificeert niet de beoogde target van de ontwerper noch stelt het de menselijke taak-ambiguïteit vast. Een positieve vloer certificeert dat dit specifieke kanaal de ambiguïteit niet kan oplossen, niet dat de taak inherent ambigu is voor mensen.
• Implicaties: Een positief certificaat impliceert dat het vergroten van de steekproefomvang of het verbeteren van de leerder het slechtst denkbare risico niet zal verminderen; de enige weg om de vloer te verlagen is het veranderen van de informatie-structuur (bijv. de specificatie verduidelijken, een ander model gebruiken, of lees-onthullende supervisie introduceren).
• Beperkingen: De garantie rust op target-blindness en de observeerbaarheid van toelaatbare sets. Het uitbreiden van de garantie naar coherente menselijke lezingen vereist externe validatie van de dekking van de leespool en de toelaatbaarheid, wat de brug-audit van de paper als een niet-triviale hindernis aan het licht bracht.

Samenvattend biedt NL-PAC een rigoureuze methode om de "vloer" van leerbaarheid te auditeren in LLM-gemedieerde supervisie, waarbij wordt aangetoond dat specificatie-ambiguïteit permanente, certificeerbare barrières voor prestaties kan creëren die onafhankelijk zijn van de hoeveelheid data.