NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision

Sintesi Tecnica: NL-PAC: Ambiguità della Specifica e Minimi di Rischio Minimax Certificati nella Supervisione Mediata da LLM

Enunciato del Problema
Le moderne pipeline di apprendimento si affidano sempre più a Large Language Models (LLM) per fornire etichette, valutazioni e feedback per compiti specificati in linguaggio naturale. Un problema critico sorge quando una specifica in linguaggio naturale ammette molteplici interpretazioni valide (letture), ma il canale di supervisione (l'LLM che agisce come giudice) adotta un'interpretazione senza rivelare quale sia quella operativa. Questo regime, denominato supervisione target-blind (cieca rispetto al target), crea un problema fondamentale di identificazione: osservazioni aggiuntive dallo stesso canale non risolvono l'ambiguità perché la legge di osservazione del canale è indipendente dal target operativo.

A differenza della classica teoria statistica dell'apprendimento, dove la specifica del compito e il canale di supervisione sono distinti, i sistemi mediati da LLM collassano questa separazione. Il compito è definito da un'istruzione in linguaggio naturale, e il segnale di supervisione è prodotto da un modello che interpreta la stessa istruzione. Di conseguenza, l'apprendista affronta un limite di rischio (risk floor) irreducibile causato non dal rumore statistico o da un budget di corruzione, ma dall'indistinguibilità delle letture ammissibili inerente alla decodifica del prompt da parte del modello. Il paper si pone la domanda: quanto rischio minimax rimane quando il canale che definisce i target ammissibili è anche l'unica fonte di supervisione, e questo limite di rischio può essere certificato da input non etichettati?

Metodologia: Il Framework NL-PAC
Gli autori introducono il Natural Language PAC (NL-PAC), un framework che formalizza l'interazione tra un modello fisso, un prompt e una soglia di decodifica per definire la geometria delle etichette ammissibili.

1. Geometria Ammissibile al Modello:

   • Per una descrizione fissa $f_{NL}$, un modello $LLM_\theta$ e una soglia $\tau$, un insieme di etichette ammissibili $A_\tau(x)$ è definito per ogni input $x$ contenente tutti i label $y$ dove la probabilità di decodifica del modello $\pi(y|f_{NL}, x) \ge \tau$.
   • La massa di sovrapposizione ammissibile $D^*_\tau$ è la massa di probabilità degli input dove $|A_\tau(x)| \ge 2$ (ovvero, più etichette sono ammissibili).
   • Il framework definisce una classe di etichettatura ammissibile al modello $F_{\tau, \zeta}$ (etichettature ammissibili su tutti i set tranne una massa $\zeta$) e il suo core $Sel_\tau$ (etichettature ammissibili quasi ovunque).
   • Il diametro di questo core, $\text{diam}_P(Sel_\tau)$, è dimostrato essere uguale a $D^*_\tau$.

2. Target-Blindness e Limiti di Rischio:

   • Il canale di supervisione è target-blind se la legge di osservazione non dipende dal target operativo. Sotto questa condizione, il paper dimostra che nessun apprendista può distinguere tra target che inducono la stessa legge di osservazione.
   • Floor di Coppia: Per qualsiasi coppia di target ammissibili $f_1, f_2$ che differiscono su un insieme di massa $D$, il rischio minimax è almeno $D/2$, indipendentemente dalla dimensione del campione.
   • Valore Minimax Esatto: Su tutto il core ammissibile $Sel_\tau$, il valore minimax esatto è $V^*_\tau = \mathbb{E}_x[1 - 1/k(x)]$, dove $k(x)$ è il numero di etichette ammissibili in $x$. Questo valore è raggiunto da un apprendista randomizzato indipendente dai dati che seleziona uniformemente dall'insieme ammissibile in ogni input.
   • Letture Coerenti: Il paper distingue tra selezioni ammissibili puntuali e letture coerenti (interpretazioni globali definite da clausole di lettura specifiche). Stabilisce un limite di "ponte" (bridge bound) mostrando che il rischio minimax su una famiglia finita di letture coerenti è vicino a $V^*_\tau$ solo se la famiglia soddisfa una condizione di copertura $\eta$-uniforme e una bassa violazione di ammissibilità.

3. Certificazione a Campione Finito:

   • Il paper costruisce certificati a campione finito per queste quantità utilizzando input non etichettati provenienti dalla distribuzione di deployment.
   • Probabilità Esposte: Se le probabilità di decodifica del modello sono accessibili, l'audit stima $D^*_\tau$ e $V^*_\tau$ direttamente, fornendo limiti inferiori basati su Hoeffding per il rischio minimax.
   • Decodifica per Campionamento: Se sono disponibili solo output campionati, l'audit utilizza un estimatore plug-in. Ciò introduce un termine di margine di soglia ($\kappa(\xi)$) e un termine di profondità finita, che possono rendere il certificato vacuo se la profondità di decodifica è insufficiente o se molti input si trovano vicino alla soglia $\tau$.

Contributi Chiave

1. Rappresentazione: Formalizzare la classe di etichettatura ammissibile al modello e dimostrare che il suo diametro è uguale alla massa di sovrapposizione ammissibile $D^*_\tau$, con limiti stretti per le classi di tolleranza.
2. Valore del Canale Cieco: Dimostrare che la supervisione target-blind impone un limite di rischio minimax indipendente dalla dimensione del campione di $D^*_\tau/2$ (per la sovrapposizione binaria) o $V^*_\tau$ (valore esatto), raggiunto da una strategia indipendente dai dati.
3. Bridge delle Letture Coerenti: Derivare le condizioni sotto le quali il valore minimax puntuale si trasferisce a una famiglia finita di clausole di lettura globale, evidenziando il divario tra ammissibilità puntuale e coerenza semantica.
4. Certificazione: Sviluppare algoritmi per calcolare limiti di confidenza unilaterali per il limite di rischio partendo da dati non etichettati, distinguendo tra i casi in cui le probabilità sono esposte rispetto a quando sono disponibili solo campioni.

Risultati Empirici
Gli autori hanno condotto un audit su un modello Qwen 2.5–3B congelato:

• Certificato Positivo: Per un prompt specifico di moderazione dei contenuti (P1), l'audit ha trovato una massa di sovrapposizione significativa ($D^*_\tau = 0,29$ a $\tau=0,20$), certificando un limite di rischio minimax di 0,0838. Ciò indica che, anche con dati infiniti, l'errore nel caso peggiore non può scendere sotto questa soglia a causa dell'ambiguità intrinseca del modello.
• Certificati Zero: Una parafrasi del prompt (P2) e compiti di controllo a regole esatte hanno prodotto certificati nulli. P2 è collassato in un'unica etichetta (diagnostica dell'entropia), mentre le regole esatte non lasciavano spazio all'ambiguità.
• Fallimento del Transfer: Un audit di "ponte" per testare se il certificato puntuale si trasferisse a due clausole di lettura globale fornite è fallito. Sebbene la copertura del mix fosse favorevole, le clausole violavano la condizione di ammissibilità (alti tassi di violazione), risultando in un limite debole che non ha certificato il trasferimento del limite positivo.
• Limiti del Campionamento: Un audit di decodifica campionata con profondità ridotta ($r=3$) ha prodotto certificati vacui (zero) a causa del grande termine di correzione della profondità finita, illustrando il costo del non avere accesso alle probabilità grezze.

Significato e Ambito
Il paper sostiene di fornire un passo decisionale mancante nelle diagnostiche attuali di "LLM-as-a-judge". Mentre il lavoro esistente si concentra sul bias del giudice, sulla calibrazione o sui tassi di accordo, NL-PAC quantifica l'ambiguità irreducibile imposta dalla coppia specifica-canale stessa.

• Modestia delle Rivendicazioni: Gli autori dichiarano esplicitamente che il certificato è relativo al modello e specifico per la tupla auditata $(LLM_\theta, \Pi, \tau, P)$. Non identifica il target inteso dal progettista né stabilisce l'ambiguità del compito per gli umani. Un limite positivo certifica che questo specifico canale non può risolvere l'ambiguità, non che il compito sia intrinsecamente ambiguo per gli esseri umani.
• Implicazioni: Un certificato positivo implica che aumentare la dimensione del campione o migliorare l'apprendista non ridurrà il rischio nel caso peggiore; l'unico modo per abbassare il limite è cambiare la struttura informativa (ad esempio, chiarire la specifica, usare un modello diverso o introdurre una supervisione che riveli la lettura).
• Limitazioni: La garanzia si basa sulla target-blindness e sull'osservabilità degli insiemi ammissibili. Estendere la garanzia a letture umane coerenti richiede la validazione esterna della copertura del pool di letture e della loro ammissibilità, un ostacolo che l'audit di ponte del paper ha trovato essere non banale.

In sintesi, NL-PAC fornisce un metodo rigoroso per auditare il "pavimento" dell'apprendibilità nella supervisione mediata da LLM, dimostrando che l'ambiguità della specifica può creare barriere permanenti e certificabili alle prestazioni, indipendenti dal volume di dati.