NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision

Resumo Técnico: NL-PAC: Ambiguidade de Especificação e Pisos de Risco Minimax Certificados em Supervisão Mediada por LLMs

Enunciado do Problema
Os modernos pipelines de aprendizado dependem cada vez mais de Grandes Modelos de Linguagem (LLMs) para fornecer rótulos, avaliações e feedback para tarefas especificadas em linguagem natural. Um problema crítico surge quando uma especificação em linguagem natural admite múltiplas interpretações válidas (leituras), mas o canal de supervisão (o LLM atuando como juiz) adota uma interpretação sem revelar qual delas está operativa. Este regime, denominado supervisão cega ao alvo (target-blind supervision), cria um problema de identificação fundamental: observações adicionais do mesmo canal não resolvem a ambiguidade porque a lei de observação do canal é independente do alvo operativo.

Ao contrário da teoria clássica do aprendizado estatístico, onde a especificação da tarefa e o canal de supervisão são distintos, os sistemas mediados por LLM colapsam essa separação. A tarefa é definida por uma instrução em linguagem natural, e o sinal de supervisão é produzido por um modelo que interpreta essa mesma instrução. Consequentemente, o aprendiz enfrenta um piso de risco irredutível causado não pelo ruído estatístico ou por um orçamento de corrupção, mas pela indistinguibilidade de leituras admissíveis inerente à decodificação do prompt pelo modelo. O artigo questiona: quanto risco minimax permanece quando o canal que define os alvos admissíveis é também a única fonte de supervisão, e pode este piso de risco ser certificado a partir de entradas não rotuladas?

Metodologia: O Framework NL-PAC
Os autores introduzem o Natural Language PAC (NL-PAC), um framework que formaliza a interação entre um modelo fixo, um prompt e um limiar de decodificação para definir a geometria dos rótulos admissíveis.

1. Geometria Admissível do Modelo:

   • Para uma descrição fixa $f_{NL}$, um modelo $LLM_\theta$ e um limiar $\tau$, um conjunto de rótulos admissíveis $A_\tau(x)$ é definido em cada entrada $x$ contendo todos os rótulos $y$ onde a probabilidade de decodificação do modelo $\pi(y|f_{NL}, x) \ge \tau$.
   • A massa de sobreposição admissível $D^*_\tau$ é a massa de probabilidade das entradas onde $|A_\tau(x)| \ge 2$ (ou seja, múltiplos rótulos são admissíveis).
   • O framework define uma classe de rotulagem admissível do modelo $F_{\tau, \zeta}$ (rotulações admissíveis em todos os conjuntos exceto um conjunto de massa $\zeta$) e seu núcleo $Sel_\tau$ (rotulações admissíveis quase em toda parte).
   • O diâmetro deste núcleo, $\text{diam}_P(Sel_\tau)$, é mostrado como sendo igual a $D^*_\tau$.

2. Cegueira ao Alvo e Pisos de Risco:

   • O canal de supervisão é cego ao alvo se a lei de observação não depender do alvo operativo. Sob esta condição, o artigo prova que nenhum aprendiz pode distinguir entre alvos que induzem a mesma lei de observação.
   • Piso Pareado: Para quaisquer dois alvos admissíveis $f_1, f_2$ que discordam em um conjunto de massa $D$, o risco minimax é pelo menos $D/2$, independentemente do tamanho da amostra.
   • Valor Minimax Exato: Sobre todo o núcleo admissível $Sel_\tau$, o risco minimax exato é $V^*_\tau = \mathbb{E}_x[1 - 1/k(x)]$, onde $k(x)$ é o número de rótulos admissíveis em $x$. Este valor é alcançado por um aprendiz aleatório independente de dados que seleciona uniformemente do conjunto admissível em cada entrada.
   • Leituras Coerentes: O artigo distingue entre seleções admissíveis pontuais e leituras coerentes (interpretações globais definidas por cláusulas de leitura específicas). Estabelece-se um limite de "ponte" (bridge bound) mostrando que o risco minimax sobre uma família finita de leituras coerentes é próximo de $V^*_\tau$ apenas se a família satisfizer uma condição de cobertura $\eta$-uniforme e baixa violação de admissibilidade.

3. Certificação de Amostra Finita:

   • O artigo constrói certificados de amostra finita para estas quantidades usando entradas não rotuladas mantidas (held-out) da distribuição de implantação.
   • Probabilidades Expostas: Se as probabilidades de decodificação do modelo forem acessíveis, a auditoria estima $D^*_\tau$ e $V^*_\tau$ diretamente, fornecendo limites inferiores baseados em Hoeffding para o piso de risco minimax.
   • Decodificação por Amostragem: Se apenas saídas amostradas estiverem disponíveis, a auditoria utiliza um estimador plug-in. Isso introduz um termo de margem de limiar ($\kappa(\xi)$) e um termo de profundidade finita, que pode tornar o certificado vago se a profundidade de decodificação for insuficiente ou se muitas entradas estiverem próximas do limiar $\tau$.

Principais Contribuições

1. Representação: Formalizar a classe de rotulagem admissível do modelo e provar que seu diâmetro é igual à massa de sobreposição admissível $D^*_\tau$, com limites estreitos para classes de tolerância.
2. Valor do Canal Cego: Provar que a supervisão cega ao alvo impõe um piso de risco minimax independente do tamanho da amostra de $D^*_\tau/2$ (para sobreposição binária) ou $V^*_\tau$ (valor exato), alcançado por uma estratégia independente de dados.
3. Ponte de Leituras Coerentes: Derivar condições sob as quais o valor minimax pontual se transfere para uma família finita de cláusulas de leitura globais, destacando a lacuna entre a admissibilidade pontual e a coerência semântica.
4. Certificação: Desenvolver algoritmos para computar limites de confiança unilaterais para o piso de risco a partir de dados não rotulados, distinguindo casos onde as probabilidades são expostas versus quando apenas amostras estão disponíveis.

Resultados Empíricos
Os autores realizaram uma auditoria em um modelo Qwen 2.5–3B congelado:

• Certificado Positivo: Para um prompt específico de moderação de conteúdo (P1), a auditoria encontrou uma sobreposição de massa significativa ($D^*_\tau = 0,29$ em $\tau=0,20$), certificando um piso de risco minimax de 0,0838. Isso indica que, mesmo com dados infinitos, o erro de pior caso não pode ser reduzido abaixo deste limiar devido à ambiguidade inerente do modelo.
• Certificados Zero: Uma paráfrase do prompt (P2) e tarefas de controle de regras exatas produziram certificados zero. P2 colapsou para um único rótulo (diagnóstico de entropia), enquanto as regras exatas não deixaram espaço para ambiguidade.
• Falha de Transferência: Uma auditoria de "ponte" testando se o certificado pontual se transfere para duas cláusulas de leitura candidatas fornecidas falhou. Embora a cobertura de mistura fosse favorável, as cláusulas violaram a condição de admissibilidade (altas taxas de violação), resultando em um limite frouxo que não certificou a transferência do piso positivo.
• Limites de Amostragem: Uma auditoria de decodificação por amostragem com profundidade rasa ($r=3$) gerou certificados vazios (zero) devido ao grande termo de correção de profundidade finita, ilustrando o custo de não ter acesso às probabilidades brutas.

Significância e Escopo
O artigo afirma fornecer um passo decision-teórico ausente nos diagnósticos atuais de "LLM-as-a-judge". Enquanto o trabalho existente foca em viés do juiz, calibração ou taxas de concordância, o NL-PAC quantifica a ambiguidade irredutível imposta pelo par especificação-canal.

• Modéstia das Alegações: Os autores afirmam explicitamente que o certificado é relativo ao modelo e específico para a tupla auditada $(LLM_\theta, \Pi, \tau, P)$. Ele não identifica o alvo pretendido pelo designer nem estabelece a ambiguidade da tarefa para humanos. Um piso positivo certifica que este canal específico não consegue resolver a ambiguidade, não que a tarefa é inerentemente ambígua para humanos.
• Implicações: Um certificado positivo implica que aumentar o tamanho da amostra ou melhorar o aprendiz não reduzirá o risco de pior caso; o único caminho para reduzir o piso é mudar a estrutura de informação (ex: esclarecer a especificação, usar um modelo diferente ou introduzir supervisão que revele a leitura).
• Limitações: A garantia depende da cegueira ao alvo e da observabilidade dos conjuntos admissíveis. Estender a garantia para leituras humanas coerentes requer validação externa da cobertura do pool de leituras e da admissibilidade, o que a auditoria de ponte do artigo mostrou ser um obstáculo não trivial.

Em resumo, o NL-PAC fornece um método rigoroso para auditar o "piso" de aprendibilidade na supervisão mediada por LLM, demonstrando que a ambiguidade da especificação pode criar barreiras permanentes e certificáveis ao desempenho, que são independentes do volume de dados.