NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision

Resumen Técnico: NL-PAC: Ambigüedad de la Especificación y Suelos de Riesgo Minimax Certificados en la Supervisión Mediada por LLM

Planteamiento del Problema
Los flujos de aprendizaje modernos dependen cada vez más de los Modelos de Lenguaje de Gran Escala (LLM) para proporcionar etiquetas, evaluaciones y retroalimentación para tareas especificadas en lenguaje natural. Surge un problema crítico cuando una especificación en lenguaje natural admite múltiples interpretaciones válidas (lecturas), pero el canal de supervisión (el LLM actuando como juez) adopta una interpretación sin revelar cuál de ellas es la operativa. Este régimen, denominado supervisión ciega al objetivo (target-blind supervision), crea un problema de identificación fundamental: las observaciones adicionales del mismo canal no resuelven la ambigüedad porque la ley de observación del canal es independiente del objetivo operativo.

A diferencia de la teoría clásica del aprendizaje estadístico, donde la especificación de la tarea y el canal de supervisión son distintos, los sistemas mediados por LLM colapsan esta separación. La tarea se define mediante una instrucción en lenguaje natural, y la señal de supervisión es producida por un modelo que interpreta esa misma instrucción. En consecuencia, el aprendiz se enfrenta a un suelo de riesgo irreducible causado no por el ruido estadístico o un presupuesto de corrupción, sino por la indistinguibilidad de las lecturas admisibles inherente a la decodificación de la instrucción por parte del modelo. El artículo se pregunta: ¿Cuánto riesgo minimax permanece cuando el canal que define los objetivos admisibles es también la única fuente de supervisión, y puede este suelo de riesgo certificarse a partir de entradas no etiquetadas?

Metodología: El Marco NL-PAC
Los autores introducen el Natural Language PAC (NL-PAC), un marco que formaliza la interacción entre un modelo fijo, un prompt y un umbral de decodificación para definir la geometría de las etiquetas admisibles.

1. Geometría Admisible del Modelo:

   • Para una descripción fija $f_{NL}$, un modelo $LLM_\theta$ y un umbral $\tau$, se define un conjunto de etiquetas admisibles $A_\tau(x)$ en cada entrada $x$, que contiene todas las etiquetas $y$ donde la probabilidad de decodificación del modelo $\pi(y|f_{NL}, x) \ge \tau$.
   • La masa de superposición admisible $D^*_\tau$ es la masa de probabilidad de las entradas donde $|A_\tau(x)| \ge 2$ (es decir, múltiples etiquetas son admisibles).
   • El marco define una clase de etiquetado admisible del modelo $F_{\tau, \zeta}$ (etiquetados admisibles en todos los conjuntos excepto en un conjunto de masa $\zeta$) y su núcleo $Sel_\tau$ (etiquetados admisibles casi en todas partes).
   • Se demuestra que el diámetro de este núcleo, $\text{diam}_P(Sel_\tau)$, es igual a $D^*_\tau$.

2. Ceguera al Objetivo y Suelos de Riesgo:

   • El canal de supervisión es ciego al objetivo si la ley de observación no depende del objetivo operativo. Bajo esta condición, el artículo demuestra que ningún aprendiz puede distinguir entre objetivos que inducen la misma ley de observación.
   • Suelo de Parejas: Para cualquier par de objetivos admisibles $f_1, f_2$ que discrepan en un conjunto de masa $D$, el riesgo minimax es al menos $D/2$, independientemente del tamaño de la muestra.
   • Valor Minimax Exacto: Sobre todo el núcleo admisible $Sel_\tau$, el riesgo minimax exacto es $V^*_\tau = \mathbb{E}_x[1 - 1/k(x)]$, donde $k(x)$ es el número de etiquetas admisibles en $x$. Este valor es alcanzado por un aprendiz aleatorio independiente de los datos que selecciona uniformemente del conjunto admisible en cada entrada.
   • Lecturas Coherentes: El artículo distingue entre selecciones admisibles puntuales y lecturas coherentes (interpretaciones globales definidas por cláusulas de lectura específicas). Establece un límite de "puente" (bridge bound) mostrando que el riesgo minimax sobre una familia finita de lecturas coherentes es cercano a $V^*_\tau$ solo si la familia satisface una condición de cobertura uniforme $\eta$ y una baja violación de admisibilidad.

3. Certificación de Muestra Finita:

   • Los autores construyen certificados de muestra finita para estas cantidades utilizando entradas no etiquetadas de la distribución de despliegue.
   • Probabilidades Expuestas: Si las probabilidades de decodificación del modelo son accesibles, la auditoría estima $D^*_\tau$ y $V^*_\tau$ directamente, proporcionando límites inferiores basados en Hoeffding para el suelo del riesgo minimax.
   • Decodificación por Muestreo: Si solo se dispone de salidas muestreadas, la auditoría utiliza un estimador plug-in. Esto introduce un término de margen de umbral ($\kappa(\xi)$) y un término de profundidad finita, que pueden hacer que el certificado sea vacuo si la profundidad de decodificación es insuficiente o si muchas entradas se encuentran cerca del umbral $\tau$.

Contribuciones Clave

1. Representación: Formalización de la clase de etiquetado admisible del modelo y demostración de que su diámetro es igual a la masa de superposición admisible $D^*_\tau$, con límites ajustados para clases de tolerancia.
2. Valor del Canal Ciego: Demostración de que la supervisión ciega al objetivo impone un suelo de riesgo independiente del tamaño de la muestra de $D^*_\tau/2$ (para superposición binaria) o $V^*_\tau$ (valor exacto), alcanzado por una estrategia independiente de los datos.
3. Puente de Lecturas Coherentes: Derivación de condiciones bajo las cuales el valor minimax puntual se transfiere a una familia finita de cláusulas de lectura global, resaltando la brecha entre la admisibilidad puntual y la coherencia semántica.
4. Certificación: Desarrollo de algoritmos para computar límites de confianza de un solo lado para el suelo del riesgo a partir de datos no etiquetados, distinguiendo entre casos donde las probabilidades están expuestas o donde solo hay muestras disponibles.

Resultados Empíricos
Los autores realizaron una auditoría en un modelo Qwen 2.5–3B congelado:

• Certificado Positivo: Para un prompt específico de moderación de contenido (P1), la auditoría encontró una masa de superposición significativa ($D^*_\tau = 0.29$ en $\tau=0.20$), certificando un suelo de riesgo minimax de 0.0838. Esto indica que, incluso con datos infinitos, el error en el peor de los casos no puede reducirse por debajo de este umbral debido a la ambigüedad inherente del modelo.
• Certificados Cero: Un parafraseo del prompt (P2) y tareas de control de reglas exactas arrojaron certificados cero. P2 colapsó a una sola etiqueta (diagnóstico de entropía) y las reglas exactas no dejaron lugar para la ambigüedad.
• Fallo de Transferencia: Una auditoría de "puente" para probar si el certificado puntual se transfiere a dos cláusulas de lectura candidatas suministradas falló. Aunque la cobertura de la mezcla era favorable, las cláusulas violaban la condición de admisibilidad (altas tasas de violación), lo que resultó en un límite laxo que no certificó la transferencia del suelo positivo.
• Límites de Muestreo: Una auditoría de decodificación muestreada con profundidad superficial ($r=3$) produjo certificados vacuos (cero) debido al gran término de corrección de profundidad finita, ilustrando el costo de no tener acceso a las probabilidades puras.

Significancia y Alcance
El artículo afirma proporcionar un paso decisionista que faltaba en los diagnósticos actuales de "LLM como juez". Mientras que el trabajo existente se centra en el sesgo del juez, la calibración o las tasas de acuerdo, NL-PAC cuantifica la ambigüedad irreducible impuesta por el par especificación-canal mismo.

• Modestia de las Reivindicaciones: Los autores declaran explícitamente que el certificado es relativo al modelo y específico al tupla auditada $(LLM_\theta, \Pi, \tau, P)$. No identifica el objetivo pretendido por el diseñador ni establece la ambigüedad de la tarea para los humanos. Un suelo positivo certifica que este canal específico no puede resolver la ambigüedad, no que la tarea sea inherentemente ambigua para los humanos.
• Implicaciones: Un certificado positivo implica que aumentar el tamaño de la muestra o mejorar el aprendiz no reducirá el riesgo en el peor de los casos; el único camino para reducir el suelo es cambiar la estructura de la información (por ejemplo, aclarar la especificación, usar un modelo diferente o introducir supervisión que revele la lectura).
• Limitaciones: La garantía depende de la ceguera al objetivo y de la observabilidad de los conjuntos admisibles. Extender la garantía a lecturas humanas coherentes requiere la validación externa de la cobertura del grupo de lecturas y su admisibilidad, un obstáculo que la auditoría de puente del artículo encontró como una tarea no trivial.

En resumen, NL-PAC proporciona un método riguroso para auditar el "suelo" de la capacidad de aprendizaje en la supervisión mediada por LLM, demostrando que la ambigüedad de la especificación puede crear barreras permanentes y certificables al rendimiento que son independientes del volumen de datos.