NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision

Résumé Technique : NL-PAC : Ambiguïté de Spécification et Planchers de Risque Minimax Certifiés dans la Supervision Médiée par les LLM

Énoncé du Problème
Les pipelines d'apprentissage modernes s'appuient de plus en plus sur des modèles de langage de grande taille (LLM) pour fournir des étiquettes, des évaluations et des retours pour des tâches spécifiées en langage naturel. Un problème critique surgit lorsqu'une spécification en langage naturel admet plusieurs interprétations valides (lectures), mais que le canal de supervision (le LLM agissant comme juge) adopte une interprétation sans révéler laquelle est opérative. Ce régime, nommé supervision aveugle à la cible (target-blind supervision), crée un problème d'identification fondamental : des observations supplémentaires provenant du même canal ne résolvent pas l'ambiguïté car la loi d'observation du canal est indépendante de la cible opérative.

Contrairement à la théorie classique de l'apprentissage statistique, où la spécification de la tâche et le canal de supervision sont distincts, les systèmes médiés par les LLM provoquent l'effondrement de cette séparation. La tâche est définie par une instruction en langage naturel, et le signal de supervision est produit par un modèle interprétant cette même instruction. Par conséquent, l'apprenant fait face à un plancher de risque irréductible qui n'est pas causé par le bruit statistique ou un budget de corruption, mais par l'indistinguabilité des lectures admissibles inhérente au décodage du prompt par le modèle. La question posée est : quel est le risque minimax résiduel lorsque le canal définissant les cibles admissibles est aussi la seule source de supervision, et ce plancher de risque peut-il être certifié à partir d'entrées non étiquetées ?

Méthodologie : Le Cadre NL-PAC
Les auteurs introduisent le Natural Language PAC (NL-PAC), un cadre qui formalise l'interaction entre un modèle fixe, un prompt et un seuil de décodage pour définir la géométrie des étiquettes admissibles.

1. Géométrie Admissible du Modèle :

   • Pour une description $f_{NL}$ fixe, un $LLM_\theta$ et un seuil $\tau$, un ensemble d'étiquettes admissibles $A_\tau(x)$ est défini à chaque entrée $x$, contenant tous les labels $y$ où la probabilité de décodage du modèle $\pi(y|f_{NL}, x) \ge \tau$.
   • La masse de chevauchement admissible $D^*_\tau$ est la masse de probabilité des entrées où $|A_\tau(x)| \ge 2$ (c'est-à-dire où plusieurs étiquettes sont admissibles).
   • Le cadre définit une classe d'étiquetage admissible au modèle $F_{\tau, \zeta}$ (étiquetages admissibles sur une masse de $\zeta$ sauf sur un ensemble de mesure $\zeta$) et son noyau $Sel_\tau$ (étiquetages admissibles presque partout).
   • Le diamètre de ce noyau, $\text{diam}_P(Sel_\tau)$, est démontré comme étant égal à $D^*_\tau$.

2. Aveuglement à la Cible et Planchers de Risque :

   • Le canal de supervision est aveugle à la cible si la loi d'observation ne dépend pas de la cible opérative. Sous cette condition, le papier prouve qu'aucun apprenant ne peut distinguer les cibles qui induisent la même loi d'observation.
   • Plancher Pair : Pour toute paire de cibles admissibles $f_1, f_2$ qui divergent sur un ensemble de masse $D$, le risque minimax est au moins de $D/2$, quel que soit la taille de l'échantillon.
   • Valeur Minimax Exacte : Sur l'ensemble du noyau admissible $Sel_\tau$, le risque minimax exact est $V^*_\tau = \mathbb{E}_x[1 - 1/k(x)]$, où $k(x)$ est le nombre d'étiquettes admissibles à $x$. Cette valeur est atteinte par un apprenant aléatoire indépendant des données qui sélectionne uniformément parmi l'ensemble admissible à chaque entrée.
   • Lectures Cohérentes : Le papier distingue les sélections admissibles par point des lectures cohérentes (interprétations globales définies par des clauses de lecture spécifiques). Il établit une borne de "pont" montrant que le risque minimax sur une famille finie de lectures cohérentes est proche de $V^*_\tau$ uniquement si la famille satisfait une condition de couverture uniforme $\eta$ et une faible violation d'admissibilité.

3. Certification par Échantillons Finis :

   • Le papier construit des certificats d'échantillons finis pour ces quantités en utilisant des entrées non étiquetées maintenues en réserve de la distribution de déploiement.
   • Probabilités Exposées : Si les probabilités de décodage du modèle sont accessibles, l'audit estime directement $D^*_\tau$ et $V^*_\tau$, fournissant des bornes inférieures basées sur Hoeffding pour le plancher du risque minimax.
   • Échantillonnage de Décodage : Si seules les sorties échantillonnées sont disponibles, l'audit utilise un estimateur de type "plug-in". Cela introduit un terme de marge de seuil ($\kappa(\xi)$) et un terme d'erreur de profondeur finie, ce qui peut rendre le certificat vain si la profondeur de décodage est insuffisante ou si de nombreuses entrées se situent près du seuil $\tau$.

Contributions Clés

1. Représentation : Formalisation de la classe d'étiquetage admissible au modèle et preuve que son diamètre est égal à la masse de chevauchement admissible $D^*_\tau$, avec des bornes serrées pour les classes de tolérance.
2. Valeur du Canal Aveugle : Preuve que la supervision aveugle à la cible impose un plancher de risque minimax indépendant de la taille de l'échantillon de $D^*_\tau/2$ (pour le chevauchement binaire) ou $V^*_\tau$ (valeur exacte), atteint par une stratégie indépendante des données.
3. Pont des Lectures Cohérentes : Dérivation des conditions sous lesquelles la valeur minimax ponctuelle se transfère à une famille finie de clauses de lecture globale, soulignant l'écart entre l'admissibilité ponctuelle et la cohérence sémantique.
4. Certification : Développement d'algorithmes pour calculer des bornes de confiance unilatérales pour le plancher de risque à partir de données non étiquetées, en distinguant les cas où les probabilités sont exposées des cas où seuls des échantillons sont disponibles.

Résultats Empiriques
Les auteurs ont mené un audit sur un modèle figé Qwen 2.5–3B :

• Certificat Positif : Pour un prompt spécifique de modération de contenu (P1), l'audit a trouvé une masse de chevauchement significative ($D^*_\tau = 0,29$ à $\tau=0,20$), certifiant un plancher de risque minimax de 0,0838. Cela indique que même avec des données infinies, l'erreur dans le pire des cas ne peut être réduite en dessous de ce seuil en raison de l'ambiguïté inhérente du modèle.
• Certificats Nuls : Un paraphrase du prompt (P2) et des tâches de contrôle de règles exactes ont produit des certificats nuls. P2 s'est effondré sur un label unique (diagnostic d'entropie), tandis que les règles exactes n'ont laissé aucune place à l'ambiguïté.
• Échec de Transfert : Un audit de "pont" testant si le certificat ponctuel se transfère à deux clauses de lecture candidates fournies a échoué. Bien que la couverture du mélange soit favorable, les clauses violaient la condition d'admissibilité (taux de violation élevés), entraînant une borne lâche qui n'a pas certifié le transfert du plancher positif.
• Limites de l'Échantillonnage : Un audit de décodage échantillonné avec une faible profondeur ($r=3$) a produit des certificats nuls (vacues) en raison du grand terme de correction de profondeur finie, illustrant le coût de ne pas avoir accès aux probabilités brutes.

Signification et Portée
Le papier affirme fournir une étape décisionnelle manquante aux diagnostics actuels de "LLM-as-a-judge". Alors que les travaux existants se concentrent sur le biais du juge, la calibration ou les taux d'accord, NL-PAC quantifie l'ambiguïté irréductible imposée par le couple spécification-canal lui-même.

• Modestie des Revendications : Les auteurs précisent explicitement que le certificat est relatif au modèle et spécifique au tuple audité $(LLM_\theta, \Pi, \tau, P)$. Il n'identifie pas la cible voulue par le concepteur ni n'établit l'ambiguïté de la tâche pour l'humain. Un plancher positif certifie que ce canal spécifique ne peut pas résoudre l'ambiguïté, et non que la tâche est intrinsèquement ambiguë pour les humains.
• Implications : Un certificat positif implique qu'augmenter la taille de l'échantillon ou améliorer l'apprenant ne réduira pas le risque dans le pire des cas ; la seule voie pour abaisser le plancher est de changer la structure de l'information (par exemple, clarifier la spécification, utiliser un modèle différent ou introduire une supervision révélant la lecture).
• Limites : La garantie repose sur l'aveuglement à la cible et l'observabilité des ensembles admissibles. Étendre cette garantie aux lectures humaines cohérentes nécessite une validation externe de la couverture du pool de lectures et de leur admissibilité, ce que l'audit de pont du papier a montré être un obstacle non trivial.

En résumé, NL-PAC fournit une méthode rigoureuse pour auditer le "plancher" d'apprentissageabilité dans la supervision médiée par les LLM, démontant que l'ambiguïté de la spécification peut créer des barrières de performance permanentes et certifiables, indépendantes du volume de données.