Résumé technique : KBF – Frontière des connaissances comme empreinte digitale pour l'audit des modèles linguistiques et des API boîte noire

1. Formulation du problème

L'article aborde le « problème de confiance » inhérent à l'écosystème croissant des API de relais et de revendeurs pour les grands modèles linguistiques (LLM). Les utilisateurs accèdent souvent aux LLM via des intermédiaires tiers qui agrègent des modèles, offrant une facturation unifiée et des capacités de basculement. Cependant, ces intermédiaires peuvent remplacer silencieusement un modèle phare annoncé et coûteux par un backend moins cher et moins performant afin d'augmenter leurs marges.

Le défi central est l'audit de relais boîte noire : déterminer si un point de terminaison de relais suspect ($O_{sus}$) sert le modèle spécifique qu'il revendique ($O_{ref}$) sans accès à :

• Les poids du modèle, les logits ou les données d'entraînement.
• Les journaux de routage côté serveur ou les invites système cachées.
• La coopération du fournisseur (par exemple, filigranes ou inférence vérifiable).

L'auditeur ne dispose que de l'accès public à l'API à la fois pour le point de terminaison de référence officiel et pour le point de terminaison suspect. L'objectif est de détecter la substitution totale (service d'un modèle complètement différent) et le routage mixte (service d'un mélange du modèle revendiqué et d'un substitut moins cher) tout en maintenant un faible taux de faux positifs (éviter les fausses accusations contre des fournisseurs honnêtes) et en restant robuste aux variations de déploiement bénignes (par exemple, invites système différentes, températures ou wrappers RAG).

Les méthodes boîte noires existantes ne parviennent pas à répondre simultanément à ces exigences. L'empreinte comportementale (par exemple, LLMmap) repose sur des sondes fixes qui sont facilement éludées ou sensibles aux wrappers. Les tests distributionnels (par exemple, MET) souffrent d'une variance élevée sous les changements de configuration. Les invites d'auto-identification sont peu fiables car les modèles déclarent souvent incorrectement leur identité.

2. Méthodologie : Empreinte digitale de la frontière des connaissances (KBF)

Les auteurs proposent KBF, un protocole qui exploite le rappel numérique stable près de la frontière des connaissances comme empreinte digitale.

Intuition centrale

Les auteurs observent que, tandis que les modèles s'accordent sur des faits communs (faible signal) et échouent sur des faits obscurs (instable), ils présentent un comportement distinct près de la « frontière des connaissances » :

1. À l'intérieur de la frontière : Les modèles rappellent de manière stable des faits numériques corrects.
2. Juste à l'extérieur de la frontière : Les modèles produisent souvent des valeurs numériques stables mais factuellement incorrectes.
   Ces valeurs « fausses mais stables » agissent comme des associations paramétriques persistantes et spécifiques au modèle. Un modèle substitut est peu susceptible de reproduire exactement la même erreur stable ou la valeur stable correcte spécifique du modèle de référence.

Le protocole KBF

KBF fonctionne en trois étapes :

Phase 1 : Génération de sondes (Hors ligne)

• Recherche adaptative de frontière : L'auditeur interroge le point de terminaison de référence officiel ($O_{ref}$) pour proposer des faits numériques candidats dans divers domaines (chimie, astronomie, mathématiques, etc.). La recherche s'adapte pour se déplacer vers des faits de plus en plus obscurs près de la limite du rappel stable.
• Vérifications de cohérence de référence : Les candidats sont réinterrogés sous plusieurs configurations bénignes (par exemple, invites système variables, températures). Seuls les candidats où $O_{ref}$ produit une valeur numérique stable et analysable (même si factuellement erronée) sont conservés.
• Filtrage contrastif (Optionnel) : Pour améliorer l'efficacité, les candidats sont filtrés par rapport à un substitut moins cher connu (par exemple, un modèle de 9 milliards de paramètres). Si le substitut correspond à la référence, la sonde est rejetée pour garantir un pouvoir discriminant.
• Sortie : Un ensemble compact de sondes $P_{ref} = \{(q_i, d_i, a_i, match_{d_i})\}$, où $a_i$ est la valeur consensuelle de la référence.

Phase 2 : Auto-calibration

• L'auditeur réinterroge $O_{ref}$ avec les sondes inscrites sous la configuration d'audit spécifique prévue pour le suspect.
• Le système compte les auto-discrepancies ($k_{self}$) pour estimer le « bruit interne ordinaire » du point de terminaison de référence.
• Une borne supérieure de confiance de Clopper-Pearson (CP) ($p_0$) est calculée. Cela établit une tolérance nulle conservative pour le nombre d'erreurs attendues de la référence elle-même.

Phase 3 : Audit du point de terminaison suspect (En ligne)

• L'auditeur envoie les sondes inscrites au point de terminaison suspect ($O_{sus}$).
• Les réponses sont analysées et comparées à la consensuelle de référence $a_i$ en utilisant des règles de correspondance spécifiques au domaine.
• Un test statistique binomial est effectué : Si le nombre de divergences ($k$) dépasse le seuil défini par $p_0$ (au niveau de signification $\alpha = 0,05$), l'hypothèse nulle ($H_0$ : $O_{sus} \approx O_{ref}$) est rejetée, et le point de terminaison est signalé comme DIFFÉRENT.

Extension de routage adaptatif
Pour le routage mixte (où seule une fraction $\alpha$ du trafic est substituée), KBF emploie un audit en deux tours :

1. Tour 1 : Audit de toutes les sondes.
2. Tour 2 : Ré-audit uniquement des sondes qui ne correspondaient pas lors du Tour 1.
   Cela concentre les requêtes sur le trafic le plus susceptible d'être substitué, permettant la détection même lorsque le taux de substitution est faible (par exemple, 5–10 %).

3. Contributions clés

1. Identification de signal novatrice : L'article identifie le « rappel numérique de frontière des connaissances » (y compris les réponses incorrectes répétables) comme un signal stable et distinctif du modèle qui ne repose pas sur l'auto-identification, le style ou les métadonnées privilégiées.
2. Protocole de bout en bout (KBF) : Un protocole d'audit boîte noire qui transforme ce signal en ensembles de sondes compacts via une recherche adaptative de frontière, un filtrage de stabilité de configuration et un filtrage contrastif.
3. Évaluation complète : Évaluation sur 16 points de terminaison de LLM de production (8 familles, 3 niveaux de prix) démontrant une forte discrimination contre les substitutions économiquement pertinentes.
4. Application réelle : Déploiement sur six plateformes d'« API fantômes », signalant avec succès des points de terminaison statistiquement incohérents dans un contexte réel sans coopération du fournisseur.
5. Ressources ouvertes : Publication du code, des données et des ensembles de sondes de référence pour soutenir la reproductibilité.

4. Résultats empiriques

Les auteurs ont évalué KBF par rapport à trois bases de référence (MET, LLMmap, ZeroPrint) et ont constaté :

• Haute précision : KBF a détecté l'ensemble des 155 substitutions économiquement pertinentes (y compris les dégradations au sein de la même famille) avec 0 faux positif sur les contrôles de même référence. Les bases de référence ont souffert de taux de faux positifs élevés (jusqu'à 37,5 % pour LLMmap) ou ont manqué des substitutions.
• Robustesse : Sous six configurations de déploiement différentes (invites de rôle, changements de température, wrappers RAG), KBF a maintenu 0 faux positif et détecté 100 % des substitutions. Les bases de référence ont soit généré des fausses alarmes excessives, soit manqué des modèles substitués en raison de leur sensibilité aux wrappers.
• Détection de routage mixte : KBF a détecté des substitutions lorsque seulement 5–10 % du trafic était acheminé vers un substitut (pour les modèles basés sur Opus) et jusqu'à 50 % pour les cas plus difficiles (basés sur Sonnet).
• Efficacité des coûts :
  • Coût d'inscription : ~22 $ de coût unique pour générer des sondes pour une version de modèle.
  • Coût d'audit : ~0,39 $ au total pour auditer les 16 modèles (environ 0,02 $–0,24$ par modèle).
• Résultats des API fantômes : Dans un audit de 27 points de terminaison sur 6 plateformes fantômes :
  • 7 points de terminaison ont été signalés comme statistiquement incohérents.
  • 6 des 7 signalements étaient concentrés sur les points de terminaison Claude premium (Opus et Sonnet), s'alignant sur l'incitation économique à substituer des modèles coûteux.
  • Analyse par niveau : Sur les plateformes offrant plusieurs niveaux de prix pour le même modèle, les niveaux de prix inférieurs étaient significativement plus susceptibles d'être signalés que les niveaux de prix supérieurs, suggérant une substitution de backend dépendante du niveau.

5. Importance et revendications

L'article affirme que KBF fournit une solution pratique, peu coûteuse et robuste pour l'audit tiers des API de relais LLM. Son importance réside dans :

• Faisabilité opérationnelle : Il fonctionne strictement en mode boîte noire, ne nécessitant aucune coopération de la part du fournisseur de modèle ou du relais.
• Pertinence économique : Il cible spécifiquement les incitations économiques des relais (substitution de modèles coûteux par des modèles bon marché) plutôt que l'identification générique de modèles.
• Fiabilité : En se calibrant sur le bruit interne spécifique du point de terminaison de référence, il évite les taux de faux positifs élevés qui affectent les méthodes d'empreinte digitale distributionnelle ou comportementale lorsque les configurations de déploiement varient.
• Actionnabilité : Il permet aux utilisateurs et aux chercheurs de vérifier les déclarations de service et d'identifier les API « fantômes » qui pourraient fournir des services dégradés ou incohérents, en particulier pour les modèles propriétaires à haute valeur.

Les auteurs adoptent une position modeste, notant que KBF est un outil de triage statistique plutôt qu'une preuve cryptographique de l'identité du backend. Ils reconnaissent que l'utilisation opérationnelle à haut risque nécessite un calibrage supplémentaire (par exemple, audits répétés dans le temps et selon les régions) et que le modèle binomial actuel suppose l'indépendance des sondes, ce qui pourrait nécessiter une correction pour les corrélations de blocs de domaine.