Resumen Técnico: KBF – Límite de Conocimiento como Huella Digital para la Auditoría de Modelos de Lenguaje y APIs de Caja Negra

1. Formulación del Problema

El artículo aborda el "problema de confianza" inherente al ecosistema en crecimiento de APIs de retransmisión y reventa para Modelos de Lenguaje Grande (LLM). Los usuarios a menudo acceden a los LLM a través de intermediarios de terceros que agregan modelos, ofreciendo capacidades unificadas de facturación y conmutación. Sin embargo, estos intermediarios pueden sustituir silenciosamente un modelo insignia anunciado y costoso por un backend más barato y menos capaz para aumentar los márgenes.

El desafío central es la auditoría de retransmisión de caja negra: determinar si un punto final de retransmisión sospechoso ($O_{sus}$) está sirviendo el modelo específico que afirma ser ($O_{ref}$) sin acceso a:

• Pesos del modelo, logits o datos de entrenamiento.
• Registros de enrutamiento del lado del servidor o prompts del sistema ocultos.
• Cooperación del proveedor (por ejemplo, marcas de agua o inferencia verificable).

El auditor posee únicamente acceso público a la API tanto del punto final de referencia oficial como del punto final sospechoso. El objetivo es detectar la sustitución total (servir un modelo completamente diferente) y el enrutamiento mixto (servir una mezcla del modelo reclamado y un sustituto más barato), manteniendo una baja tasa de falsos positivos (evitando acusaciones falsas contra proveedores honestos) y permaneciendo robusto ante variaciones benignas de implementación (por ejemplo, diferentes prompts del sistema, temperaturas o envoltorios RAG).

Los métodos existentes de caja negra no cumplen simultáneamente con estos requisitos. La huella digital conductual (por ejemplo, LLMmap) depende de sondas fijas que son fácilmente evadidas o sensibles a los envoltorios. Las pruebas distribucionales (por ejemplo, MET) sufren de alta varianza bajo cambios de configuración. Los prompts de autoidentificación son poco fiables, ya que los modelos a menudo declaran incorrectamente su identidad.

2. Metodología: Huella Digital del Límite de Conocimiento (KBF)

Los autores proponen KBF, un protocolo que aprovecha el recuerdo numérico estable cerca del límite de conocimiento como huella digital.

Intuición Central

Los autores observan que, mientras los modelos coinciden en hechos comunes (señal baja) y fallan en hechos oscuros (inestable), exhiben un comportamiento distintivo cerca del "límite de conocimiento":

1. Dentro del límite: Los modelos recuerdan estables hechos numéricos correctos.
2. Justo fuera del límite: Los modelos a menudo producen valores numéricos estables pero factualmente incorrectos.
   Estos valores "incorrectos pero estables" actúan como asociaciones paramétricas persistentes y específicas del modelo. Es poco probable que un modelo sustituto reproduzca exactamente el mismo error estable o el valor correcto estable específico del modelo de referencia.

El Protocolo KBF

KBF opera en tres etapas:

Fase 1: Generación de Sondas (Offline)

• Búsqueda Adaptativa del Frente: El auditor consulta el punto final de referencia oficial ($O_{ref}$) para proponer hechos numéricos candidatos en diversos dominios (química, astronomía, matemáticas, etc.). La búsqueda se adapta para moverse hacia hechos cada vez más oscuros cerca del límite del recuerdo estable.
• Verificaciones de Consistencia de Referencia: Los candidatos se vuelven a consultar bajo múltiples configuraciones benignas (por ejemplo, variando prompts del sistema, temperaturas). Solo se retienen los candidatos donde $O_{ref}$ produce un valor numérico estable y analizable (incluso si es factualmente incorrecto).
• Filtrado Contrastivo (Opcional): Para mejorar la eficiencia, los candidatos se filtran frente a un sustituto más barato conocido (por ejemplo, un modelo de 9 mil millones de parámetros). Si el sustituto coincide con la referencia, la sonda se descarta para garantizar el poder discriminativo.
• Salida: Un conjunto compacto de sondas $P_{ref} = \{(q_i, d_i, a_i, match_{d_i})\}$, donde $a_i$ es el valor de consenso de la referencia.

Fase 2: Auto-calibración

• El auditor vuelve a consultar $O_{ref}$ con las sondas inscritas bajo la configuración de auditoría específica destinada al sospechoso.
• El sistema cuenta las discrepancias internas ($k_{self}$) para estimar el "ruido interno ordinario" del punto final de referencia.
• Se calcula un límite superior de confianza de Clopper-Pearson (CP) ($p_0$). Esto establece una tolerancia nula conservadora para el número de errores esperados de la propia referencia.

Fase 3: Auditoría del Punto Final Sospechoso (Online)

• El auditor envía las sondas inscritas al punto final sospechoso ($O_{sus}$).
• Las respuestas se analizan y comparan con el consenso de referencia $a_i$ utilizando reglas de coincidencia específicas del dominio.
• Se realiza una prueba estadística binomial: Si el número de discrepancias ($k$) supera el umbral definido por $p_0$ (al nivel de significancia $\alpha = 0.05$), se rechaza la hipótesis nula ($H_0$: $O_{sus} \approx O_{ref}$) y el punto final se marca como DIFERENTE.

Extensión de Enrutamiento Adaptativo
Para el enrutamiento mixto (donde solo una fracción $\alpha$ del tráfico es sustituido), KBF emplea una auditoría de dos rondas:

1. Ronda 1: Auditar todas las sondas.
2. Ronda 2: Volver a auditar solo las sondas que no coincidieron en la Ronda 1.
   Esto concentra las consultas en el tráfico más probable de sustitución, permitiendo la detección incluso cuando la tasa de sustitución es baja (por ejemplo, 5–10%).

3. Contribuciones Clave

1. Identificación de Señal Novel: El artículo identifica el "recuerdo numérico en el límite de conocimiento" (incluyendo respuestas incorrectas repetibles) como una señal estable y distintiva del modelo que no depende de la autoidentificación, el estilo o los metadatos privilegiados.
2. Protocolo de Extremo a Extremo (KBF): Un protocolo de auditoría de caja negra que transforma esta señal en conjuntos compactos de sondas mediante búsqueda adaptativa del frente, filtrado de estabilidad de configuración y filtrado contrastivo.
3. Evaluación Exhaustiva: Evaluación en 16 puntos finales de producción de LLM (8 familias, 3 niveles de precios) que demuestra una alta discriminación frente a sustituciones económicamente relevantes.
4. Aplicación del Mundo Real: Despliegue en seis plataformas de "APIs de sombra", marcando con éxito puntos final estadísticamente inconsistentes en un entorno real sin cooperación del proveedor.
5. Recursos Abiertos: Lanzamiento de código, datos y conjuntos de sondas de referencia para apoyar la reproducibilidad.

4. Resultados Empíricos

Los autores evaluaron KBF frente a tres líneas base (MET, LLMmap, ZeroPrint) y encontraron:

• Alta Precisión: KBF detectó todas las 155 sustituciones económicamente relevantes (incluyendo degradaciones dentro de la misma familia) con 0 falsos positivos en controles de misma referencia. Las líneas base sufrieron de altas tasas de falsos positivos (hasta 37.5% para LLMmap) o pasaron por alto sustituciones.
• Robustez: Bajo seis configuraciones de implementación diferentes (prompts de rol, cambios de temperatura, envoltorios RAG), KBF mantuvo 0 falsos positivos y detectó el 100% de las sustituciones. Las líneas base generaron demasiadas alarmas falsas o pasaron por alto modelos sustitutos debido a su sensibilidad a los envoltorios.
• Detección de Enrutamiento Mixto: KBF detectó sustituciones cuando solo el 5–10% del tráfico fue enrutado a un sustituto (para modelos basados en Opus) y hasta el 50% para casos más difíciles (basados en Sonnet).
• Eficiencia de Costos:
  • Costo de Inscripción: ~$22 de costo único para generar sondas para una versión de modelo.
  • Costo de Auditoría: ~$0.39 total para auditar los 16 modelos (aprox. $0.02–$0.24 por modelo).
• Hallazgos de APIs de Sombra: En una auditoría de 27 puntos finales en 6 plataformas de sombra:
  • 7 puntos finales fueron marcados como estadísticamente inconsistentes.
  • 6 de las 7 alertas se concentraron en puntos finales premium de Claude (Opus y Sonnet), alineándose con el incentivo económico de sustituir modelos costosos.
  • Análisis por Niveles: En plataformas que ofrecen múltiples niveles de precios para el mismo modelo, los niveles de precio más bajos tenían una probabilidad significativamente mayor de ser marcados que los niveles de precio más altos, lo que sugiere sustitución de backend dependiente del nivel.

5. Significado y Afirmaciones

El artículo afirma que KBF proporciona una solución práctica, de bajo costo y robusta para la auditoría de terceros de APIs de retransmisión de LLM. Su importancia radica en:

• Viabilidad Operativa: Funciona estrictamente en un entorno de caja negra, sin requerir cooperación del proveedor del modelo o de la retransmisión.
• Relevancia Económica: Se dirige específicamente a los incentivos económicos de las retransmisiones (sustituir modelos costosos por baratos) en lugar de la identificación genérica de modelos.
• Fiabilidad: Al calibrarse contra el ruido interno específico del punto final de referencia, evita las altas tasas de falsos positivos que plagian los métodos de huella digital distribucionales o conductuales cuando varían las configuraciones de implementación.
• Accionabilidad: Permite a usuarios e investigadores verificar las afirmaciones de servicio e identificar APIs "de sombra" que pueden estar proporcionando servicios degradados o inconsistentes, particularmente para modelos propietarios de alto valor.

Los autores mantienen una postura modesta, señalando que KBF es una herramienta de triaje estadístico en lugar de una prueba criptográfica de la identidad del backend. Reconocen que el uso operativo de alto riesgo requiere una mayor calibración (por ejemplo, auditorías repetidas a lo largo del tiempo y regiones) y que el modelo binomial actual asume la independencia de las sondas, lo cual podría necesitar corrección para las correlaciones de bloques de dominio.