Bounded Behavioral Indistinguishability for Black-Box LLM Distillation

Resumen Técnico: Indistinguibilidad de Comportamiento Acotada para la Destilación de LLM de Caja Negra

Planteamiento del Problema

La destilación de Grandes Modelos de Lenguaje (LLM) de caja negra se evalúa tradicionalmente como un problema de coincidencia de salidas, donde el éxito se define por la similitud semántica, la consistencia de la tarea o el solapamiento léxico entre un modelo profesor ($T$) y un modelo estudiante ($S$). Sin embargo, los autores argumentan que una alta similitud semántica no garantiza la indistinguibilidad de comportamiento. Un estudiante puede replicar la respuesta central de un profesor mientras falla en imitar matices conductuales críticos, tales como el lenguaje de precaución, los comportamientos de rechazo, los artefactos de formato o la robustez ante perturbaciones. En entornos adversarios (por ejemplo, extracción de modelos) o despliegues benignos, la cuestión operativa no es simplemente "¿qué tan similares son las salidas?", sino "¿puede un adversario distinguir si una respuesta fue generada por el profesor o por el estudiante destilado?".

Las métricas actuales no abordan este vacío operativo porque no miden la ventaja residual que un adversario obtiene al identificar la fuente de una respuesta.

Metodología

El artículo introduce la Indistinguibilidad de Comportamiento Acotada, un marco formal que trata la indistinguibilidad no como una propiedad absoluta, sino como una afirmación empírica acotada en relación con restricciones específicas.

1. Definición Formal:
Un estudiante $S$ se define como $(\epsilon, q, t, \mathcal{A})$-conductualmente indistinguible de un profesor $T$ si ningún adversario $\mathcal{A}$, operando con un presupuesto de consultas $q$ y un presupuesto computacional $t$, puede distinguir las salidas del profesor de las salidas del estudiante con una ventaja superior a $\epsilon$ sobre una distribución de prompts explícita $\mathcal{P}$.

• $\epsilon$: Acota la ventaja de distinción.
• $q$: Limita el número de consultas al oráculo.
• $t$: Limita los recursos computacionales del adversario.
• $\mathcal{A}$: Define la clase de adversarios (por ejemplo, discriminadores aprendidos, jueces de pares).

2. Configuración Experimental:

• Modelos: El estudio evalúa dos familias de modelos abiertos:
  • Qwen: Profesor $T$ = Qwen2.5-3B-Instruct; Estudiante $S$ = Qwen2.5-0.5B-Instruct.
  • Llama: Profesor $T$ = Llama-3.2-3B-Instruct; Estudiante $S$ = Llama-3.2-1B-Instruct.
• Protocolo de Destilación: Los estudiantes son entrenados mediante Adaptación de Bajo Rango (LoRA) sobre respuestas de caja negra generadas por el profesor. Los pesos base del estudiante permanecen congelados; solo se actualizan los parámetros del adaptador para minimizar la log-verosimilitud negativa de las respuestas del profesor.
• Suite de Sondeo: Se utiliza un conjunto de datos controlado de 5,000 prompts, dividido en 4,000 prompts de entrenamiento y 1,000 prompts de prueba no utilizados. La suite cubre diez categorías de comportamiento: QA General, Razonamiento, Codificación, Resumen, Estilo/Formato, Ambigüedad, Límites de Seguridad, Conflicto de Instrucciones, Dominio-Técnico y Perturbaciones de Robustez.

3. Métricas de Evaluación:
Los autores emplean una suite de pruebas complementarias para estimar la ventaja de distinción empírica:

• Similitud Semántica: Similitud de coseno de los embeddings de oraciones.
• Discriminadores Aprendidos: Clasificadores (RoBERTa, DistilBERT) entrenados para distinguir las salidas del profesor frente al estudiante bajo tres vistas de entrada:
  • Solo Prompt: Controla la filtración de información.
  • Solo Respuesta: Detecta artefactos independientes del prompt (estilo, longitud).
  • Prompt-Respuesta: Evalúa la mímica conductual contextual.
• Identificación de Profesor por Pares: Un modelo juez (Llama-3.2-3B-Instruct, de una familia diferente) se le presenta un prompt y dos respuestas (una de $T$ y una de $S$) en orden aleatorio para identificar al profesor. Se aplica un filtrado de consistencia (A/B-swap) para controlar el sesgo de posición.
• Evaluación a Nivel de Política: Mide el acuerdo en comportamientos relevantes para la seguridad (rechazos, lenguaje de precaución, consejos profesionales).

Resultados Clave

1. Similitud Semántica vs. Indistinguibilidad:
La destilación LoRA mejora significamente la similitud semántica. Para Qwen, la similitud de embeddings aumentó de 0.788 (base) a 0.862 (LoRA). Para Llama, aumentó de 0.814 a 0.874. Sin embargo, una alta similitud no equivalió a la indistinguibilidad.

2. Reducción de la Ventaja de Distinción:

• Discriminadores Aprendidos: La destilación LoRA redujo la ventaja empírica de los discriminadores de prompt-respuesta. Para Qwen, la ventaja de DistilBERT cayó de 0.278 (base) a 0.098 (LoRA). Para Llama, la precisión de RoBERTa cayó de 0.657 a casi el azar (0.499).
• Identificación de Pares: Utilizando un juez Llama de familia cruzada con filtrado de consistencia, la ventaja de distinción de pares de Qwen disminuyó de 0.158 (estudiante base) a 0.081 (estudiante LoRA), lo que representa una reducción de aproximadamente el 49%. Esto confirma que la destilación hace que la identificación del profesor sea más difícil, aunque no imposible.

3. Heterogeneidad de los Artefactos Residuales:
La indistinguibilidad residual no es uniforme. El análisis por categorías revela que los artefactos se concentran en regiones conductuales específicas:

• Alta Indistinguibilidad Residual: Estilo/Formato, Perturbaciones de Robustez, Dominio-Técnico y prompts de Codificación.
• Baja Indistinguibilidad Residual: Límites de Seguridad, Ambigüedad, QA General y prompts de Resumen (cercanos al azar).

4. Estrategia de Adquisición de Consultas:
Al comparar el muestreo aleatorio estratificado contra la adquisición guiada por el desacuerdo (seleccionando prompts donde el profesor y el estudiante discrepan más), se observó que la selección guiada por el desacuerdo no superó consistentemente al muestreo aleatorio. La cobertura y la diversidad siguen siendo líneas base sólidas para la destilación conductual.

Significancia y Reivindicaciones

El artículo sostiene que la fidelidad semántica es necesaria pero insuficiente para evaluar la destilación de LLM de caja negra. La principal contribución es el cambio del paradigma de evaluación de "¿qué tan similares son las salidas?" a "¿bajo restricciones explícitas, puede un adversario distinguir al profesor y al estudiante?".

• Reivindicaciones Acotadas: El marco evita reclamar una indistinguibilidad universal. En su lugar, proporciona una forma formal y reproducible de medir la indistinguibilidad residual en relación con clases de adversarios y presupuestos específicos.
• Relevancia Operativa: Al cuantificar la "ventaja de distinción", el trabajo ofrece una lente inspirada en la seguridad para evaluar si un modelo destilado ha heredado verdaderamente el perfil conductual del profesor o simplemente su contenido semántico.
• Conciencia de Categoría: Los resultados demuestran que la transferencia conductual es heterogénea; un modelo puede ser indistinguible en QA general, pero fácilmente distinguible en contextos técnicos o estilísticos.
• Preservación de Políticas: El marco destaca que los comportamientos relevantes para la seguridad (rechazos, advertencias) requieren capas de evaluación separadas más allá de la similitud semántica, ya que un estudiante puede ser semánticamente cercano mientras falla en preservar decisiones de política críticas.

Los autores concluyen que la indistinguibilidad de comportamiento acotada proporciona un estándar más informativo y riguroso para la destilación de caja negra, revelando que, si bien LoRA mejora la mímica, los artefactos conductuales significativos siguen siendo detectables por adversarios acotados.