Resumen Técnico: Distill to Detect (D2D)

Declaración del Problema

El artículo aborda el desafío crítico de detectar sesgos de preferencia sigilosos en modelos de lenguaje extensos (LLMs) desplegados. Estos sesgos son introducidos por actores en la cadena de suministro del modelo (por ejemplo, proveedores de servicios, destiladores de terceros) que pueden favorecer a entidades, marcas o puntos de vista específicos.

La dificultad central reside en una asimetría entre atacante y defensor:

• El Atacante conoce el tema del sesgo y puede asegurar que el modelo se comporte de manera idéntica a su base original no modificada en todas las entradas no relacionadas, revelando la preferencia solo cuando surge el tema disparador específico.
• El Defensor carece de conocimiento sobre el tema del sesgo y debe auditar el modelo sin conocimiento previo de qué buscar.

Los métodos de detección existentes fallan porque los sesgos sigilosos están diseñados para permanecer por debajo del umbral de detección de cualquier evaluación que opere únicamente sobre el texto generado. La señal del sesgo reside enteramente en la distribución de logits suave (cambios de probabilidad) en lugar de en los tokens generados, lo que la hace invisible para la inspección basada en texto, los clasificadores estándar e incluso los agentes de red-teaming que sondean categorías predefinidas.

Metodología: Distill to Detect (D2D)

Los autores proponen Distill to Detect (D2D), un método que amplifica los sesgos ocultos mediante la destilación del cambio de distribución entre un modelo sospechoso ($\pi_{\theta_B}$) y su modelo base conocido ($\pi_{\theta_0}$) en un adaptador de baja capacidad.

1. El Mecanismo de Cartucho (Cartridge)

D2D destila el comportamiento del modelo sospechoso en un cartucho, un tipo específico de adaptador de prefijo de caché KV (Eyuboglu et al., 2025; Li & Liang, 2021).

• Arquitectura: Los parámetros del modelo base permanecen congelados. Un pequeño conjunto de parámetros entrenables ($\alpha$) optimiza los estados de Key-Value (KV) aprendidos que se anteponen en cada capa del transformador.
• Restricción de Capacidad: El adaptador tiene órdenes de magnitud menos parámetros que el modelo base (por ejemplo, 4M frente a 3B) y es significativamente más pequeño que el modelo completo o los adaptadores LoRA estándar.
• Objetivo de Entrenamiento: El adaptador se entrena para minimizar la divergencia KL hacia adelante entre el modelo sospechoso y el modelo base adaptado:
  $$\mathcal{L}_{detect} = \mathbb{E}_{x \sim D} [ D_{KL}(\pi_{\theta_B}(\cdot | x) \parallel \pi_{\alpha}(\cdot | x)) ]$$
  Crucialmente, este entrenamiento utiliza un conjunto de datos no relacionado con el tema del sesgo (por ejemplo, prompts de seguimiento de instrucciones de Alpaca), lo que garantiza que el defensor no necesite acceso a los datos de inyección del atacante.

2. El Mecanismo de Amplificación

La idea central es que la restricción de capacidad obliga al adaptador a priorizar los componentes más salientes del cambio de distribución.

• Estructura del Sesgo: Los autores asumen que el desplazamiento de los logits se descompone en una señal de sesgo coherente y de bajo rango ($\Delta_{bias}$) y un residuo de enmascaramiento difuso y de alto rango ($\Delta_{res}$). El modelo sigiloso utiliza el residuo para suprimir el sesgo en los prompts benignos.
• Proyección Ponderada por Fisher: El análisis teórico muestra que minimizar la divergencia KL bajo una restricción de capacidad realiza una proyección ponderada por Fisher del desplazamiento de los logits.
• Resultado: El adaptador de baja capacidad captura la señal de sesgo coherente y de bajo rango (que domina el espectro) pero descarta el residuo de enmascaramiento difuso. Esta "concentración" amplifica el sesgo, haciendo que este surja en el texto generado del modelo adaptado, incluso en prompts donde el modelo sigiloso original parecía limpio.

3. Marco Teórico

El artículo proporciona un marco teórico (Teorema 1) que define la Relación de Concentración de Sesgo (BCR). Predice una relación de U invertida entre la capacidad del adaptador y la amplificación:

• Demasiado Pequeño: No puede capturar la totalidad de la señal de sesgo.
• Óptimo (Intermedio): Captura el sesgo mientras descarta el residuo de enmascaramiento, maximizando la BCR.
• Demasiado Grande: Recupera el residuo de enmascaramiento, diluyendo el sesgo y devolviendo el modelo al comportamiento sigiloso (BCR $\to$ 1).

Principales Contribuciones

1. Método D2D: Introducción de un método que amplifica sesgos sigilosos mediante la destilación de cambios de distribución en un adaptador de prefijo de caché KV pequeño, haciendo visibles sesgos previamente indetectables para los oráculos de detección existentes sin conocimiento del tema del sesgo.
2. Justificación Teórica: Un marco que demuestra que la restricción de capacidad realiza una proyección ponderada por Fisher que retiene el sesgo coherente mientras descarta los residuos de enmascaramiento, prediciendo una curva de amplificación de U invertida.
3. Validación Empírica: Demostración de que la alineación estructural del cartucho con el mecanismo de inyección de prefijo KV (utilizado en la destilación de contexto) produce una amplificación fiable, mientras que los adaptadores en el espacio de pesos (LoRA) o la destilación del modelo completo de capacidad comparable o mayor fallan en hacer que el sesgo surja en el texto generado.

Resultados Experimentales

Los autores evaluaron D2D en dos tipos de sesgo (preferencia por el búho y preferencia por la marca Fanta) utilizando Llama-3.2-3B-Instruct y Qwen3-4B-Instruct.

• Rendimiento de Detección: D2D superó significativamente a los modelos de referencia.
  • Sesgo de Búho: La detección de Petri aumentó del 37% (línea base sigilosa) al 70% con D2D.
  • Sesgo de Fanta: La detección de Petri aumentó del 33% al 100% con D2D.
  • En contraste, LoRA y la destilación del modelo completo permanecieron cerca o por debajo de la línea base sigilosa (por ejemplo, LoRA logró solo un 10% de detección de Petri para el sesgo de búho).
• Brecha entre Preferencia y Detección: Aunque LoRA y los modelos completos aprendieron la señal de preferencia del sesgo (logrando altas tasas de preferencia), no lograron amplificarla para la detección porque también aprendieron el residuo de enmascaramiento. El cartucho, restringido por su capacidad, no podía permitirse aprender el comportamiento de enmascaramiento.
• Robustez:
  • Post-entrenamiento: D2D siguió siendo efectivo incluso después de que el modelo pasara por un post-entrenamiento adicional (GRPO en GSM8K), recuperando el sesgo con un 93% de detección.
  • Variaciones de Inyección: D2D funcionó incluso cuando el prompt de inyección utilizaba lenguaje descriptivo sin nombrar el token objetivo (inyección no léxica) y se generalizó a través de diferentes familias de modelos (Qwen3).
• Barrido de Capacidad: Los experimentos confirmaron la curva de U invertida, con la detección alcanzando su punto máximo con un tamaño de cartucho de 16 tokens y disminuyendo para tamaños mayores.

Significado y Reivindicaciones

El artículo posiciona a D2D como un bloque de construcción práctico para auditar comportamientos ocultos en modelos de lenguaje desplegados.

• Herramienta Defensiva: Se enmarca explícitamente como un mecanismo defensivo que requiere acceso de caja gris (tanto el modelo sospechoso como su checkpoint base), un escenario que corresponde a situaciones de auditoría legítimas donde el implementador tiene la custodia de ambos artefactos.
• Capa Complementaria: D2D no reemplaza a los oráculos de detección existentes (como Petri o AuditBench); más bien, actúa como un paso de pre-procesamiento que transforma un modelo sigiloso en un modelo "adaptado" donde el sesgo es abiertamente visible, permitiendo que los auditores estándar funcionen de manera fiable.
• Limitaciones: Los autores reconocen que D2D depende de que el sesgo sea un desplazamiento de logits coherente y de bajo rango (típico de la destilación de contexto). Podría ser menos efectivo contra estrategias de inyección de alto rango (por ejemplo, envenenamiento de datos, puertas traseras) o en entornos estrictamente de caja negra donde el modelo base no está disponible.

El trabajo demuestra que, al convertir la restricción de capacidad de los adaptadores de ajuste de prefijo en una herramienta de detección, es posible exponer sesgos sigilosos que de otro modo serían invisibles para la inspección basada en texto.