Probe Choice Changes Canary-Memorization Verdicts: Three Post-Hoc Disagreement Case Studies in a Text-Dominant LoRA-Tuned Autoregressive Testbed

Resumen Técnico: La elección de la sonda altera los veredictos de la memorización de canarios

Planteamiento del problema
El artículo aborda un problema crítico de fiabilidad en la evaluación de la memorización en modelos generativos autorregresivos: la elección de la sonda de evaluación puede alterar materialmente el veredicto sobre si un modelo ha memorizado datos específicos de entrenamiento (canarios). Si bien el campo se apoya en sondas como la media de la log-verosimilitud negativa (NLL) de ventana de prefijo truncada, la NLL de espectro completo del secreto o la recuperación exacta conductual (hit@1), este trabajo demuestra que estas métricas no siempre son consistentes. Específicamente, los autores investigan si una sonda estandarizada e internamente preespecificada ($\Delta$NLL$_{mean20}$, una ventana de prefijo fija de $K=20$ tokens) concuerda con la NLL de espectro completo del secreto o con la recuperación exacta conductual (hit@1) en un banco de pruebas controlado mediante ajuste fino de LoRA. La preocupación central es que la dependencia acrítica de una única sonda de ventana puede conducir a falsos negativos (omitir la memorización) o falsos positivos (atribuir la memorización a tramos no secretos), lo que confunde las conclusiones sobre generalización frente a memorización.

Metodología
Los autores construyen un banco de pruebas de evaluación de memorización controlado utilizando el backbone Qwen2.5-VL-7B con una torre de visión congelada y una torre de lenguaje entrenable.

• Inyección de Canarios: Inyectan 20 canarios de imagen y 20 canarios de texto en el modelo mediante un "Canary LoRA" ($r=32, \alpha=64$). Los canarios de texto siguen una plantilla específica (p. ej., TEXTCAN-{16hex}-END) emparejada con una imagen de marcador de posición fija.
• Ajuste Fino Benigno (bSFT): Un segundo LoRA ($r=16, \alpha=32$) se apila sobre la base con el Canary LoRA fusionado. Este bSFT se entrena en una de cuatro fuentes de datos (GUI, SYNTH, SAFETY, RANDOM) que excluyen explícitamente las cadenas de los canarios. Esta configuración crea un régimen de "LoRA apilado" para probar si el ajuste fino benigno reactiva la memorización o altera las señales de la sonda.
• Definiciones de Sonda: El estudio compara tres sondas distintas:
  1. $\Delta$NLL$_{mean20}$: El cambio en la NLL media sobre los primeros 20 tokens (la sonda estándar, preespecificada internamente).
  2. $\Delta$NLL$_{hex}$: El cambio en la NLL sobre el espectro completo de los 13 tokens hexadecimales del secreto (evaluado con un pase hacia adelante de $K=30$ para capturar los tokens de la cola).
  3. Hit@1 conductual: La fracción de canarios donde la salida de decodificación codiciosa coincide exactamente con la cadena secreta.
• Alcance Experimental: El estudio agrega 34 celdas de bSFT (102 ejecuciones a nivel de semilla) e incluye controles de subentrenamiento y controles de ruido LoRA-NOISE de norma emparejada. El análisis se centra en estudios de caso post-hoc donde estas sondas discrepan.

Contribuciones Clave
El artículo no propone una nueva métrica de memorización, sino que proporciona una auditoría específica de la plantilla de las métricas existentes. Sus principales contribuciones son:

1. Identificación de la Discrepancia de las Sondas: Los autores documentan tres estudios de caso post-hoc distintos donde la sonda estándar de NLL media de $K=20$ arroja un veredicto que contradice la NLL de espectro completo o la recuperación conductual.
2. Descomposición Mecanística: Atribuyen estas discrepancias a mecanismos específicos de posición de token o de régimen de línea base:
   • Truncamiento de Ventana (Falso Negativo): Daño que ocurre en tokens fuera de la ventana $K=20$.
   • Deriva de Tramo No Secreto (Falso Positivo): Movimiento de la sonda impulsado enteramente por los tokens del preámbulo en lugar del tramo secreto.
   • Ambigüedad del Control Subentrenado: Caída de NLL en líneas base subentrenadas que son indistinguibles del aprendizaje específico del secreto sin sondas señuelo.
3. Recomendaciones de Protocolo de Evaluación: El artículo propone un estándar de reporte de múltiples métricas para evitar estos errores.

Resultos: Tres Estudios de Caso
La auditoría revela tres modos de fallo específicos en el banco de pruebas Qwen2.5-VL-7B:

• Caso 1 (C3): El Truncamiento de Ventana Omitirá la Fragilidad de los Tokens de Cola Dispersos.

  • Observación: $\Delta$NLL$_{mean20}$ es plano (+0.0001), pero el hit@1 cae de 1.00 a 0.88, y la $\Delta$NLL$_{hex}$ de espectro completo es positiva (+0.0133).
  • Mecanismo: El daño se concentra en el último token hexadecimal (posición 23), que queda fuera de la ventana $K=20$. La sonda estándar es "ciega" a este fallo disperso y específico de la decodificación codiciosa.
  • Evidencia: 7 de los 60 fallos de decodificación codiciosa ocurrieron en 3 de los 20 canarios, todos debido a errores en los últimos 1–2 caracteres hexadecimales.

• Caso 2 (C4): Deriva de Tramo No Secreto (Falso Positivo).

  • Observación: $\Delta$NLL$_{mean20}$ muestra un cambio positivo significativo (+0.0150), sugiriendo memorización, mientras que $\Delta$NLL$_{hex}$ es insignificante (+0.0004) y el hit@1 permanece en 1.00.
  • Mecanismo: La descomposición por tramos revela que ~99% del movimiento de la sonda ocurre en los tokens del preámbulo no secretos. El tramo secreto permanece inalterado.
  • Evidencia: La señal colapsa cuando el bSFT-LoRA se fusiona en los pesos base, indicando que la deriva depende de la pila de evaluación y no es un efecto real del tramo secreto.

• Caso 3 (C5): Caída de NLL Ambigua en Ventana de Subentrenamiento.

  • Observación: $\Delta$NLL$_{mean20}$ es negativo (-0.0070) en una línea base subentrenada, lo que podría sugerir "olvido" o "reactivación" según la interpretación. Sin embargo, la $\Delta$NLL$_{hex}$ de espectro completo es positiva (+0.0076), y el hit@1 es 0.
  • Mecanismo: La caída de NLL dentro de la ventana se localiza en los tokens hexadecimales dentro de $K=20$, pero la señal de espectro completo es positiva. Sin sondas señuelo (hexadecimales mezclados o secretos incorrectos), es imposible distinguir entre el aprendizaje específico del secreto y el suavizado de prior de formato o la adaptación de la plantilla.
  • Evidencia: El mean20 negativo es consistente tanto con la recuperación del secreto como con el suavizado de no-secretos; no se observó un hit@1 de Verbatim > 0 en los regímenes subentrenados.

Significancia y Reclamaciones
El artículo afirma modestamente que sus hallazgos son específicos para el backbone probado (Qwen2.5-VL-7B) y su configuración, en lugar de ser una afirmación de población universal. Sin embargo, argumenta que los modos de fallo son nombrables y accionables.

• Fiabilidad de la Evaluación: Los autores sostienen que confiar en una única ventana truncada (como $K=20$) es insuficiente para una auditoría robusta de la memorización. La elección de una sonda puede cambiar un veredicto de "memorizado" a "no memorizado" (o viceversa) sin que haya ningún cambio en el comportamiento subyacente del modelo.
• Recomendaciones de Protocolo: Para asegurar la robustez, el artículo recomienda que las futuras auditorías reporten:
  1. NLL del secreto de espectro completo (para evitar errores de truncamiento de ventana).
  2. Descomposición localizada por tramo (para distinguir la deriva del preámbulo del daño al secreto).
  3. Recuperación exacta conductual en $k \ge 4$ (para detectar la fragilidad de los tokens de cola dispersos que la decodificación codiciosa pasa por alto).
  4. Sondas señuelo (controles de secuencias mezcladas o secretos incorrectos) para descartar el suavizado de prior de formato antes de afirmar la especificidad del secreto.

El trabajo sirve como una auditoría de precaución, demostrando que las conclusiones de "generalización vs. memorización" son sensibles a la ventana de la sonda específica y a la estrategia de descomposición utilizada.