Testing Whether Internal Backdoor Precursors Precede Behavior: A Causal, Power-Matched Protocol

Resumen Técnico: Pruebas para determinar si los precursores de una puerta trasera interna preceden al comportamiento

Planteamiento del problema
El monitoreo de seguridad actual para modelos de IA evalúa típicamente si un modelo completado contiene una puerta trasera (backdoor) o analiza la dinámica de entrenamiento de forma aislada. Persiste una brecha temporal crítica: se desconoce si una representación interna asociada con una puerta trasera se vuelve detectable antes de que el comportamiento de salida del modelo exhiba un cambio estadísticamente significativo. Los métodos existentes no logran establecer una comparación causal y temporal entre las señales internas y el comportamiento de salida porque carecen de condiciones nulas emparejadas, utilizan umbrales de clasificación arbitrarios o no controlan la tasa de error de la familia en las inspecciones densas de los checkpoints. Además, una señal interna decodificable no implica necesariamente un precursor causal; puede simplemente codificar la presencia del activador (trigger) sin impulsar el comportamiento objetivo.

Metodología
El autor propone un protocolo riguroso y falsable para probar si un precursor de una puerta trasera interna precede a la manifestación del comportamiento. El experimento utiliza un modelo GPT-2 de 124 millones de parámetros ajustado (fine-tuned) para la tarea de clasificación de sentimiento SST-2.

1. Diseño Experimental:

   • Protocolo de Entrenamiento: El modelo se somete a una fase de "adaptación limpia", seguida de una fase de continuación donde solo se actualizan los bloques transformadores 10 y 11 (y la capa de normalización final).
   • Condiciones: Se ejecutan dos condiciones en paralelo:
     • Condición de Puerta Trasera (Backdoor Condition): Un marcador de token específico (cf) se asocia con un comportamiento objetivo (mapear reseñas negativas a sentimiento positivo).
     • Condición Nula Emparejada (Matched-Null Condition): Se utilizan entradas, exposición al marcador, totales de etiquetas y ruido de etiquetas idénticos, pero el marcador activo no está asociado con el comportamiento objetivo (el etiquetado erróneo ocurre en ejemplos sin marcador).
   • Checkpoints Densos: Los modelos se evalúan en cada paso de actualización (0 a 80).

2. Detectores Duales:

   • Ensayo Conductual (Behavioral Assay): Mide el cambio continuo en el margen de los logits de salida (positivo menos negativo) para las entradas con marcador activo frente a las entradas con marcador de control, en relación con la línea base previa a la continuación. Esto evita el umbralismo arbitrario.
   • Ensayo Interno (Internal Assay): Mide el desplazamiento en el flujo residual (post-bloque 10) proyectado sobre una dirección unidimensional bloqueada. Esta dirección se deriva de una "descubrimiento" de continuación independiente, entrenada en un conjunto de datos separado para capturar el mecanismo maduro de la puerta trasera. Crucialmente, la dirección se fija antes de que comiencen las ejecuciones de confirmación para evitar el sobreajuste (overfitting).

3. Intervenciones Causales:
   Para verificar que una señal interna temprana es un precursor y no solo un pasajero decodificable, el protocolo emplea intervenciones causales en el momento de detección reclamado:

   • Ablación: Eliminar la coordenada adquirida de la activación del marcador activo.
   • Restauración: Añadir una amplitud coincidente con el checkpoint desde ejemplos donantes independientes a la activación ablada.
   • Parche de Control (Control Patching): Añadir la amplitud a las entradas con marcador de control.
     Estas intervenciones se prueban en un conjunto de prompts disjunto para asegurar la separación temporal.

4. Calibración Estadística:

   • Control de Error: Para abordar el "problema de comparaciones múltiples" inherente a la inspección de 160 detectores-checkpoints (2 detectores × 80 actualizaciones), el protocolo utiliza un corte de estadística máxima derivado de 20,000 extracciones de bootstrap de trayectorias nulas. Esto asegura una estricta tasa de falsos positivos de la familia.
   • Emparejamiento de Potencia (Power Matching): Ambos detectores utilizan el mismo tamaño de muestra ($n=128$), el mismo estadístico de media estudiantil y el mismo umbral, asegurando una potencia estadística comparable entre los tests internos y conductuales.
   • Puertas de Decisión: Un resultado positivo requiere: (1) que la prueba interna cruce el umbral antes de la prueba conductual en un número significativo de ejecuciones, (2) el éxito de la supresión (ablación) y el rescate (restauración) del comportamiento objetivo en el punto de cruce interno, y (3) significancia estadística mediante pruebas de signo opuesto exactas con corrección de Holm.

Contribuciones Clave

• Protocolo Ejecutable: El documento presenta un protocolo totalmente especificado y falsable para comparar el inicio de las representaciones internas y los comportamientos bajo condiciones emparejadas.
• Comparación Temporal Causal: Va más allá de la correlación al requerir que una señal interna temprana sea causalmente necesaria (vía ablación/rescate) para el comportamiento eventual.
• Marco Estadístico Riguroso: Introduce una calibración de estadística máxima conjunta para controlar los falsos positivos en las inspecciones temporales densas y asegura el emparejamiento de potencia entre los tests internos y conductuales.
• Desacoplamiento de la Decodificabilidad de la Causalidad: Al utilizar el descubrimiento de dirección independiente y las intervenciones causales, el protocolo distingue entre la información que está meramente presente en los pesos y la información que impulsa funcionalmente la puerta trasera.

Resultados
El documento establece explícitamente que no se reportan resultados confirmatorios respecto a la hipótesis temporal.

• El autor realizó "pruebas de humo" (smoke tests) y pruebas unitarias sintéticas para verificar el flujo de trabajo, incluyendo la adaptación limpia, el ajuste de la dirección de descubrimiento, la evaluación densa y la lógica de intervención causal.
• Estas pruebas confirmaron los detalles de implementación (por ejemplo, IDs de tokens, conteos de parámetros, tiempos del flujo de trabajo) pero fueron expresamente no inferenciales.
• Consecuentemente, la pregunta "¿Se vuelven detectables las representaciones de una puerta trasera causalmente necesarias antes que el comportamiento emparejado?" permanece abierta. El documento proporciona el procedimiento de decisión y el análisis de error, pero no proporciona la respuesta.

Significancia y Reivindicaciones
La contribución principal del documento es metodológica, no empírica.

• Establece un criterio falsable para responder si los precursores internos preceden al comportamiento, evitando que los investigadores confundan la identidad del token, el umbral del comportamiento, la flexibilidad de la sonda o los presupuestos de error desiguales con una verdadera alerta temprana.
• Argumenta que una afirmación de "alerta temprana" requiere cuatro componentes vinculados: una línea base que excluya la identidad estática de la entrada, un comparador de salida continuo, oportunidades de rechazo igualadas (emparejamiento de potencia) y una intervención que establezca el uso causal en lugar de solo la decodificabilidad.
• El trabajo apoya la agenda de la "interpretabilidad de desarrollo" al proporcionar una prueba operacional para el monitoreo de la dinámica de entrenamiento en busca de precursores relevantes para la seguridad, en lugar de solo auditar modelos finales.

En resumen, el documento define cómo probar rigurosamente los precursores de una puerta trasera, pero no afirma haberlos encontrado, dejando la cuestión sustantiva abierta para la aplicación futura de este protocolo.