Resumen Técnico: Landseer – Explorando el Panorama de Defensas en Aprendizaje Automático

Declaración del Problema

Los sistemas de aprendizaje automático (AA) desplegados en sectores críticos como la ciberseguridad, la atención sanitaria y las finanzas enfrentan amenazas diversas dirigidas a la robustez, la privacidad, la equidad y la propiedad intelectual. Aunque se han propuesto numerosas técnicas de defensa para abordar estos riesgos individualmente, los despliegues en el mundo real requieren la composición simultánea de múltiples defensas. Actualmente, el proceso de combinar estas defensas se comprende poco. La "componibilidad" de las defensas—cómo interactúan estructural y cualitativamente al integrarse en una sola tubería de AA—permanece poco clara. La investigación previa se ha limitado en gran medida a evaluaciones por pares (dos defensas a la vez) o modelos de predicción no empíricos, sin capturar la complejidad combinatoria ni los patrones de interferencia emergente que surgen cuando se aplican múltiples herramientas en diferentes etapas del ciclo de vida del AA. En consecuencia, los profesionales carecen de un método sistemático para evaluar si la combinación de defensas específicas mantendrá o degradará el rendimiento del sistema y las garantías de seguridad.

Metodología

Los autores presentan Landseer, un marco modular diseñado para integrar defensas de AA en el ciclo de vida del AA y evaluar sistemáticamente su composición. El marco opera a través de tres componentes principales:

1. Módulo de Incorporación: Este componente convierte artefactos de investigación independientes (código y artículos) en módulos de tubería componibles. Genera un Registro de Reproducción para cada herramienta, verificando:

   • Reproducibilidad: Si la herramienta se ejecuta y coincide con los resultados reportados dentro de una tolerancia definida (3%).
   • Componibilidad Estructural: Si las entradas y salidas de la herramienta son compatibles con las etapas adyacentes de la tubería (Pre-Entrenamiento, Durante el Entrenamiento, Post-Entrenamiento, Despliegue).
   • Contenerización: Encapsular herramientas en imágenes compatibles con OCI para garantizar una ejecución autocontenida con dependencias fijas.

2. Explorador de Tuberías: Este componente empírico central genera y ejecuta sistemáticamente todas las combinaciones válidas de herramientas incorporadas. Utiliza una arquitectura de Programador y Trabajador para:

   • Enumerar combinaciones de defensas a lo largo de la tubería de AA.
   • Evitar cálculos redundantes almacenando en caché artefactos intermedios e identificando prefijos compartidos en los flujos de trabajo.
   • Ejecutar experimentos en un conjunto de datos estandarizado (CIFAR-10) y una arquitectura de modelo (ResNet-20).

3. Motor de Análisis de Interferencia: Este motor analiza los resultados de las combinaciones ejecutadas para identificar fuentes de interferencia. Construye Gráficos de Interferencia donde los nodos representan combinaciones específicas de herramientas y las aristas representan adiciones incrementales o reordenamientos de herramientas. El motor realiza un análisis de causa raíz para identificar la combinación de "menor cardinalidad" que provoca una caída del rendimiento más allá de umbrales definidos (2% para moderada, 5% para severa). Clasifica la interferencia en tres tipos:

   • Interferencia Global (IG): Una herramienta degrada el rendimiento independientemente de la combinación.
   • Interferencia de Ordenamiento (IO): La interferencia ocurre solo cuando las herramientas se aplican en una secuencia específica.
   • Interferencia por Pares (IP): Interferencia específica de la interacción de exactamente dos herramientas.

Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Definición de Componibilidad: Los autores definen y estudian la noción de componibilidad para las técnicas de Aprendizaje Automático Confiable (AAC), distinguiendo entre Componibilidad Estructural (capacidad de integración técnica) y Componibilidad Cualitativa (preservación del rendimiento).
2. Marco Landseer: El diseño e implementación de un marco generalizable que automatiza la incorporación, ejecución y análisis de combinaciones de defensas.
3. Evaluación Empírica: Un estudio exhaustivo de 35 técnicas AAC de última generación. Tras filtrar por reproducibilidad y compatibilidad estructural, se incorporaron 11 herramientas. El marco evaluó más de 700 combinaciones únicas para replicar hallazgos de literatura existente y descubrir nuevas interacciones.
4. Nuevos Conocimientos y Directrices: La identificación de factores previamente no examinados que influyen en las interacciones de defensa, específicamente el impacto de la etapa de aplicación (por ejemplo, Pre-Entrenamiento vs. Post-Entrenamiento) y el orden de las defensas dentro de una etapa.

Resultados

La evaluación arrojó varios hallazgos críticos:

• Brechas de Replicabilidad: De 35 artículos encuestados, solo 14 fueron totalmente reproducibles y replicables. Las barreras comunes incluyeron artefactos faltantes, errores de software, incompatibilidades de entorno y contratos de E/S no estándar.
• Validación de Trabajos Previos: Landseer confirmó 8 de 13 hallazgos de interacción de defensa por pares de la literatura existente (por ejemplo, confirmando conflictos entre la marca de agua y el entrenamiento adversario).
• Contradicciones y Matices: El marco contradijo algunas afirmaciones previas, como la falta de interferencia entre la robustez adversaria y la huella digital, destacando que los resultados dependen en gran medida de elecciones específicas de implementación y configuraciones experimentales.
• Dependencia de Etapa y Orden: El estudio reveló que la etapa de aplicación altera significativamente los patrones de interferencia. Por ejemplo, aplicar la eliminación de valores atípicos en la etapa de Pre-Entrenamiento se alineó bien con el entrenamiento adversario, mientras que aplicarlo en la etapa de Post-Entrenamiento causó conflictos. De manera similar, se encontró que el orden de las herramientas dentro de la misma etapa (por ejemplo, Pre-Entrenamiento) es un factor crítico para determinar si las defensas interfieren.
• Interferencia Global: Se encontró que las defensas aplicadas en etapas tempranas (Pre-Entrenamiento y Durante el Entrenamiento) tienen tasas más altas de interferencia global (>95% de las combinaciones) en comparación con las aplicadas más tarde, lo que sugiere que las defensas de etapas posteriores pueden ofrecer una mejor componibilidad.

Significado

El artículo posiciona a Landseer como un paso fundamental hacia la mejora de la fiabilidad de los sistemas de aprendizaje automático. Al avanzar más allá del análisis por pares hacia una exploración sistemática y automatizada de composiciones de defensa, Landseer aborda la "complejidad combinatoria" que ha obstaculizado el despliegue de estrategias de seguridad multicapa. El marco proporciona a los profesionales un método para identificar combinaciones de mejor rendimiento según políticas de seguridad específicas y ofrece a los investigadores una herramienta para extraer conocimientos sobre las interacciones de defensa. En última instancia, el trabajo tiene como objetivo reducir las barreras para la adopción de sistemas de AA robustos, que preserven la privacidad y sean equitativos, estableciendo un enfoque estructurado para comprender y mitigar las consecuencias no deseadas de combinar múltiples defensas.