On the Fragility of Data Attribution When Learning Is Distributed

Resumen Técnico: Sobre la Fragilidad de la Atribución de Datos cuando el Aprendizaje está Distribuido

Enunciado del Problema
La atribución de datos se ha convertido en un componente crítico para la fijación de precios, la auditoría y la gobernanza en las tuberías de aprendizaje automático, particularmente en entornos distribuidos como el Aprendizaje Federado (FL). Estos sistemas dependen de métricas de atribución (por ejemplo, valores de Shapley, funciones de influencia) para cuantificar la contribución de los propietarios individuales de datos a la utilidad global del modelo. Sin embargo, los métodos actuales de atribución asumen implícitamente que estas puntuaciones reflejan fielmente las contribuciones reales de los participantes. Este trabajo desafía esa premisa, demostrando que en los flujos de trabajo estándar de entrenamiento distribuido, un único participante malicioso puede manipular estratégicamente su valor de atribución medido para parecer significativamente más beneficioso de lo que es, sin degradar la utilidad global del modelo. La vulnerabilidad central radica en la sensibilidad de los estimadores de utilidad marginal a la cobertura de etiquetas no IID y a las preferencias estructurales específicas de los evaluadores de atribución.

Metodología: Ataque de Optimización Latente
Los autores proponen un modelo de amenaza "prioritario en la atribución" donde un cliente malicioso ($i^\star$) busca maximizar su puntuación de atribución $E(\hat{g}^\star_t)$ mientras preserva estrictamente la utilidad global $U(\cdot)$ dentro de una pequeña tolerancia $\delta$. A diferencia de los ataques de envenenamiento tradicionales que degradan el rendimiento, este ataque opera bajo la restricción de que la precisión de prueba permanezca estable.

El Ataque de Optimización Latente propuesto procede de la siguiente manera:

1. Inyección de Datos Sintéticos: El atacante utiliza un decodificador fijo y preentrenado ($Dec(\cdot)$) para generar un pequeño lote de muestras sintéticas $(\tilde{x}, \tilde{y})$ a partir de un vector latente $z$.
2. Optimización del Vector Latente: El atacante optimiza el vector latente $z$ mediante descenso de gradiente para satisfacer una función de pérdida conjunta $L(z) = L_1(z) + L_2(z) + L_3(z)$:
   • $L_1$ (Alineación de Dirección): Asegura que el gradiente del lote sintético se alinee con una dirección de referencia benigna (por ejemplo, la actualización global del modelo $w_t - w_{t-1}$) utilizando la similitud del coseno.
   • $L_2$ (Consistencia de la Norma): Iguala la magnitud del gradiente sintético a la de las actualizaciones benignas para evadir defensas basadas en la geometría.
   • $L_3$ (Fidelidad de la Tarea): Mantiene la pérdida estándar de entropía cruzada en el lote sintético para asegurar que los datos sean discriminativos por clase y útiles para el entrenamiento.
3. Cobertura Estratégica: El atacante se dirige específicamente a clases que están subrepresentadas o ausentes en su conjunto de datos real local ($D^{(i^\star)}_r$). Al inyectar muestras sintéticas para estas etiquetas "faltantes", el atacante explota la sensibilidad del evaluador a las brechas de cobertura.
4. Actualización Híbrida: El atacante mezcla el lote sintético optimizado con sus datos reales para realizar el entrenamiento local, generando una actualización reportada $\hat{g}^\star_t$ que es estadísticamente indistinguible de las actualizaciones benignas pero que produce una utilidad marginal desproporcionadamente alta a los ojos del evaluador en el servidor.

Contribuciones Clave

• Modelo de Amenaza Prioritario en la Atribución: El trabajo formaliza un nuevo objetivo de ataque en FL donde la meta es inflar las puntuaciones de atribución de datos bajo restricciones explícitas de utilidad y plausibilidad, distinto de los objetivos tradicionales de envenenamiento de modelos.
• Ataque Práctico de Optimización Latente: Los autores introducen un mecanismo de ataque concreto que utiliza datos sintéticos generados por un decodificador para construir actualizaciones locales conscientes de la atribución. Este método preserva la utilidad y es estadísticamente plausible, evadiendo las comprobaciones de sanidad estándar.
• Validación Teórica y Empírica: El trabajo proporciona una perspectiva teórica sobre por qué tales actualizaciones aumentan la atribución marginal sin degradar la precisión (debido a la alineación con las direcciones de descenso global y las ganancias de utilidad impulsadas por la cobertura). Empíricamente, el ataque se valida en tres conjuntos de datos (CIFAR-10, FashionMNIST, SVHN), tres arquitecturas de modelos (ResNet-18, WRN-28-10, VGG16 BN) y múltiples evaluadores (Valor de Shapley Federado y Uno Menos).

Resultados Experimentales

• Inflación de Atribución: Bajo el ataque de Optimización Latente, un cliente malicioso que inicialmente ocupaba el último lugar (recibiendo una atribución cercana a cero) se movió consistentemente a la mitad superior de la clasificación, a menudo logrando valores de atribución comparables o superiores a los de los contribuyentes benignos de alto rendimiento. Por ejemplo, en CIFAR-10 con ResNet-18, el valor de atribución del cliente malicioso aumentó de 0.0547 a 0.1682, cambiando su rango del décimo al segundo lugar.
• Preservación de la Utilidad: A diferencia de los ataques de referencia (Volteo de Etiquetas, Ruido Aleatorio) que degradaron significativamente la precisión de prueba, el ataque de Optimización Latente mantuvo la precisión global dentro de un margen estrecho de la línea base sin ataques (por ejemplo, 77.59% vs. 76.75% en CIFAR-10/ResNet-18).
• Reconfiguración de la Estructura de Atribución: El ataque no solo aumentó la puntuación del atacante; redistribuyó las cuotas de atribución entre los clientes benignos, alterando la asignación de crédito relativa dentro del sistema.
• Evasión de Defensas: Las defensas estándar de recorte basadas en la geometría, que filtran actualizaciones basándose en la desviación del grueso de las actualizaciones de los clientes, no lograron detectar el ataque (Precisión y Recall cercanos a 0.00). Las actualizaciones híbridas permanecieron alineadas con la dirección de descenso global y estadísticamente incrustadas dentro de la distribución benigna.
• Robustez: El ataque permaneció efectivo a través de diferentes números de clientes, diferentes rangos iniciales de clientes y diferentes evaluadores de atribución (FedSV y LOO).

Significado y Afirmaciones
El trabajo afirma que la atribución en sí misma constituye una nueva superficie de ataque en el aprendizaje distribuido. Los hallazgos demuestran que mantener únicamente la precisión del modelo es insuficiente para un aprendizaje colaborativo confiable; la integridad de la atribución es igualmente crítica. Los autores argumentan que los mecanismos de incentivos actuales y los marcos de gobernanza son vulnerables porque dependen de evaluadores que pueden ser manipulados sin dañar el rendimiento global. Este trabajo motiva el desarrollo de evaluadores robustos a la atribución y mecanismos de puntuación compatibles con los incentivos, destacando que la vulnerabilidad surge de las propiedades de incentivos de la evaluación de utilidad marginal más que de reglas de puntuación específicas. El trabajo concluye que, sin abordar estas vulnerabilidades, los sistemas corren el riesgo de recompensar a los contribuyentes equivocados, identificar erróneamente a actores dañinos y extraer conclusiones engañosas sobre la calidad de los datos.