How Much Regularization Survives Averaging? Update Masking in Federated Learning

En el mundo de la inteligencia artificial, existe un desafío persistente conocido como el problema "federado". Imagine a un grupo de personas, cada una con una pieza única de un rompecabezas, que quieren construir una imagen completa y única juntas sin mostrar nunca sus piezas individuales a nadie más. Así es como suele funcionar el aprendizaje automático moderno: una computadora central coordina muchos dispositivos diferentes, como teléfonos o sensores, para aprender una habilidad compartida. El problema es que los datos en cada dispositivo rara vez son iguales; un teléfono puede tener principalmente fotos de gatos, mientras que otro puede tener solo fotos de coches. Cuando la computadora central intenta combinar lo que todos han aprendido, el modelo resultante suele tener dificultades para dar sentido a la imagen completa, fallando al generalizar bien ante nuevas situaciones. Para solucionar esto, los investigadores han buscado durante mucho tiempo una forma de encontrar soluciones "planas" en el paisaje matemático del aprendizaje. Piense en un pico afilado frente a una meseta amplia y plana. Un modelo que aterriza en un pico afilado puede funcionar perfectamente con los datos específicos que vio, pero tropezará inmediatamente si los datos cambian incluso ligeramente. Un modelo que se asienta en una meseta amplia y plana es más robusto; puede manejar pequeñas variaciones en los datos sin desmoronarse.

Durante años, los científicos han intentado forzar a estos modelos a encontrar esas mesetas planas añadiendo ruido o cometiendo pequeños errores deliberados durante el proceso de aprendizaje. Este ruido actúa como un agitador suave, evitando que el modelo se quede atrapado en un lugar estrecho y frágil. Recientemente, una técnica específica llamada "enmascaramiento de actualización" (update masking) se volvió popular en el entrenamiento centralizado, donde una sola computadora hace todo el trabajo. Este método descarta aleatoriamente fragmentos de las instrucciones de aprendizaje y reescala el resto, añadiendo efectivamente un tipo de ruido útil que empuja al modelo hacia esas áreas estables y planas. Sin embargo, cuando los investigadores intentaron llevar esta técnica al entorno federado, donde muchos dispositivos aprenden por separado y luego combinan sus resultados, esta pareció desvanecerse. La pregunta que un equipo de investigadores de la Universidad de Sophia y de Shendian Energy Co., Ltd. se propuso responder era simple: ¿a dónde fue ese ruido útil y podría recuperarse?

Los investigadores descubrieron que el ruido no desapareció; simplemente fue diluido por el acto mismo de combinar los resultados. En su configuración, tenían cien dispositivos diferentes, o "clientes", cada uno aprendiendo sobre su propia porción de datos. En un enfoque estándar, cada dispositivo decidiría aleatoriamente qué partes de sus instrucciones de aprendizaje conservar y cuáles descartar, utilizando su propio patrón único de elecciones. Cuando el servidor central recolectaba estas actualizaciones y las promediaba, las elecciones aleatorias de los dispositivos individuales se cancelaban entre sí. Era como si diez personas intentaran empujar un objeto pesado en direcciones aleatorias ligeramente diferentes; el resultado neto era que el objeto apenas se movía. La penalización matemática que normalmente obliga al modelo a ser robusto se debilitaba por un factor igual al número de dispositivos en el grupo. Con diez dispositivos, el efecto útil se reducía a una décima parte de su fuerza original, dejando al modelo con casi ninguna protección contra el sobreajuste.

El equipo probó entonces una estrategia diferente: ¿qué pasaría si cada dispositivo utilizara exactamente el mismo patrón de elecciones? Si las diez personas empujaran el objeto en la misma dirección aleatoria, el efecto se preservaría. Los investigadores descubrieron que sincronizar estas elecciones de hecho restauraba el ruido protector, pero con una gran salvedad. La fuerza del ruido restaurado dependía enteramente de cuánto coincidían los dispositivos entre sí. Si los dispositivos estaban aprendiendo de datos muy diferentes y sus actualizaciones apuntaban en direcciones conflictivas, el ruido sincronizado se volvía ineficaz o incluso perjudicial. La medida de este acuerdo se llama "diversidad de gradiente", un concepto que esencialmente cuenta cuánto se solapan los esfuerzos individuales de los dispositivos. Cuando los dispositivos están en armonía, el ruido regresa con toda su fuerza. Cuando están en conflicto, el ruido disminuye o se pierde por completo.

Para entender por qué sucedía esto en la práctica, los investigadores realizaron experimentos extensos utilizando un conjunto de datos de imágenes estándar llamado CIFAR-10, repartido entre cien clientes simulados. Midieron exactamente cuánto del ruido protector sobrevivía al proceso de promediado bajo diferentes condiciones. Encontraron que en la configuración más común, donde los dispositivos aprenden en lotes pequeños de datos, la tasa de supervivencia era sorprendentemente baja. De una fuerza máxima posible de diez, la fracción de ruido que realmente llegaba al modelo final era de solo unos 1.19. Esta diminuta fracción significaba que el modelo era apenas más robusto que si no se hubiera añadido ningún ruido. Los investigadores rastrearon este fallo hasta el muestreo aleatorio de datos que ocurre en cada paso del aprendizaje estándar. El ruido introducido al elegir pequeños lotes de imágenes abrumaba el ruido específico y útil generado por la técnica de enmascaramiento, ahogándolo.

El equipo también investigó si las diferencias en los datos mismos —el hecho de que algunos dispositivos tuvieran más gatos y otros más coches— era el culpable. Variaron la distribución de los datos para hacerla extremadamente desigual, con algunos dispositivos poseyendo cien veces más datos que otros. Sorprendentemente, esta diferencia extrema tuvo muy poco efecto en la tasa de supervivencia del ruido. Ya fuera que los datos fueran casi idénticos o muy diferentes, la tasa de supervivencia permanecía estancada entre 1.17 y 1.50. El verdadero obstáculo no era la diversidad de los datos, sino el método de aprendizaje. Cuando los investigadores desactivaron el muestreo de lotes pequeños y permitieron que cada dispositivo aprendiera de toda su colección de datos de una sola vez, la tasa de supervivencia saltó dramáticamente a 8.96. Esto demostró que el ruido aleatorio de los lotes pequeños era la razón principal por la que la técnica fallaba en entornos federados.

Sin embargo, el estudio concluyó con una cruda dosis de realidad. Aunque es matemáticamente posible recuperar la fuerza total del ruido protector utilizando lotes de datos completos y grandes, y elecciones sincronizadas, hacer esto conlleva un costo terrible para el rendimiento real del modelo. Las configuraciones que permitían que el ruido sobreviviera eran las mismas que producían los peores resultados de aprendizaje, con la precisión de prueba cayendo significativamente. En los experimentos, los modelos con mejor desempeño, que utilizaban lotes pequeños, tenían casi nada de ruido protector restante, mientras que los modelos con más ruido eran demasiado inexactos para ser útiles. Los investigadores no encontraron un punto medio donde el ruido pudiera preservarse sin sacrificar la capacidad de aprendizaje del modelo.

En última instancia, el artículo revela que el fallo del enmascaramiento de actualización en el aprendizaje federado no es un descuido o un error, sino una consecuencia fundamental de cómo funciona el sistema. El mismo mecanismo que permite que muchos dispositivos aprendan juntos —promediar sus actualizaciones— también lava el tipo específico de ruido en el que el enmascaramiento de actualización confía. Los investigadores demostraron que, si bien es posible forzar la supervivencia del ruido mediante la sincronización de los dispositivos, las condiciones necesarias para hacerlo son incompatibles con las necesidades prácticas de entrenar un modelo útil. El efecto protector que funciona tan bien en una sola computadora simplemente no se traduce a una red de muchas, a menos que uno esté dispuesto a aceptar un modelo que aprende muy mal. El estudio deja al campo con una comprensión clara de los límites de esta técnica, sugiriendo que las soluciones futuras deben buscar en otros lugares formas de ayudar a los modelos federados a encontrar esas mesetas estables y planas.